Про автономные машины: важный аспект развития технологии — это камеры, которые смотрят на мир вокрут, и тот поток данных, которые они передают. Например, веселая задача — бороться с мерцанием LED-дисплеев современных знаков и светофоров или разпознавание при низком освещении и в темноте. Пример подвижек в данном направлении - новый сенсор IMX390 от Sony. https://www.sony.net/SonyInfo/News/Press/201704/17-034E/index.html #ai #camera #vision

Помните, когда по рунету прогремел FindFace, было много разговоров, что вот дескать теперь "всех накроют, всех найдут, всех узнают". Вот пример практического применения подобных технологий во благо общества - компания Motorola Solutions (не путать с разработчиками телефонов), производящая оборудование для полицейских в США, планирует добавить функциональность разпознавания людей и объектов в камеры, которые полицейские и так обязаны носить на себе. В статье приводится такой пример: если нужно найти потерявшегося человека, например, ребенка, его образ может быть распространен по сети таких "ходячих" камер, которые будут автоматически выискивать объект в толпе. И обратите внимание, что очки для этого не обязательны. https://www.engadget.com/2017/07/17/police-body-cams-AI/ #ai #camera

Когда разные игроки начали приделывать к приложению камеры различные "линзы" (а это было, например, на заре Windows Phone с огромным фокусом Nokia на качественных камерах), казалось, что это просто интересный API. Когда разные другие игроки начали приделывать к съемке фотографий живые фильтры, привязанные к лицам, казалось, что просто прикольные AI-проекты (CV). Когда Snapchat начал поговаривать о себе, как о camera platfrom, что-то начало шевелиться. Когда FB, стараясь обогнать Apple сказал, что AR вот уже здесь в камере, казалось, ну да, что-то в этом есть. Когда потом Apple выпустил ARKit, Google - ARCore и MSFT - показала интеграцию MR в приложения работа с фото/видео/камерой, тема, наконец-то, всплыла на поверхность и стала массово очевидной.

NewCo Shift пишет о том, как "линзы" для камер становятся новыми приложениями в мире пространственных вычислений (spatial computing). "Камера объединит во времени и пространстве реальный мир и мир интернета".

https://shift.newco.co/spatial-computing-the-os-migrates-to-the-camera-627d6fab0778 #AR #Camera #MR

И еще про эволюцию обработки изображений на мобильных устройствах: в новом чипсете от Samsung (Exynos 9810) будет сделан отдельный фокус на работу с распознаванием лица, в новом Galaxy S9 должны появиться фишки, сильно напоминающие iPhone X (анимоджи, в частности). https://www.engadget.com/2018/01/04/samsung-exynos-9810-face-detection-galaxy-s9/

Вообще это такая интересная тема. Эволюция нашего собственного зрения подсказывает, что нам было критично не просто распознавать объекты вокруг, но и узнавать отдельных людей, в том числе в плохом освещении, и их эмоции, в том числе по изменениям оттенков кожи лица. В принципе, камеры смартфонов движутся в схожих направлениях. Впереди тюнинг диапазона под телесные оттенки, фокус на мимике и диагностике (привет дистанционной медицине), распознавание в широком диапазоне освещенности. Кстати, у камер в чем-то потенциальные возможности даже шире. У нашего зрения, например, нет инфракрасной подсветки.

#imaging #camera #evolution

Хороший рассказ о том, как развивается система машинного зрения в Pinterest. От анализа эстетики объектов для построения рекомендаций, к распознаванию объектов для поиска похожих ситуаций, к использованию камеры смартфона для "опроса" сервиса с помощью внешнего мира. https://towardsdatascience.com/pinterests-visual-lens-how-computer-vision-explores-your-taste-5470f87502ad #ai #vision #camera

p.s. Обратите внимание, мы снова говорим о камерах смартфонов как средстве массового распределенного анализа мира.

Две новости про стикеры, фильтры и т.п. как платформу.

1. Snap запускает платформу разработки (SDK) -- Snap Kit для расширения функциональности камеры Snapchat и интеграции сервиса в свои приложения. Фактически, речь идет о четырех направлениях: 1) дать возможность расширить камеру собственными стикерами, фильтрами и ссылками, 2) позволить создавать динамичные стикеры (открытки), 3) расширить использование аватаров снэпа, Bitmoji, в других приложениях, и 4) разрешить сторонним приложениям искать и встраивать публичные истории из снэпа в свои приложения.

Ну и само собой, возможность залогиниться в чужое приложение с помощью аккаунта снэпчата.

Анонс на TheVerge: https://www.theverge.com/2018/1/30/16949402/bitmoji-deluxe-snapchat-customization
Snap Kit: https://kit.snapchat.com

2. Google (потихоньку) расширяет AR-стикеры на дополнительные устройства. Функция "дополненных" стикеров позволяла накладывать трехмерные объекты и текста на фотографии, но до сих пор была доступна только на собственных устройствах - Google Pixel. Сейчас компания расширала доступность приложения на флагман от LG - G7 ThinQ.

Анонс на TheVerge: https://www.theverge.com/2018/6/12/17453296/lg-google-pixel-ar-stickers-thinq-g7

--
Что связывает эти две истории?
Обычно про AR думают как о чем-то, происходящем в реальном времени с экрана смартфона/планшета, очков и т.п., но в сущности тема AR столько же актуальна и для отложенного взаимодействия с реальностью -- через фотографии, истории, стикеры и т.п.

В этом смысле два примера выше бьют в нишу между профессиональным производством контента (кино, спецэффекты и т.п.) и "дополнением" в реальном времени. И есть позозрение, что эта ниша будет постепенно складываться в континуум: как платформенно-инструментальный (например, AR стикеры используют тот же ARCore), так и контентный (я, например, жду в ближайшие 2-3 года первого фантастического фильма со спецэффектами, снятого и смонтированного целиком на iPhone/Android).

#ar #mr #image #camera

Недавно я писал про Snapchat в разрезе их замашек выйти существенно за рамки своей экосистемы и застолбить за собой место на рынке AR. Вот еще один взгляд на эту историю: у нескольких компаний в разрезе пользовательской аудитории есть анимированные аватары (например, аватары Xbox в случай Microsoft, Memoji от Apple, аватары в Facebook Spaces и т.п.) и Snap тут не исключение со своими Bitmoji-аватарами.

И вот, раз основной фокус компании — камера, очевидный следующий шаг — запихнуть этим аватары в AR, причем не просто дать возможность размещать свои аватары поверх каких-то объектов, а делать из этого истории, своего рода минимультики, в которых главным героем является ваш собственный аватар. Внутри Snap над такими сюжетами работает целая команда аниматоров, пришедших из гигантов мультипликации Disney и DreamWorks.

The New York Times рассказывает подробнее об этой работе: https://www.nytimes.com/2018/06/14/movies/snapchat-3d-bitmoji-animation-augmented-reality.html

#ar #avatars #camera