К теме улучшения человеческих способностей. Мы обычно считаем, что наше цветное зрение — вершина эволюции, некоторые вкурсе, что у некоторых других животных с различением цветов будет все же получше. Группа Михаила Кэтса (Mikhail Kats) из Университета Висконсина решила попробовать сделать небольшой трюк с человеческим зрением с применением фильтров. Мы знаем, что есть цвета, которые человеческому глазу кажутся одинаковыми, хотя из длины волн различны. Но если пропустить свет через специально подобранные фильтры, длины волн можно разнести так, что глаз начнет их замечать. Команда Кэтса сделала два таких фильтра для разных глаз, слегка различных, чтобы компенсировать обратный эффект, когда мы станем считать два разных цвета одним из-за фильтров. Пока удалось сделать удачный эксперимент с синим диапозоном видимого света, но это только начало. https://www.newscientist.com/article/2125335-special-glasses-give-people-superhuman-colour-vision/ #vision #augmented #human #ar. (P.s. Мне это напоминает другой эксперимент — мобильное приложение для дальтоников, проецирующее действительные цвета на воспринимаемый диапазон: https://www.microsoft.com/en-us/garage/project-details.aspx?project=color-binoculars)

Есть такая интересная эволюционная задача: должен ли глаз со временем эволюционировать в сторону улучшения качества зрения, распознования большего числа оттенков и т.д.? Наблюдение за окружающим миром показывает, что нет — ключевой фактор эволюции зрения - повышение выживаемости особи, а не более четкая картинка окружающего мира. Недавняя история с кальмарами Histioteuthis heteropsis с двумя разными глазами, один из которых эволюционировал, чтобы лучше улавливать тени в толщах воды сверху, а второй - чтобы лучше обнаруживать биолюминисцентные вспышки снизу, — отличное тому подтверждение.

К чему это я? Камеры мобильных телефонов долго эволюционировали в сторону повышения разрешения, качества съемки и т.п.. Но, возможно, такая эволюция не вполне отвечает практическим задачам с точки зрения общей (энерго-) эффективности устройства.

Особенно это заметно стало, как только мы начали сталкиваться с задачами анализа медиа-потока на лету для распознавания лиц, движений и т.п.. При решении таких задач зачастую мы как раз наоборот понижаем разрешение изображения, пытаясь вычленить движение крупных кластеров. И тут мы понимаем, что можно пожертвовать качеством в пользу энергоэффективности, по-прежнему решая задачи разпознавания.

Именно это в своем (пока) исследовательском проекте Glance предлагает Qualcomm. Чипа с очень низким энергопотреблением и разрешением в 320x240 px, вполне достаточно для поверхностного "понимания", что происходит вокруг: приближение лица, жесты рук, перемещение объектов и, возможно, даже распознавания радужки глаза (тестируется).

https://www.technologyreview.com/s/603964/qualcomm-wants-your-smartphone-to-have-energy-efficient-eyes/ #evolution #vision #ai #hardware

Про автономные машины: важный аспект развития технологии — это камеры, которые смотрят на мир вокрут, и тот поток данных, которые они передают. Например, веселая задача — бороться с мерцанием LED-дисплеев современных знаков и светофоров или разпознавание при низком освещении и в темноте. Пример подвижек в данном направлении - новый сенсор IMX390 от Sony. https://www.sony.net/SonyInfo/News/Press/201704/17-034E/index.html #ai #camera #vision

Прекрасное про человеческое зрение: как сделать куртку, которую человеческий глаз сможет легко заметить в условиях природы или города в разное время суток? Nanometer 555, специально подобрынный зеленый цвет, на который приходится максимальное количество колбочек, + светоотражающие метки, напоминающие костюм для трекинга движений в компьютерной графике. https://www.fastcodesign.com/90124059/why-we-should-all-wear-the-worlds-most-visible-color #vision #human #design

В продолжение темы галлюцинирования, только теперь про машинный интеллект. Как вы помните или знаете, AI, алгоритмы машинного обучения и вот это всё, в грубом приближении, пытаются описать реальность, используя некоторые предсказательные модели.

Мы уже видели эксперименты с веселыми очками, которые обманывают алгоритмы компьютерного зрения. На днях я кидал ссылку на заметку с рекламой на автомобиле, которая может ввести в заблуждение алгоритмы распознавания объектов. И, в целом, сегодня таких экспериментов уже большое число, и на тему состязательных примеров (adversarial example), которые за счет небольших модификаций способны обманывать сеточки, пишется множество научных работ.

New Scientist пишет о новой работе исследователей из Facebook, которые описывают схожую технику (они ее называют Гудини, Houdine), которая добавляет незначательные (незаметные человеку) цифровые шумы в изображения и звуки, подаваемые в системы разпознавания голоса и машинного зрения. Все это в контексте, автономного транспорта, хотя пока и без практического подтвеждения в "боевых условиях".

Вывода отсюда два: 1) практическое применение — это вопрос времени и 2) нужны новые подходы к генерации устойчивых к таким фокусам сеточек.

https://www.newscientist.com/article/2142059-sneaky-attacks-trick-ais-into-seeing-or-hearing-whats-not-there (Ссылка на исследование: https://arxiv.org/pdf/1707.05373.pdf) #ai #hallucinations #machine #vision #houdine

Courtney Wilson из CloudFactory пишет, что, возможно, зрение (или распознавание визуальной информации) — и есть "killer app" для искусственного интеллекта. Причина для этого простая: так как, что такое "killer" оценивает человек, и эволюционно зрение — это наш основной канал получения информации, то самое естественное развитие AI в контексте человека — это дальнейшее улучшение наших зрительных способностей (в широком смысле - от непосредственного дополнения до масштабирования решения "зрительных" задач).
https://medium.com/iotforall/visual-data-and-the-killer-app-for-ai-5cfaf71db66a #ai #vision

В продолжение темы зрения. Dominikus Baur пишет, что дополненная реальность может стать решением проблемы ограниченности мобильного-форм-фактора для визуализации данных. "Со времен первых iPhone казалось, что это очень способные мобильные компьютеры. Инновации во взаимодействии, качественная локализация, ... но самая большая проблема визуализации, что никогда не хватает места."

Дополненная реальность не скована этим ограничением, визуализация может быть привязана к физическому пространству, а телефон - это лишь окно/линза для просмотра. https://medium.com/@dominikus/can-augmented-reality-solve-mobile-visualization-f06c008f8f84 #ar #mobile #vision

Я уже рассказывал о наработках Qualcomm в области чипсетов, выходящих за рамки привычного CPU, — тогда речь шла о работе с нейронными сетями и обработке изображений (например, сетчатки глаза). Вот еще одна интересная работа - развитие темы ISP (Image Signal Processor) в сторону AR/VR-сценариев. Qualcomm работает над технологией "active depth sensing", позволяющей сканировать окружающее пространство с помощью инфракрасной подсветки. Это все чем-то напоминает идеи Kinect и Project Tango, но в мобильном чипсете, а значит, потенциально в вашем следующем смартфоне и смартфонах ваших друзей. https://www.fastcompany.com/40451913/qualcomms-new-camera-will-give-smartphones-3d-vision #ar #vr #vision #hardware

Про кастомные чипсеты. Google также включается в гонку за кастомные чипсеты для обработки изображений (IPU, Image Processing Unit). Пока речь идет о Pixel Visual Core, чипсете для процессинга изображений в Pixel 2 и Pixel 2 XL с фокусом на ускорение обработки, HDR-съемку и т.п. Но пример Qualcomm и других производителей показывает и следующий шаг: специализированные чипсеты для помощи распознавания изображений, действий и т.п. https://www.theverge.com/2017/10/17/16487834/google-pixel-visual-core-ipu-custom-processor-chip #custom #hardware #image #vision #chipset

В продолжение большой темы с камерами и линзами - MIT Technology Review пишет о новом поколении оптики - металинзах, создаваемых через фотолитографию. Фактически речь идет о создании lens-on-a-chip аналогично тому, как сегодня создаются различные элементы микроэлектроники, что означает 1) ее производство (!) в рамках тех же процессов, что и производство самих чипчетов (читай - на тех же заводах, а потому массово и дешевле), 2) дальнейшее уменьшение в размерах и возможность интеграции непосредственно в чипсет (!) и 3) программируемое создание оптики под нужные задачи (условно, для обработки изображений и спектрографии нужные разные свойства оптической системы). https://www.technologyreview.com/s/609615/physicists-are-reinventing-the-lens-and-imaging-will-never-be-the-same/ #lens #optics #future #vision

Когда-то это должно было случиться... Тут группа товарищей из Университета Суссекса начала использовать нейронные сети, чтобы генерировать галюциногенные изображения в виртуальной реальности с целью изучения альтернативных состояний сознания без использования медикаментозного воздействия. Идея в том, чтобы с помощью т.н. Hallucination Machine воспроизвести феноменологический аспект (то есть видимость) без воссоздания других побочных и общих эффектов, все на благо науки и психиатрии, в частности. (В этой новости прекрасно все!). https://www.nature.com/articles/s41598-017-16316-2 #vision #VR #Hallucination

8. Проблема GDRP. Компаниями придется пересмотреть, как они балансируют между рисками и затратами. Полное соответствие GDRP дорого, неполное может существенно ударить по имиджу и привести к непредвиденным расходам. К маю 2018 - 80% компаний, подпадающих под GDRP не будут в полной мере соотвествовать регулированию. Из них половина - сделает это сознательно, а другая просто не справится. Тонкость также в том, что группы пользователей будут использовать GDRP для давления на компании.

9. Открытый бинкинг готовит осаду. Традиционные бизнес-модели банкинга находятся под атакой: новые ожидания пользователей, натиск финтеха и неспособность углубить отношения с клиентами - усугубятся под действием открытого банкинга. PSD2 ставит под угрозу ядро банковской деятельности - данные, убирая их монополию на историю аккаунта. Большинство банков провалило возможность использовать эти данные для формирования стратегического преимущества. В 2018 Amazon, Google, финтех-провайдеры и банки-лидеры получат доступ к данным, скрывая или замещая действующие банки. Более 50% банков не смогут превратить открытый банкинг в преимущество, означая болезненный переход на утилитарную функцию.

10. Гармонизация ритейл-опыта. Хотя индустрия растет, на горизонте новые проблемы. Последние годы ритейлеры пытались идти параллельными треками: улучшение опыта в offline и трансформация в сторону online, включая стыковку этих двух опытов. Следующая проблема — как работать с умными агентами, влияющими на то, как пользователи обнаруживают и заказывают продукты; как сделать динамичным опыт в магазинах, превращая их в точки контакта в течение дня; как расширить цифровые каталоги для соответствия Amazon; и как все это сбалансировать в сквозной опыт для покупателей. В 2018 цифровые агенты станут самой большой проблемой, причем только 33% ритейлеров понимают из трансформирующую природу.

11. Сброс ИИ. ИИ быстро меняет, как компании создают опыт для пользователей, как пользователи балансируют между приватностью своих данных и ценностью, приносимой их открытием, и как сотрудиники перестраивают характер своей работы. Фокус внимания в обсуждении ИИ сосредоточился вокруг "дополненной" интеллектуальности и диалоговых интерфейсов. В 2017 инвестиции касались отдельных кейсов и проектов, нацеленных на немедленную отдачу. Такие проекты краткосрочных и слишком узки. В 2018 - 75% ИИ-проектов провалятся из-за неспособности учесть операционные ограничения, приводя к пересмотру областей инвестирования.

12. Блокчей ползет вперед. Блокчейн обещает заложить основу для мощных платформенных и экосистемных стратегий, защищенных при этом от растущих кибер-угроз. Отчасти это обещание и есть проблема: в 2017 маркетинг перепродал блокчейн, команды делают узкие пилоты с недостаточными результатами на фоне завышенных ожиданий, причем зачастую для проблем, которые решаются традиционными технологиями. 80% проектов не соответствуют ожиданиям. В 2018 завышенные риторика и энтузиазм продолжат ограничивать пользу от блокчейна. Однако 30% пилотов ускорят внедрение блокчейна в тех компаниях, которые смогут предусмотреть его операционное влияние.

13. Прибыльная безопасность. Компании сталкиваются с растущей киберугрозой, причем зачастую команды, сражающиеся с хакерами получают по внутренней линии притензии, что их усилия негативно влияют на пользовательский опыт. В 2018 это начнет меняться, команды безопасности вместе с маркетинговыми и продуктовыми командами начнут измерять прибыльность от безопасности. В основе - управление профилями. Безопасникам нужно знать, кто имеет доступ к чему, маркетингу нужна эта же информация для персонализации. В 2018 - 10% компаний, поймут, как это сделать.

https://go.forrester.com/wp-content/uploads/Forrester-2018-Predictions.pdf #future #vision (Более детально и платно - https://go.forrester.com/research/predictions/)

Логичное продолжение развития нашего сервиса Custom Vision: в дополнение к возможности экспорта в CoreML для iOS добавилась возможность экспорта обученных моделей в TensorFlow-формат для Android. https://azure.microsoft.com/en-us/blog/customvision-ai-code-free-automated-machine-learning-for-image-classification/ (инструкция - https://github.com/Azure-Samples/cognitive-services-android-customvision-sample) #ai #vision #edge

p.s. Вообще это показательный пример, как интеллектуальность переходит между облаком и конечными устройствами.

Новость в алгоритмах машинного зрения - Facebook выложил в открытый доступ Detectron - свою платформу для CV на базе Caffe2. Судя по разным отсылкам, эту же платформу использует команда Oculus в AR-проектах. https://github.com/facebookresearch/Detectron #ai #vision #object #detection

Хороший рассказ о том, как развивается система машинного зрения в Pinterest. От анализа эстетики объектов для построения рекомендаций, к распознаванию объектов для поиска похожих ситуаций, к использованию камеры смартфона для "опроса" сервиса с помощью внешнего мира. https://towardsdatascience.com/pinterests-visual-lens-how-computer-vision-explores-your-taste-5470f87502ad #ai #vision #camera

p.s. Обратите внимание, мы снова говорим о камерах смартфонов как средстве массового распределенного анализа мира.

Большая головная боль машинного обучения - разметка сырых данных. Вот тут коллеги рассказывают про использование метода Otsu для подготовки данных под задачу сегментация изображений. https://www.microsoft.com/developerblog/2018/05/17/using-otsus-method-generate-data-training-deep-learning-image-segmentation-models/ #ai #ml #image #vision

Классная российская история стартапа CVizi про анализ зрителей в кинотеатрах и на конференциях с помощью когнитивных технологий.. https://m.habr.com/company/microsoft/blog/413015/ #ai #vision #cognitive

Еще футбола! Помните, я тут выше писал про восстановление (реконструкцию) 3D-сцены по 2D-съемки? Группа исследователей из университета Вашингтона (+Google, +Facebook) сделали еще один шаг в этом направлении:
* взяли ролики игры в FIFA2017
* обучили сеточки распознавать поле, игроков и т.п.
* транслировали движения фигур в движения скелетов и карты глубины
* реконструировали игру в 3D
* перевели сцену в MR (Hololens)

А теперь представьте, что вы можете смотреть чемпионат мира по футболу на своем столе в 3D, как будто у вас на поверхности стола копия футбольного поля, вокруг которой вы можете ходить, приближаться и т.п.

http://www.i-programmer.info/news/190-augmentedvirtual-reality-arvr/11868-watch-soccer-games-in-3d-on-your-table-top-.html

Детали и публикация: https://arxiv.org/pdf/1806.00890.pdf

#ai #ml #mr #vision