Есть такая интересная эволюционная задача: должен ли глаз со временем эволюционировать в сторону улучшения качества зрения, распознования большего числа оттенков и т.д.? Наблюдение за окружающим миром показывает, что нет — ключевой фактор эволюции зрения - повышение выживаемости особи, а не более четкая картинка окружающего мира. Недавняя история с кальмарами Histioteuthis heteropsis с двумя разными глазами, один из которых эволюционировал, чтобы лучше улавливать тени в толщах воды сверху, а второй - чтобы лучше обнаруживать биолюминисцентные вспышки снизу, — отличное тому подтверждение.

К чему это я? Камеры мобильных телефонов долго эволюционировали в сторону повышения разрешения, качества съемки и т.п.. Но, возможно, такая эволюция не вполне отвечает практическим задачам с точки зрения общей (энерго-) эффективности устройства.

Особенно это заметно стало, как только мы начали сталкиваться с задачами анализа медиа-потока на лету для распознавания лиц, движений и т.п.. При решении таких задач зачастую мы как раз наоборот понижаем разрешение изображения, пытаясь вычленить движение крупных кластеров. И тут мы понимаем, что можно пожертвовать качеством в пользу энергоэффективности, по-прежнему решая задачи разпознавания.

Именно это в своем (пока) исследовательском проекте Glance предлагает Qualcomm. Чипа с очень низким энергопотреблением и разрешением в 320x240 px, вполне достаточно для поверхностного "понимания", что происходит вокруг: приближение лица, жесты рук, перемещение объектов и, возможно, даже распознавания радужки глаза (тестируется).

https://www.technologyreview.com/s/603964/qualcomm-wants-your-smartphone-to-have-energy-efficient-eyes/ #evolution #vision #ai #hardware

Классная тема: дополненная/смешанная реальность проникает в прикладные сценарии через кастомное железо из-за специфичных требований. И, если существованием решений для военных пилотов, например, никого не удивишь, то вот специальное оборудование для пожарных — это новинка. Компания Qwake Tech задумалась, как сделать жизнь борцов с огнем более безопасной, ведь своевременное наличие информации критично, когда счет на секунды! https://singularityhub.com/2017/06/28/this-augmented-reality-helmet-helps-firefighters-see-through-smoke-to-save-lives/ #ar #mr #custom #hardware

Большая новость с фронта Hololens: на конференции CVPR2017 Harry Shum, глава Microsoft AI & Reseach, рассказал о втором поколении HPU (Holographic Processing Unit), специализированного чипсета для обработки пространственной информации. В новой версии, которая готовится для следующего поколения Hololens, добавится AI-сопроцессор для поддержки решений на базе DNN. Зачем это нужно? Ну, например, чтобы лучше в реальном времени распознавать отдельные объекты и, в частности, движение рук. https://www.microsoft.com/en-us/research/blog/second-version-hololens-hpu-will-incorporate-ai-coprocessor-implementing-dnns #ai #mr #hololens #hpu #custom #hardware (И на эту же тему статья в Bloomberg Technology https://www.bloomberg.com/news/articles/2017-07-24/quest-for-ai-leadership-pushes-microsoft-further-into-chip-development.)

The Verge пишет о том, что все больше и больше производителей втягивается в гонку AI с собственными чипсетами. Стратегия может отличаться, например, Qualcomm выпускает новый SDK - Neural Processing Engine, позволяющий ускорить решение некоторых задач (в частности, обработку изображений) и поддерживает популятные фреймворки (Caffe, Caffe2, TensorFlow) — все на уже существующих чипсетах. Один из первых клиентов - Facebook, ускоряющая с помощью NPE работу AR-фильтров в своих мобильных приложениях. https://www.theverge.com/2017/7/25/16024540/ai-mobile-chips-qualcomm-neural-processing-engine-sdk #ai #chipset #hardware

Я уже рассказывал о наработках Qualcomm в области чипсетов, выходящих за рамки привычного CPU, — тогда речь шла о работе с нейронными сетями и обработке изображений (например, сетчатки глаза). Вот еще одна интересная работа - развитие темы ISP (Image Signal Processor) в сторону AR/VR-сценариев. Qualcomm работает над технологией "active depth sensing", позволяющей сканировать окружающее пространство с помощью инфракрасной подсветки. Это все чем-то напоминает идеи Kinect и Project Tango, но в мобильном чипсете, а значит, потенциально в вашем следующем смартфоне и смартфонах ваших друзей. https://www.fastcompany.com/40451913/qualcomms-new-camera-will-give-smartphones-3d-vision #ar #vr #vision #hardware

Коллеги из Microsoft Research представили Project BrainWave - новую платформу для ускорения вычислений, связанных с глубоким обучением нейронных сетей, — и с общей целью создания AI-решений реального времени. Сама система построена на базе промышленно доступных FPGA, которые хотя и проектируются программно, представляют собой специализированные чипсеты - DPU (DNN Processing Unit). Такие модули, фактически играют роль "железячных" микросервисов, будучи подключенными напрямую в сеть дата-центра. С программной точки зрения такие платы поддерживают уже как Microsof Cognitive Toolkit (CNTK), так и TensorFlow от Google. В статье по ссылке ниже вставлена большая презентация с подробностями. https://www.microsoft.com/en-us/research/blog/microsoft-unveils-project-brainwave/ #ai #hardware #fpga #dpu