NVidia продолжает тему с чипсетами, заточенными под специфичные задачи. Платформа Jetson TX2 ориентирована на работу в дронах, роботах, умных камерах и прочих встраиваемых системах. Плата заточена под AI-сценарии, связанные с обработкой аудио/видео, распознаванием объектов и речи, принятие решений по навигации и т.п. https://www.engadget.com/2017/03/07/nvidia-launches-jetson-tx2-platform-for-drones-and-robots/ #ai #drones #robots #nvidia #chipset

На тему чипсетов - добротная статья в WIRED о том, как перекраивается рынок чипсетов по мере того, как специфичные сценарии становятся все более и более востребованными. Мы долго жили в мире с обычными CPU/GPU, но вот сначала пошла огромная волна мобильных ARM-чипсетов, сейчас набирает обороты история с железом, заточенным под AI-сценарии (от FPGA до TPU от Google для работы с TensorFlow). И вот по мере развития технологий VR/MR начинает прорисовываться запрос на новое поколение чипсетов, заточенных под обработку данных и генерацию изображения именно под VR-сценарии, в идеале в "отвязанном" опыте. И есть большая гипотеза, что это не классические GPU (например, в Hololens есть специальный HPU для обработки пространственных данных). https://www.wired.com/2017/04/chip-revolution-will-bring-better-vr-sooner-think/ #chipset #ai #ml #vr #mr #future

Еще один кусочек мозаики (пока заглядывая за горизонт): ARM около года назад озаботилась собственным дизайном для чипсетов по обработке изображений (ISP) и, кажется, настало время выпуска первого референсного дизайна - Mali-C71. В текущей итерации это весь фарш обработки сырой информации с камеры и улучшения изображения. А вот дальше, вспоминая планы Facebook и, наверняка, Apple сделать из камеры телефона массовое устройство дополненной реальности, не удивлюсь, если и ARM уже копает в этом направлении. http://www.theverge.com/2017/4/27/15449146/arm-mali-c71-isp-mobile-photography
#ar #isp #custom #chipset

The Verge пишет о том, что все больше и больше производителей втягивается в гонку AI с собственными чипсетами. Стратегия может отличаться, например, Qualcomm выпускает новый SDK - Neural Processing Engine, позволяющий ускорить решение некоторых задач (в частности, обработку изображений) и поддерживает популятные фреймворки (Caffe, Caffe2, TensorFlow) — все на уже существующих чипсетах. Один из первых клиентов - Facebook, ускоряющая с помощью NPE работу AR-фильтров в своих мобильных приложениях. https://www.theverge.com/2017/7/25/16024540/ai-mobile-chips-qualcomm-neural-processing-engine-sdk #ai #chipset #hardware

Про кастомные чипсеты. Google также включается в гонку за кастомные чипсеты для обработки изображений (IPU, Image Processing Unit). Пока речь идет о Pixel Visual Core, чипсете для процессинга изображений в Pixel 2 и Pixel 2 XL с фокусом на ускорение обработки, HDR-съемку и т.п. Но пример Qualcomm и других производителей показывает и следующий шаг: специализированные чипсеты для помощи распознавания изображений, действий и т.п. https://www.theverge.com/2017/10/17/16487834/google-pixel-visual-core-ipu-custom-processor-chip #custom #hardware #image #vision #chipset

Про новый 845 чипсет от Qualcomm - обратите внимание на развитие возможностей для обработки изображений с явным фокусом на AR/MR/VR-сценарии: обработка глубины, трекинг рук и пространства, 3D-звук, голосовые команды и вот это все. https://www.slashgear.com/qualcomm-snapdragon-845-official-06511037/ #chipset #hardware #ar #mr #vr

Интересно наблюдать, как Китай (или точнее китайские компании) отстраивают шаг за шагом независимую от США AI-экосистему - свои сервисы, свои фреймворки, и свои чипсеты теперь.

—

Список компаний, выпускающих кастомные AI-чипсеты пополнился Baidu. Новый процессор Kunlun базируется на FPGA, подходит для использования как в дата-центрах, так и на конечных устройствах (хотя компания пока не готова к массовому производству).

Аналогично другим поисковым компаниями, Baidu ориентируется прежде всего на сценарии ранжирования, а также на интеграцию с собственным фреймворком для машинного обучения PaddlePaddle.

https://www.zdnet.com/article/baidu-creates-kunlun-silicon-for-ai/

#ai #hardware #chipset