Немного воскресного чтива про ИИ и будущее вычислений от Azeem Azhar. Лежало в закладках с лета, наконец-то добрался прочитать целиком. Все на Medium под paywall, поэтому по ссылке краткий пересказ.

В статье Азим рассказывает, почему на рынке вычислений нас ждут большие изменения. Три ключевых тренда:
1. В целом, массовый рост спроса на вычислительные мощности
2. Расцвет облака и бум на оконечной стороне (edge).
3. Появление новых разновидностей чипсетов.

http://telegra.ph/II-i-budushchee-vychislenij-09-30

#ai #computing #hardware #chipsets #intelligent #edge #cloud

Оригинал:
Часть 1: https://medium.com/s/ai-and-the-future-of-computing/when-moores-law-met-ai-f572585da1b7
Часть 2: https://medium.com/s/ai-and-the-future-of-computing/back-to-the-edge-ai-will-force-distributed-intelligence-everywhere-6b458d7aae5d

Про кастомные чипсеты. Google также включается в гонку за кастомные чипсеты для обработки изображений (IPU, Image Processing Unit). Пока речь идет о Pixel Visual Core, чипсете для процессинга изображений в Pixel 2 и Pixel 2 XL с фокусом на ускорение обработки, HDR-съемку и т.п. Но пример Qualcomm и других производителей показывает и следующий шаг: специализированные чипсеты для помощи распознавания изображений, действий и т.п. https://www.theverge.com/2017/10/17/16487834/google-pixel-visual-core-ipu-custom-processor-chip #custom #hardware #image #vision #chipset

Про новый 845 чипсет от Qualcomm - обратите внимание на развитие возможностей для обработки изображений с явным фокусом на AR/MR/VR-сценарии: обработка глубины, трекинг рук и пространства, 3D-звук, голосовые команды и вот это все. https://www.slashgear.com/qualcomm-snapdragon-845-official-06511037/ #chipset #hardware #ar #mr #vr

В продолжение темы "взлома мозга". SingularityHub пишет про два новых исследования в нише создания нейроморфных чипсетов. Первое - о борьбе с непредсказуемостью в искусственных синапсах ("отростках" нейронов, проводящих и хранящих информацию). Второе - о повышении вычислительных возможностях через наполнение синапсов нанокластерами супермагнитных материалов для ускорения кодирования информации.

Цель всех эти исследований: создать нейроморфный чип, то есть кастомную железку, которая "повторяет" поведение мозга на аппаратном уровне. В таком чипе каждый синапс собирает и объединяет небольшие объемы информации из множества источников и сигнализирует об этом только при преодолении определенного порога (по аналогии с биологической системой).

Чипы, существующие сегодня, в большинстве своем представляют металлические сендвичи, симулирующие поведение небольшого числа нейронов. Правда, они оказываются не очень предсказуемыми, так как направить ионы точно в нужные места не получается из-за множества физических дефектов. Другими словами, на одних и тех же данных, плата может показывать разные результаты.

В первой работе описывается методика использования кремния и сплавов кремния-германия при создании таких чипсетов. Это позволило снизить разброс в "ответах" до 4% процентов.

Вторая работа рассказывает о применении нанокластеров намагниченного марганца, которыми можно управлять с помощью магнитных полней. Это позволило повысить предсказуемость течения ионов и также кодировать информацию не только через электронный вход, но и через направление магниного поля. (И, кажется, это может работать быстрее биологических нейронов.)

Звучит оптимистично, но... конечно, пока есть большое "но". Это условия эксплуатации и низках масштабируемость. https://singularityhub.com/2018/02/07/brain-like-chips-now-beat-human-brain-in-speed-and-efficiency #ai #brain #neuromorphic #chip #hardware

Продолжаем тему с AI на мобильных устройства. ARM объявила о новом дизайне процессоров, заточенных под задачи ML и OD (Object Detection). Как обычно, речь идет о лицензировании архитектуры для других компаний вроде Broadcom или Apple.

В целом новость интересна в двух аспектах: 1) возможно, это приведет к массовому проникновению технологии (но не факт, что быстро: сейчас процессоры, заточенные под AI, пихают только в дорогие модели смартфонов, взять тот же Kirin 970 от Huawei) и 2) это происходит на фоне того, что многие чип-мейкеры, не дожидаясь ARM, начали делать свои собственные AI-сопроцессоры (тот же Qualcomm, например).

В любом случае, факт в том, что решение AI-задач на конечных умных железках будет дешеветь. https://www.theverge.com/2018/2/13/17007174/ai-chip-designs-arm-machine-learning-object-detection #ai #hardware

p.s. В довесок, вспомнил: в США, похоже, водители начинают осознавать прелесть видео-регистраторов (раньше они удивлялись, насмотревшись видео в Youtube, что в России их ставят на все, что умеет двигаться - от телеги до трактора). А это, очевидно, еще одна ниша для AI-технологий. Вот Scott Hanselman рассказывает про свой опыт: https://www.hanselman.com/blog/EveryoneShouldGetADashcam.aspx

Про специализированные чипы - пара новостей от MIT с разницей в один день (оба проекта, отмечу, аспирантские!):
1. Энерго-эффективное шифрование для интернета вещей. Шифрование в сетях общего пользование становится нормой, но обработка информации, в основном, делается на софтверном уровне. Это не очень хорошо подходит для задач IoT с повсеместными вычислениями, сенсорами в полях, зданиях и т.п., так как нужно экономить энергию, хотя шифровать информацию по-прежнему надо.

Исследователи MIT спроектировали новый специализированный чип для работы с публичными ключами на аппаратном уровне, потребляющий в 400 раз меньше энергии по сравнению с софтверной реализацией, в 10 раз меньше памяти и работающий в 500 раз быстрее. http://news.mit.edu/2018/energy-efficient-encryption-internet-of-things-0213

p.s. Тут нельзя не вспомнить анекдот про букву S (Security) в слове IoT. Дешевое шифрование для интернета вещей — это хорошо.

2. Энерго-эффективное вычисление алгоритмов на нейронных сетях. Второе исследование - в похожем русле, но с другим акцентом. Решаемая задача - сделать рассчет нейронных сетей достаточно эффективным, чтобы это можно было делать на мобильных устройствах, не опасаясь сожрать всю батарейку. (На всякий случай, ребята из MIT — не единственные, кто об этом думает. Я уже писал о подобных проектах от крупных компаний.)

Основная идея — сделать на аппаратном уровне распараллеленную операцию скалярного умножения векторов (фактически, операцию свертки, как основную в расчете тензоров), снижая тем самым перегон данных между памятью и процессором. В результате - существенное ускорение (в 5-7 раз) и снижение энергопотребления (на 94-95%).

http://news.mit.edu/2018/chip-neural-networks-battery-powered-devices-0214

#ai #crypto #chip #hardware #energy

О, как-то пропустил новость про Amazon. В общем, похоже (и это супер-логично), что Amazon тоже выходит на рынок кастомных AI-чипсетов, причем с фокусом на конечные устройства (Echo), чтобы улучшить качество и скорость работы голосового помощника (Alexa).

The Verge, отмечает, что это особенно интересно не только на фоне других игроков, которые этой темой уже занимаются в контексте конечных устройств (Apple, Google и т.п.), но и на фоне Intel и NVidea, которые явно делают одну из ставок на нишу AI, а в ней оказывается слишком много сильных игроков. https://www.theverge.com/2018/2/12/17004734/amazon-custom-alexa-echo-ai-chips-smart-speaker

#ai #chip #hardware

Bloomberg пишет о планах Facebook наладить разработку собственных чипсетов. Хотя потенциальные направления применения понятны (и это все спекулятивно): от VR-шлемов до специализированных AI-чипсетов для собственных дата-центров, интересно другое!

Это своего рода публичный инсайт, то есть информация, лежащая на поверхности, если знать где искать. Журналисты и, уверен, конкуренты давно научились мониторить как разделы вакансий на сайтах крупных технологических компаний, так и объявления о поиске сотрудников в социальных сетях. На этот раз ребята из Facebook просто написали, что ищут менеджера для "end-to-end SoC/ASIC, firmware and driver development organization". SoC/ASIC — это и есть специализиронный чипсет.

https://www.bloomberg.com/news/articles/2018-04-18/facebook-is-forming-a-team-to-design-its-own-chips #ai #hardware #insight

Про обучение нейронных сетей и аппаратные решения. Группа исследователей из IBM Research продемонстрировала, что нейронные сети можно обучать целиком в пямяти на базе PCM-устройств (около 1 млн ячеек).

PCM (Phase-change memory) - это тип памяти с изменением фазового состояния, который IBM и ряд других компаний уже много лет разрабатывают, пытась создать энерогонезависимый носитель памяти, в котором данные хранятся за счет изменения фазового состояния материала.

В ходе работы команда обучила пару алгоритмов машинного обучения без учителя, которые успешно выявили временные корреляции в неизвестных ему потоках данных. Конкретный алгоритм тут играет малое значение, потому что фокус работы — на ускорении и снижении энергозатрат. Полученное решение показало примерно 200-кратное улучшение по сравнению с классическими компьютерами.

Почему это круто?
1. Фактически речь идет не просто об еще одном носителе памяти, а о весьма специфичной вычислительной модели, отличающейся от классической фон-Неймановской — "accumulation-based computation". PCM-устройства позволяют работать не просто с 0 и 1, но и промежуточными состояниями (кристаллизации), отсюда возникают накопительные эффекты, которые в свою очередь можно использовать для вычислительных задач.
2. Ранее IBM демонстрировала применимость PCM-устройств для организации "нейроморфных вычислений", в которых на уровне железа пытаются смоделировать работу реальных нервных сетей. Тонкость в том, что живые нейроны как раз реализуют в себе обе функции - хранения информации и вычисления, в то время как классическая компьютерная модель разделяет их в отдельные блоки.
3. Когда (или если) это все дойдет до промышленных масштабов, мы получим устройства, способные обучаться существенно быстрее и с меньшим потреблением энергии. Это все капает на мельницу переноса интеллектуальности на конечные устройства все меньшего и меньшего размера.

Анонс: https://www.ibm.com/blogs/research/2017/10/ibm-scientists-demonstrate-memory-computing-1-million-devices-applications-ai

Подробности: https://www.nature.com/articles/s41467-017-01481-9

#ai #inmemory #computing #hardware #pcm

Обожаю такие истории. Казалось бы, в электронике уже изобрели все базовые элементы для микросхем (это сильное упрощение!), и в целом вся индустрия нацелена уже на одну цель: придуманное уменьшить, повысить эффективность, пересобрать в другой конфигурации и т.п., но никому в голову не приходит, что надо что-то радикальное сделать с транзисторами, скажем. Потому что не понятно, а что именно.

Потом вдруг кто-то (в данном случае Sungsik Lee из Pusan National University в Южной Корее) проводит исследование, причем скорее даже математическое моделирование, и находит пробел в условной матрице. В упрощенном виде, транзистор можно назвать переключателем силы тока (on/off), который под воздействием управляющего сигнала (тока или напряжения), либо пропускает основной сигнал, либо нет.

Сангсик задает вопрос: а что является аналогом для переключения напряжения? И готового ответа, оказывается, нет. Но ясно, что подобное устройство является своего рода комбинацией переноса воздействия через конденсатор, поэтому он предлагает назвать его trancitor (transfer + capacitor, условно, трансатор), и, в некотором смысле, его можно назвать инверсией транзистора.

Далее он описывает (теоретически) возможные свойства такого устройства и, как оно вписывается в сущестующие микросхемы (на уровне логики). Вписывается замечательно, потому что позволяет существенно снизить количество участвующих устройств (в работе приводится пример замены схемы из четырех транзисторов на транзистор + трансатор), повысить энергоэффективность схемы и, как следствие, продолжить миниатюризацию электроники.

Есть только одна проблема: сделать такое устройство. Сам автор исследования предлагает начать с использования эффекта Холла, однако, для этого надо научиться проектировать электронику на субатомном уровне. Это задача на несколько лет вперед. В общем, кажется, закон Мура будет еще долго жить.

https://www.technologyreview.com/s/611184/another-missing-component-could-revolutionize-electronics/ #hardware #electronics

Сама работа: https://arxiv.org/ftp/arxiv/papers/1805/1805.05842.pdf

Интересно наблюдать, как Китай (или точнее китайские компании) отстраивают шаг за шагом независимую от США AI-экосистему - свои сервисы, свои фреймворки, и свои чипсеты теперь.

—

Список компаний, выпускающих кастомные AI-чипсеты пополнился Baidu. Новый процессор Kunlun базируется на FPGA, подходит для использования как в дата-центрах, так и на конечных устройствах (хотя компания пока не готова к массовому производству).

Аналогично другим поисковым компаниями, Baidu ориентируется прежде всего на сценарии ранжирования, а также на интеграцию с собственным фреймворком для машинного обучения PaddlePaddle.

https://www.zdnet.com/article/baidu-creates-kunlun-silicon-for-ai/

#ai #hardware #chipset

Продолжаем тему "вот еще одна крупная компания, которая делает кастомные AI-чипсеты". На этот раз очередь дошла до Tesla. Компания планирует в течение года начать переходить на собственное железо для обсчета нейронных сетей. Какими бы прекрасными не были видео-карты Nvidia, Илон обещает, что переход к реальному вычислению нейронок "в металле" должен дать порядковый прирост в вычислительной мощности.

Интересная деталь: компания шла к этому 2-3 года, постепенно формируя детальное понимание, как их нейронные сети будут эволюционировать в будущем. Тонкость ситуации в том, что обновить железо на машине гораздо сложнее, чем софт. Поэтому, если GPU, фактически, выступало как обобщенное всеядное железо, то в случае с кастомными AI-чипами обычно речь идет о достаточно жесткой заточке под конкретную структуру сети, точнее необходимые для ее исполнения вычислительные блоки.

https://techcrunch.com/2018/08/01/tesla-is-building-its-own-ai-chips-for-self-driving-cars/ #ai #hardware