Чек-лист юного трансформатора. v0.1

Коррекции по содержанию списка принимаются тут: https://github.com/kichinsky/digital-transformation ))

Сегодня говорим про мозг. Wired пишет об исследовании команды ученых из Университета Пенсильвании по "взлому мозга". Они натравили один черный ящик (нейронные сети) на другой (мозг человека). В работе команда работала с 25 пациентами с эпилепсией, в головы которых уже вмонтированы электроды для мониторинга активности мозга. Первым делом, наблюдая за показаниями от снимаемых сигналов, ученые пытались предсказать, какое из предлагаемых слов человек скорее всего запомнит. В результате получилось "понимание", как выглядит мозговая активность, когда мозг запоминает новое слово. Вторым этапом, ученые попытались стимулировать запоминание, подавая соответствующие микроиспульсы в процессе обучения. В результате запоминаемость улучшилась в среднем на 15%. С помощью сеточки, получилось находить правильный интервал времени, когда мозг лучше всего подходит для обучения.

Такой вот тру-био-хакинг. Конечно, это только начало, потому что даже для ученых пока не очень понятно, как именно это все работает. Команда надеется, что с улучшением разрешения и числа электродов и накоплением новых данных, получится улучшить модель и научиться лучше ее интерпретировать. https://www.wired.com/story/ml-brain-boost/ #ai #mind #hacking #human

В продолжение темы "взлома мозга". SingularityHub пишет про два новых исследования в нише создания нейроморфных чипсетов. Первое - о борьбе с непредсказуемостью в искусственных синапсах ("отростках" нейронов, проводящих и хранящих информацию). Второе - о повышении вычислительных возможностях через наполнение синапсов нанокластерами супермагнитных материалов для ускорения кодирования информации.

Цель всех эти исследований: создать нейроморфный чип, то есть кастомную железку, которая "повторяет" поведение мозга на аппаратном уровне. В таком чипе каждый синапс собирает и объединяет небольшие объемы информации из множества источников и сигнализирует об этом только при преодолении определенного порога (по аналогии с биологической системой).

Чипы, существующие сегодня, в большинстве своем представляют металлические сендвичи, симулирующие поведение небольшого числа нейронов. Правда, они оказываются не очень предсказуемыми, так как направить ионы точно в нужные места не получается из-за множества физических дефектов. Другими словами, на одних и тех же данных, плата может показывать разные результаты.

В первой работе описывается методика использования кремния и сплавов кремния-германия при создании таких чипсетов. Это позволило снизить разброс в "ответах" до 4% процентов.

Вторая работа рассказывает о применении нанокластеров намагниченного марганца, которыми можно управлять с помощью магнитных полней. Это позволило повысить предсказуемость течения ионов и также кодировать информацию не только через электронный вход, но и через направление магниного поля. (И, кажется, это может работать быстрее биологических нейронов.)

Звучит оптимистично, но... конечно, пока есть большое "но". Это условия эксплуатации и низках масштабируемость. https://singularityhub.com/2018/02/07/brain-like-chips-now-beat-human-brain-in-speed-and-efficiency #ai #brain #neuromorphic #chip #hardware

Всех с пятницей. У нас она сегодня будет квантовой. Начнем с конференции Quantum Technology Conference, которую делают наши коллеги из SmileExpo в начале марта.

Слово организаторам:

"Мы вытащили из Канады Александра Львовского, профессора университета Калгари, руководителя исследовательской группы по квантовой оптике и по совместительству научного советника Российского квантового центра. Александр расскажет о текущем состоянии дел в индустрии, и во время конференции его можно будет попытать своими вопросами про квантовую физику, науку в Канаде и России и даже обсудить открытые позиции в его исследовательской группе.

Также к нам приедет Григорий Гольцман – первый российскый ученый, награжденный премией Совета Международного института электроники и электротехники за вклад в прикладную сверхпроводимость. Также он является учредителем и научным консультантом компаний "Сконтел" и "Тинфотоника" (их разработками пользуются военные и исследовательские институты по всему миру). С профессором Гольцманом можно будет обсудить как его бизнес-опыт (люди, гранты, создание компании), так и задать вопросы про квантовые оптические интегральные схемы. Студентам-физикам Григорий проведёт профориентацию и расскажет о вакансиях в своей команде.

Дискуссионная панель на тему квантовых коммуникаций будет интересна представителям ЦОД, IT компаний, телекомов и госструктур. Минобрнауки выдало грант 160 млн руб., чтобы создать систему управления дата-центром с помощью квантовых технологий. АО "Смартс" и университет ИТМО к концу 2018 г. планируют выпустить опытный образец. Цель проекта - новые стандарты безопасности и скорости, конкурентноспособность отечественных компаний на мировых рынках. На конференции рабочие группы ИТМО, "СейфНет", компании "Смартс", "Квантовые коммуникации" поделятся опытом и расскажут о результатах. Ну а вы сможете узнать о новых услугах и принять решение, нужно ли вам занимать эту нишу на рынке.

Подробности, билеты и т.п.: https://goo.gl/L2QBVL

p.s. Публикация бесплатная, если вы делаете классные мероприятия или проекты и хотите, чтобы я о них написал, не стесняйтесь. :)

Продолжаем! Мой коллега, Стас Павлов, технический евангелист Microsoft (поговаривают, что в прошлом он имеел отношение к ядерной физике), запустил новый канал в Telegram, посвященный именно квантовым вычислениям. Не стесняйтесь шарить и подписываться. #quantum #computing https://teleg.eu/qubit_daily

Третье, Anita Romanan из Microsoft UK, написала вводную статью про квантовые вычисления. В частности, Анита делится требованиями к "масштабируемому квантовому компьютеру", предложенными в 2008 году Давидом ДиВинсензо, которые хорошо держать в голове, когда вам в новостях рассказывают об очередном прорыве той или иной компании или группы исследователей:
1. Физическая система должна быть масштабируема, кубиты должны быть хорошо изучены
2. Мы должны иметь возможность повторяемо привести кубиты в простое начальное состояние (например, |000...>)
3. Система должна жить достаточно долго для выполнения операций на кубитах
4. Мы должны иметь возможность реализации "универсального набора" гейтов, используя систему
5. Измерение отдельных кубитов должно быть возможным

https://blogs.msdn.microsoft.com/uk_faculty_connection/2018/02/06/introduction-to-quantum-computing/ #quantum #computing

Сегодня начнем с футуризма. Помните разные картинки из прошлого века, в которых пытались предсказать 21 век? Там где машинки летают по воздуху или пассажиры все в индивидуальных капсулах и т.п. Digital-агентство AQKA по следам всемирного экономического форума решило пофантазировать на тему профессий будущего и, в частности, некоторых некоторых новых профессий, которые реинкарнируются через автоматизацию. https://www.technologyreview.com/s/610155/artists-envisioned-the-future-of-work-and-the-results-are-pure-fantasy/ #future

Вторая новость, которая кажется фантастической, особенно, когда смотришь на видео применение AR для ориентации в заросшем лесу, как в каком-то голливудском кино, но все правда. Команда археологов, занимающаяся культурой индейцев майя, просканировала массив леса с помощью лидаров и нашла около 60000 скрытых каменных структур — "мегаполис маайяского короля змей". Причем, как говорят сами исследователи, мимо некоторых из них они годами ходили, не замечая. Огромный прорыв: как с точки зрения технологий - в результате сканирования получился самый крупный массив данных, сделанный лидаром, так и с точки зрения истории - по оценкам население мегаполиса в 250-900 гг. было больше, чем в средневековой Англии. https://www.fastcodesign.com/90159465/a-lost-city-of-the-mayan-snake-kings-has-been-discovered #history #technology #ar

Где-то в конце декабря я писал о направлениях в развитии AR/MR/VR. Одна из тем была про образование и, в частности, перенос музейного опыта из самих музеев и хранилищ в дома простых смертных и учебные классы. Пока наши музеи колдуют над QR-кодами в своих коридорах и экспонатах (я-то надеюсь, что я просто не знаю о грандиозных проектах, которые они запланировали и скоро нам покажут), BBC запартнерился с 30+ музеями в UK, чтобы сделать часть экспонатов доступных для исследования с уютных диванчиков в домашней обстановке. Запуск AR-опыта приурочен к запуску новой культурной серии документалок - "Цивилизации" (весна, 2018). https://www.vrfocus.com/2018/02/bbc-to-launch-augmented-reality-app-civilisations-ar/

p.s. Статья, упомянутая в начале - https://outofline.ru/5-важных-направлений-в-развитии-ar-mr-vr-и-прочих-реальностей-b702758ee104.
p.p.s. Самое смешное в этом, что именно на примере мумии дома (это просто самое очевидное) я рассказывал на конференции, почему это все важно и правильно.

Продолжаем тему с AI на мобильных устройства. ARM объявила о новом дизайне процессоров, заточенных под задачи ML и OD (Object Detection). Как обычно, речь идет о лицензировании архитектуры для других компаний вроде Broadcom или Apple.

В целом новость интересна в двух аспектах: 1) возможно, это приведет к массовому проникновению технологии (но не факт, что быстро: сейчас процессоры, заточенные под AI, пихают только в дорогие модели смартфонов, взять тот же Kirin 970 от Huawei) и 2) это происходит на фоне того, что многие чип-мейкеры, не дожидаясь ARM, начали делать свои собственные AI-сопроцессоры (тот же Qualcomm, например).

В любом случае, факт в том, что решение AI-задач на конечных умных железках будет дешеветь. https://www.theverge.com/2018/2/13/17007174/ai-chip-designs-arm-machine-learning-object-detection #ai #hardware

p.s. В довесок, вспомнил: в США, похоже, водители начинают осознавать прелесть видео-регистраторов (раньше они удивлялись, насмотревшись видео в Youtube, что в России их ставят на все, что умеет двигаться - от телеги до трактора). А это, очевидно, еще одна ниша для AI-технологий. Вот Scott Hanselman рассказывает про свой опыт: https://www.hanselman.com/blog/EveryoneShouldGetADashcam.aspx

Еще про AI. Точнее, так: вы можете помочь сделать .NET лучше для решения задач, связанных с AI. Если у вас есть 5 минут, пройдите, пожалуйста, опросник от .NET-команды: https://blogs.msdn.microsoft.com/dotnet/2018/02/13/machine-learning-in-net-help-us-build-the-right-experience/ #ai #survey

Наши коллеги совместно с аналитической компанией PSFK подготовили исследование по сценариям применения AI в ритейле. Циферки, стратегии, болевые точки и вот это все. Важно: отчет бизнесовый, не ждите там технических деталей. https://info.microsoft.com/FutureofRetailReport.html #ai #retail #future

Помните я недавно писал про нейроморфные чипсеты. Вот хорошое краткое описание про SNN (спайковые нейронные сети, они же импульсные), которые лежат в основе нейроморфных чипсетов. https://towardsdatascience.com/spiking-neural-networks-the-next-generation-of-machine-learning-84e167f4eb2b #ai #spiking #neural #networks

Немножко отстранненого от технологий (на первый взгляд) чтива про организацию рабочих мест. Adam Grant (автор Originals, Option B и Give and Take) рассказывает об общих чертах высокофункциональных организаций:

1. Такие организации "одержимы" помощью сотрудникам в развитии самосознания и осознания других. Вместо того, чтобы загонять сотрудников в рамки рабочих инструкций и норм, они инвестриуют в понимание сотрудниками собственных и чужих слабых и сильных сторон.
2. Большинство таких организаций оказываются более гибкими в смысле иерархии. Например, обычно вы ожидаете, что решение по встрече принимает человек с самой высокой должностью в компании, а тут разные люди отвечают за принятие разных решений. То есть не только "авторитетное" лицо.
3. В таких организациях слово "семья" слышишь намного чаще. Причем не в смысле именно классической "семейности", а в смысле чувства принадлежности к сообществу и заботы о других. "Кто-то прикроет мою спину, я могу поспорить с кем-то, но он все равно пойдет со мной перекусить."

https://medium.com/inc./best-selling-author-adam-grant-the-most-highly-functional-companies-have-these-3-traits-e0c953e4cd80

p.s. Интервью по ссылке выше появилось в преддверии запуска подкаста WorkLife на TED как раз про разные команды, рабочие места и т.п. (с 28 февраля, на английском - https://www.ted.com/read/ted-podcasts/worklife). Пишу в том числе для себя, чтобы не забыть. :)

И про применение машинного обучения в задачах борьбы с кибер-угрозами. Команда Windows Defender рассказывает, как боролись с новым трояном Emotet (и заодно, как устроена многослойная защита с применением ML-моделей на клиенте и в облаке). https://cloudblogs.microsoft.com/microsoftsecure/2018/02/14/how-artificial-intelligence-stopped-an-emotet-outbreak/ #ai #security #ml

Про специализированные чипы - пара новостей от MIT с разницей в один день (оба проекта, отмечу, аспирантские!):
1. Энерго-эффективное шифрование для интернета вещей. Шифрование в сетях общего пользование становится нормой, но обработка информации, в основном, делается на софтверном уровне. Это не очень хорошо подходит для задач IoT с повсеместными вычислениями, сенсорами в полях, зданиях и т.п., так как нужно экономить энергию, хотя шифровать информацию по-прежнему надо.

Исследователи MIT спроектировали новый специализированный чип для работы с публичными ключами на аппаратном уровне, потребляющий в 400 раз меньше энергии по сравнению с софтверной реализацией, в 10 раз меньше памяти и работающий в 500 раз быстрее. http://news.mit.edu/2018/energy-efficient-encryption-internet-of-things-0213

p.s. Тут нельзя не вспомнить анекдот про букву S (Security) в слове IoT. Дешевое шифрование для интернета вещей — это хорошо.

2. Энерго-эффективное вычисление алгоритмов на нейронных сетях. Второе исследование - в похожем русле, но с другим акцентом. Решаемая задача - сделать рассчет нейронных сетей достаточно эффективным, чтобы это можно было делать на мобильных устройствах, не опасаясь сожрать всю батарейку. (На всякий случай, ребята из MIT — не единственные, кто об этом думает. Я уже писал о подобных проектах от крупных компаний.)

Основная идея — сделать на аппаратном уровне распараллеленную операцию скалярного умножения векторов (фактически, операцию свертки, как основную в расчете тензоров), снижая тем самым перегон данных между памятью и процессором. В результате - существенное ускорение (в 5-7 раз) и снижение энергопотребления (на 94-95%).

http://news.mit.edu/2018/chip-neural-networks-battery-powered-devices-0214

#ai #crypto #chip #hardware #energy

О, как-то пропустил новость про Amazon. В общем, похоже (и это супер-логично), что Amazon тоже выходит на рынок кастомных AI-чипсетов, причем с фокусом на конечные устройства (Echo), чтобы улучшить качество и скорость работы голосового помощника (Alexa).

The Verge, отмечает, что это особенно интересно не только на фоне других игроков, которые этой темой уже занимаются в контексте конечных устройств (Apple, Google и т.п.), но и на фоне Intel и NVidea, которые явно делают одну из ставок на нишу AI, а в ней оказывается слишком много сильных игроков. https://www.theverge.com/2018/2/12/17004734/amazon-custom-alexa-echo-ai-chips-smart-speaker

#ai #chip #hardware

Немножко легкого выходного чтения про машинное обучение: Towards Data Science рассказывает, кто есть кто в мире ML. https://towardsdatascience.com/the-whos-who-of-machine-learning-and-why-you-should-know-them-9cefbbc84f07 #ai #ml #leaders

В продолжение темы важных людей в мире AI - наткнулся на подборку "25 инфлюенсеров в мире AI, которых стоит фоловить в триттере в 2018". https://www.disruptordaily.com/top-25-influencers-follow-twitter-2018/

Подумал, что фоловить всех по одному не очень удобно, поэтому вот вам готовый список, на который можно подписаться в твиттере. Я его слегка расширил :) https://twitter.com/quantumquintum/lists/ai-to-follow #ai #ml #leaders

Сегодня небольшая порция контента про работу с Audio на базе нейронных сетей:

1. Про генерацию музыки с помощью Azure ML. Erika Menezes рассказывает, как построить LSTM (Long Short-Term Memory) модель для генерации медиа-файлов и выстроить вокруг этого окружение для экспериментирования.

Текстовая статья: https://blogs.technet.microsoft.com/machinelearning/2017/12/06/music-generation-with-azure-machine-learning/

Видео #1 (про генерацию музыки и модель сети): https://channel9.msdn.com/Shows/AI-Show/Deep-Learning-for-Music-Generation

Видео #2 (про извлечение фич из midi-файла и создание midi-файлов из выхода модели): https://channel9.msdn.com/Shows/AI-Show/Deep-Learning-for-Music-Generation-The-Code

Исходный код: https://github.com/Azure/MachineLearning-MusicGeneration

#ai #ml #music #generation #azure