Вчера прошел виртуальный Windows Developer Day и один из ключевых анонсов посвящен теме искусственного интеллекта, точнее новой платформе Windows ML, предоставляющей разработчикам использовать предобученные модели внутри своих приложений.

Важные моменты: аппартное ускорение с использованием возможностей DirectX (GPU) и локальное выполнение (то есть тот самый "intelligent edge"). Для обработки медиа-контента и сценариев машинного зрения появляются дополнительные возможности предобработки кадров.

Предобученные модели "скармливаются" в ONNX-формате, который мы разрабатываем вместе с остальными участниками рынка, чтобы обеспечить совместимость между разными фреймворками.

Анонс: https://blogs.windows.com/buildingapps/2018/03/07/ai-platform-windows-developers
Документация: https://docs.microsoft.com/en-us/windows/uwp/machine-learning/overview
ONNX-формат: https://onnx.ai

#ai #intelligent #edge #windows

Мы тут периодически с разными компаниями (и даже иногда без них) проводим тематичные воркшопы про цифровую трансформацию. Про сам воркшоп, я расскажу отдельно в обозримом будущем, а вот про один из результатов расскажу сейчас.

Одна из задач воркшопа прочертить дорожную карту на несколько лет вперед с фокусом на новые цифровые платформы или сквозные технологии (согласен, звучит слегка абстрактно, если без конкретики). Мы рассматриваем самые разные сценарии, условно, от смены фурмы в доменной печи до заказа бургеров в терминале фастфуда. Но некоторые темы (или направления) повторяются из раза в раз, независимо от сценария. Одна из таких тем — это понимание о неизбежности появления "цифровых двойников" (digital twins).

Если по-простому, то цифровой двойник — это цифровая модель происходящего процесса или объекта, обновляемая в реальном времени на основании собираемой телеметрии.

Например, если у вас стрессовые и травмоопасные условия труда, то цифровой двойник сотрудника, в одном из своих проявлений, — это оцифрованный срез работы физиологических систем, состояния сознания и т. п., он также может включать компетенции, историю работы (от микро-взаимодействий вроде "как сильно он обычно бьет молотком" до социальных аспектов) и много чего еще. И вот такая система будет способна сигнализировать, анализировать, предотвращать, прогнозировать и т.п. поведение и состояние человека в заданных условиях (например, в цехе при выполнении конкретной задачи).

В разрезе темы Индустрии 4.0 (она же промышленная революция 4.0), тему цифровых двойников "рисуют" теперь абсолютно везде. Например, если вы производите грузовики, то вам нужна его цифровая модель, причем ее нужно закладывать уже на этапе проектирования. Если у вас нефтеперерабатывающий завод, то у вас будет цифровой двойник как самого завода, так и отдельных его состовляющих. Если у вас поле кукурузы, то будет цифровой двойник поля кукурузы, в котором каждый росток будет иметь свое отображение, которое в свою очередь будет влиять на параметры полива, индивидуального вноса удобрение и т. п.

Большая-большая тема, в общем. Причем, что интересно, сама реализация таких "двойников" в контексте тех или иных сценариев или индустрий будет выливаться в самостоятельные цифровые платформы. Условно, в случае завода это "операционная система завода", а в случае поля "операционная система поля". И вот тут неожиданный поворот: по объему рынка каждая из них будет сопоставима с текущими большими цифровыми платформами (ОС, mobile, messengers, etc.). (Это мой прогноз, если что.) Сложность создания тоже сопоставима. :)

Подробнее и со схемами довольно хорошо эта тема раскрыта в прошлогодней статье Deloitte: https://www2.deloitte.com/insights/us/en/focus/industry-4-0/digital-twin-technology-smart-factory.html

#digital #transformation #twins

Всех с началом бодрой недели, сегодня говорим про MR/VR.

Начнем с управления. Как-то Алекс Кипман, рассказывая, что случилось с Kinect, привел такую историю: когда создавалась его первая версия, команда в голове уже держала мысль о чем-то, что впоследствии стали называть Mixed Reality — смеси физического и цифрового миров в едином представлении.

И вот возникает вопрос: где на этом пути Kinect и как вообще построить полноценный MR? Тут Алекс рисует журналисту простую схему: вот поле 3x3 клеток. По вертикали: что мы хотим распознавать - тело и движение рук, пространство вокруг и отдельные объекты. Каждая следующая задача, условно, в 10 раз сложнее предыдущей. По горизонтали: как мы взаимодействуем при этом - просто видим (через камеру), накладываем изображения, получаем отдачу от взаимодействия (haptic experience) с цифровыми объектами. Аналогично каждая следующая задача на порядок сложнее.

Вот теперь, если вы нарисуете это по осям, получится, что блок 1x1 — это кинект. Проходит еще почти 10 лет, первая версия Kinect фактически уменьшается до размера плашки в iPhone X, а мы, благодаря прогрессу технологий наблюдаем следующий блок 2x2 — это Hololens.

Вот теперь большой вопрос, с одной стороны, с распознаванием разнообразных объектов (сейчас основной акцент делается на системы машинного зрения), а с другой, с физическим взаимодействием с цифровыми объектами.

В связи с последним: вот подборка исследований Microsoft Research на тему взаимодействия с виртуальным. https://www.microsoft.com/en-us/research/blog/touching-virtual-microsoft-research-making-virtual-reality-tangible #mr #vr #haptic #experience

Продолжаем. Пара подборок тематичных кейсов в AR/MR/VR:

Первая - про кейсы в медицине: от поддержки хирургических операций до визуализации УЗИ-снимков в 3D. https://blogs.windows.com/windowsexperience/2018/03/08/how-mixed-reality-is-changing-the-game-for-healthcare-from-performing-live-surgeries-to-delivering-ultrasounds-in-3d #medicine #vr #mr

Вторая - про кейсы в образовании: от классических дополненных учебников до интерактивных стенок в спортзале.

https://medium.com/inborn-experience/usage-of-augmented-reality-in-education-be783e0159a #education #ar

Учебного в ленту: Tess Ferrandez прошла на Coursera знаменитый курс лекций Andrew Ng по глубокому обучению и сделала очень классный визуальный конспект https://www.slideshare.net/TessFerrandez/notes-from-coursera-deep-learning-courses-by-andrew-ng #ai #deep #learning

p.s. Речь об этом курсе: https://www.deeplearning.ai/

Интересная новость из мира дополненной реальности. Bose также входит на этот рынок, выпуская очки дополненной реальности. Но! Это не то, о чем большинство могло бы подумать, вспоминая Google Glass и другие похожие проекты. Bose специализируется на аудио, поэтому это очки для дополненной звуковой реальности.

Интересно также, что очки — это просто прототип реализации, а сама компания целится в платформенную историю с амбицией сделать именно Audio AR платформу. Помимо работы с аудио-информацией платформа также учитывает сигналы от сенсоров движения головы (например, для управления жестами) и работает с локационными сервисами подключенного смартфона (например, данными GPD). Желающие могут подать заявку на ранний доступ к SDK для Bose AR.

https://www.theverge.com/circuitbreaker/2018/3/9/17100410/bose-ar-platform-audio-augmented-reality-glasses-headphones-sxsw #audio #AR #platform

Еще один интересный вариант наложения реальностей, теперь из игровой индустрии. Honda для продвижения последней модели из серии Civic решила устроить соревнование между профессиональным водителем и профессиональным игроком и стриммером в Forza, на одной и той же трассе и на "одной и той же" машине. Интересен сетап: сначала трассу проехал ютюбер, после чего цифровой профиль его заезда проецировался на лобовое стекло реальной машины с учетом ее текущего местоположения. Фактически реальный водитель мог видеть "призрак" своего конкурента.

Пока это просто рекламная история, но, возможно, в будущем мы увидим что-то подобное, например, в тренинговых центрах обучения вождению или на тренировках профессиональных гонщиков. https://vrscout.com/news/honda-mixed-reality-race-pro-driver-youtuber/ #mr #mixed #reality #moto #auto

The Code Name Project

Как-то давным давно мы с Машей Юневой и Стасом Павловым решили сделать свою игру к интенсиву по DevOps на DevCon'2016. И сделали.
Так появилась первая версия карточной игры "The Code Name Project". У меня много людей спрашивало, где купить, где заказать, а не завалялось ли у нас еще. Какое-то количество завалялось на складе, мы то и дело что-то находили. Но вот все. На днях раздаю последние пачки.

Потом мы решили сделать новогоднюю версию и год назад вышло специальное издание с картой, фишечками, Дедом Морозом и оленями. Та версия совсем быстро разошлась, а нас снова спрашивали, где купить, где заказать и не завалялось ли еще. Тут совсем не завалялось, но мы много раз думали, а что это мы никак не выложим исходники.

В общем, я собрался, поискал по своим архивам и выложил то, что кажется приемлемым для самостоятельной печати.

Качать все здесь: https://github.com/kichinsky/codename

P.S. Наверное, нам надо написать чуть более подробную инструкцию или видео-ролик, как играть?

Если вы занимаетесь анализом гео-данных и, в частности, чем-то близким к анализу карт, аэросъемки и т.п., то вам будет интересна наша следующая новость.

В дополнение к базовой Data Science VM в Azure совместно с компанией Esri (поэтому вы можете ожидать взаимодействие с ArcGIS Pro) мы сделали новую версию виртуалки — Geo AI DSVM, заточенную под анализ пространственных и гео-данных.

В качестве примера и учебного пособия коллеги выложили jupiter-ноутбук для задачи классификации зон на аэроснимках. #ai #ml #geo

Статья: https://blogs.technet.microsoft.com/machinelearning/2018/03/12/pixel-level-land-cover-classification-using-the-geo-ai-data-science-virtual-machine-and-batch-ai/
Исходники примера: https://github.com/Azure/pixel_level_land_classification
Geo AI DSVM: https://azuremarketplace.microsoft.com/en-us/marketplace/apps/microsoft-ads.geodsvm

StackOverflow выпустил очередное исследование по аудитории разработчиков. Помимо прочих интересностей, отмечу блок про технологии и общество, во многом посвященный реакции на AI.

1. 40% радуется, что AI увеличивает автоматизацию работы, только 20% находит это опасным. Наоборот, около 28% и 28% опасаются, что алгоритмы, соответственно, принимают важные решения и могут превосходить человеческий интеллект, и по 23% этому рады.
2. При этом 48% считает, что разработчики или создатели AI ответственны за его последствия. Около 28% готовы переложить ответственность на государство и регуляторов.
3. В целом 73% сильнее воодушевлены возможностями, нежели опасаются последствий.
4. Дизайнеры и мобильные разработчики боятся наступления сингулярности. Дата-сайнтисты, исследователи, девопс-специалисты и менеджены инженеров и продуктов существенно сильнее боятся нечестных алгоритмов.

https://insights.stackoverflow.com/survey/2018 #ai #developers #concerns

Не новость, скорее организационный анонс: я решил делать подборки новостей из канала в виде дайджестов в Facebook и Yandex.Zen. Подписаться на них можно тут:
— Facebook: https://www.facebook.com/QuantumQuintum/
— Yandex.Zen: https://zen.yandex.ru/id/59e7618b48c85e70ae8a8a08

К новостям. Помните я писал про анонс Windows ML? Под капотом этой платформы лежит новая версия DirectX 12. Поэтому, очевидно, что одно из фокусных направлений — это игры.

В статье ниже коллеги подробнее рассказывают о нескольких сценариях применения ML в игровой разработке (от адаптации окружения и поведения до улучшения качества изображений), а также делятся техническими деталями реализации в DirectX.

https://blogs.msdn.microsoft.com/directx/2018/03/19/gaming-with-windows-ml

Дополнительный контент в тему с GDC:
1. Using Artificial Intelligence to Enhance your Game (1 of 2) — введение в WinML и подробности реализации: http://schedule.gdconf.com/session/using-artificial-intelligence-to-enhance-your-game-1-of-2-presented-by-microsoft/856596
2. Using Artificial Intelligence to Enhance Your Game, Part 2 (NVIDIA) — оптимизация производительности для использования ML в играх: http://schedule.gdconf.com/session/using-artificial-intelligence-to-enhance-your-game-part-2-presented-by-nvidia/856314

Красивая история от Google про использование машинного обучения и TensorFlow для борьбы с незаконными вырубками лесов. Внутри: переделанный Android-телефон, подключенный к солнечным батареям и микрофонам, детектирующий звуки вырубки (характерный транспорт, бензопилы и т.п.). https://blog.google/topics/machine-learning/fight-against-illegal-deforestation-tensorflow/ #ai #ml #nature #protection

Несколько недель назад ARM представила свой дизайн чипсетов для AI (Project Trillium). Вместе с этим компания начала выкладывать много технических материалов по оптимизации решений под мобильные процессоры. https://pages.arm.com/machine-learning-artificial-intelligence-education-materials.html #ai #arm #mobile

На прошлой неделе в Техасе закончилась большая конференция SXSW. Lolita Taub делится в Hackermoon ключевыми выводами на тему криптовалют и блокчейна:
1. Мир без доверия: никто никому не верит. Когда спрашивают, зачем нужен блокчейн, один из популярных ответов — решить проблему отсутствия доверия (тут даже придумали термин trustlessness). Гипотеза в том, что прозрачные и распределенные системы могут создавать фундамент для доверия. Соответственно запрос на доверие заменяется запросом на верификацию.
2. Кейсы: финансы, цепочки поставки и здравоохранение. Если оставить за скобками внимание к "крипте", основное внимание к корпоративном сегменте приковано к этим трем областям.
3. В чем бизнес-ценность блокчейнов? Масса шуток про добавление слова "блокчейн" в название, анонсы и т. п. как способ роста стоимости активов. Как материализовать ценность от внедрения решения именно на блокчейне — все еще большой вопрос (хотя есть растущий список перспективных кейсов).
4. Оценка ценности "крипты". Много спекуляций на тему заработков на криптовалютах: от более стабильного средства инвестирования для развивающихся рынков (в том числе как способ формирования доходной части населения) до поиска новых направлений для инвестирования.
5. Почему интерес к блокчейну продолжает подогреваться? Ключевой ответ — FoMO (синдром упущенной выгоды). Компании боятся, что они останутся за бортом волны изменений, поэтому они вынуждены смотреть на блокчейн. Спасение в здравом смысле и критичном мышлении.
6. Разрастание "секты" блокчейна. Блокчейн сообщества, чтобы быть успешными, стремятся к объединению и сотрудничеству. Не удивительно, учитывая, что самая идея внедрения блокчейна предполагает координацию множества игроков.
7. Люди игнорируют блокчейн, потому что не понимают. Но хотят быть в деле. В большинстве случаев мы не готовы ответить на вопрос "может ли блокчейн решить вот эту проблему", особенно, если никто не понимает, что такое блокчейн. При этом все хотят узнать еще, подробнее, понять, как им быть в теме, чему учить, чему учиться и т.п.
8. Что случится с блокчейном, когда придут квантовые вычисления? Ответ: узнаем, когда придем в будущее с квантовым компьютером.
9. Опыт пользователя блокчейна ужасен. Все испытывали боль, заводя свой первый крипто-кошелек. Что делать? Нанять кого-то, кто понимаем в UX.
10. Взлет приватных блокчейнов. Публичные блокчейны не выгодны корпорациям, так как слишком дороги, хотя и находят свое место в стартапах и ICO.

https://hackernoon.com/sxsw-2018-10-crypto-blockchain-takeaways-d9c397b887e4 #blockchain #future

Пара около-фейсбучных статей про VR (не все же про приватность мусолить). Первая — от Екатерины Костюковой, VR-дизайнера в Facebook, про VR и FB Spaces как возможность оставаться на связи в любое время и любом месте.

Катя рассказывает личную историю эволюции коммуникаций в разорванной расстоянием семье: от дорогих телефонных международных звонков к первым видео-звонкам в Skype, когда стало возможным видеть друг друга, и к VR, как следующему шагу.

Хотя сегодня VR не является массовым продуктом (в масштабе "есть у каждого дома"), команда Facebook нацелена именно на такое будещее. С помощью FB Space вы сможете почувствовать, как будто вы находитесь в одной комнате вместе со своими друзьями, семьей и т. п. В основе такого опыта лежат люди.

Команда выделает 3 типа ощущения присутствия:
— Само-ощущение: "я чувствуют, что это именно я в VR"
— Социальное ощущение: "я чувствую, что я с другими людьми"
— Пространственное ощущение: "я чувствую, что я именно здесь"

Само-ощущение ставит множество вопросов по трансляции индивидуальности: от системы настройки аватаров до степени их реалистичности (оказывается, что излишняя реалистичность наоборот отпугивает). Социальное ощущение требует наличия узнаваемых черт (лица, поведения и т.п.), выражения социального контакта (жесты, взгляд, эмоции). Сегодня тут много аспектов, которые в силу технических ограничений приходится симулировать. Пространственное ощущение оказывается влияет на диалог (одно дело общаться внутри собора или храма, другое — в темном подвале). Текущее решение — нейтральное окружение с возможностью настроить его с помощью 360 фото или видео.

Другое направление поиска — это синхронные и асинхронные коммуникации. Если первое — это "просто" встречи в VR, когда все собрались в одно время. То второе — это отложенный эффект через селфи, видео и живые трансляции.

Еще одна тема: симметричность и ассиметричность связи. Симметричная связь — это когда все участники используют сопоставимые VR-устройства и получают схожий опыт. Но мы пока не тут. Поэтому возникает вопрос, как сделать ассиметричную коммуникацию, когда кто-то в шлеме, а кто-то, скажем, просто с камерой мобильного устройства или веб-камерой.

https://medium.com/facebook-design/how-vr-and-facebook-spaces-helps-us-stay-connected-anytime-anywhere-11b2732e0ed9 #vr #design #experience

Как и обещал, запускаем цикл обучающих материалов на русском языке.

Возможно, вы узнали о выпуске пакета средств квантовой разработки Quantum Development Kit и подумали, что это звучит безумно круто… а потом вспомнили, что про квантовую механику почти ничего не знаете. Но ничего страшного. Через 30 минут вы будете знать о кубитах, суперпозиции и квантовой запутанности достаточно, чтобы написать свою первую программу и, что более важно, неплохо понимать, что она делает.

https://habrahabr.ru/company/microsoft/blog/351622/

Коллеги начали публиковать на русском материалы по нашему Quantum Development Kit.

Вторая история, всплавшая в моей ленте, от Gabriel Valdivia из дизайн-команды JigSaw (дочка Alphabet). Статья, как ни странно, годичной давности, когда Габриель работал в Facebook. Соответственно, рассказ посвящен опыту проектирования FB для мобильного VR.

Миссия команды иммерсивного дизайна — помочь людям пережить моменты как будто они в них действительно участвовали. Все началось с возможности добавить и смотреть фото и видео в 360 просто в ленте пользователей (в том числе из мобильных приложений). Для еще большего погружения команда сделала приложение Facebook 360 (тогда для Savsung Gear VR).

Уроки:
— Контекст просмотра 360-контента существенно отличается в VR. С мобильными устройствами люди смотрят ленту по несколько раз в день. В VR это скорее более выборочные и длинные сессии. Люди обычно специально выделяют время для иммерсивного опыта.
— Хотя людям нравится смотреть 360-контент с мобильных устройств, взаимодействовать с ним, двигая телефоном, может быть неудобно. Особенно в публичных местах. Отсюда появилась сквозная интеграция с возможностью отложить контент на телефоне, чтобы потом посмотреть его в шлеме.
— Когда человек уже в шлеме, возникла вторая задача — помочь ему найти классный контент, который он обычно не находил сам. Отсюда появился отдельный поток Explore. Понравившийся контент можно фоловить, поэтому в VR фактически появляется отдельная лента, независимая от обычного опыта потребления.

5 дизайн-требований, направлявших проектирование приложения:
1. Пассивный иммерсивный опыт. Оказалось, что большинство пользователей используют шлем, сидя в кресле или на кровати (а не стоя). А взаимодействие с тачпадом на шлеме утомляет. Решением стал автоматический переход к следующей порции контента, если пользователь не возвращается к сетке (контента).
2. Поддержка дополнительных путей. По возможности дизайнеры закладывали возможность достичь нужной цели несколькими способами. Например, управлять можно взглядом или с тачпада.
3. Использование глубины для поддержки иерархии. Центральная точка собирает внимание, поэтому естественным становится ранжирование информации по дальности. При этом окна превью можно использовать как "окна в другой мир".
4. Оптимизация для медлительности. Исходя из взаимодействия направлением взгляда как основным способом, нужно было снять нагрузку с точности позиционирования и тем самым облегчить пользователю жизнь. Отсюда точки притяжения в интерфейсе.
5. Все всегда нужно пробовать в шлеме. С новичками и экспертами. Проверяйте все гипотезы, предположения, комфортные зоны, ментальные модели и т.п. как можно раньше. То, что кажется очевидным в 2D на экране, часто оказывается более сложным для восприятия в шлеме в шлеме.

p.s. Иммерсивный = погружающий

https://medium.com/inborn-experience/designing-facebook-for-mobile-vr-df4823282d02 #vr #experience #design

Сегодня пара заметок про подходы дяди Илона и дяди Безоса. Первая статья сходу, с заголовка, говорит вам: будьте готовы потерять свою работу, если не выучитие вот этот один навык. И сразу отмечает, что ему следуют и Безос, и Баффет и даже Маск, поэтому будьте внимательны!

Многих лидеров успешных компаний часто спрашивают: "Что изменится в следующие 10 лет? Во что нам инвестировать?" Кто-то может начать перечислять модные технологии. Но как быть уверенным, что они и дальше будут на взлете? Тот же ИИ пережил две большие "зимы" падения интереса.

Автор статьи, Michael Simmons, рассказывает, что пообщавшись со множеством успешных инвесторов, заметил контринтуитивный паттерн. Надо начать с того, что сам по себе вопрос "что изменится" неправильный. Джефф Безос говорит, что правильный вопрос: "Что не изменится в ближайшие 10 лет?" Например, навряд ли через 10 лет покупатели будут хотеть сделать сервис медленее, а разнообразие меньше. Все как раз наоборот и в этом мы можем быть уверенными. Это и есть то, куда надо вкладывать свою энергию.

Интересный факт: в 2012 Kauffman Foundation провели исследование и, согласно их подсчетам, оказалось, что в сумме венчурная инвестиция до сих пор не вернула инвестиции, вложенные с 1997 года. Возможно, фокус на трендах не всегда правильная точка приложения усилий?

Почему предсказания будущего не работают для инвестирования? Howard Marks, один из самых успешных инвесторов описывает это так: 1) самые очевидные ставки собирают наибольшую конкуренцию, что делает их менее выгодными, 2) удача и случайность - большие и неизбежные факторы, 3) быть постоянно правым сложнее, чем кажется, 4) даже если вы угадаете с направлением, вы наверняка ошибетесь со временем.

Поэтому Уоррен Баффет инвестирует в основном не в крутые технолические стартапы, а в направления, в которых основы не изменятся или будут менять медленно (например, Geico, Coca-Cola, American Express).

Что же делать вместо предсказаний будущего? Еще раз: фокусироваться на областях, которые практически гарантированно будут иметь ценность в будущем, несмотря ни на что. Еще одна выжимка из этой мысли: фокусироваться на стабильном знании — это мощный подход для жизни в целом. Автор называет это "основной техникой".

Большая часть знаний имеет переходный и временный характер и соответственно, они быстро устаревают. Основы, или долговременные знания, базируются на фундаментальных принципах и ментальных моделях и могут применяться ко многим контекстам.

Тут автор приводит в качестве примера подход "главных (первых) принципов", в части используемый Илоном Маском (см. также следующую статью). Так кто-то изучает нейронные сети мозга, кто-то сети социальных отношений, а кто-то компьютерные. Но в основе — понятие сетевых механизмов, паттернов и т.п. Надо фокусироваться на них.

Резюме: 1) стройте дерево долгосрочных (фундаментальных) знаний, 2) адаптируйтесь к любому будущему быстро и с успехом, 3) быстрее понимайте, что случилось и что это означает, 4) сокращайте риски инвестирования в области, которые не выйдут победителями.

https://medium.com/the-mission/be-prepared-to-lose-your-job-in-the-future-if-you-dont-learn-this-one-skill-now-8a87ade2a268 #future #thinking