Про прикладной AR/MR/VR. А ближайшие выходные (13-15 апреля) наши друзья из AVRA проводят в Москве новый хакатон для проектов по дополненной и виртуальной реальности.

Если вы, как говорится, в теме, и думаете, чем полезным заняться, очень рекомендую заглянуть и сделать что-нибудь прикольное, скажем, под Windows Mixed Reality. 😉

https://avrahackathon.ru #ar #mr #vr #hacking

Если вы занимаетесь разработкой под VR, то вот отличный рассказ о том, как проектировать, точнее прототипировать решения на бумаге и дальше их тестировать. https://blog.prototypr.io/vr-paper-prototyping-9e1cab6a75f3 #VR #UX #prototype #paper

Большая порция новых выступлений/мнений и т.п. про искусственный интеллект от MIT. Выложили видео с недавней конференции EmTechDigital, посвященной целиком теме AI. Ключевые темы:
— Свежие исследования AI
— AI в Азии
— Измерение интеллектуальности
— Этика в AI
— Индустриальный вклад AI

https://events.technologyreview.com/video/?event=emtech-digital&year=2018 #ai #content

Одна из классических сложных задач в разработке игр - реалистичная анимация персонажей. Игровая индустрия, вслед за анимационной и кино-индустриями, прошла длинный путь от сложных "ручных" алгоритмов до специальных систем трекинга для переноса движений с реальных объектов. Следующий большой шаг - научить компьютер самостоятельно анимировать движения и научиться, как правильно. Deep Mimic от исследователей их UC Berkeley решает именно такую задачу.

Обзор: https://www.engadget.com/amp/2018/04/11/ai-teaches-itself-stunts/

Подробности: http://bair.berkeley.edu/blog/2018/04/10/virtual-stuntman/

MIT Technology Review рассказает про работу команды из Университета Вашингтона, которая пытается воспроизвести поведение собаки на основании визуальных данных. Если быть точнее, то задача ставится так: можно ли предсказать движения животного по тому, что она видит? Вся задача бьется на несколько вопросов (подзадач):
1) Можно ли предсказать движения тела по нескольким последовательным кадрам?
2) Можно ли спланировать движение животного на пути от места на одном изображении к месту на другом?
3) Можно ли, используя обученную модель, предсказать, где можно ходить на предоставленном изображении?

Выводы: для предсказания поведения "умного агента" достаточно визуального входа, причем внутренее представление построенной модели отличается от аналогичного для задачи классификации изображений, а сама модель может быть обобщена на другие домены.

Переводя на простой язык, модель, построенную на базе поведения животного (что видит -> что делает), можно не только использовать для предсказания такого поведения, но и для анализа самого пространства (пути прохождения, выделение "ходимых" поверхностей и т.п.). Причем потенциально для разных животных мы будем получать разные полезные свойства.

Обзор: https://www.technologyreview.com/s/610775/this-ai-thinks-like-a-dog #ai #nature #simulation

Подробности: https://arxiv.org/pdf/1803.10827.pdf

Сегодня смотрим российский финал Imagine Cup. Пришёл просто посмотреть, а посадили в жюри судить. https://m.habrahabr.ru/company/microsoft/blog/353508/ #students #cosmos #future #innovation

В тему понедельника — Zhiliang Xu рассказывает, как в одну команду поднять свой сервер Shadowsocks на Azure Container Instances (благо для Shadowsocks появился готовый docker-образ). Конечно, при условии, что у вас есть Azure-подписка.

Кстати, в этом смысле, интересно отметить что сам проект Shadowsocks вырос из настойчивого стремления китайцев обходить интернет-цензуру. Правда, когда изначальному автору проекта в дверь постучала полиция, он быстренько свернул проект, но форки уже разошлись по GitHub'у.

Сегодня же проект массово используется в самых разных сценариях — от проксирования через корпоративные файрволлы и личного просмотра трансляции мероприятий в "нецелевых" странах до обхода адаптации сайтов (например, цены на билеты).

https://blogs.msdn.microsoft.com/zhiliang_xus_blog/2018/01/04/run-shadowsocks-in-azure-container-instances/

Tom Hulme (главный партнер в Google Ventures) рассказывает, что детей нужно учить креативности, а не программированию. Потому что машины будут кодить лучше.

1. Наша образовательная среда должна помогать детям научиться использовать воображение для создания оригинальных идей и значений. Креативность в широком смысле - от искусств до математики.
2. Каждая работа, включающая повторяемость находится под риском уничтожения. Нужно готовить детей к "ролям, которые сложно автоматизировать". Но опять-таки, это не исключает необходимости базовых знаний.
3. Больше не будет одного на всю жизнь интенсивного периода обучения, поэтому важно привить детям любовь к изучению (как процессу).
4. Сегодня уже не очевидно, нужно ли учить детей кодить. Важно понимать, как устроены языки и алгоритмы, но скоро сам код будет писаться машинами.
5. Также не очевидно, нужно ли учить второй, третий и т.п. языки. Машины будут переводить в реальном времени лучше. Но знание языка как способ понять мышление других народов — ценно.
6. В дополнение к креативности - важны критическое мышление и цифровая грамотность. Выбор источников информации, умение задавать непредвзятые вопросы.
7. Фильтрующие (социальные) пузыри, когда мы общаемся с теми, кто похож на нас, приводят к формированию дыры в эмпатии. Это удобно, но столь же опасно, потому что мы перестаем понимать друг друга и человечество.

www.wired.co.uk/article/children-coding-education-change-machine-learning-ai-creativity #future #kids #creativity

В Google есть команда быстрых UX-исследований (Rapid Research), которая целиком специализируется на том, чтобы в ограниченные сроки (одной недели!) приносить разумные ответы на сложные вопросы. Звучит фантастично, да?

Heidi Sales, менеджер команды, рассказывает, как это устроено внутри.

Команда работает недельными циклами, причем каждый цикл начинается и заканчивается в пятницу:
— Пятница (kick-off): определиться, что мы хотим узнать. Нужен внятный вопрос для исследования и стартовые материалы (наброски дизайна, прототипы, скетчи).
— Понедельник (pilot): пилотируем проведение исследования, обычно, на внутренних сотрудниках. Подстраиваем опросники, гайды, прототипы и т.п.
— Вторник/среда (research): в лаборатории или в полях проводим исследовательские сессии. Попутно начинаем вытягивать инсайты и материалы для финальной презентации. Важно постараться вовлечь стейкхолдеров в наблюдение за исследованием (лично или удаленно). После каждой сессии небольшой разбор полетов, чтобы убедиться, что все все одинаково понимают.
— Четверг (preparation): подготовка финальной презентации, сведение слайдов воедино, учет обратной связи. Также отличная возможность подтянуть релевантные исследования из прошлой работы.
— Пятница (read-out): презентация результатов с обобщениями, цитатами, нарезками видео/гифками. Сюда же включается краткое описание методов исследования, профили участников и инсайты относительно предмета исследования.

Советы для быстрых исследователей:
— Делайте заметки. Максимально автоматически. Например, в таблице для заметок автоматически выставляются временные пометки, чтобы потом было проще находить нужные фрагменты на видео. Для аудио можно автоматически генерировать транскрипт в текст.
— Подготовка результатов с первого дня. С самого начала можно собирать цитаты, выявлять паттерны и даже редактировать видео.
— Дублирование. Как минимум два исследователя на один проект. Так можно дополнить друг друга и проверить, что, например, одинаково поняли ситуацию.
— Не загоняйтесь. Не более 5 участников в день. Меняйте роли.
— Комбинируйте методы. Вместо детальных заметок можно делать зарисовки. Можно использовать камеру ноутбука для записи манипуляций с телефоном перед ним. А с участниками иногда полезно пообщаться, обсудить их действия.

https://medium.com/mixed-methods/rapid-ux-research-at-google-3b92dd038e30

Тут ребята из Graz University of Technology в Австрии развлекаются с дронами и Hololens, симулируя "рентгеновское зрение" через стенку.

Представьте, что у вас есть схематичная модель помещения (например, сделанная по 3D-планам или формируемая динамично из облака точек). Вы стоите за стенкой, а внутри летает небольшой дрон с камерой. Через очки виртуальной реальности вы можете указывать дрону, куда ему подлететь и что показать. А сами можете переключаться между видами: от своего первого лица, со стороны, или от лица дрона.

Вся эта история может также реализовываться в VR.

https://spectrum.ieee.org/automaton/robotics/drones/see-straight-through-walls-by-augmenting-your-eyeballs-with-drones #drones #vr #mr #hololens

Почему это круто?
1. Иметь рентгеновское зрение — мечта людей со времен появления Супермена, если не раньше.
2. Это еще один эксперимент в области удаленных аватаров, когда мы можем не просто смотреть 360-видео какого-то места, а получаем эффект удаленного присутствия с погружением. Причем, дрон дает даже больше динамических возможностей по сравнению с человеко-подобными аватарами. (Отдельный вопрос — это восприятие такого наблюдателя участниками фактической сцены.)
3. Ну и масса применений — от военных операций и пейнтболла до "залезть через узкий проход в пирамиду Хеопса и увидеть все как бы своими глазами".

Если вы вдруг пропустили (примерно как я неделю назад проглядел полноту анонса за крутыми гифками мелькавшими в ленте): Leap Motion разрабатывает свой шлем дополненной реальности. Причем железо и связанное программное железо будут опенсорсными.

Почему это важно?
1. Каждый новый игрок в сфере AR/MR/VR расширяет общую историю, вносит новую перспективу или точку зрения. Leap Motion тут неслучайный игрок — компания давно сидит в нише естественных интерфейсов, которые критичны для AR/MR/VR. А их сенсоры для захвата движения рук начали приделывать к шлемам виртуальной реальности еще до того, как они сами выпустили соответствующую редакцию.
2. Путь Leap Motion от сенсоров удаленного считывания информации к шлемам в чем-то похож на путь Microsoft от Kinect к шлемам Hololens. Но примерно так же, как технологии Kinect были важны для построения карты пространства, технологии Leap Motion (или аналогов) становятся важны для трекинга движения рук, как более естественного способа управления, чем контроллеры (хотя я лично думаю, что тут всегда будет какая-то смесь).
3. Не понятно, насколько история с собственным шлемом важна для Leap Motion как отдельный продукт, так как сейчас это скорее позиционируется как исследовательский проект. Но даже тут видна амбиция вывести на новый уровень именно UX-составляющую, что особенно важно, когда в индустрии явно наблюдается кризис развития систем управления.

Анонс: http://blog.leapmotion.com/northstar
Детали: http://blog.leapmotion.com/our-journey-to-the-north-star
#ar #mr #vr #hands #tracking

Практичное про цифровую трансформацию. Мы с коллегами потихоньку разрабатываем методологию про то, "как думать про трансформацию", чтобы полезно, реалистично и приземленно, но с потенциалом. И постепенно начинаем выпускать ее наружу.

Один из примеров — воркшоп по цифровой трансформации для Сибура, который делают наши друзья из AI Community в Томске в ближайшую субботу (21 апреля). Воркшоп проходит целиком по нашей методологии и с участием наших модераторов, поэтому если вы:
1) хотите понять, что скрывается за цифровой трансформацией на практике,
2) хотите устроиться в Сибур на реально крутые проекты или пообщаться с моими коллегами из Microsoft,
3) стать частью растущего AI Community и (это важно!)
4) живете в Томске или будете проезжать мимо, то:

Приходите на воркшоп! Регистрация: http://ai-community.com/sibur-workshop-tomsk

Bloomberg пишет о планах Facebook наладить разработку собственных чипсетов. Хотя потенциальные направления применения понятны (и это все спекулятивно): от VR-шлемов до специализированных AI-чипсетов для собственных дата-центров, интересно другое!

Это своего рода публичный инсайт, то есть информация, лежащая на поверхности, если знать где искать. Журналисты и, уверен, конкуренты давно научились мониторить как разделы вакансий на сайтах крупных технологических компаний, так и объявления о поиске сотрудников в социальных сетях. На этот раз ребята из Facebook просто написали, что ищут менеджера для "end-to-end SoC/ASIC, firmware and driver development organization". SoC/ASIC — это и есть специализиронный чипсет.

https://www.bloomberg.com/news/articles/2018-04-18/facebook-is-forming-a-team-to-design-its-own-chips #ai #hardware #insight

Про обучение нейронных сетей и аппаратные решения. Группа исследователей из IBM Research продемонстрировала, что нейронные сети можно обучать целиком в пямяти на базе PCM-устройств (около 1 млн ячеек).

PCM (Phase-change memory) - это тип памяти с изменением фазового состояния, который IBM и ряд других компаний уже много лет разрабатывают, пытась создать энерогонезависимый носитель памяти, в котором данные хранятся за счет изменения фазового состояния материала.

В ходе работы команда обучила пару алгоритмов машинного обучения без учителя, которые успешно выявили временные корреляции в неизвестных ему потоках данных. Конкретный алгоритм тут играет малое значение, потому что фокус работы — на ускорении и снижении энергозатрат. Полученное решение показало примерно 200-кратное улучшение по сравнению с классическими компьютерами.

Почему это круто?
1. Фактически речь идет не просто об еще одном носителе памяти, а о весьма специфичной вычислительной модели, отличающейся от классической фон-Неймановской — "accumulation-based computation". PCM-устройства позволяют работать не просто с 0 и 1, но и промежуточными состояниями (кристаллизации), отсюда возникают накопительные эффекты, которые в свою очередь можно использовать для вычислительных задач.
2. Ранее IBM демонстрировала применимость PCM-устройств для организации "нейроморфных вычислений", в которых на уровне железа пытаются смоделировать работу реальных нервных сетей. Тонкость в том, что живые нейроны как раз реализуют в себе обе функции - хранения информации и вычисления, в то время как классическая компьютерная модель разделяет их в отдельные блоки.
3. Когда (или если) это все дойдет до промышленных масштабов, мы получим устройства, способные обучаться существенно быстрее и с меньшим потреблением энергии. Это все капает на мельницу переноса интеллектуальности на конечные устройства все меньшего и меньшего размера.

Анонс: https://www.ibm.com/blogs/research/2017/10/ibm-scientists-demonstrate-memory-computing-1-million-devices-applications-ai

Подробности: https://www.nature.com/articles/s41467-017-01481-9

#ai #inmemory #computing #hardware #pcm

Скоро Build! Написал по этому поводу на выходных для коллег обзор всех прошлых конференций с точки зрения эволюции технологий (облако, естественные интерфейсы и искусственный интеллект).

В удивительное время мы живем! Пока пересматривал открытия конференции 2011-2017, пустил скупую слезу, вспомнил молодость и подумал, что IT — это все ж очень круто. На глазах Microsoft из корпоративного монстра, замкнутого на себе и своей платформе, превратилась в компанию, для которой партнерство = открытость. Открытость кода, открытость к новым партнерствам, открытость к сообществу, открытость к новым возможностям. Не все еще идеально, но мы боремся. :)

https://news.microsoft.com/ru-ru/features/trendy-tehnologij/

Немножко прикладного кода в ленту. Тут коллеги рассказывают, как использовать Tiramisu (это вариация сверточной сеточки на DenseNet-архитектуре) для задачи сегментации изображений.

Если точнее, то сценарий такой: в ритейл-магазин приходит новая партия товара (одежды), нужно быстро сопоставить ее с существующим каталогом. Альтернативно: сотруднику или покупателю нужно быстро найти информацию по предмету одежды, находящемуся перед глазами. Фактически, нужно реализовать визуальный поиск, в котором сотрудник сможет по фотке с мобильника, найти соответствующую вещь в каталоге.

Тонкость в том, что фотка с мобильного может быть зашумлена фоном, поэтому для корректного сравнения желательно на лету сделать обтравку изображения. А это и есть один из вариантов задачи сегментации.

Обзор: https://www.microsoft.com/developerblog/2018/04/18/deep-learning-image-segmentation-for-ecommerce-catalogue-visual-search/
Исходный код: https://github.com/CatalystCode/image-segmentation-using-tiramisu/

#ai #ml #practice

Зубодробительная смесь: квантовая физика, запутывание во времени и блокчейн. Если вы следите за темой распределенных реестров, то, наверняка, слышали про (пока) спекулятивные разговоры о том, что с приходом массовых квантовых вычислений классическая криптография, на которой в частности сидит блокчейн, падет.

Очевидно, что есть группы ученых, которые над этой проблемой уже работают. Исследования ведутся как минимум в двух направлениях: 1) поиск "пост-квантовой" криптографии — алгоритмов, устойчивых перед квантовыми вычислениями (см., например, ссылку в конце) и 2) поиск альтернативных "физических" решений, о чем пойдет речь в этой заметке.

В 2011 исследователи из австралийского Университета Квинсленда опубликовали работу по квантовому запутыванию во времени. В "традиционном" квантовом запутывании наблюдаются связанные частицы, разделенные в пронстранстве. Измерение одной из них, изменяет состояние второй, независимо от расстояния.

Джей Ослон и Тимоти Ральф показали, что теоретически частицы могут "запутываться" не только в пространственном измерении, но и во временном. В работе ученые описывают гипотетический эксперимент, в котором частица из настоящего оказывается связанной с частицей в будущем, которая может даже еще не существовать. Соответственно, между детектором в настоящем и детектором в будущем можно установить связь и использовать ее для передачи сообщений. Это своего рода "телепортация во времени". Фокус в том, что второе измерение в будущем возможно только в определенный момент времени и его невозможно "перехватить" в промежутке.

И вот теперь к квантовому блокчейну. Дел Райжан и Мэтт Виссер из новозеландского Университета Веллингтона предлагают использовать те самые запутанные во времени частицы для построения блокчейна. Так как все операции, записываемые в блоки, раскладываются по времени, то теоретически запись в блок можно заменить на изменение состояния квантовой частицы. Частица в свою очередь оказывается связана с некоторой частицей из будущего, которая используется для создания следующего блока. Незаметно изменить состояние таких частиц невозможно в силу физических ограничений. Более того, в силу запутывания во времени, частицы из прошлого не нужны, их можно разрушить, а вся нужная информация будет воссоздана в будущем.

Квантовый блокчейн:
— обзор: https://www.technologyreview.com/s/611022/if-quantum-computers-threaten-blockchains-quantum-blockchains-could-be-the-defense?
— публицация: https://arxiv.org/pdf/1804.05979.pdf

Пост-квантовая криптография:
— обзор: https://www.microsoft.com/en-us/research/blog/cryptography-quantum-computing-intersect
— библиотека LatticeCrypto: https://www.microsoft.com/en-us/research/project/lattice-cryptography-library

Квантовое запутывание во времени:
— обзор: https://www.technologyreview.com/s/422428/new-type-of-entanglement-allows-teleportation-in-time-say-physicists
— публикация: https://arxiv.org/pdf/1101.2565.pdf

Я уже как-то писал про движение Bose в сторону аудио-дополненной реальности, включая выпуск специальных очков со встроенными динамиками. Одно из самых очевидных применений подобных технологий — это туры по городам. Поэтому не удивительно, что Bose пошла в это направление, прикупив наработки стартапа Detour.

TechCrunch пишет немного о странностях данной покупки. Detour взлетел в 2015 году с гидами по Сан-Франциско, выпустив интерактивные туры по городу, привязанные к гео-локациям. Внутри команда Detour не просто готовила нарезку аудио-фрагментов и делала мобильные приложения для персональных гидов, но и сделала специальные инструменты для подготовки таких гидов. Одна из наработок - инструмент для редактирования аудио-фрагментов через транскрибированные тексты, которая в конечном счете вылилась в новый стартап - Descript.

В общем, Bose оказалась как раз вовремя заинтересованной в контенте для своей новой платформы Bose AR и выкупила у основателей Detour гиды и часть тулинга. А команда последнего продолжила независимо заниматься развитием Descript.

Почему это интересно?
1. Пока основной фокус индустрии крутится вокруг зрительного канала, много интересного происходит в остальных направлениях - дополнение аудио, запахов, ощущений и т.п. Мне кажется, тут огромный потенциал сам по себе, не говоря уже о том, что AR/MR, без этих каналов, будет неполноценной.
2. С точки зрения стартап-индустрии, эта история является хорошей иллюстрации паттерна перехода от узкого интереса к более массовому рынку. Команда начала с узкой собственной боли: как готовить аудио-гиды быстрее. Для этого они сделали простой тулинг, позволяющий редактировать аудио через текст. Дальше оказалось, что эта потребность расширяется и на другие ниши - подкасты, аудио-версии статей, расшифровка интервью и т.п. В этот момент команда решила полностью сконцентрироваться на самом тулинге, а не конечном продукте.

https://techcrunch.com/2018/04/24/bose-acquires-andrew-masons-walking-tour-startup-detour/
#audio #ar #mr #tooling

Полезное и познавательное про голоса в голове. Rébecca Kleinberger из MIT Media Lab рассказывает о различиях между тремя типами "голосов", которые сливаются в нашей голове: внешние голоса (outward voice), собственный голос (inward voice) и внутренний голос (inner voice).

Разделение в данном случае механическое. Например, внешний и собственный голоса мы воспринимаем через разные системы, поэтому собственный голос в записи мы слышим иначе, чем воспринимаем его при говорении, когда звук проходит через кости. Эта разница может давать эффект неприятия: наш голос в записи нам кажется непривычным, и может даже вовсе не нравиться. Внутренний голос невербализуем, но мы его также "слышим". И вот это "слышим" иногда становится проблемой, если в силу тех или иных заболеваний мы теряем способность различать источники голоса (такое, в частности, случается при шизофрении).

Почему это все важно для IT?
1. В экстремальных случаях (при той же шизофрении), если мы сможем помочь пациенту четко дифференциировать источник голоса, это может стать частью лечения. Сегодня в том же MIT уже учатся считывать тот самый внутренний голос. Я писал об этом ранее.
2. Мы пока не понимаем, что случится с нашим сознанием и какие могут быть отклонения, если в наушнике или окружающем пространстве поселится еще один голос цифрового помощника (Alexa, Siri, Cortana, Alisa и т.п.).

p.s. В выступлении еще вскользь рассказывается о разных "веселых" возможностях анализа голоса вроде определения депрессии, беременности и отношения к тем или иным людям. Условно, активная колонка у вас дома потенциально может не только различать голоса, но и построить граф отношений и даже предсказать расширение семейства. А уж что там с этими данными будет делать большой брат, отдельный вопрос.

https://www.ted.com/talks/rebecca_kleinberger_our_three_voices/ #voice #recognition #inner

Пока я пишу большой обзор новостей про проходящий в Сиэттле Build, не могу не поделиться пояснением от Алекса Кипмана про Project Kinect for Azure.

На конференции Сатья Наделла анонсировал новое устройство, даже скорее, плату с сенсорами от Microsoft под условным названием "Project Kinect for Azure". Тут журналисты уже успели пошутить, что Kinect жив и все такое. Но причем тут Azure?

1. Сама плата еще не доступна, но можно подписаться на новости и заявить о своем интересе получить образец для своего проекта.
2. Фактически речь идет об уже 4м поколении Kinect. Этот же набор сенсоров станет основой следующего поколения Hololens!
3. Продвинутая камера глубины, Time-of-Flight (ToF), позволяет вывести на новый уровень алгоритмы компьютерного зрения и их прикладное применение. По сравнению с обычными камерами мы получаем более точную пространственную картину, может использовать сетки меньшего размера или выдающие повышенную точность, и все это более энергоэффективно.
4. Обучение таких сеточек можно делать в Azure, и, учитывая, что Алекс теперь возглавляет отдел Perception Services в команде Скотта Гатри (Cloud + AI), можно ожидать появление специализированных предобученных сервисов для обработки данных с камер. Не исключая, конечно, автономных сценариев, например, в виде решений на базе Azure IoT Edge (в параллельной истории с DJI рассказывали о размещении алгоритмов Custom Vision непосредственно на дронах).

В общем, ждем выхода устройств на рынок!

Обзор от Alex Kipman: https://www.linkedin.com/pulse/introducing-project-kinect-azure-alex-kipman
Подписаться на анонсы: https://azure.microsoft.com/en-us/campaigns/kinect
Записаться в программу раннего доступа: https://microsoft.qualtrics.com/jfe/form/SV_e9dCT1s9C5CwUkJ

А вот и первая часть анонсов с Build 2018. В этом выпуске рассказываю про 1) визионерское выступление Сатьи Наделлы, 2) железячные анонсы perception-устройств, 3) Project Brainwave для ускорения AI-вычислений в облаке и 4) обновления на фронте инструментов разработки.

https://habr.com/company/microsoft/blog/358068/