Если вы делаете проекты под Windows Mixed Reality, то, наверняка, вы сталкиваетесь постоянно с одними и теми же задачами, вроде "а как привязать объект к контроллеру" или "как сделать управляющий бокс для манипуляций с объектами". Возможно, вы даже начали писать собственные компоненты для таких типовых задач.

Так вот, у нас есть открытый Mixed Reality ToolKit (MRTK) под Unity, покрывающий большую часть того, с чем вы сталкиваетесь каждый день. Вот тут выложили отличный обзор возможностей: https://medium.com/@dongyoonpark/open-source-building-blocks-for-windows-mixed-reality-experiences-hololens-mixedrealitytoolkit-28a0a16ebb61

MRTK @ GitHub: https://github.com/Microsoft/MixedRealityToolkit-Unity

p.s. Не забудьте проверить ветку v-next: https://github.com/Microsoft/MixedRealityToolkit-Unity/tree/MRTK-Version-Next, там готовится много вкусного, включая поддержку дополнительных платформ (Steam VR и платформы OpenXR).

#MR #OpenSource #Unity #Toolkit

Не могу не поделиться. У нас тут пополнение в семействе Surface - Surface Hub 2. https://www.youtube.com/watch?v=7DbslbKsQSk

Подробности: https://blogs.windows.com/devices/2018/05/15/meet-surface-hub-2/

Важный анонс: мы представили еще одно устройство. Игровой контроллер для Xbox с фокусом на людей с ограниченными возможностями - Xbox Adaptive Controller, на базе которого можно собрать комбинацию удобную для себя.

Видео: https://youtu.be/9fcK19CAjWM
Анонс: https://www.xbox.com/en-US/xbox-one/accessories/controllers/xbox-adaptive-controller
Обзор: https://news.microsoft.com/stories/xbox-adaptive-controller/

Хотя многие дизайнеры не работают с данными пользователей напрямую, кажется, европейский GDPR (General Data Protection Regilation), заденет всех.

Fast Co.Design описывает ключевые моменты, которые надо держать в голове разработчикам в связи с новым регулированием.

Основы
1. Жители (EU) имеют право быть уведомленными в течение 72 часов, если компания была взломана, и их персональные данные оказались под угрозой.
2. Пользователи имеют право узнать, какая именно информация о них собрана в компании и как она используется.
3. Пользователи имеют право на забвение -- можно запросить удаление конкретной или всей персональной информации.
4. Компании должны удалять данные, которые более не релевантны, даже если их не спрашивали это делать.
5. Запрос на получение данных пользователей должен быть доступным и понятным.
6. Пользователи имеют право скачать все данные в одном месте в машинно-читаемом формате (например, CSV).

Как это коснется работы дизайнеров?
1. Больше нельзя делать вид, что "данные нас не касаются". Придется разрабраться, что такое базы данных, что они делают и какие именно данные в них отправляются. Отдельный вопрос -- в системе уведомлений пользователей о том, как удалить данные из системы. И дальше научиться понимать и отслеживать, как состояние данных влияет на пользовательский опыт.
2. Приватность должна стать частью дизайн-процесса. Вариант "сделать как получится, и за две недели до запуска прийти к юристам на проверку" не прокатит. О приватности надо думать сильно заранее. С самого начала. Прямо на этапе брейншторма новых идей.
3. Плохой дизайн будет стоить больше денег. Многие компании собирают данные и не знаю, что они на самом деле с ними делают. Надо перестать это делать. Если данные не улучшают опыт, они, скорее всего, не нужны. Более того, собирать больше (лишних) данных с пользователя будет потенциально означать большие риски с приватностью. Отдельный вопрос -- бизнес-модели, построенные на сборе данных: риски и цена вопроса могут оказаться слишком высоки. Скорее всего, многие такие стартапы закроются за год-два.
4. Большой вызов: создать внятный опыт понимания приватных данных для пользователей. Обычно настройки приватности запрятаны подальше, политики написаны юристами невнятным языком, а разбираться в сырой выгрузке пользователю приходится самостоятельно. Возможно, пора перестать, думать, что приватность -- это еще один пункт в настройках, и нужно выделить ее в отдельную опцию -- центральный дашбоард для пользователя для управления своими данными. Обратная сторона -- помочь понять пользователю, как каждый элемент его персональных данных влияет на его собственный опыт.
5. Смена дизайн-культуры. Одного закона не достаточно (при всей весомости денежных штрафов). Нужна новая волна поиска хороших и плохих практик работы с данными, нужно бороться с манипулятивными интерфейсами. Параллельный вопрос: показывать пробелы в законе и решать, что с ними делать с точки зрения опыта. Например, как удалять данные, завязанные также на других пользователей. Закон это не описывает, нужна общая практика.
6. GDPR -- это только начало. Может показаться, что это просто еще одно ограничение (дизайнеры любят ограничения). Но это больше. Надо начать с того, что логика закона несет новое понимание, что такое "хороший дизайн". Вы помогаете пользователю разобраться, чем именно занимается ваше приложение. Любое движение к увеличению прозрачности -- это хорошо. Наконец, может показаться, что GDPR -- это только про Европейский союз. Но это не так. Многие глобальные компании говорят, что будут следовать правилам регулирования даже в странах вне этого региона. Хотя некоторые просто перестают работать в EU или вводят отдельные вариации своих сервисов, кажется, что это временный шаг, потому что регуляторы в США уже думают над введением аналогичных правил. И это глобальная тенденция.

https://www.fastcodesign.com/90171699/what-is-gdpr-and-why-should-designers-care #gdpr #regulation

Большая головная боль машинного обучения - разметка сырых данных. Вот тут коллеги рассказывают про использование метода Otsu для подготовки данных под задачу сегментация изображений. https://www.microsoft.com/developerblog/2018/05/17/using-otsus-method-generate-data-training-deep-learning-image-segmentation-models/ #ai #ml #image #vision

Про квантовые вычисления, которые еще массово не доступны, но уже приносят результаты. По ссылке ниже замечательный кейс парнерства Case Western Reserve University с нашей "квантовой" командой. В одном из сценариев, над которым работает университет, необходимо по снимкам МРТ находить раковые опухоли. Для этого используется метод магнитно-резонансных отпечатков, в котором в свою очередь есть большая вычислительная задача подбора оптимальных комбинаций частот. Тут-то и появляется тема квантовых вычислений, а точнее (пока) алгоритмов, вдохновленных квантовыми вычислениями, которые дальше можно обсчитывать в уже существуещем в облаке симуляторе. Подобный подход позволяет подготовить алгоритмическую базу уже сейчас и заодно понять инструментальные потребности в решении прикладных задач с квантовыми компьютерами.

Само собой, результат 3D-сканирования удобно показывать в Hololens.

Анонс: https://blogs.microsoft.com/blog/2018/05/18/microsoft-quantum-helps-case-western-reserve-university-advance-mri-research/
Подробности кейса: http://case.edu/mrf/

Если вы смотрели Google IO или просто следили за новостями, навряд ли мимо вас прошла тема с Google Duplex (потрясающая демонстрация, когда цифровой помощник звонит в парикмахерскую или ресторан, чтобы забронировать стрижку или столик для своего клиента, общаясь при этом весьма человечным голосом).

Надо отметить, что Google не единственная компания, которая копает в эту сторону (чего уж там!), поэтому отсылки ниже, хотя и относятся к этому примеру как самому яркому за последнее время, носят обобщающий характер, применимый и к Microsoft, и к Amazon и десятку другому крупных компаний и разного размера стартапов.

Сразу после презентации в очередной раз возникла волна обсуждений этичности всего происходящего, потому что будущее, в котором массово доступна технология неотличимой от человеческой синтезированной речи с голосом известного человека, — это страшноватое будущее, в котором на каждый позитивный сценарий в голове сразу вылезает десяток негативных.

Chris Noessel пишет о том, почему так происходит и что с этим всем делать. Ключевой момент в том, что такая технология сегодня (и еще долго, потому что сильного AI как не было, так и не предвидится пока что) попадает в так называемую зловещую долину. Зловещая долина — это когда технология достигла такого уровня человекоподобия, что мы начинаем хотеть ее воспринимать именно как человека, но в этот момент в ней обнаруживаются какие-то мелкие отклонения, которые разворачивают нашу интерпретацию в сторону совершенно нездорового человека, что вызывает отторжение. Грубо говоря, если бы в любом из озвученных скриптов что-то пошло не так (а наверняка были и такие, просто нам их не показали), то у человека на том конце возникло бы ощущение, что с ним говорит какой-то ненормальный человек (непонимающий, неслышащий, заучивший скрипт, тупой и т.п.).

Исходя из этого и общего понимания опасности технологии Крис предлагает остановиться. Не в смысле развития технологии, а в смысле не падать в эту плоскость, но для этого вместо мимикрии под человека надо договориться, что мы делаем человеко-подобное. Применительно к голосу это означает две вещи:
1) Во всех таких коммуникациях машина должна сообщать явно, что она машина. И у нее должен быть план Б, если человек не хочет или не может говорить с машиной.
2) Не надо пытаться сделать неотличимую от человеческой речь. Речь должна явно показывать, что она синтезирована. Она не обязана быть топорной, с механической нарезкой звуков и т.п., она вполне может быть плавной, но не человеческой. Например, она может быть мультяшной по своим интонациям. Главное, чтобы человеку было комфортно ее слушать, но он каждый момент понимал, что с ним говорит не человек.

И вот это, последнее, тот еще вызов для проектировщиков таких систем. Повторить человека кажется в чем-то даже проще.

https://uxdesign.cc/the-canny-rise-a-ux-pattern-921e400b26ed #ai #human #uncannyvalley #voice

Обожаю такие истории. Казалось бы, в электронике уже изобрели все базовые элементы для микросхем (это сильное упрощение!), и в целом вся индустрия нацелена уже на одну цель: придуманное уменьшить, повысить эффективность, пересобрать в другой конфигурации и т.п., но никому в голову не приходит, что надо что-то радикальное сделать с транзисторами, скажем. Потому что не понятно, а что именно.

Потом вдруг кто-то (в данном случае Sungsik Lee из Pusan National University в Южной Корее) проводит исследование, причем скорее даже математическое моделирование, и находит пробел в условной матрице. В упрощенном виде, транзистор можно назвать переключателем силы тока (on/off), который под воздействием управляющего сигнала (тока или напряжения), либо пропускает основной сигнал, либо нет.

Сангсик задает вопрос: а что является аналогом для переключения напряжения? И готового ответа, оказывается, нет. Но ясно, что подобное устройство является своего рода комбинацией переноса воздействия через конденсатор, поэтому он предлагает назвать его trancitor (transfer + capacitor, условно, трансатор), и, в некотором смысле, его можно назвать инверсией транзистора.

Далее он описывает (теоретически) возможные свойства такого устройства и, как оно вписывается в сущестующие микросхемы (на уровне логики). Вписывается замечательно, потому что позволяет существенно снизить количество участвующих устройств (в работе приводится пример замены схемы из четырех транзисторов на транзистор + трансатор), повысить энергоэффективность схемы и, как следствие, продолжить миниатюризацию электроники.

Есть только одна проблема: сделать такое устройство. Сам автор исследования предлагает начать с использования эффекта Холла, однако, для этого надо научиться проектировать электронику на субатомном уровне. Это задача на несколько лет вперед. В общем, кажется, закон Мура будет еще долго жить.

https://www.technologyreview.com/s/611184/another-missing-component-could-revolutionize-electronics/ #hardware #electronics

Сама работа: https://arxiv.org/ftp/arxiv/papers/1805/1805.05842.pdf

Продолжаем тему распознавания реальности. Команда исследователей из Института Макса Планка научились восстанавливать трехмерную модель человека по монокулярному видео (посмотрите ролик). Вся схема работает в несколько шагов:
1. Сделать базовую трехмерную модель (отсканировать человека в одежде), включая скелет.
2. По видео предсказать расположение (видимых) опорных точек, перенести это на полную модель скелета, включая предсказание движений и учет ограничений.
3. Восстановить движение модели с разных точек обзора.

http://gvv.mpi-inf.mpg.de/projects/wxu/MonoPerfCap #video #analysis #ml #ai

Продолжаем рассказывать про новости Build 2018. Во второй статье я рассказываю про анонсы в Azure и ботах. Ну и приятным бонусом -- рассказ про архитектуру нашего облака от Марка Руссиновича. https://habr.com/company/microsoft/blog/359044/

Еще один кусочек будущего, в котором системы компьютерного зрения понимают мир вокруг и могут перевести его в нужный для человека формат. Группа исследователей из Калтеха и Университета Южной Калифорнии используют Hololens, чтобы динамично анализировать пространство вокруг слепого человека и для распознанных объектов (от стен до предметов интерьера) давать человеку аудио-подсказки в виде звуков (что-то похожее не белый шум от стен) или названий ("стул"). За счет пространственного звучания устройство также может давать аудио-подсказки: например, "следуй за мной" звучит впереди человека, позволяя ему действительно следовать за звуком. https://techcrunch.com/2018/05/29/hololens-acts-as-eyes-for-blind-users-and-guides-them-with-audio-prompts/ #mr #audio #accessibility

Хороших размеченных датасетов мало не бывает. Команда исследователей из Facebook, DigitalGlobe и MIT (и других университетов) запустила соревнование DeepGlobe Satellite Challenge по анализу спутниковых снимков поверхности земли. Участникам предлагается автоматизировать выделение трех типов информации: дорожная сеть, строения и использование земли.

Чтобы вам было проще обучать сеточки, организаторы предоставили три достаточно больших размеченных датасата: 9000 изображений с маской дорог, 24000 изображений с полигонами зданий и 1000 изображений с сегментированными масками типов земли/поверхности.

https://www.technologyreview.com/s/611198/the-machine-vision-challenge-to-better-analyze-satellite-images-of-earth/ #ai #ml #dataset #image #segmentation

Хотя я не уверен, зачем вам может понадобиться анализировать позы людей по изображениям в браузере, тут ребята из Google рассказывают, как это сделать, используя TensorFlow.js и PoseNet.

Почему не уверен? Потому что все мои "очевидные" сценарии сводятся к трем: проверка фотографий до загрузки, наложение эффектов в трансляции (например, представьте себе стрим футбольного матча, в котором поверх "скелетов" футболистов накладывают какие-то эффекты) и для той же трансляции автоматическое отслеживание положения (например, в телемедицине можно автоматически анализировать удовлетворение нужному условию, ака "согните руку, поверните голову направо"). Пока ни один не кажется массовым, но вдруг? Может, быть еще что-то важное, что я упускаю?

Тем не менее! Прогресс возможностей вычисления в браузере поражает! Еще лет десять-пятнадцать назад мы только и умели, что события на кнопочки писать и делать зачатки анимации.

https://medium.com/tensorflow/real-time-human-pose-estimation-in-the-browser-with-tensorflow-js-7dd0bc881cd5 #ai #ml #javascript #browser

Чем может заниматья мозг евангелиста за 3.5 часа до выезда на очередное мероприятие в воскресенье ночью?
Правильно! Дописывать очередную безумную статью!

Встречайте, моя новая исповедь про будущее, коридор сингулярности (не спрашивайте!), матрицы Кипмана (почти того самого!), лаборатории антиболи (хорошо, что не наоборот!) и барьеры инертности (надеюсь, что не про вас с нами!).

https://medium.com/@kichinsky/коридор-сингулярности-матрица-кипмана-барьеры-инертности-и-лаборатории-антиболи-bf10e46b7d6b #future #foresight #matrix

Кстати, про мероприятие! Трансляция Insider Dev Tour в прямом эфире! https://habr.com/company/microsoft/blog/412983/

Классная российская история стартапа CVizi про анализ зрителей в кинотеатрах и на конференциях с помощью когнитивных технологий.. https://m.habr.com/company/microsoft/blog/413015/ #ai #vision #cognitive

В прошлую пятницу выступал на Startup Village, рассказывал про Inclusive Design.

Вроде бы, получилось неплохо. Сам удивился, как запихнул столько в 45 минут. :)

Делюсь слайдами:
https://www.slideshare.net/ConstantinKichinsky/inclusive-design-100652772/ConstantinKichinsky/inclusive-design-100652772

Версия в OneDrive, если SlideShare не работает: https://1drv.ms/b/s!AszRpns0hGMK9ZAamL3rV0vd7yUyXw

Коллеги вместе с O'Reilly опубликовали бесплатную книжку: A Developer’s Guide to Building AI Applications. Налетай!

Внутри:
* Understand how the intersection of cloud, data, and AI is enabling organizations to build intelligent systems.
* Learn the tools, infrastructure, and services available as part of the Microsoft AI Platform for developing AI applications.
* Teach the Conference Buddy application new AI skills, using pre-built AI capabilities such as vision, translation, and speech.
* Learn about the Open Neural Network Exchange.

https://blogs.technet.microsoft.com/machinelearning/2018/06/04/free-e-book-a-developers-guide-to-building-ai-applications/ #ai #ml #book

Футбольное, пятнично-субботнее: Chintan Trivedi рассказывает, как использовать обучение с подкреплением, чтобы научить бота забивать угловые в FIFA2018. https://towardsdatascience.com/using-deep-q-learning-in-fifa-18-to-perfect-the-art-of-free-kicks-f2e4e979ee66 #ai #ml #sport #esport

Еще футбола! Помните, я тут выше писал про восстановление (реконструкцию) 3D-сцены по 2D-съемки? Группа исследователей из университета Вашингтона (+Google, +Facebook) сделали еще один шаг в этом направлении:
* взяли ролики игры в FIFA2017
* обучили сеточки распознавать поле, игроков и т.п.
* транслировали движения фигур в движения скелетов и карты глубины
* реконструировали игру в 3D
* перевели сцену в MR (Hololens)

А теперь представьте, что вы можете смотреть чемпионат мира по футболу на своем столе в 3D, как будто у вас на поверхности стола копия футбольного поля, вокруг которой вы можете ходить, приближаться и т.п.

http://www.i-programmer.info/news/190-augmentedvirtual-reality-arvr/11868-watch-soccer-games-in-3d-on-your-table-top-.html

Детали и публикация: https://arxiv.org/pdf/1806.00890.pdf

#ai #ml #mr #vision