Немножко в сторону инструментов для проектирования Mixed Reality - Microsoft Design Labs сделали простой инструмент для Hololens - HoloSketch для проектирования опыта смешанной реальности. Подробности тут: https://medium.com/microsoft-design/holosketch-spatial-layout-and-ux-sketching-app-for-hololens-cb5e17237108, само приложение в магазине: https://www.microsoft.com/en-us/store/p/holosketch/9p3br4t5m4tv #mr #hololens #tools

[3/3] Наконец, тема Mixed Reality, которая начинает разрывать шаблоны еще больше. Если обычно под технологиям AR/MR/VR понимают опыт, происходящий в реальном времени в шлеме, очках, телефоне или другом устройстве, то мы начинаем растягивать его по временной шкале. Это большой паззл, который будет еще долго складываться по кусочкам. Вот два фрагмента: о том, что Hololens можно использовать для производства видео-контента с наложенными 3D-объектами и эффектами, я уже писал. Новый фрагмент: приложение Story Remix в Windows 10, которое помимо "просто" склеивания видео и фото в единую историю, также позволяет накладывать на видео-ряд 3D-объекты, надписи и т.п., которые, аналогично опыту в устройствах, прикрепляются к поверхностям. https://www.youtube.com/watch?v=kh0be6z-Zl8&feature=youtu.be (см. с отметки 1:05).

Ну и про традиционный MR: предзаказ девкитов со шлемами от Acer и HP (США и Канада) - https://blogs.windows.com/buildingapps/2017/05/11/windows-mixed-reality-dev-kits-available-pre-order/; и контроллеры, спроектированные специально под MR - https://techcrunch.com/2017/05/11/microsoft-demos-its-own-motion-controllers-for-mixed-reality/ #mixed #reality #mr #vr #remix #timeline #breaking #rules

Коротко: в новой бета-версии Unity добавили поддержку шлемов для Windows Mixed Reality, фактически это является расширением уже имевшейся поддержки Hololens в сторону десктопных приложений https://unity3d.com/unity/beta/unity2017.2.0b2 #vr #mr #hololens

Большая новость с фронта Hololens: на конференции CVPR2017 Harry Shum, глава Microsoft AI & Reseach, рассказал о втором поколении HPU (Holographic Processing Unit), специализированного чипсета для обработки пространственной информации. В новой версии, которая готовится для следующего поколения Hololens, добавится AI-сопроцессор для поддержки решений на базе DNN. Зачем это нужно? Ну, например, чтобы лучше в реальном времени распознавать отдельные объекты и, в частности, движение рук. https://www.microsoft.com/en-us/research/blog/second-version-hololens-hpu-will-incorporate-ai-coprocessor-implementing-dnns #ai #mr #hololens #hpu #custom #hardware (И на эту же тему статья в Bloomberg Technology https://www.bloomberg.com/news/articles/2017-07-24/quest-for-ai-leadership-pushes-microsoft-further-into-chip-development.)

Технологические новости из Мадрида. Испанская команда Exovite в партнерстве госпиталем Gregorio Marañón деляет решение для хирургов, позволяющее быстро получать доступ к снимкам компьютерной томографии и УЗИ. В статье отмечается, что решение (на базе Hololens) делается совместно инженерами, радиологами и хирургами. Текущая версия позволяет сократить время операции с 8 часов до 4.5. www.3ders.org/articles/20171023-microsoft-hololens-mixed-reality-headset-helps-spanish-doctors-cut-surgery-time-in-half.html #mr #medicine #future #is #coming #hololens

Наконец-то дошли руки перевести в текст мой рассказ на AVRA Days в Skolkovo. Про будущее AR/MR/VR, следующие большие битвы и направления, множество открытых вопросов и судьбы человечества. https://outofline.ru/5-важных-направлений-в-развитии-ar-mr-vr-и-прочих-реальностей-b702758ee104 #ar #mr #vr #future

Всех с началом бодрой недели, сегодня говорим про MR/VR.

Начнем с управления. Как-то Алекс Кипман, рассказывая, что случилось с Kinect, привел такую историю: когда создавалась его первая версия, команда в голове уже держала мысль о чем-то, что впоследствии стали называть Mixed Reality — смеси физического и цифрового миров в едином представлении.

И вот возникает вопрос: где на этом пути Kinect и как вообще построить полноценный MR? Тут Алекс рисует журналисту простую схему: вот поле 3x3 клеток. По вертикали: что мы хотим распознавать - тело и движение рук, пространство вокруг и отдельные объекты. Каждая следующая задача, условно, в 10 раз сложнее предыдущей. По горизонтали: как мы взаимодействуем при этом - просто видим (через камеру), накладываем изображения, получаем отдачу от взаимодействия (haptic experience) с цифровыми объектами. Аналогично каждая следующая задача на порядок сложнее.

Вот теперь, если вы нарисуете это по осям, получится, что блок 1x1 — это кинект. Проходит еще почти 10 лет, первая версия Kinect фактически уменьшается до размера плашки в iPhone X, а мы, благодаря прогрессу технологий наблюдаем следующий блок 2x2 — это Hololens.

Вот теперь большой вопрос, с одной стороны, с распознаванием разнообразных объектов (сейчас основной акцент делается на системы машинного зрения), а с другой, с физическим взаимодействием с цифровыми объектами.

В связи с последним: вот подборка исследований Microsoft Research на тему взаимодействия с виртуальным. https://www.microsoft.com/en-us/research/blog/touching-virtual-microsoft-research-making-virtual-reality-tangible #mr #vr #haptic #experience

Еще один интересный вариант наложения реальностей, теперь из игровой индустрии. Honda для продвижения последней модели из серии Civic решила устроить соревнование между профессиональным водителем и профессиональным игроком и стриммером в Forza, на одной и той же трассе и на "одной и той же" машине. Интересен сетап: сначала трассу проехал ютюбер, после чего цифровой профиль его заезда проецировался на лобовое стекло реальной машины с учетом ее текущего местоположения. Фактически реальный водитель мог видеть "призрак" своего конкурента.

Пока это просто рекламная история, но, возможно, в будущем мы увидим что-то подобное, например, в тренинговых центрах обучения вождению или на тренировках профессиональных гонщиков. https://vrscout.com/news/honda-mixed-reality-race-pro-driver-youtuber/ #mr #mixed #reality #moto #auto

Немного истории Hololens от создателей, включая фотки прототипов! https://blogs.microsoft.com/bayarea/2018/04/03/new-lens-on-reality-hololens-system-design-team/ #hololens #mr #history

Если вы вдруг пропустили (примерно как я неделю назад проглядел полноту анонса за крутыми гифками мелькавшими в ленте): Leap Motion разрабатывает свой шлем дополненной реальности. Причем железо и связанное программное железо будут опенсорсными.

Почему это важно?
1. Каждый новый игрок в сфере AR/MR/VR расширяет общую историю, вносит новую перспективу или точку зрения. Leap Motion тут неслучайный игрок — компания давно сидит в нише естественных интерфейсов, которые критичны для AR/MR/VR. А их сенсоры для захвата движения рук начали приделывать к шлемам виртуальной реальности еще до того, как они сами выпустили соответствующую редакцию.
2. Путь Leap Motion от сенсоров удаленного считывания информации к шлемам в чем-то похож на путь Microsoft от Kinect к шлемам Hololens. Но примерно так же, как технологии Kinect были важны для построения карты пространства, технологии Leap Motion (или аналогов) становятся важны для трекинга движения рук, как более естественного способа управления, чем контроллеры (хотя я лично думаю, что тут всегда будет какая-то смесь).
3. Не понятно, насколько история с собственным шлемом важна для Leap Motion как отдельный продукт, так как сейчас это скорее позиционируется как исследовательский проект. Но даже тут видна амбиция вывести на новый уровень именно UX-составляющую, что особенно важно, когда в индустрии явно наблюдается кризис развития систем управления.

Анонс: http://blog.leapmotion.com/northstar
Детали: http://blog.leapmotion.com/our-journey-to-the-north-star
#ar #mr #vr #hands #tracking

Закрытые сессии Q&A с Джорджио Сардо.

Как вы знаете, пару недель назад у нас прошла одна из самых значимых конференций Microsoft для разработчиков — Build. Но это ещё не всё. 4 июня в Москву впервые приезжает Insider Dev Tour, в рамках которого MskDotNet Community и AVRA проведут закрытые тематические сессии Q&A. Вход будет только по инвайтам. Подробности в статье.

Подробнее: https://aka.ms/az_mr_article_0518

#azure #mr #article

Еще один кусочек будущего, в котором системы компьютерного зрения понимают мир вокруг и могут перевести его в нужный для человека формат. Группа исследователей из Калтеха и Университета Южной Калифорнии используют Hololens, чтобы динамично анализировать пространство вокруг слепого человека и для распознанных объектов (от стен до предметов интерьера) давать человеку аудио-подсказки в виде звуков (что-то похожее не белый шум от стен) или названий ("стул"). За счет пространственного звучания устройство также может давать аудио-подсказки: например, "следуй за мной" звучит впереди человека, позволяя ему действительно следовать за звуком. https://techcrunch.com/2018/05/29/hololens-acts-as-eyes-for-blind-users-and-guides-them-with-audio-prompts/ #mr #audio #accessibility

Две новости про стикеры, фильтры и т.п. как платформу.

1. Snap запускает платформу разработки (SDK) -- Snap Kit для расширения функциональности камеры Snapchat и интеграции сервиса в свои приложения. Фактически, речь идет о четырех направлениях: 1) дать возможность расширить камеру собственными стикерами, фильтрами и ссылками, 2) позволить создавать динамичные стикеры (открытки), 3) расширить использование аватаров снэпа, Bitmoji, в других приложениях, и 4) разрешить сторонним приложениям искать и встраивать публичные истории из снэпа в свои приложения.

Ну и само собой, возможность залогиниться в чужое приложение с помощью аккаунта снэпчата.

Анонс на TheVerge: https://www.theverge.com/2018/1/30/16949402/bitmoji-deluxe-snapchat-customization
Snap Kit: https://kit.snapchat.com

2. Google (потихоньку) расширяет AR-стикеры на дополнительные устройства. Функция "дополненных" стикеров позволяла накладывать трехмерные объекты и текста на фотографии, но до сих пор была доступна только на собственных устройствах - Google Pixel. Сейчас компания расширала доступность приложения на флагман от LG - G7 ThinQ.

Анонс на TheVerge: https://www.theverge.com/2018/6/12/17453296/lg-google-pixel-ar-stickers-thinq-g7

--
Что связывает эти две истории?
Обычно про AR думают как о чем-то, происходящем в реальном времени с экрана смартфона/планшета, очков и т.п., но в сущности тема AR столько же актуальна и для отложенного взаимодействия с реальностью -- через фотографии, истории, стикеры и т.п.

В этом смысле два примера выше бьют в нишу между профессиональным производством контента (кино, спецэффекты и т.п.) и "дополнением" в реальном времени. И есть позозрение, что эта ниша будет постепенно складываться в континуум: как платформенно-инструментальный (например, AR стикеры используют тот же ARCore), так и контентный (я, например, жду в ближайшие 2-3 года первого фантастического фильма со спецэффектами, снятого и смонтированного целиком на iPhone/Android).

#ar #mr #image #camera

Российский рынок VR: а почему бы и нет?

Недавно наш коллега, Дима Грицан, решил попробовать себя в роли Юрия Дудя и взять интервью. Правда, о деньгах там не будет. Ну почти… Присоединяйтесь к разговору с Александром Борониным, основателем Teleport Group и руководителем VR/AR-коворкинга VRlab. Поговорим о венчуре, акселерации и синергии. Кстати, у нас есть и короткая версия на 12 минут.

Подробнее: https://habr.com/company/microsoft/blog/351848/

#ar #mr #vr #article

VR в нашей жизни: путешествия, экскурсии и порнография.

Сегодня снова делимся интервью с крутым VR-щиком. В этот раз поговорим с Владиленом Ситниковым, CCO агентства POSSIBLE и основателем агентства Hungry Boys. Обсудим маркетинг и рекламу в сфере, философию платформы и области применения (в том числе порно). Кстати, у нас есть и короткая версия на 8 минут.

Подробнее: https://habr.com/company/microsoft/blog/351846/

#ar #vr #mr #article

VR вчера, сегодня и завтра: мнение одного из первых.

Дима Грицан продолжает брать интервью у всяких крутых ребят из сферы виртуальной реальности. Сегодня разговор с Александром Лукичевым, одним из первооткрывателей VR в России. Обсудим motion capture, VR-парки и бизнес направление отрасли. Кстати, у нас есть и короткая версия на 9 минут. Ссылка на нее в статье!

Подробнее: https://habr.com/company/microsoft/blog/351850/

#article #vr #mr #ar

Windows Mixed Reality: руководство для разработчиков (Часть 1).

Сегодня мы начинаем цикл статей по Windows Mixed Reality. В его рамках мы с нуля разработаем приложение со смешанной реальностью на Unity. Кстати, все это будет проходить в формате lab work (лабораторной работы), то есть вы сможете сами, параллельно с публикацией статей, создать такое приложение. Присоединяйтесь!

Подробнее: https://habr.com/company/microsoft/blog/418655/

#mr #article

Мультиагентные системы в построении виртуальных пространств.

Одна из критических проблем, которые возникают при построении многопользовательских систем – масштабирование. Существуют различные варианты решения это проблемы: шардинг, сервисная модель, Entity-Component System. Сегодня рассмотрим все варианты, а также обсудим практический кейс решения вопроса. Присоединяйтесь!

Подробнее: https://habr.com/company/microsoft/blog/419129/

#vr #mr #ar #article

Доступная смешанная реальность: как создать виртуальное пространство.

Мы продолжаем цикл статей по Windows Mixed Reality. В его рамках с нуля разработаем приложение со смешанной реальностью на Unity в формате lab work (лабораторной работы). Вы сможете сами, параллельно с публикацией статей, создать такое приложение. Сегодня поговорим о настройке среды VR, включая создание виртуальной комнаты.

Подробнее: https://habr.com/company/microsoft/blog/418657/

#vr #mr #ar

Разработка смешанной реальности: а вы ставили динамик в виртуальной гостиной?

Мы продолжаем цикл статей по Windows Mixed Reality и разрабатываем с нуля приложение со смешанной реальностью на Unity в формате lab work (лабораторной работы). Вы сможете сами, параллельно с публикацией статей, создать такое приложение. В этой части рассмотрим поддержку контроллера движения и добавим префаб динамика в виртуальную гостиную.

Подробнее: https://habr.com/company/microsoft/blog/418661/

#ar #vr #mr