На Ars-technica вышла замечательная статья про смешанную реальность и HoloLens — внутри интересные истории про раннее внедрение смешанной реальности, и сторонние наблюдения за стратегией Microsoft. Ключевые выводы по использованию mixed reality в производстве, помимо очевидных дизайнерских применений: 1) сокращение циклов проектирования, особенно в тех случаях, когда требуется физическое полномасштабное моделирование (например, грузовиков), 2) упрощение коммуникаций, в том числе с заказчиками (за счет погружения), 3) постепенная трансформация классических производственных процессов (роль интеграторов играют дизайн-студии, создающие решения под Hololens), 4) лучше начинать с небольших проектов, которые дадут реальную позитивную отдачу инженерам, которые будут поддерживать вас дальше. https://arstechnica.com/information-technology/2017/03/our-new-mixed-reality-early-adopters-have-become-hololens-believers-at-work/ #mr #ar #hololens

Новый кейс с Hololens от thyssenkrupp - в ролике сценарий по дизайну лестниц в доме. Обратите внимание на то, что для точного сканирования расстояний используется специальный инструмент, спроектированный под эту задачу. Получаемые метки через технологии компьютерного зрения объединяются с сеткой, которую создает Hololens, в результате получается достаточно точная модель, чтобы поверх нее строить уже различные варианты дизайна. https://www.youtube.com/watch?v=IgtHnCJJUMU #hololens #mr #vr

Еще одна крутейшая история с Hololens - CAE Healhcare делает образовательную платформу VimedixVR, нацеленную на медиков. Например, она позволяет создать симуляцию исследования пациента (манекена) с помощью ультразвука, наконец-то (!) совмещая картинку, которую обычно наблюдают на экране, с физическим объектом. С помощью Hololens создается ощущение, что сканируется реальное тело. С точки зрения быстрого формирования пространственного мышления у юных медиков, это прямо очень классно. https://www.youtube.com/watch?v=bQ6d040qf8c #hololens #mr #medicine

В тему Digital Transformation: трансформация не случается сразу и масштабно, она приходит постепенно в разных участках создания конечного продукта или сервиса. Вот двойная история про Tetra Pak: с одной стороны, использование машинного обучения для предсказания поломок оборудования и сбора телеметрии, с другой стороны, использование мобильных устройств для упрощения работы инженеров обслуживания. В первой части - это облачные сервисы (Azure) для сбора, анализа и предсказания — и экономия, понятно, на предупреждении поломок), во второй части - это данные и визуализация для инженеров и Hololens для обеспечения дистанционной связи (Skype) с удаленным инженером, которого теперь можно не отправлять, — и экономия на скорости обслуживания и затратах на отправку высоклассных специалистов на фабрики. https://blogs.microsoft.com/transform/feature/total-package-tetra-paks-technology-keeps-food-drink-flowing-safely-from-farm-table/ #digital #transformation #azure #ml #hololens #mr

Немножко в сторону инструментов для проектирования Mixed Reality - Microsoft Design Labs сделали простой инструмент для Hololens - HoloSketch для проектирования опыта смешанной реальности. Подробности тут: https://medium.com/microsoft-design/holosketch-spatial-layout-and-ux-sketching-app-for-hololens-cb5e17237108, само приложение в магазине: https://www.microsoft.com/en-us/store/p/holosketch/9p3br4t5m4tv #mr #hololens #tools

Новость между майскими праздниками из области смешанной реальности: международная компания Scopis представила голографическую навигационную платформу для хирургов на базе устройств Hololens. Ключевая цель разработки - повысить точность и скорость операций. В видео на Youtuve показывается прототип работы системы во время симулации операции на позвоночнике: https://www.engadget.com/2017/05/05/microsoft-hololens-becomes-an-ar-assistant-for-spinal-surgery/ Интересно обратить внимание, что Hololens используется в связке со специализированным оборудованием для наблюдения за операцией и обсчета всей необходимой визуализации (немного подробностей тут: http://holographic.scopis.com/). Отдельный вопрос, когда такая система получит сертификацию для использования в реальных операциях. #ar #mr #hololens #medicine

Коротко: в новой бета-версии Unity добавили поддержку шлемов для Windows Mixed Reality, фактически это является расширением уже имевшейся поддержки Hololens в сторону десктопных приложений https://unity3d.com/unity/beta/unity2017.2.0b2 #vr #mr #hololens

Большая новость с фронта Hololens: на конференции CVPR2017 Harry Shum, глава Microsoft AI & Reseach, рассказал о втором поколении HPU (Holographic Processing Unit), специализированного чипсета для обработки пространственной информации. В новой версии, которая готовится для следующего поколения Hololens, добавится AI-сопроцессор для поддержки решений на базе DNN. Зачем это нужно? Ну, например, чтобы лучше в реальном времени распознавать отдельные объекты и, в частности, движение рук. https://www.microsoft.com/en-us/research/blog/second-version-hololens-hpu-will-incorporate-ai-coprocessor-implementing-dnns #ai #mr #hololens #hpu #custom #hardware (И на эту же тему статья в Bloomberg Technology https://www.bloomberg.com/news/articles/2017-07-24/quest-for-ai-leadership-pushes-microsoft-further-into-chip-development.)

Кратко: Case Western Reserve University (Clevelend, USA) и Boulevard Arts (музей в New York) думают на тему музеев будущего и, в частности, как притащить музейные экспонаты в каждый дом. Конечно, с помощью Hololens. http://thedaily.case.edu/new-microsoft-hololens-app-lets-users-examine-renowned-british-art-collections-anywhere-world/ #ar #mr #hololens #museum #art

Пятничный пост. Но обратите внимание, там внутри есть ссылка про то, как Deschutes Brewery, одна из крупнейших пивоваренных компаний США, использует решение на базе Hololens для улучшений контроля процесса производства пива. :) #mr #iot #ml #analytics #hololens

Пара воскресных ссылок на статьи про дизайн от наших коллег из блога Microsoft Design. Первая - про 3D, Mixed Reality и переход между 2D и 3D-контекстами. Cara Tyler рассказывает про проектирование погодного приложения, которое имело бы смысл на столе (физическом в смешанной реальности) и в приложении (двухмерном на экране). https://medium.com/microsoft-design/from-3d-to-2d-and-back-again-479906df6b47 #fluent #design #3d #2d #mixed #reality #mr #hololens

Второе — с Алексом Кипманом, Technical Fellow в Microsoft и со-автором Hololens. Также несколько выдержек про смешанную реальность.

1. Приложения для социальных коммуникаций будет "killer app" для MR. Это одна из причин того, что Microsoft купила AltspaceVR, платформу для общения в VR. В частности, в будущем стартовый опыт (Cliff House) станет также социальным местом.
2. Про VR на Xbox. Текущие технологии (с проводами и т.п.) не позволяют сделать это удобным, поэтому на сегодня ставка делается на PC, в котором уже есть провода и необходимые мощности в одном месте. VR в Xbox будет, но в будущем.
3. Windows MR — это Windows 10. Поэтому экосистема приложений начинается не с нуля, а с текущих приложений для Windows Store. Разработчик имеет возможность оставаться в рамках единой платформы, но с касмотмизацией под устройство.
4. Про разделение: AR для бизнеса, VR для консьюмеров. "Я не думаю, что это так. Именно поэтому мы называем это смешанной реальностью. В будущем, устройства будут делать и то, и то."

https://venturebeat.com/2017/10/08/microsoft-mixed-reality-guru-alex-kipman-believes-communication-will-be-vrs-killer-app/view-all/ #ar #vr #mr #hololens #windows #mixed #reality #future

Технологические новости из Мадрида. Испанская команда Exovite в партнерстве госпиталем Gregorio Marañón деляет решение для хирургов, позволяющее быстро получать доступ к снимкам компьютерной томографии и УЗИ. В статье отмечается, что решение (на базе Hololens) делается совместно инженерами, радиологами и хирургами. Текущая версия позволяет сократить время операции с 8 часов до 4.5. www.3ders.org/articles/20171023-microsoft-hololens-mixed-reality-headset-helps-spanish-doctors-cut-surgery-time-in-half.html #mr #medicine #future #is #coming #hololens

Ну и чтобы два раза не вставать — обзор медицинских проектов с Hololens: https://news.microsoft.com/apac/features/hololens-medicine-surgery-no-surprises/ #hololens #mr #medicine

Про дополненное зрение (пока с помощью Hololens). Примерно как в фантастических фильмах какой-нибудь очередной герой с помощью продвинутого слуха, специального прибора или супер-зрения смотрит на человека и видит, как пульсирует его лицо (пульс) или едва заметные изменения в окраске лица в зависимости от настроения субъекта. Я помню были даже исследовательские работы, которые визуально усиливали изменения в оттенках лицах по видео-ряду.

Проект Cardiolens от AI&Research (Microsoft) позволяет в реальном времени и без дополнительных приборов (кроме Hololens) измерять и визуализировать флуктуации подкожных потоков крови и жизненных показателей для нескольких людей в области видимости. https://www.microsoft.com/en-us/research/video/cardiolens-pulse-and-vital-sign-measurement-in-mixed-reality-using-a-hololens/ #mr #hololens #medicine

В дополнение: интервью с Dr. Daniel McDuff про проектирование агентов, чувствительных к эмоциям, технологии, стоящие за Cardiolens, и о пролеме приватности и доверия в мире с устройствами, знающими ваши (скрытые) чувства. https://www.microsoft.com/en-us/research/blog/when-psychology-meets-technology-with-dr-daniel-mcduff/

Немного истории Hololens от создателей, включая фотки прототипов! https://blogs.microsoft.com/bayarea/2018/04/03/new-lens-on-reality-hololens-system-design-team/ #hololens #mr #history

Тут ребята из Graz University of Technology в Австрии развлекаются с дронами и Hololens, симулируя "рентгеновское зрение" через стенку.

Представьте, что у вас есть схематичная модель помещения (например, сделанная по 3D-планам или формируемая динамично из облака точек). Вы стоите за стенкой, а внутри летает небольшой дрон с камерой. Через очки виртуальной реальности вы можете указывать дрону, куда ему подлететь и что показать. А сами можете переключаться между видами: от своего первого лица, со стороны, или от лица дрона.

Вся эта история может также реализовываться в VR.

https://spectrum.ieee.org/automaton/robotics/drones/see-straight-through-walls-by-augmenting-your-eyeballs-with-drones #drones #vr #mr #hololens

Почему это круто?
1. Иметь рентгеновское зрение — мечта людей со времен появления Супермена, если не раньше.
2. Это еще один эксперимент в области удаленных аватаров, когда мы можем не просто смотреть 360-видео какого-то места, а получаем эффект удаленного присутствия с погружением. Причем, дрон дает даже больше динамических возможностей по сравнению с человеко-подобными аватарами. (Отдельный вопрос — это восприятие такого наблюдателя участниками фактической сцены.)
3. Ну и масса применений — от военных операций и пейнтболла до "залезть через узкий проход в пирамиду Хеопса и увидеть все как бы своими глазами".

Если вы делаете проекты под Windows Mixed Reality, то, наверняка, вы сталкиваетесь постоянно с одними и теми же задачами, вроде "а как привязать объект к контроллеру" или "как сделать управляющий бокс для манипуляций с объектами". Возможно, вы даже начали писать собственные компоненты для таких типовых задач.

Так вот, у нас есть открытый Mixed Reality ToolKit (MRTK) под Unity, покрывающий большую часть того, с чем вы сталкиваетесь каждый день. Вот тут выложили отличный обзор возможностей: https://medium.com/@dongyoonpark/open-source-building-blocks-for-windows-mixed-reality-experiences-hololens-mixedrealitytoolkit-28a0a16ebb61

MRTK @ GitHub: https://github.com/Microsoft/MixedRealityToolkit-Unity

p.s. Не забудьте проверить ветку v-next: https://github.com/Microsoft/MixedRealityToolkit-Unity/tree/MRTK-Version-Next, там готовится много вкусного, включая поддержку дополнительных платформ (Steam VR и платформы OpenXR).

#MR #OpenSource #Unity #Toolkit