Немножко в сторону инструментов для проектирования Mixed Reality - Microsoft Design Labs сделали простой инструмент для Hololens - HoloSketch для проектирования опыта смешанной реальности. Подробности тут: https://medium.com/microsoft-design/holosketch-spatial-layout-and-ux-sketching-app-for-hololens-cb5e17237108, само приложение в магазине: https://www.microsoft.com/en-us/store/p/holosketch/9p3br4t5m4tv #mr #hololens #tools
Medium
Sketching for Mixed Reality Just Got Easier
HoloSketch: A spatial layout and UX sketching app for HoloLens
Новость между майскими праздниками из области смешанной реальности: международная компания Scopis представила голографическую навигационную платформу для хирургов на базе устройств Hololens. Ключевая цель разработки - повысить точность и скорость операций. В видео на Youtuve показывается прототип работы системы во время симулации операции на позвоночнике: https://www.engadget.com/2017/05/05/microsoft-hololens-becomes-an-ar-assistant-for-spinal-surgery/ Интересно обратить внимание, что Hololens используется в связке со специализированным оборудованием для наблюдения за операцией и обсчета всей необходимой визуализации (немного подробностей тут: http://holographic.scopis.com/). Отдельный вопрос, когда такая система получит сертификацию для использования в реальных операциях. #ar #mr #hololens #medicine
Engadget
Microsoft HoloLens becomes an AR assistant for spinal surgery
Microsoft's HoloLens gets a new platform that assists spinal surgeons with mixed reality overlays.
Коротко: в новой бета-версии Unity добавили поддержку шлемов для Windows Mixed Reality, фактически это является расширением уже имевшейся поддержки Hololens в сторону десктопных приложений https://unity3d.com/unity/beta/unity2017.2.0b2 #vr #mr #hololens
Большая новость с фронта Hololens: на конференции CVPR2017 Harry Shum, глава Microsoft AI & Reseach, рассказал о втором поколении HPU (Holographic Processing Unit), специализированного чипсета для обработки пространственной информации. В новой версии, которая готовится для следующего поколения Hololens, добавится AI-сопроцессор для поддержки решений на базе DNN. Зачем это нужно? Ну, например, чтобы лучше в реальном времени распознавать отдельные объекты и, в частности, движение рук. https://www.microsoft.com/en-us/research/blog/second-version-hololens-hpu-will-incorporate-ai-coprocessor-implementing-dnns #ai #mr #hololens #hpu #custom #hardware (И на эту же тему статья в Bloomberg Technology https://www.bloomberg.com/news/articles/2017-07-24/quest-for-ai-leadership-pushes-microsoft-further-into-chip-development.)
Microsoft Research
Second version of HoloLens HPU will incorporate AI coprocessor for implementing DNNs - Microsoft Research
By Marc Pollefeys, Director of Science, HoloLens It is not an exaggeration to say that deep learning has taken the world of computer vision, and many other recognition tasks, by storm. Many of the most difficult recognition problems have seen gains over the…
Кратко: Case Western Reserve University (Clevelend, USA) и Boulevard Arts (музей в New York) думают на тему музеев будущего и, в частности, как притащить музейные экспонаты в каждый дом. Конечно, с помощью Hololens. http://thedaily.case.edu/new-microsoft-hololens-app-lets-users-examine-renowned-british-art-collections-anywhere-world/ #ar #mr #hololens #museum #art
The Daily
New Microsoft HoloLens app lets users examine renowned British art collections from anywhere in the world
Holly Witchey traveled more than 3,200 miles in seconds—and speed wasn’t even the most impressive part of the feat. Standing in the basement of a building on Case Western Reserve University’s campus, the adjunct professor of art history and art suddenly found…
Пятничный пост. Но обратите внимание, там внутри есть ссылка про то, как Deschutes Brewery, одна из крупнейших пивоваренных компаний США, использует решение на базе Hololens для улучшений контроля процесса производства пива. :) #mr #iot #ml #analytics #hololens
Пара воскресных ссылок на статьи про дизайн от наших коллег из блога Microsoft Design. Первая - про 3D, Mixed Reality и переход между 2D и 3D-контекстами. Cara Tyler рассказывает про проектирование погодного приложения, которое имело бы смысл на столе (физическом в смешанной реальности) и в приложении (двухмерном на экране). https://medium.com/microsoft-design/from-3d-to-2d-and-back-again-479906df6b47 #fluent #design #3d #2d #mixed #reality #mr #hololens
Medium
Inside a Microsoft Design Experiment
Bringing dimensionality to everyday applications across devices
Второе — с Алексом Кипманом, Technical Fellow в Microsoft и со-автором Hololens. Также несколько выдержек про смешанную реальность.
1. Приложения для социальных коммуникаций будет "killer app" для MR. Это одна из причин того, что Microsoft купила AltspaceVR, платформу для общения в VR. В частности, в будущем стартовый опыт (Cliff House) станет также социальным местом.
2. Про VR на Xbox. Текущие технологии (с проводами и т.п.) не позволяют сделать это удобным, поэтому на сегодня ставка делается на PC, в котором уже есть провода и необходимые мощности в одном месте. VR в Xbox будет, но в будущем.
3. Windows MR — это Windows 10. Поэтому экосистема приложений начинается не с нуля, а с текущих приложений для Windows Store. Разработчик имеет возможность оставаться в рамках единой платформы, но с касмотмизацией под устройство.
4. Про разделение: AR для бизнеса, VR для консьюмеров. "Я не думаю, что это так. Именно поэтому мы называем это смешанной реальностью. В будущем, устройства будут делать и то, и то."
https://venturebeat.com/2017/10/08/microsoft-mixed-reality-guru-alex-kipman-believes-communication-will-be-vrs-killer-app/view-all/ #ar #vr #mr #hololens #windows #mixed #reality #future
1. Приложения для социальных коммуникаций будет "killer app" для MR. Это одна из причин того, что Microsoft купила AltspaceVR, платформу для общения в VR. В частности, в будущем стартовый опыт (Cliff House) станет также социальным местом.
2. Про VR на Xbox. Текущие технологии (с проводами и т.п.) не позволяют сделать это удобным, поэтому на сегодня ставка делается на PC, в котором уже есть провода и необходимые мощности в одном месте. VR в Xbox будет, но в будущем.
3. Windows MR — это Windows 10. Поэтому экосистема приложений начинается не с нуля, а с текущих приложений для Windows Store. Разработчик имеет возможность оставаться в рамках единой платформы, но с касмотмизацией под устройство.
4. Про разделение: AR для бизнеса, VR для консьюмеров. "Я не думаю, что это так. Именно поэтому мы называем это смешанной реальностью. В будущем, устройства будут делать и то, и то."
https://venturebeat.com/2017/10/08/microsoft-mixed-reality-guru-alex-kipman-believes-communication-will-be-vrs-killer-app/view-all/ #ar #vr #mr #hololens #windows #mixed #reality #future
VentureBeat
Microsoft mixed reality guru Alex Kipman believes communication will be VR’s killer app
When Microsoft announced its Windows Mixed Reality platform last week, it talked about how the combination of virtual reality and augmented reality (which Microsoft calls mixed reality) would create a new era in computing.
Технологические новости из Мадрида. Испанская команда Exovite в партнерстве госпиталем Gregorio Marañón деляет решение для хирургов, позволяющее быстро получать доступ к снимкам компьютерной томографии и УЗИ. В статье отмечается, что решение (на базе Hololens) делается совместно инженерами, радиологами и хирургами. Текущая версия позволяет сократить время операции с 8 часов до 4.5. www.3ders.org/articles/20171023-microsoft-hololens-mixed-reality-headset-helps-spanish-doctors-cut-surgery-time-in-half.html #mr #medicine #future #is #coming #hololens
3ders.org
Microsoft HoloLens Mixed Reality headset helps Spanish doctors cut surgery time in half
Spanish medical tech company Exovite has joined forces with Gregorio Mara''n Hospital in Madrid. The collaboration has resulted Microsoft Mixed Reality headsets being used by surgeons, allowing them to quickly see CT scan data, ultrasound data, and more through…
Ну и чтобы два раза не вставать — обзор медицинских проектов с Hololens: https://news.microsoft.com/apac/features/hololens-medicine-surgery-no-surprises/ #hololens #mr #medicine
Microsoft Stories Asia
Mixed reality and medicine: Surgery with no surprises - Microsoft Stories Asia
Про дополненное зрение (пока с помощью Hololens). Примерно как в фантастических фильмах какой-нибудь очередной герой с помощью продвинутого слуха, специального прибора или супер-зрения смотрит на человека и видит, как пульсирует его лицо (пульс) или едва заметные изменения в окраске лица в зависимости от настроения субъекта. Я помню были даже исследовательские работы, которые визуально усиливали изменения в оттенках лицах по видео-ряду.
Проект Cardiolens от AI&Research (Microsoft) позволяет в реальном времени и без дополнительных приборов (кроме Hololens) измерять и визуализировать флуктуации подкожных потоков крови и жизненных показателей для нескольких людей в области видимости. https://www.microsoft.com/en-us/research/video/cardiolens-pulse-and-vital-sign-measurement-in-mixed-reality-using-a-hololens/ #mr #hololens #medicine
В дополнение: интервью с Dr. Daniel McDuff про проектирование агентов, чувствительных к эмоциям, технологии, стоящие за Cardiolens, и о пролеме приватности и доверия в мире с устройствами, знающими ваши (скрытые) чувства. https://www.microsoft.com/en-us/research/blog/when-psychology-meets-technology-with-dr-daniel-mcduff/
Проект Cardiolens от AI&Research (Microsoft) позволяет в реальном времени и без дополнительных приборов (кроме Hololens) измерять и визуализировать флуктуации подкожных потоков крови и жизненных показателей для нескольких людей в области видимости. https://www.microsoft.com/en-us/research/video/cardiolens-pulse-and-vital-sign-measurement-in-mixed-reality-using-a-hololens/ #mr #hololens #medicine
В дополнение: интервью с Dr. Daniel McDuff про проектирование агентов, чувствительных к эмоциям, технологии, стоящие за Cardiolens, и о пролеме приватности и доверия в мире с устройствами, знающими ваши (скрытые) чувства. https://www.microsoft.com/en-us/research/blog/when-psychology-meets-technology-with-dr-daniel-mcduff/
Microsoft Research
Cardiolens. "Pulse and Vital Sign Measurement in Mixed Reality using a HoloLens" - Microsoft Research
Cardiography, quantitative measurement of the functioning of the heart, traditionally requires customized obtrusive contact sensors. Using new methods photoplethysmography and ballistocardiography signals can be captured using ubiquitous sensors, such as…
Немного истории Hololens от создателей, включая фотки прототипов! https://blogs.microsoft.com/bayarea/2018/04/03/new-lens-on-reality-hololens-system-design-team/ #hololens #mr #history
Microsoft Bay Area
Creating a new lens on reality: The HoloLens System Design team | Microsoft Bay Area
It was classified as top secret. Much like the hardware team itself: the HoloLens was built with true grit, from the ground up.
Тут ребята из Graz University of Technology в Австрии развлекаются с дронами и Hololens, симулируя "рентгеновское зрение" через стенку.
Представьте, что у вас есть схематичная модель помещения (например, сделанная по 3D-планам или формируемая динамично из облака точек). Вы стоите за стенкой, а внутри летает небольшой дрон с камерой. Через очки виртуальной реальности вы можете указывать дрону, куда ему подлететь и что показать. А сами можете переключаться между видами: от своего первого лица, со стороны, или от лица дрона.
Вся эта история может также реализовываться в VR.
https://spectrum.ieee.org/automaton/robotics/drones/see-straight-through-walls-by-augmenting-your-eyeballs-with-drones #drones #vr #mr #hololens
Почему это круто?
1. Иметь рентгеновское зрение — мечта людей со времен появления Супермена, если не раньше.
2. Это еще один эксперимент в области удаленных аватаров, когда мы можем не просто смотреть 360-видео какого-то места, а получаем эффект удаленного присутствия с погружением. Причем, дрон дает даже больше динамических возможностей по сравнению с человеко-подобными аватарами. (Отдельный вопрос — это восприятие такого наблюдателя участниками фактической сцены.)
3. Ну и масса применений — от военных операций и пейнтболла до "залезть через узкий проход в пирамиду Хеопса и увидеть все как бы своими глазами".
Представьте, что у вас есть схематичная модель помещения (например, сделанная по 3D-планам или формируемая динамично из облака точек). Вы стоите за стенкой, а внутри летает небольшой дрон с камерой. Через очки виртуальной реальности вы можете указывать дрону, куда ему подлететь и что показать. А сами можете переключаться между видами: от своего первого лица, со стороны, или от лица дрона.
Вся эта история может также реализовываться в VR.
https://spectrum.ieee.org/automaton/robotics/drones/see-straight-through-walls-by-augmenting-your-eyeballs-with-drones #drones #vr #mr #hololens
Почему это круто?
1. Иметь рентгеновское зрение — мечта людей со времен появления Супермена, если не раньше.
2. Это еще один эксперимент в области удаленных аватаров, когда мы можем не просто смотреть 360-видео какого-то места, а получаем эффект удаленного присутствия с погружением. Причем, дрон дает даже больше динамических возможностей по сравнению с человеко-подобными аватарами. (Отдельный вопрос — это восприятие такого наблюдателя участниками фактической сцены.)
3. Ну и масса применений — от военных операций и пейнтболла до "залезть через узкий проход в пирамиду Хеопса и увидеть все как бы своими глазами".
IEEE Spectrum: Technology, Engineering, and Science News
See Straight Through Walls by Augmenting Your Eyeballs With Drones
A drone combined with a HoloLens can simulate X-ray vision while offering easy and intuitive control
Если вы делаете проекты под Windows Mixed Reality, то, наверняка, вы сталкиваетесь постоянно с одними и теми же задачами, вроде "а как привязать объект к контроллеру" или "как сделать управляющий бокс для манипуляций с объектами". Возможно, вы даже начали писать собственные компоненты для таких типовых задач.
Так вот, у нас есть открытый Mixed Reality ToolKit (MRTK) под Unity, покрывающий большую часть того, с чем вы сталкиваетесь каждый день. Вот тут выложили отличный обзор возможностей: https://medium.com/@dongyoonpark/open-source-building-blocks-for-windows-mixed-reality-experiences-hololens-mixedrealitytoolkit-28a0a16ebb61
MRTK @ GitHub: https://github.com/Microsoft/MixedRealityToolkit-Unity
p.s. Не забудьте проверить ветку v-next: https://github.com/Microsoft/MixedRealityToolkit-Unity/tree/MRTK-Version-Next, там готовится много вкусного, включая поддержку дополнительных платформ (Steam VR и платформы OpenXR).
#MR #OpenSource #Unity #Toolkit
Так вот, у нас есть открытый Mixed Reality ToolKit (MRTK) под Unity, покрывающий большую часть того, с чем вы сталкиваетесь каждый день. Вот тут выложили отличный обзор возможностей: https://medium.com/@dongyoonpark/open-source-building-blocks-for-windows-mixed-reality-experiences-hololens-mixedrealitytoolkit-28a0a16ebb61
MRTK @ GitHub: https://github.com/Microsoft/MixedRealityToolkit-Unity
p.s. Не забудьте проверить ветку v-next: https://github.com/Microsoft/MixedRealityToolkit-Unity/tree/MRTK-Version-Next, там готовится много вкусного, включая поддержку дополнительных платформ (Steam VR и платформы OpenXR).
#MR #OpenSource #Unity #Toolkit
Medium
MRTK: Open-Source Building Blocks for Windows Mixed Reality Experiences
Learn about the latest building blocks in MRTK(Mixed Reality Toolkit) for creating apps for HoloLens and immersive headsets.