Я уже рассказывал о наработках Qualcomm в области чипсетов, выходящих за рамки привычного CPU, — тогда речь шла о работе с нейронными сетями и обработке изображений (например, сетчатки глаза). Вот еще одна интересная работа - развитие темы ISP (Image Signal Processor) в сторону AR/VR-сценариев. Qualcomm работает над технологией "active depth sensing", позволяющей сканировать окружающее пространство с помощью инфракрасной подсветки. Это все чем-то напоминает идеи Kinect и Project Tango, но в мобильном чипсете, а значит, потенциально в вашем следующем смартфоне и смартфонах ваших друзей. https://www.fastcompany.com/40451913/qualcomms-new-camera-will-give-smartphones-3d-vision #ar #vr #vision #hardware

Пара интервью на тему AR/MR/VR. Первое — с Тимом Куком, главой Apple, про айфоны, дополненную реальность и как сделать мир чуть лучше и волшебнее.

Несколько выдержек про AR:
1. Кук сравнивает появление ARKit по своему влиянию на будущее с появлением самого iPhone и App Store. AR будет использоваться не "некоторыми категориями людей", а "всеми".
2. Apple делает ставку не на приложения для дополненной реальности как таковые, а на широкий фрейморк из сенсоров и софта, на базе которого разработчики смогут создавать свои приложения (как обычно, с большой ставкой на контроль и интеграцию железа и ПО).
3. Про отдельные устройства для AR: сегодня, чтобы сделать хороший опыт нужны две вещи: 1) сенсоры и вычислительные мощности, которые уже упакованы в iPhone/iPad, 2) коммерческая возможность, то есть наличие устройств и разработчиков на рынке. С отдельным устройством, сегодня не было бы коммерческого потенциала, но Apple, как обычно, не комментирует возможность появления такого устройства в будущем. "Технологиии сегодня не позволяют сделать такое решение качественным."

http://www.independent.co.uk/life-style/gadgets-and-tech/features/apple-iphone-tim-cook-interview-features-new-augmented-reality-ar-arkit-a7993566.html #apple #AR #MR #Future

Второе — с Алексом Кипманом, Technical Fellow в Microsoft и со-автором Hololens. Также несколько выдержек про смешанную реальность.

1. Приложения для социальных коммуникаций будет "killer app" для MR. Это одна из причин того, что Microsoft купила AltspaceVR, платформу для общения в VR. В частности, в будущем стартовый опыт (Cliff House) станет также социальным местом.
2. Про VR на Xbox. Текущие технологии (с проводами и т.п.) не позволяют сделать это удобным, поэтому на сегодня ставка делается на PC, в котором уже есть провода и необходимые мощности в одном месте. VR в Xbox будет, но в будущем.
3. Windows MR — это Windows 10. Поэтому экосистема приложений начинается не с нуля, а с текущих приложений для Windows Store. Разработчик имеет возможность оставаться в рамках единой платформы, но с касмотмизацией под устройство.
4. Про разделение: AR для бизнеса, VR для консьюмеров. "Я не думаю, что это так. Именно поэтому мы называем это смешанной реальностью. В будущем, устройства будут делать и то, и то."

https://venturebeat.com/2017/10/08/microsoft-mixed-reality-guru-alex-kipman-believes-communication-will-be-vrs-killer-app/view-all/ #ar #vr #mr #hololens #windows #mixed #reality #future

Про аудио-измерение AR/MR/VR. Я уже несколько раз писал о том, что spatial audio (пространственный звук) в опыте погружения в любую реальность не менее важно, чем видео канал. Вот еще один взгляд на это от Bilboard в контексте запуска Pixel Buds от Google. По началу может показаться, что речь идет просто о более удобном формфакторе: сделали вкладыши беспроводными, значит не нужно путаться в проводах, плюс получили "цифровой" звук по bluetooth. Но тут же оказывается, что в дополнение идет подавление звука (noise canceling), позволяющее в нужной пропорции фильтровать или смешивать внешние и подаваемые звуки, плюс микрофон для общения. И вот в этом миксе появляются фантастические (ранее) идеи о том, что можно "дополнять" или изменять звуковую картину вокруг. Хотите слышать шумы, но чуть потише? Пожалуйста. Хотите отфильтровать в метро звук колес? Давайте попробуем. Хотите смешать звук на концерте с более "чистым" звучанием? Почему бы и нет. Сюда же все идеи перевода на лету, подстройки музыки под ритм бега и т.п. Большая тема, в общем! :) www.billboard.com/articles/business/7998347/how-augmented-reality-audio-soundtrack-your-life #ar #mr #vr #audio #spatial

Я думаю, многи из вас пробовали или видели Prezi — платформу для создания презентаций из большого холста, с поворотами, масштабированием и т.п. Сегодня авторы инструмента думают, куда его развивать дальше. И один из вариентов — в сторону дополненной реальности, особенно с фокусом на удаленные презентации, в которых хочется одновременно показывать человека и визуальные объекты. https://www.wired.com/story/prezi-augmented-reality/ Пока, правда, больше похоже на просто наложение графики поверх съемки с камерой (в этом смысле это скорее классический AR), но мне лично кажется, что направление мысли очень даже правильное. Посмотреть, как это работает на практике можно в лекции Robert Sapolsky с TED (https://www.ted.com/talks/robert_sapolsky_the_biology_of_our_best_and_worst_selves#t-394609). #AR #presentations #slides #noslides

Немного технический пост про дополненную реальность на мобильных устройствах. Если вы пишите на Xamarin, то вот вам две инструкции: 1) использование ARKit на iOS https://blog.xamarin.com/augment-reality-xamarin-ios-11/, и использование ARCore на Android https://blog.xamarin.com/augmented-reality-xamarin-android-arcore/ #ar #mobile #cross #platform

VC и Андрей Себрант (@techsparks) вчера под вечер уже написали про историю стартапа DopplerLabs, который объявил о своем закрытии. Вкратце — они были одними из пионеров "по-настоящему" беспроводных наушников с активным шумопдавлением и т.п. Причем начинали с физических акустических фильтров для ушей и их последний продукт - HereOne по функциональности действительно был одним из лидеров рынка. Но не сложилось... как только выяснилось, что ниша знаковая и в нее ломанулись все большие игроки. Лично я думал купить себе такие наушники в середине сентября, но удержался из-за цены и желания подождать, как после CES на эту нишу отреагируют большие игроки (об этом я уже писал).

Добавлю еще несколько деталей в эту историю, делающие ее еще более грустной... Первое, что бросается в глаза, это что миссия команды была не в том, чтобы занять именно лидерские позиции в сегменте (хотя, наверняка, хотелось). Они хотели сделать звук максимально персонализированным и даже приводили аналогию с линзами для глаз, которые подбираются всегда под личные особенности зрения. Вот также и со звуком. Причем явный акцент и в миссии, и в софте с железом делался на людей с ограниченными возможностями. И новый невыпущенный продукт только усиливал этот акцент. Найдите в описании флагманских наушников от Apple, Google или, скажем, Sony упоминание темы accessibility. (Подсказка: его там нет.) И вот этот "гуманный" аспект он просто проходит красной нитью через все статьи, посвященные закрытию проекта. Очень-очень жаль, что так все обернулось.

Второе, как это часто бывает (особенно) с железячными стартапами, нужен опыт в производстве электроники — от подбора комплектующих и надежности (и предсказуемости) поставщиков и сборки до четко выверенных консьюмерских параметров. И это то, где "гиганты", как только они почувствуют в нише деньги, всегда будут "бить" маленьких игроков. Что пошло не так? “We fucking started a hardware business!” Не кстати, если можно так сказать, оказалось и то, что long-term ценность этого сегмента не в самих устройствах, а сервисах вокруг них. Создатели думали, что дальше они будут постепенно добавлять интеллектуальные сервисы вроде голосового перевода, а оказалось, что для гигантов вроде Google намного легче сделать железо к уже существующим сервисам, чем для Doppler Lab сделать свои сервисы к уже созданному железу. Поучительно, конечно.

https://www.wired.com/story/inside-the-downfall-of-doppler-labs/
#ar #augmented #sound #acoustic #filters

Когда разные игроки начали приделывать к приложению камеры различные "линзы" (а это было, например, на заре Windows Phone с огромным фокусом Nokia на качественных камерах), казалось, что это просто интересный API. Когда разные другие игроки начали приделывать к съемке фотографий живые фильтры, привязанные к лицам, казалось, что просто прикольные AI-проекты (CV). Когда Snapchat начал поговаривать о себе, как о camera platfrom, что-то начало шевелиться. Когда FB, стараясь обогнать Apple сказал, что AR вот уже здесь в камере, казалось, ну да, что-то в этом есть. Когда потом Apple выпустил ARKit, Google - ARCore и MSFT - показала интеграцию MR в приложения работа с фото/видео/камерой, тема, наконец-то, всплыла на поверхность и стала массово очевидной.

NewCo Shift пишет о том, как "линзы" для камер становятся новыми приложениями в мире пространственных вычислений (spatial computing). "Камера объединит во времени и пространстве реальный мир и мир интернета".

https://shift.newco.co/spatial-computing-the-os-migrates-to-the-camera-627d6fab0778 #AR #Camera #MR

Наконец-то дошли руки перевести в текст мой рассказ на AVRA Days в Skolkovo. Про будущее AR/MR/VR, следующие большие битвы и направления, множество открытых вопросов и судьбы человечества. https://outofline.ru/5-важных-направлений-в-развитии-ar-mr-vr-и-прочих-реальностей-b702758ee104 #ar #mr #vr #future

В начале года Microsoft купила шведскую компанию Simplygon, разрабатывающие технологии оптимизации трехмерных моделей. После некоторого периода внутренней инкубации, теперь технологии Simplygon доступны в виде облачного сервиса - Simplygon Cloud! На вход принимаются GLTF, FBX и OBJ, на выходе модели для HoloLens и Windows Mixed Reality, ARKit на iOS, ARCore на Android, и WebGL для браузеров. https://blogs.windows.com/buildingapps/2017/12/07/microsoft-announces-simplygon-cloud-optimizes-mixed-reality-development/ #ar #mr #vr #graphics #optimization

p.s. Работает в вариантах Azure и Azure Stack