Я уже рассказывал о наработках Qualcomm в области чипсетов, выходящих за рамки привычного CPU, — тогда речь шла о работе с нейронными сетями и обработке изображений (например, сетчатки глаза). Вот еще одна интересная работа - развитие темы ISP (Image Signal Processor) в сторону AR/VR-сценариев. Qualcomm работает над технологией "active depth sensing", позволяющей сканировать окружающее пространство с помощью инфракрасной подсветки. Это все чем-то напоминает идеи Kinect и Project Tango, но в мобильном чипсете, а значит, потенциально в вашем следующем смартфоне и смартфонах ваших друзей. https://www.fastcompany.com/40451913/qualcomms-new-camera-will-give-smartphones-3d-vision #ar #vr #vision #hardware
Fast Company
Qualcomm’s New Camera Will Give Smartphones 3D Vision
The mobile chip giant is introducing a new depth-camera system that could make its way into major smartphones, headsets, robots, and even cars.
Пара интервью на тему AR/MR/VR. Первое — с Тимом Куком, главой Apple, про айфоны, дополненную реальность и как сделать мир чуть лучше и волшебнее.
Несколько выдержек про AR:
1. Кук сравнивает появление ARKit по своему влиянию на будущее с появлением самого iPhone и App Store. AR будет использоваться не "некоторыми категориями людей", а "всеми".
2. Apple делает ставку не на приложения для дополненной реальности как таковые, а на широкий фрейморк из сенсоров и софта, на базе которого разработчики смогут создавать свои приложения (как обычно, с большой ставкой на контроль и интеграцию железа и ПО).
3. Про отдельные устройства для AR: сегодня, чтобы сделать хороший опыт нужны две вещи: 1) сенсоры и вычислительные мощности, которые уже упакованы в iPhone/iPad, 2) коммерческая возможность, то есть наличие устройств и разработчиков на рынке. С отдельным устройством, сегодня не было бы коммерческого потенциала, но Apple, как обычно, не комментирует возможность появления такого устройства в будущем. "Технологиии сегодня не позволяют сделать такое решение качественным."
http://www.independent.co.uk/life-style/gadgets-and-tech/features/apple-iphone-tim-cook-interview-features-new-augmented-reality-ar-arkit-a7993566.html #apple #AR #MR #Future
Несколько выдержек про AR:
1. Кук сравнивает появление ARKit по своему влиянию на будущее с появлением самого iPhone и App Store. AR будет использоваться не "некоторыми категориями людей", а "всеми".
2. Apple делает ставку не на приложения для дополненной реальности как таковые, а на широкий фрейморк из сенсоров и софта, на базе которого разработчики смогут создавать свои приложения (как обычно, с большой ставкой на контроль и интеграцию железа и ПО).
3. Про отдельные устройства для AR: сегодня, чтобы сделать хороший опыт нужны две вещи: 1) сенсоры и вычислительные мощности, которые уже упакованы в iPhone/iPad, 2) коммерческая возможность, то есть наличие устройств и разработчиков на рынке. С отдельным устройством, сегодня не было бы коммерческого потенциала, но Apple, как обычно, не комментирует возможность появления такого устройства в будущем. "Технологиии сегодня не позволяют сделать такое решение качественным."
http://www.independent.co.uk/life-style/gadgets-and-tech/features/apple-iphone-tim-cook-interview-features-new-augmented-reality-ar-arkit-a7993566.html #apple #AR #MR #Future
The Independent
Apple thinks it's about to change your world with its new iPhone fea…
Earlier this year, video emerged of a new iPhone feature, long before it was released. It showed the phone creating a magical portal in the middle of a city street. And now that’s arrived. Apple’s
Второе — с Алексом Кипманом, Technical Fellow в Microsoft и со-автором Hololens. Также несколько выдержек про смешанную реальность.
1. Приложения для социальных коммуникаций будет "killer app" для MR. Это одна из причин того, что Microsoft купила AltspaceVR, платформу для общения в VR. В частности, в будущем стартовый опыт (Cliff House) станет также социальным местом.
2. Про VR на Xbox. Текущие технологии (с проводами и т.п.) не позволяют сделать это удобным, поэтому на сегодня ставка делается на PC, в котором уже есть провода и необходимые мощности в одном месте. VR в Xbox будет, но в будущем.
3. Windows MR — это Windows 10. Поэтому экосистема приложений начинается не с нуля, а с текущих приложений для Windows Store. Разработчик имеет возможность оставаться в рамках единой платформы, но с касмотмизацией под устройство.
4. Про разделение: AR для бизнеса, VR для консьюмеров. "Я не думаю, что это так. Именно поэтому мы называем это смешанной реальностью. В будущем, устройства будут делать и то, и то."
https://venturebeat.com/2017/10/08/microsoft-mixed-reality-guru-alex-kipman-believes-communication-will-be-vrs-killer-app/view-all/ #ar #vr #mr #hololens #windows #mixed #reality #future
1. Приложения для социальных коммуникаций будет "killer app" для MR. Это одна из причин того, что Microsoft купила AltspaceVR, платформу для общения в VR. В частности, в будущем стартовый опыт (Cliff House) станет также социальным местом.
2. Про VR на Xbox. Текущие технологии (с проводами и т.п.) не позволяют сделать это удобным, поэтому на сегодня ставка делается на PC, в котором уже есть провода и необходимые мощности в одном месте. VR в Xbox будет, но в будущем.
3. Windows MR — это Windows 10. Поэтому экосистема приложений начинается не с нуля, а с текущих приложений для Windows Store. Разработчик имеет возможность оставаться в рамках единой платформы, но с касмотмизацией под устройство.
4. Про разделение: AR для бизнеса, VR для консьюмеров. "Я не думаю, что это так. Именно поэтому мы называем это смешанной реальностью. В будущем, устройства будут делать и то, и то."
https://venturebeat.com/2017/10/08/microsoft-mixed-reality-guru-alex-kipman-believes-communication-will-be-vrs-killer-app/view-all/ #ar #vr #mr #hololens #windows #mixed #reality #future
VentureBeat
Microsoft mixed reality guru Alex Kipman believes communication will be VR’s killer app
When Microsoft announced its Windows Mixed Reality platform last week, it talked about how the combination of virtual reality and augmented reality (which Microsoft calls mixed reality) would create a new era in computing.
Про аудио-измерение AR/MR/VR. Я уже несколько раз писал о том, что spatial audio (пространственный звук) в опыте погружения в любую реальность не менее важно, чем видео канал. Вот еще один взгляд на это от Bilboard в контексте запуска Pixel Buds от Google. По началу может показаться, что речь идет просто о более удобном формфакторе: сделали вкладыши беспроводными, значит не нужно путаться в проводах, плюс получили "цифровой" звук по bluetooth. Но тут же оказывается, что в дополнение идет подавление звука (noise canceling), позволяющее в нужной пропорции фильтровать или смешивать внешние и подаваемые звуки, плюс микрофон для общения. И вот в этом миксе появляются фантастические (ранее) идеи о том, что можно "дополнять" или изменять звуковую картину вокруг. Хотите слышать шумы, но чуть потише? Пожалуйста. Хотите отфильтровать в метро звук колес? Давайте попробуем. Хотите смешать звук на концерте с более "чистым" звучанием? Почему бы и нет. Сюда же все идеи перевода на лету, подстройки музыки под ритм бега и т.п. Большая тема, в общем! :) www.billboard.com/articles/business/7998347/how-augmented-reality-audio-soundtrack-your-life #ar #mr #vr #audio #spatial
Billboard
How Augmented Reality Audio Will Let You Soundtrack Your Life
It’s easy to grasp how users will see AR content through screens, and later glasses, but how will they hear augmented reality?
Я думаю, многи из вас пробовали или видели Prezi — платформу для создания презентаций из большого холста, с поворотами, масштабированием и т.п. Сегодня авторы инструмента думают, куда его развивать дальше. И один из вариентов — в сторону дополненной реальности, особенно с фокусом на удаленные презентации, в которых хочется одновременно показывать человека и визуальные объекты. https://www.wired.com/story/prezi-augmented-reality/ Пока, правда, больше похоже на просто наложение графики поверх съемки с камерой (в этом смысле это скорее классический AR), но мне лично кажется, что направление мысли очень даже правильное. Посмотреть, как это работает на практике можно в лекции Robert Sapolsky с TED (https://www.ted.com/talks/robert_sapolsky_the_biology_of_our_best_and_worst_selves#t-394609). #AR #presentations #slides #noslides
Wired
Sorry, PowerPoint: The Slide Deck of the Future Will Be in AR
Prezi is using augmented reality to make presentations more immersive and engaging.
Немного технический пост про дополненную реальность на мобильных устройствах. Если вы пишите на Xamarin, то вот вам две инструкции: 1) использование ARKit на iOS https://blog.xamarin.com/augment-reality-xamarin-ios-11/, и использование ARCore на Android https://blog.xamarin.com/augmented-reality-xamarin-android-arcore/ #ar #mobile #cross #platform
Xamarin Blog
Augment Reality and ARKit with Xamarin and iOS 11 |
One of the showcase features of iOS 11 is ARKit, an augmented-reality mode available on devices powered by A9 and newer chips (basically, 6S and better iPhones, 2017 iPads, and iPad Pros). With ARKit, users hold up the device and view a composite of the video…
VC и Андрей Себрант (@techsparks) вчера под вечер уже написали про историю стартапа DopplerLabs, который объявил о своем закрытии. Вкратце — они были одними из пионеров "по-настоящему" беспроводных наушников с активным шумопдавлением и т.п. Причем начинали с физических акустических фильтров для ушей и их последний продукт - HereOne по функциональности действительно был одним из лидеров рынка. Но не сложилось... как только выяснилось, что ниша знаковая и в нее ломанулись все большие игроки. Лично я думал купить себе такие наушники в середине сентября, но удержался из-за цены и желания подождать, как после CES на эту нишу отреагируют большие игроки (об этом я уже писал).
Добавлю еще несколько деталей в эту историю, делающие ее еще более грустной... Первое, что бросается в глаза, это что миссия команды была не в том, чтобы занять именно лидерские позиции в сегменте (хотя, наверняка, хотелось). Они хотели сделать звук максимально персонализированным и даже приводили аналогию с линзами для глаз, которые подбираются всегда под личные особенности зрения. Вот также и со звуком. Причем явный акцент и в миссии, и в софте с железом делался на людей с ограниченными возможностями. И новый невыпущенный продукт только усиливал этот акцент. Найдите в описании флагманских наушников от Apple, Google или, скажем, Sony упоминание темы accessibility. (Подсказка: его там нет.) И вот этот "гуманный" аспект он просто проходит красной нитью через все статьи, посвященные закрытию проекта. Очень-очень жаль, что так все обернулось.
Второе, как это часто бывает (особенно) с железячными стартапами, нужен опыт в производстве электроники — от подбора комплектующих и надежности (и предсказуемости) поставщиков и сборки до четко выверенных консьюмерских параметров. И это то, где "гиганты", как только они почувствуют в нише деньги, всегда будут "бить" маленьких игроков. Что пошло не так? “We fucking started a hardware business!” Не кстати, если можно так сказать, оказалось и то, что long-term ценность этого сегмента не в самих устройствах, а сервисах вокруг них. Создатели думали, что дальше они будут постепенно добавлять интеллектуальные сервисы вроде голосового перевода, а оказалось, что для гигантов вроде Google намного легче сделать железо к уже существующим сервисам, чем для Doppler Lab сделать свои сервисы к уже созданному железу. Поучительно, конечно.
https://www.wired.com/story/inside-the-downfall-of-doppler-labs/
#ar #augmented #sound #acoustic #filters
Добавлю еще несколько деталей в эту историю, делающие ее еще более грустной... Первое, что бросается в глаза, это что миссия команды была не в том, чтобы занять именно лидерские позиции в сегменте (хотя, наверняка, хотелось). Они хотели сделать звук максимально персонализированным и даже приводили аналогию с линзами для глаз, которые подбираются всегда под личные особенности зрения. Вот также и со звуком. Причем явный акцент и в миссии, и в софте с железом делался на людей с ограниченными возможностями. И новый невыпущенный продукт только усиливал этот акцент. Найдите в описании флагманских наушников от Apple, Google или, скажем, Sony упоминание темы accessibility. (Подсказка: его там нет.) И вот этот "гуманный" аспект он просто проходит красной нитью через все статьи, посвященные закрытию проекта. Очень-очень жаль, что так все обернулось.
Второе, как это часто бывает (особенно) с железячными стартапами, нужен опыт в производстве электроники — от подбора комплектующих и надежности (и предсказуемости) поставщиков и сборки до четко выверенных консьюмерских параметров. И это то, где "гиганты", как только они почувствуют в нише деньги, всегда будут "бить" маленьких игроков. Что пошло не так? “We fucking started a hardware business!” Не кстати, если можно так сказать, оказалось и то, что long-term ценность этого сегмента не в самих устройствах, а сервисах вокруг них. Создатели думали, что дальше они будут постепенно добавлять интеллектуальные сервисы вроде голосового перевода, а оказалось, что для гигантов вроде Google намного легче сделать железо к уже существующим сервисам, чем для Doppler Lab сделать свои сервисы к уже созданному железу. Поучительно, конечно.
https://www.wired.com/story/inside-the-downfall-of-doppler-labs/
#ar #augmented #sound #acoustic #filters
Wired
Inside the Downfall of a Wildly Ambitious Hardware Startup
Doppler Labs tried to start an ear-puter revolution with its Here One earbuds. Then everything went downhill.
Когда разные игроки начали приделывать к приложению камеры различные "линзы" (а это было, например, на заре Windows Phone с огромным фокусом Nokia на качественных камерах), казалось, что это просто интересный API. Когда разные другие игроки начали приделывать к съемке фотографий живые фильтры, привязанные к лицам, казалось, что просто прикольные AI-проекты (CV). Когда Snapchat начал поговаривать о себе, как о camera platfrom, что-то начало шевелиться. Когда FB, стараясь обогнать Apple сказал, что AR вот уже здесь в камере, казалось, ну да, что-то в этом есть. Когда потом Apple выпустил ARKit, Google - ARCore и MSFT - показала интеграцию MR в приложения работа с фото/видео/камерой, тема, наконец-то, всплыла на поверхность и стала массово очевидной.
NewCo Shift пишет о том, как "линзы" для камер становятся новыми приложениями в мире пространственных вычислений (spatial computing). "Камера объединит во времени и пространстве реальный мир и мир интернета".
https://shift.newco.co/spatial-computing-the-os-migrates-to-the-camera-627d6fab0778 #AR #Camera #MR
NewCo Shift пишет о том, как "линзы" для камер становятся новыми приложениями в мире пространственных вычислений (spatial computing). "Камера объединит во времени и пространстве реальный мир и мир интернета".
https://shift.newco.co/spatial-computing-the-os-migrates-to-the-camera-627d6fab0778 #AR #Camera #MR
NewCo Shift
The Camera As Platform
When the operating system moves to the viewfinder, the world will literally change
Наконец-то дошли руки перевести в текст мой рассказ на AVRA Days в Skolkovo. Про будущее AR/MR/VR, следующие большие битвы и направления, множество открытых вопросов и судьбы человечества. https://outofline.ru/5-важных-направлений-в-развитии-ar-mr-vr-и-прочих-реальностей-b702758ee104 #ar #mr #vr #future
Out of Line
5 важных направлений в развитии AR/MR/VR и прочих реальностей
Пару месяцев назад Катя Филатова и Алексей Каленчук пригласили меня выступить, соответственно, на AVRA Days в Сколково — рассказать…
В начале года Microsoft купила шведскую компанию Simplygon, разрабатывающие технологии оптимизации трехмерных моделей. После некоторого периода внутренней инкубации, теперь технологии Simplygon доступны в виде облачного сервиса - Simplygon Cloud! На вход принимаются GLTF, FBX и OBJ, на выходе модели для HoloLens и Windows Mixed Reality, ARKit на iOS, ARCore на Android, и WebGL для браузеров. https://blogs.windows.com/buildingapps/2017/12/07/microsoft-announces-simplygon-cloud-optimizes-mixed-reality-development/ #ar #mr #vr #graphics #optimization
p.s. Работает в вариантах Azure и Azure Stack
p.s. Работает в вариантах Azure и Azure Stack
Building Apps for Windows
Microsoft Announces Simplygon Cloud; Optimizes Mixed Reality Development
Earlier this year, we announced the acquisition of Simplygon, a leader in 3D model optimization based in southern Sweden. As we continue our journey to bring the benefits of mixed reality to everyone, Simplygon is an important accelerant that makes it easier…
Про новый 845 чипсет от Qualcomm - обратите внимание на развитие возможностей для обработки изображений с явным фокусом на AR/MR/VR-сценарии: обработка глубины, трекинг рук и пространства, 3D-звук, голосовые команды и вот это все. https://www.slashgear.com/qualcomm-snapdragon-845-official-06511037/ #chipset #hardware #ar #mr #vr
SlashGear
This is Snapdragon 845: 2018’s AR, VR, and HDR super-chip
Qualcomm has taken the wraps off its new super-chip, the Snapdragon 845, set to be found inside smartphones, tablets, and more come 2018. Renewing Qualcomm’s focus on virtual and augmented re…