Новость между майскими праздниками из области смешанной реальности: международная компания Scopis представила голографическую навигационную платформу для хирургов на базе устройств Hololens. Ключевая цель разработки - повысить точность и скорость операций. В видео на Youtuve показывается прототип работы системы во время симулации операции на позвоночнике: https://www.engadget.com/2017/05/05/microsoft-hololens-becomes-an-ar-assistant-for-spinal-surgery/ Интересно обратить внимание, что Hololens используется в связке со специализированным оборудованием для наблюдения за операцией и обсчета всей необходимой визуализации (немного подробностей тут: http://holographic.scopis.com/). Отдельный вопрос, когда такая система получит сертификацию для использования в реальных операциях. #ar #mr #hololens #medicine

Интересный кейс про использование VR в медицине: доктор Dawn Jewell - психолог из штата Колорадо, она использует наработки небольшого стартапа Limbix для лечения пациентов после психологических травм (иногда сопряженных с физическими). Например, некоторые люди после автоаварии боятся места происшествия, а через VR-шлем и Google Street View можно вернуться в нужную точку, сидя в уютном кресле и в сопровождении привычного голоса личного психолога. Второй пациент Jewell боится выходить из дома после нападения на улице, здесь снова можно постепенно прийти в себя, начиная с виртуальных прогулок. Там же: эксперты отмечают, что эксперименты вроде нахождения в виртуальной реальности на крыше небоскреба лучше тоже проводить в присутствии психолога. https://www.nytimes.com/2017/07/30/technology/virtual-reality-limbix-mental-health.html #vr #medicine #psy

Еще к недавним новостям: тут на днях прилетала новость из Владивостока, что наше минестерство за здоровый образ жизни задумалось о внедрении блокчейна для хранения медицинских записей граждан: "Система будет устроена по принципу блокчейн. Она будет деперсонализирована, что позволит эти данные сохранить в полной безопасности. Ключ будет индивидуализированный." (Скворцова)

Вот схожие рассуждения от компании BlockMason по ту сторону Тихого океана о необходимости перевода медицинских записей жителей США на блокчейн. И тут уже ставятся технические вопросы: цена транзакции и как сохранить приватность. https://healthcareinamerica.us/storing-medical-records-on-the-ethereum-blockchain-e088f19c9fca #blockchain #medicine #healthcare

Технологические новости из Мадрида. Испанская команда Exovite в партнерстве госпиталем Gregorio Marañón деляет решение для хирургов, позволяющее быстро получать доступ к снимкам компьютерной томографии и УЗИ. В статье отмечается, что решение (на базе Hololens) делается совместно инженерами, радиологами и хирургами. Текущая версия позволяет сократить время операции с 8 часов до 4.5. www.3ders.org/articles/20171023-microsoft-hololens-mixed-reality-headset-helps-spanish-doctors-cut-surgery-time-in-half.html #mr #medicine #future #is #coming #hololens

Ну и чтобы два раза не вставать — обзор медицинских проектов с Hololens: https://news.microsoft.com/apac/features/hololens-medicine-surgery-no-surprises/ #hololens #mr #medicine

"Алгоритмы правят психушкой." — интересный обзор про вычислительную психиатрию (использование машинных алгоритмов для анализа поведения пациентов, постановки диагнозов и т.п.). С одной стороны, это про давно назревающую необходимость более детального и тщательного анализа накопленных данных исследований, с другой, это про анализ паттернов в поведении по разным показателям (от голоса до крови, представьте, например, что по незаметным для человека изменениям в голосе можно предсказать, наличие у него психических расстройств), с третьей, это про большой вопрос - насколько /действительно/ можно предсказать, что происходит в наших головах на основании небольших данных, и насколько мы /действительно/ похожи или отличаемся в деталях устройства мозга, и, с четвертой, это про то, насколько глубоко алгоритм способен закопаться в усиливающихся циклах причин и следствий развития разных ситуаций?

В любом случае, вычисления и машинное обучение — явно свежая струя в психиатрии и диагностике, в частности. https://medium.com/neodotlife/computational-psychiatry-c05a32f20705 #ai #human #medicine #ml

И в продолжение медицинской тематики. В нашем позитивном технологическом мире кажется, что ты вот только давай, придумай классную технологию и ее встретят с распростертыми объятиями. Что там у тебя? Шлем виртуальной реальности для управления строительным краном? Да-да, конечно, давай внедрять на ближайшей стройке! О-о-о, ты придумал, как ИИ прикрутить для прогноза результата лечения? Конечно, дорогой, мы этого 20 лет ждали!

На практике все, конечно, не так (в большинстве случаев). Оказавается, мало придумать, как применить то же машинное обучение. Важно придумать, как его внедрить, особенно, если оно идет в помощь принятия решений. В статье по ссылке ниже рассказывается о классном кейсе, неявного внедрения ИИ в рабочий ритм хирургов. Там много подробностей, которые будут интересны дизайнерам (в широком смысле): от банального факта, что хирург почти не соприкасается с технологиями (экранами, например), до учета тонкостей социального взаимодействия внутри коллектива больницы. В общем, внедрение новых технологий - это зачастую очень даже человеческая проблема.

https://www.fastcodesign.com/90157144/an-ingenious-approach-to-designing-ai-that-doctors-trust #ai #medicine #human #factor #design

Про AI и медицину:
1. Ребята из Стенфорда рассказывают, как обрабатывать ультразвуковые сними (УЗИ) с помощью сверточных сеточек (CNN). И также приводят несколько открытых вопросов: от наличия размеченных данных (точнее отсутствия больших датасетов), — поэтому сейчас много акцента на transfer learning, — до обработки видео-информации. Отдельный вопрос - работа с dopler-снимками, в которых учитывается динамика потоков крови. https://medium.com/stanford-ai-for-healthcare/sound-the-alarm-deep-learning-ultrasound-scans-eb05ad430e98
#ai #medicine

p.s. Статья в нашем блоге на хабре на эту тему: https://habrahabr.ru/company/microsoft/blog/314934/

2. Заменит ли AI радиологов? В 2016 Джефри Хилтон (крестный отец нейронных сетей) сказал, что "мы должны перестать учиться новых радиологов". Hugh Harvey рассказывает в Towards Data Science, почему AI не отменяет эту профессию (вопреки громким заголовкам) и почему такое мнение опасно (чуда не будет, а людей больше не станет). Хаг приводит такие три основные причины:
1) Сведение работы радиолога к анализу картинок — существенное искажение действительности. Анализ снимков — лишь маленький кусок деятельности специалиста, в самом упращенном виде включающей: взаимодействие с пациентом, анализ истории, принятие решений о снимках, типах снимков, расписании, автоматическом или ручном снятии снимков, анализ снимков (в том числе с применение алгоритмов), постановка диагноза, консультация с другими врачами и сообщение результатов пациенту.
2) Человек несет конечную ответственность. Очевидный факт: кто-то должен нести юридическую ответственность за принятие решений. Мы пока далеки от правового регулирования ИИ в медицине.
3) Повышение продуктивности будет повышать спрос. Хаг приводит пример коммерческих авиаперевозок в UK: несмотря на автоматизацию все, чего можно, в том числе в смысле управления самолетами, и с явным фокусом на повышение надежности и безопасности, это не только не приводит к уменьшению числа пилотов, но и наоборот их количество растет по мере роста спроса и удешевления перевозок. Если радиология будет дешевле и надежнее, нужно будет больше людей, которые ее проводят.

О чем лучше думать вместо замены специалистов: как ИИ и автоматизация могут помочь разгрузить их от рутинных операций, повысить продуктивность, надежность решений и т.п.?

https://towardsdatascience.com/why-ai-will-not-replace-radiologists-c7736f2c7d80 #ai #medicine

Продолжаем. Пара подборок тематичных кейсов в AR/MR/VR:

Первая - про кейсы в медицине: от поддержки хирургических операций до визуализации УЗИ-снимков в 3D. https://blogs.windows.com/windowsexperience/2018/03/08/how-mixed-reality-is-changing-the-game-for-healthcare-from-performing-live-surgeries-to-delivering-ultrasounds-in-3d #medicine #vr #mr

Вторая - про кейсы в образовании: от классических дополненных учебников до интерактивных стенок в спортзале.

https://medium.com/inborn-experience/usage-of-augmented-reality-in-education-be783e0159a #education #ar

Про дополненное зрение (пока с помощью Hololens). Примерно как в фантастических фильмах какой-нибудь очередной герой с помощью продвинутого слуха, специального прибора или супер-зрения смотрит на человека и видит, как пульсирует его лицо (пульс) или едва заметные изменения в окраске лица в зависимости от настроения субъекта. Я помню были даже исследовательские работы, которые визуально усиливали изменения в оттенках лицах по видео-ряду.

Проект Cardiolens от AI&Research (Microsoft) позволяет в реальном времени и без дополнительных приборов (кроме Hololens) измерять и визуализировать флуктуации подкожных потоков крови и жизненных показателей для нескольких людей в области видимости. https://www.microsoft.com/en-us/research/video/cardiolens-pulse-and-vital-sign-measurement-in-mixed-reality-using-a-hololens/ #mr #hololens #medicine

В дополнение: интервью с Dr. Daniel McDuff про проектирование агентов, чувствительных к эмоциям, технологии, стоящие за Cardiolens, и о пролеме приватности и доверия в мире с устройствами, знающими ваши (скрытые) чувства. https://www.microsoft.com/en-us/research/blog/when-psychology-meets-technology-with-dr-daniel-mcduff/