Quantum Quintum
1.63K subscribers
330 photos
7 videos
49 files
1.62K links
Авторский канал Константина Кичинского про информационные технологии и науку: новости, запуски, мнения, исследования противоречия и комментарии.

😶‍🌫️ Вопросы и предложения (кроме рекламы) — @constantinkichinsky.
Download Telegram
В продолжение темы важных людей в мире AI - наткнулся на подборку "25 инфлюенсеров в мире AI, которых стоит фоловить в триттере в 2018". https://www.disruptordaily.com/top-25-influencers-follow-twitter-2018/

Подумал, что фоловить всех по одному не очень удобно, поэтому вот вам готовый список, на который можно подписаться в твиттере. Я его слегка расширил :) https://twitter.com/quantumquintum/lists/ai-to-follow #ai #ml #leaders
Сегодня небольшая порция контента про работу с Audio на базе нейронных сетей:

1. Про генерацию музыки с помощью Azure ML. Erika Menezes рассказывает, как построить LSTM (Long Short-Term Memory) модель для генерации медиа-файлов и выстроить вокруг этого окружение для экспериментирования.

Текстовая статья: https://blogs.technet.microsoft.com/machinelearning/2017/12/06/music-generation-with-azure-machine-learning/

Видео #1 (про генерацию музыки и модель сети): https://channel9.msdn.com/Shows/AI-Show/Deep-Learning-for-Music-Generation

Видео #2 (про извлечение фич из midi-файла и создание midi-файлов из выхода модели): https://channel9.msdn.com/Shows/AI-Show/Deep-Learning-for-Music-Generation-The-Code

Исходный код: https://github.com/Azure/MachineLearning-MusicGeneration

#ai #ml #music #generation #azure
2. Как на счет обработки audio-информации (например, команд) в браузере? Boris Smus из Google рассказывает, как на базе библиотеки deeplearn.js (от команды Google Brain) построить CNN для обработки аудио-команд: от извлечения фич на базе WebAudio API до хранения обученной модели в IndexedDB.

Статья #1 (про извлечение фич и генерацию спектрограмм): https://towardsdatascience.com/audio-features-for-web-based-ml-555776733bae

Статья #2 (про обучение и распознавание команд): https://towardsdatascience.com/web-based-voice-command-recognition-58a9bb1ec8db

Исходный код: https://github.com/google/web-audio-recognition/tree/master/audio-features

#ai #ml #web #audio
Про когнитивные вычисления.
1. В чем разница между "cognitive computing" и "artificial intelligence"? Мы обычно рассматриваем первое, как подмножество второго, но так ли это?

Ronald van Loon побеседовал с Dmitri Tcherevik (CTO, Progress) на эту и смежну тему и делится инсайтами. Хотя это две близкие области с общим пересечением в инструментарии (те же нейронные сети, например), решаемые задачи и способы применения разные:
— Cognitive Computing пытается симулировать или дополнить челевеческие когнитивные возможности, оставляя за человеком принятие решения.
— Artificial Intelligence не пытается моделировать челевеческое мышление, он просто использует наилучшие подходящие алгоритмы, чтобы заменить человека или снизить человеческий фактор.

В статье (если у вас доступен LinkedIn) можно также прочитать про индустриальное применение и этапы развертывания. https://www.linkedin.com/pulse/cognitive-computing-moving-from-hype-deployment-ronald-van-loon/

p.s. Нажмите кнопочку с листиком (📃), если не можете прочитать статью, я дополню рассказ подробностями.
Разворачиваю статью для тех, кто проголосовал за подробности. Сценарии для когнитивных вычислений в различных индустриях:
— Пользовательский сервис. Дополнительный интеллектуальный слой для помощи клиентам, фактически цифровые помощники для помощи с выбором, автоматизации процессов, сглаживания обучения и т.п. Самое очевидное — всевозможные чатботы.
— Здравоохранение. Забота о здоровье, — пишет Рональд, — очевидно, не безнес со 100% эффективностью, так как есть множество отклонений от "идеальных процессов". Машинная прослойка может делать первичную обработку информации и предварительные выводы, как данные для лечащих врачей.
— Индустриальный IoT. Мы научились накапливать и обрабатывать много данных. Один из следующих шагов — использование аналитики для работы с аномалиями, но это позволяет выцепить только 20% проблем и сделать соответствующие воздействия на систему. Остальные 80% — это по-прежнему зона для улучшений. Когнитивное обнаружение аномалий — это шаг в сторону этих 80%.
—---—
Тут я должен сделать некоторое отступление от пересказа. Первое: кажется, сам термин "cognitive anomaly detection" — это изобретение то ли IBM, то ли Progress. Во всяком случае, именно они появляются первыми в поиске по этой фразе. Второе, я посмотрел, что именно они имеют в виду и в чем отличие от того же "predictive maintenance".

Добавка слова "cognitive" означает, что мы пытаемся выйти в зону "когда процесс поломки начинается" или "появились первые сигналы от сенсоров", и это происходит еще до того, как классическая модель получает *достаточно* данных от сенсоров для этого. Чтобы продвинуться в эту зону, нужно переходить на мета-обучение (по сравнению с классическим подходом построения и обучения предиктивной модели).
Подробнее:
1. Cм. запись вебинара - https://www.youtube.com/watch?v=AwLXCeOjj1c, с 34 минуты.
2. См. статью на эту тему (и картинки в ней) https://www.thedigitaltransformationpeople.com/channels/enabling-technologies/how-industrial-iot-is-influenced-by-cognitive-anomaly-detection/
2. В ботах и автоматизации колл-центров есть такой вопрос: как лучше переключать человека (клиента) с робота на оператора? Понятно, что как лучше — это зависит от конкретного сценария, а вот как это все начать измерять и отслеживать, это вполне прикладной и обобщенный вопрос. Тут вот наши коллеги делятся, как построить такой бэкенд и дашборды на базе Application Insights: https://www.microsoft.com/developerblog/2018/02/05/human-handoff-dashboard/

#ai #human #interaction #insights
Про AI и медицину:
1. Ребята из Стенфорда рассказывают, как обрабатывать ультразвуковые сними (УЗИ) с помощью сверточных сеточек (CNN). И также приводят несколько открытых вопросов: от наличия размеченных данных (точнее отсутствия больших датасетов), — поэтому сейчас много акцента на transfer learning, — до обработки видео-информации. Отдельный вопрос - работа с dopler-снимками, в которых учитывается динамика потоков крови. https://medium.com/stanford-ai-for-healthcare/sound-the-alarm-deep-learning-ultrasound-scans-eb05ad430e98
#ai #medicine

p.s. Статья в нашем блоге на хабре на эту тему: https://habrahabr.ru/company/microsoft/blog/314934/
2. Заменит ли AI радиологов? В 2016 Джефри Хилтон (крестный отец нейронных сетей) сказал, что "мы должны перестать учиться новых радиологов". Hugh Harvey рассказывает в Towards Data Science, почему AI не отменяет эту профессию (вопреки громким заголовкам) и почему такое мнение опасно (чуда не будет, а людей больше не станет). Хаг приводит такие три основные причины:
1) Сведение работы радиолога к анализу картинок — существенное искажение действительности. Анализ снимков — лишь маленький кусок деятельности специалиста, в самом упращенном виде включающей: взаимодействие с пациентом, анализ истории, принятие решений о снимках, типах снимков, расписании, автоматическом или ручном снятии снимков, анализ снимков (в том числе с применение алгоритмов), постановка диагноза, консультация с другими врачами и сообщение результатов пациенту.
2) Человек несет конечную ответственность. Очевидный факт: кто-то должен нести юридическую ответственность за принятие решений. Мы пока далеки от правового регулирования ИИ в медицине.
3) Повышение продуктивности будет повышать спрос. Хаг приводит пример коммерческих авиаперевозок в UK: несмотря на автоматизацию все, чего можно, в том числе в смысле управления самолетами, и с явным фокусом на повышение надежности и безопасности, это не только не приводит к уменьшению числа пилотов, но и наоборот их количество растет по мере роста спроса и удешевления перевозок. Если радиология будет дешевле и надежнее, нужно будет больше людей, которые ее проводят.

О чем лучше думать вместо замены специалистов: как ИИ и автоматизация могут помочь разгрузить их от рутинных операций, повысить продуктивность, надежность решений и т.п.?

https://towardsdatascience.com/why-ai-will-not-replace-radiologists-c7736f2c7d80 #ai #medicine
В ближайшие полторы недели новостей почти не будет (я в отпуске), но вот вам небольшой пример на тему AR/VR из лифта в Нью-Йорке. :) На потолке проецируется изображение, синхронизированное с движением лифта. Эффект погружения создаётся за счёт реального движения.
Вышло обновление нашего Quantum Development Kit. Внутри поддержка MacOS и Linux (через интеграцию с VSCode), дополнительные библиотеки, выложенные в Open Source, интероперабельность с Python и ускорение симуляций в 4-5 раз. https://cloudblogs.microsoft.com/quantum/2018/02/26/quantum-development-kit-adds-support-for-linux-and-mac/ #quantum #computing
Немножко футуризма - одноименное издание Futurism сделало небольшую инфографику на тему будущих технологий вплоть до 2055 года. Я лично думаю, что часть из этого может случиться сильно раньше. https://i0.wp.com/analyticsweek.com/wp-content/uploads/2017/01/futurism_things-to-come.jpg?ssl=1 #future #futurism
Пара полезных учебных ссылок на тему AI. Первая - от команды Deep Learning and Robotics в Microsoft Garage. Команда выложила в открытом коде превью Autonomous Driving Cookbook — набора Jupyter-учебников по машинному обучению в сценариях автономного транспорта. На текущий момент доступны два учебника:
Autonomous Driving using End-to-End Deep Learning: an AirSim tutorial
Distributed Deep Reinforcement Learning for Autonomous Driving

Обзор: https://open.microsoft.com/2018/02/27/autonomous-driving-cookbook-github/
Исходный код: https://github.com/Microsoft/AutonomousDrivingCookbook

#ai #autonomous #cars #transport
Вторая - от Google - Machine Learning Crash Course для всех, кто хочет познакомиться с TensorFlow (надо где-то найти 15 часов на это, конечно). https://developers.google.com/machine-learning/crash-course/ #ai #course
Не знаю, куда приведет эта история в будущем, но мне она кажется одновременно ожидаемой, заманчивой и неожиданной. Примерно также я пару дней назад удивился новости от Apple, что они, вроде как, собираются построить медицинский центр для сотрудников (особенно критично с учетом стоимости мед.услуг в штатах) и заодно тестировать там разные алгоритмы, устройства и т.п. Я тогда подумал: "Круто! Apple еще больше шагает в сторону медицины!"

Так вот новость: в нашем облаке Microsoft Azure появился первый геномный сервис (Microsoft Genomics), реализующий в облачной модели несколько алгоритмов, критичных для анализа генома. Почему это ожидаемо? Я знаю, что лаборатории MSR (теперь AI&R) давно занимаются алгоритмами в этой области, недавно у нас было несколько новостей на тему использования облачных мощностей для борьбы с раком и другими заболеваниями и т.д. Реализация неиболее необходимых алгоритмов в облаке, с ускорением и масштабированием — насущная потребность исследователей, лабораторий и т.п. Конечно, при это важно учитывать чувствительность обрабатываемых данных, поэтому отдельное внимание уделяется сертификации инфраструктуры с точки зрения надежности и безопасности.

Почему заманчиво? Потому это одна из фундаментальных инициатив, приближающих (хочется надеяться, светлое) будущее, за счет обеспечения доступа к новым технологиями большему числу людей. Та самая демократизация, и не важно, мы говорим про AI, квантовые вычисления или геномику. Почему неожиданно? Ну вот как-то не ждешь, хотя и надеешься, что будущее будет разворачиваться так быстро. Я думаю, лет через пять будет вполне обыденной вещью программирование отдельных процедур на Q# и еще каких-нибудь на (еще не изобретенном) G# и т.п., не говоря уже о массе прорывов и новых применений.

https://blogs.microsoft.com/ai/cloud-based-tools-for-genomics/ (Azure: https://azure.microsoft.com/en-us/services/genomics/)
#future #genomics #cloud
Про нейронные сети есть массовое (но думается, что не среди экспертов по AI/ML) заблуждение, что мол нейронные сети устроены аналогично нервной системе живых организмов. Это, конечно, не так, и правильнее говорить, что конструкция (искусственных) нейронных сетей вдохновлена ранними исследованиями нервных тканей.

С тех пор, нейробиология ушла в одну сторону, а машинное обучение с ИИ — в другую, но периодически они обмениваются результатами и наблюдениями.

Например, оказывается (надеюсь, это не будет сюрпризом), что в реальности "живые" системы не просто устроены "слегка иначе", но и процесс обучения устроен совершенно по другому. То же "обратное распространение ошибки" для обучения живой системы эволюционно невыгодно, потому что 1) слишком медленное и 2) слишком энергозатратное. Более того, когда мы смотрим на то, с какой скоростью и на каком маленьком объеме данных бабочка или мотылек обучается распознавать запахи, наши потуги с ускорением вычеслений через GPU, FPGA и т.п. кажутся детскими поделками.

Поэтому исследователи из смежных лагерей иногда пытаются подсмотреть в исследованиях друг друга либо какие-то природные инсайты, либо, соответственно, подходящие математические модели.

Так, команда ученых из Университета Вашингтона (Сиэттл), решила попробовать воспроизвести уже хорошо изученную и размеченную нервную подсистему табачного бражника (это такая бабочка), заточенную под распознавание запахов, в компьютерной системе. Для этого они создали искусственную сеточку, похожую по своей структуре на компоненты нервной системы бабочки (интересный момент, что она состоит из нескольких последовательных подсистем).

Также в систему был добавлен искусственный аналог октопамина, который как раз оказывает ключевое воздействие на процесс обучения (кстати, без него, обучение тоже происходит, но слишком медленно). Отдельный вопрос, как именно он влияет, но одна из гипотез, высказываемых исследователями, заключается в том, что октопамин позволяет обойти естесвенные ограничения на рост новых синапсов. Также, в отличие от классического обучения с усилением уже имеющихся связей, он позволяет открывать новые каналы передачи сигнала, что сильно расширяет пространство поиска решений.

Следствие из этой работы очень простое: возможно, дата-сайнтистам стоит глубже покопаться как в реальности работают нервные системы, и в будущем в популярных фреймворках (или новых) могут появиться аналоги нейротрансмиттеров, влияющих на процессы обучения и функционирования нейронных сетей.

Подробнее в MIT Technology Review: https://www.technologyreview.com/s/610278/why-even-a-moths-brain-is-smarter-than-an-ai/
Основная научная работа: http://arxiv.org/abs/1802.02678

#ai #nature #neural #networks
В продолжение темы с искуственными vs. настоящими нейронными сетями. Если у вас из курсов по ML или остатков школьных воспоминаний сложилось впечатление, что нейрон с отростками — это такая простая вычислительная штука и фокус в том, что их (нейронов и связей) очень-очень много, то самое время узнать, что все еще сложнее. Сильно сложнее. :)

Carlos E. Perez, автор "Artificial Intuition" и "Deep Learning Playbook", рассказывает о некоторых исследованиях в области "как оно там на самом деле и что мы можем с этим делать".

1. Настоящие нейроны не статичны и работают с динамичным потоком "данных". Условно, эту модель называют спайковой или импульсной. Часть исследователей пытается ее повторить в виде нейроморфных чипсетов (о некоторых проектах я писал раньше). К сожалению, пока они не очень эффективны, в том числе с точки зрения затрат энергии.

2. В биологических нейронах тысячи синапсов, сами нейроны распознают сотни паттернов и обучаются в том числе за счет роста новых синапсов. Часть исследователей пытается повторить эту модель в софтверной реализации (например, в Numenta), но пока не очень успешно.

Карлос отмечает, что тонкость ситуации также в том, что существенно более примитивная модель, используемая в глубоком обучении, наоборот показывает хорошие результаты во многих случаях.

3. Новые исследования показывают, что нейроны еще более сложны, чем мы думали. Форма волны спайка зависит от источника стимуляции, пространственное суммирование стимулов отсутствует для разных направлений (и скорее всего происходит по-разному в разных направлениях), а внутриклеточные и внешние стимуляции не суммируются. Вывод такой: внутри нейрона есть несколько независимых порогов, по-разному реагирующих на совокупность стимулов. (То есть это сильно отличается от модели перцептрона с весом.)

4. Другие свежие исследования показывают, что нейроны общаются друг с другом не только посредством электрических сигналов, но и также пакетами РНК-кода. То есть нейроны обмениваются не только данными, но и инструкциями, и, соответственно, поведение одних нейронов может меняться не только вследствие "наблюдения", но и вследствие "инъекции поведения".

Карлос, резюмируя, говорит, что все это не только подчеркивает, что в настоящем мозге все намного сложнее, чем мы бы хотели думать, но и что наши оценки вычислительных возможностей мозга на основании числа нейронов и связей — это весьма и весьма заниженная величина.

С точки зрения машинного обучения, скорее всего, мы придем к тому, что исследователи начнут экспериментировать с более сложными моделями нейронов. Одно из направлений в этом — работа со сложными вложенными моделями, например, LSTM-нейронами.

https://medium.com/intuitionmachine/neurons-are-more-complex-than-what-we-have-imagined-b3dd00a1dcd3 #ai #brain #nature #neuron #networks

p.s. Это я не к тому, что DL сырой, а к тому, что там еще куча работы, исследований и т.п. Мы в самом начале этой истории.
Вчера прошел виртуальный Windows Developer Day и один из ключевых анонсов посвящен теме искусственного интеллекта, точнее новой платформе Windows ML, предоставляющей разработчикам использовать предобученные модели внутри своих приложений.

Важные моменты: аппартное ускорение с использованием возможностей DirectX (GPU) и локальное выполнение (то есть тот самый "intelligent edge"). Для обработки медиа-контента и сценариев машинного зрения появляются дополнительные возможности предобработки кадров.

Предобученные модели "скармливаются" в ONNX-формате, который мы разрабатываем вместе с остальными участниками рынка, чтобы обеспечить совместимость между разными фреймворками.

Анонс: https://blogs.windows.com/buildingapps/2018/03/07/ai-platform-windows-developers
Документация: https://docs.microsoft.com/en-us/windows/uwp/machine-learning/overview
ONNX-формат: https://onnx.ai

#ai #intelligent #edge #windows
Мы тут периодически с разными компаниями (и даже иногда без них) проводим тематичные воркшопы про цифровую трансформацию. Про сам воркшоп, я расскажу отдельно в обозримом будущем, а вот про один из результатов расскажу сейчас.

Одна из задач воркшопа прочертить дорожную карту на несколько лет вперед с фокусом на новые цифровые платформы или сквозные технологии (согласен, звучит слегка абстрактно, если без конкретики). Мы рассматриваем самые разные сценарии, условно, от смены фурмы в доменной печи до заказа бургеров в терминале фастфуда. Но некоторые темы (или направления) повторяются из раза в раз, независимо от сценария. Одна из таких тем — это понимание о неизбежности появления "цифровых двойников" (digital twins).

Если по-простому, то цифровой двойник — это цифровая модель происходящего процесса или объекта, обновляемая в реальном времени на основании собираемой телеметрии.

Например, если у вас стрессовые и травмоопасные условия труда, то цифровой двойник сотрудника, в одном из своих проявлений, — это оцифрованный срез работы физиологических систем, состояния сознания и т. п., он также может включать компетенции, историю работы (от микро-взаимодействий вроде "как сильно он обычно бьет молотком" до социальных аспектов) и много чего еще. И вот такая система будет способна сигнализировать, анализировать, предотвращать, прогнозировать и т.п. поведение и состояние человека в заданных условиях (например, в цехе при выполнении конкретной задачи).

В разрезе темы Индустрии 4.0 (она же промышленная революция 4.0), тему цифровых двойников "рисуют" теперь абсолютно везде. Например, если вы производите грузовики, то вам нужна его цифровая модель, причем ее нужно закладывать уже на этапе проектирования. Если у вас нефтеперерабатывающий завод, то у вас будет цифровой двойник как самого завода, так и отдельных его состовляющих. Если у вас поле кукурузы, то будет цифровой двойник поля кукурузы, в котором каждый росток будет иметь свое отображение, которое в свою очередь будет влиять на параметры полива, индивидуального вноса удобрение и т. п.

Большая-большая тема, в общем. Причем, что интересно, сама реализация таких "двойников" в контексте тех или иных сценариев или индустрий будет выливаться в самостоятельные цифровые платформы. Условно, в случае завода это "операционная система завода", а в случае поля "операционная система поля". И вот тут неожиданный поворот: по объему рынка каждая из них будет сопоставима с текущими большими цифровыми платформами (ОС, mobile, messengers, etc.). (Это мой прогноз, если что.) Сложность создания тоже сопоставима. :)

Подробнее и со схемами довольно хорошо эта тема раскрыта в прошлогодней статье Deloitte: https://www2.deloitte.com/insights/us/en/focus/industry-4-0/digital-twin-technology-smart-factory.html

#digital #transformation #twins
Всех с началом бодрой недели, сегодня говорим про MR/VR.

Начнем с управления. Как-то Алекс Кипман, рассказывая, что случилось с Kinect, привел такую историю: когда создавалась его первая версия, команда в голове уже держала мысль о чем-то, что впоследствии стали называть Mixed Reality — смеси физического и цифрового миров в едином представлении.

И вот возникает вопрос: где на этом пути Kinect и как вообще построить полноценный MR? Тут Алекс рисует журналисту простую схему: вот поле 3x3 клеток. По вертикали: что мы хотим распознавать - тело и движение рук, пространство вокруг и отдельные объекты. Каждая следующая задача, условно, в 10 раз сложнее предыдущей. По горизонтали: как мы взаимодействуем при этом - просто видим (через камеру), накладываем изображения, получаем отдачу от взаимодействия (haptic experience) с цифровыми объектами. Аналогично каждая следующая задача на порядок сложнее.

Вот теперь, если вы нарисуете это по осям, получится, что блок 1x1 — это кинект. Проходит еще почти 10 лет, первая версия Kinect фактически уменьшается до размера плашки в iPhone X, а мы, благодаря прогрессу технологий наблюдаем следующий блок 2x2 — это Hololens.

Вот теперь большой вопрос, с одной стороны, с распознаванием разнообразных объектов (сейчас основной акцент делается на системы машинного зрения), а с другой, с физическим взаимодействием с цифровыми объектами.

В связи с последним: вот подборка исследований Microsoft Research на тему взаимодействия с виртуальным. https://www.microsoft.com/en-us/research/blog/touching-virtual-microsoft-research-making-virtual-reality-tangible #mr #vr #haptic #experience
Продолжаем. Пара подборок тематичных кейсов в AR/MR/VR:

Первая - про кейсы в медицине: от поддержки хирургических операций до визуализации УЗИ-снимков в 3D. https://blogs.windows.com/windowsexperience/2018/03/08/how-mixed-reality-is-changing-the-game-for-healthcare-from-performing-live-surgeries-to-delivering-ultrasounds-in-3d #medicine #vr #mr

Вторая - про кейсы в образовании: от классических дополненных учебников до интерактивных стенок в спортзале.

https://medium.com/inborn-experience/usage-of-augmented-reality-in-education-be783e0159a #education #ar
TikTok Video Downloader: Download TikTok Videos without Watermark