В продолжение темы восхищения осьминожками и кальмарами - ученые открыли, что организам головоногих может проактивно заниматься редактированием РНК, что приводит к ускорению процессов адаптации (за счет изменения экспрессии белков или даже их типа) - будь то изменение температурного режима или (возможно) подстройка мозга под новые задачи (потому что много таких процессов происходит в нервной ткани). https://www.wired.com/2017/04/cephalopod-gene-editing/ #awesome #nature

Про нейронные сети есть массовое (но думается, что не среди экспертов по AI/ML) заблуждение, что мол нейронные сети устроены аналогично нервной системе живых организмов. Это, конечно, не так, и правильнее говорить, что конструкция (искусственных) нейронных сетей вдохновлена ранними исследованиями нервных тканей.

С тех пор, нейробиология ушла в одну сторону, а машинное обучение с ИИ — в другую, но периодически они обмениваются результатами и наблюдениями.

Например, оказывается (надеюсь, это не будет сюрпризом), что в реальности "живые" системы не просто устроены "слегка иначе", но и процесс обучения устроен совершенно по другому. То же "обратное распространение ошибки" для обучения живой системы эволюционно невыгодно, потому что 1) слишком медленное и 2) слишком энергозатратное. Более того, когда мы смотрим на то, с какой скоростью и на каком маленьком объеме данных бабочка или мотылек обучается распознавать запахи, наши потуги с ускорением вычеслений через GPU, FPGA и т.п. кажутся детскими поделками.

Поэтому исследователи из смежных лагерей иногда пытаются подсмотреть в исследованиях друг друга либо какие-то природные инсайты, либо, соответственно, подходящие математические модели.

Так, команда ученых из Университета Вашингтона (Сиэттл), решила попробовать воспроизвести уже хорошо изученную и размеченную нервную подсистему табачного бражника (это такая бабочка), заточенную под распознавание запахов, в компьютерной системе. Для этого они создали искусственную сеточку, похожую по своей структуре на компоненты нервной системы бабочки (интересный момент, что она состоит из нескольких последовательных подсистем).

Также в систему был добавлен искусственный аналог октопамина, который как раз оказывает ключевое воздействие на процесс обучения (кстати, без него, обучение тоже происходит, но слишком медленно). Отдельный вопрос, как именно он влияет, но одна из гипотез, высказываемых исследователями, заключается в том, что октопамин позволяет обойти естесвенные ограничения на рост новых синапсов. Также, в отличие от классического обучения с усилением уже имеющихся связей, он позволяет открывать новые каналы передачи сигнала, что сильно расширяет пространство поиска решений.

Следствие из этой работы очень простое: возможно, дата-сайнтистам стоит глубже покопаться как в реальности работают нервные системы, и в будущем в популярных фреймворках (или новых) могут появиться аналоги нейротрансмиттеров, влияющих на процессы обучения и функционирования нейронных сетей.

Подробнее в MIT Technology Review: https://www.technologyreview.com/s/610278/why-even-a-moths-brain-is-smarter-than-an-ai/
Основная научная работа: http://arxiv.org/abs/1802.02678

#ai #nature #neural #networks

В продолжение темы с искуственными vs. настоящими нейронными сетями. Если у вас из курсов по ML или остатков школьных воспоминаний сложилось впечатление, что нейрон с отростками — это такая простая вычислительная штука и фокус в том, что их (нейронов и связей) очень-очень много, то самое время узнать, что все еще сложнее. Сильно сложнее. :)

Carlos E. Perez, автор "Artificial Intuition" и "Deep Learning Playbook", рассказывает о некоторых исследованиях в области "как оно там на самом деле и что мы можем с этим делать".

1. Настоящие нейроны не статичны и работают с динамичным потоком "данных". Условно, эту модель называют спайковой или импульсной. Часть исследователей пытается ее повторить в виде нейроморфных чипсетов (о некоторых проектах я писал раньше). К сожалению, пока они не очень эффективны, в том числе с точки зрения затрат энергии.

2. В биологических нейронах тысячи синапсов, сами нейроны распознают сотни паттернов и обучаются в том числе за счет роста новых синапсов. Часть исследователей пытается повторить эту модель в софтверной реализации (например, в Numenta), но пока не очень успешно.

Карлос отмечает, что тонкость ситуации также в том, что существенно более примитивная модель, используемая в глубоком обучении, наоборот показывает хорошие результаты во многих случаях.

3. Новые исследования показывают, что нейроны еще более сложны, чем мы думали. Форма волны спайка зависит от источника стимуляции, пространственное суммирование стимулов отсутствует для разных направлений (и скорее всего происходит по-разному в разных направлениях), а внутриклеточные и внешние стимуляции не суммируются. Вывод такой: внутри нейрона есть несколько независимых порогов, по-разному реагирующих на совокупность стимулов. (То есть это сильно отличается от модели перцептрона с весом.)

4. Другие свежие исследования показывают, что нейроны общаются друг с другом не только посредством электрических сигналов, но и также пакетами РНК-кода. То есть нейроны обмениваются не только данными, но и инструкциями, и, соответственно, поведение одних нейронов может меняться не только вследствие "наблюдения", но и вследствие "инъекции поведения".

Карлос, резюмируя, говорит, что все это не только подчеркивает, что в настоящем мозге все намного сложнее, чем мы бы хотели думать, но и что наши оценки вычислительных возможностей мозга на основании числа нейронов и связей — это весьма и весьма заниженная величина.

С точки зрения машинного обучения, скорее всего, мы придем к тому, что исследователи начнут экспериментировать с более сложными моделями нейронов. Одно из направлений в этом — работа со сложными вложенными моделями, например, LSTM-нейронами.

https://medium.com/intuitionmachine/neurons-are-more-complex-than-what-we-have-imagined-b3dd00a1dcd3 #ai #brain #nature #neuron #networks

p.s. Это я не к тому, что DL сырой, а к тому, что там еще куча работы, исследований и т.п. Мы в самом начале этой истории.

Красивая история от Google про использование машинного обучения и TensorFlow для борьбы с незаконными вырубками лесов. Внутри: переделанный Android-телефон, подключенный к солнечным батареям и микрофонам, детектирующий звуки вырубки (характерный транспорт, бензопилы и т.п.). https://blog.google/topics/machine-learning/fight-against-illegal-deforestation-tensorflow/ #ai #ml #nature #protection

MIT Technology Review рассказает про работу команды из Университета Вашингтона, которая пытается воспроизвести поведение собаки на основании визуальных данных. Если быть точнее, то задача ставится так: можно ли предсказать движения животного по тому, что она видит? Вся задача бьется на несколько вопросов (подзадач):
1) Можно ли предсказать движения тела по нескольким последовательным кадрам?
2) Можно ли спланировать движение животного на пути от места на одном изображении к месту на другом?
3) Можно ли, используя обученную модель, предсказать, где можно ходить на предоставленном изображении?

Выводы: для предсказания поведения "умного агента" достаточно визуального входа, причем внутренее представление построенной модели отличается от аналогичного для задачи классификации изображений, а сама модель может быть обобщена на другие домены.

Переводя на простой язык, модель, построенную на базе поведения животного (что видит -> что делает), можно не только использовать для предсказания такого поведения, но и для анализа самого пространства (пути прохождения, выделение "ходимых" поверхностей и т.п.). Причем потенциально для разных животных мы будем получать разные полезные свойства.

Обзор: https://www.technologyreview.com/s/610775/this-ai-thinks-like-a-dog #ai #nature #simulation

Подробности: https://arxiv.org/pdf/1803.10827.pdf

Небольшая новость на разрыв школьных шаблонов, тянущая на громкие заголовки вроде "Платон учел не все тела" и "Природа обхитрила Платона".

Из школы мы знаем про идеальные платоновые тела (тетраэдр, октаэдр и т.п.), игравшие в свое время большую роль в античной философии. Тонкость в том, что как только мы сказали, что они "идеальные", то как бы само собой подразумевается, что все в мире (природе) должно тяготеть к таким идеальным формам.

Но не тут-то было. Ученые тут нарыли новую фигуру - скутоид (scutoid), которая, может и не столь идеальна математически, но зато весьма жизненна. Оказалось, что клетки эпителия (внешний слой кожи и внутренних органов) упакованы в необычные формы, которые являются "странными призмами", у которых одно основание имеет шесть углов, а другое пять, соответственно, на одной из граней образуется треугольник.

Рассчеты показывают, что такая форма хорошо подходит как для упаковки, так и для переноса механических воздействий при искривлении поверхности (например, во время роста).

https://gizmodo.com/the-scutoid-is-geometrys-newest-shape-and-it-could-be-1827924643 #nature