Помните я недавно писал про нейроморфные чипсеты. Вот хорошое краткое описание про SNN (спайковые нейронные сети, они же импульсные), которые лежат в основе нейроморфных чипсетов. https://towardsdatascience.com/spiking-neural-networks-the-next-generation-of-machine-learning-84e167f4eb2b #ai #spiking #neural #networks

Про нейронные сети есть массовое (но думается, что не среди экспертов по AI/ML) заблуждение, что мол нейронные сети устроены аналогично нервной системе живых организмов. Это, конечно, не так, и правильнее говорить, что конструкция (искусственных) нейронных сетей вдохновлена ранними исследованиями нервных тканей.

С тех пор, нейробиология ушла в одну сторону, а машинное обучение с ИИ — в другую, но периодически они обмениваются результатами и наблюдениями.

Например, оказывается (надеюсь, это не будет сюрпризом), что в реальности "живые" системы не просто устроены "слегка иначе", но и процесс обучения устроен совершенно по другому. То же "обратное распространение ошибки" для обучения живой системы эволюционно невыгодно, потому что 1) слишком медленное и 2) слишком энергозатратное. Более того, когда мы смотрим на то, с какой скоростью и на каком маленьком объеме данных бабочка или мотылек обучается распознавать запахи, наши потуги с ускорением вычеслений через GPU, FPGA и т.п. кажутся детскими поделками.

Поэтому исследователи из смежных лагерей иногда пытаются подсмотреть в исследованиях друг друга либо какие-то природные инсайты, либо, соответственно, подходящие математические модели.

Так, команда ученых из Университета Вашингтона (Сиэттл), решила попробовать воспроизвести уже хорошо изученную и размеченную нервную подсистему табачного бражника (это такая бабочка), заточенную под распознавание запахов, в компьютерной системе. Для этого они создали искусственную сеточку, похожую по своей структуре на компоненты нервной системы бабочки (интересный момент, что она состоит из нескольких последовательных подсистем).

Также в систему был добавлен искусственный аналог октопамина, который как раз оказывает ключевое воздействие на процесс обучения (кстати, без него, обучение тоже происходит, но слишком медленно). Отдельный вопрос, как именно он влияет, но одна из гипотез, высказываемых исследователями, заключается в том, что октопамин позволяет обойти естесвенные ограничения на рост новых синапсов. Также, в отличие от классического обучения с усилением уже имеющихся связей, он позволяет открывать новые каналы передачи сигнала, что сильно расширяет пространство поиска решений.

Следствие из этой работы очень простое: возможно, дата-сайнтистам стоит глубже покопаться как в реальности работают нервные системы, и в будущем в популярных фреймворках (или новых) могут появиться аналоги нейротрансмиттеров, влияющих на процессы обучения и функционирования нейронных сетей.

Подробнее в MIT Technology Review: https://www.technologyreview.com/s/610278/why-even-a-moths-brain-is-smarter-than-an-ai/
Основная научная работа: http://arxiv.org/abs/1802.02678

#ai #nature #neural #networks

В продолжение темы с искуственными vs. настоящими нейронными сетями. Если у вас из курсов по ML или остатков школьных воспоминаний сложилось впечатление, что нейрон с отростками — это такая простая вычислительная штука и фокус в том, что их (нейронов и связей) очень-очень много, то самое время узнать, что все еще сложнее. Сильно сложнее. :)

Carlos E. Perez, автор "Artificial Intuition" и "Deep Learning Playbook", рассказывает о некоторых исследованиях в области "как оно там на самом деле и что мы можем с этим делать".

1. Настоящие нейроны не статичны и работают с динамичным потоком "данных". Условно, эту модель называют спайковой или импульсной. Часть исследователей пытается ее повторить в виде нейроморфных чипсетов (о некоторых проектах я писал раньше). К сожалению, пока они не очень эффективны, в том числе с точки зрения затрат энергии.

2. В биологических нейронах тысячи синапсов, сами нейроны распознают сотни паттернов и обучаются в том числе за счет роста новых синапсов. Часть исследователей пытается повторить эту модель в софтверной реализации (например, в Numenta), но пока не очень успешно.

Карлос отмечает, что тонкость ситуации также в том, что существенно более примитивная модель, используемая в глубоком обучении, наоборот показывает хорошие результаты во многих случаях.

3. Новые исследования показывают, что нейроны еще более сложны, чем мы думали. Форма волны спайка зависит от источника стимуляции, пространственное суммирование стимулов отсутствует для разных направлений (и скорее всего происходит по-разному в разных направлениях), а внутриклеточные и внешние стимуляции не суммируются. Вывод такой: внутри нейрона есть несколько независимых порогов, по-разному реагирующих на совокупность стимулов. (То есть это сильно отличается от модели перцептрона с весом.)

4. Другие свежие исследования показывают, что нейроны общаются друг с другом не только посредством электрических сигналов, но и также пакетами РНК-кода. То есть нейроны обмениваются не только данными, но и инструкциями, и, соответственно, поведение одних нейронов может меняться не только вследствие "наблюдения", но и вследствие "инъекции поведения".

Карлос, резюмируя, говорит, что все это не только подчеркивает, что в настоящем мозге все намного сложнее, чем мы бы хотели думать, но и что наши оценки вычислительных возможностей мозга на основании числа нейронов и связей — это весьма и весьма заниженная величина.

С точки зрения машинного обучения, скорее всего, мы придем к тому, что исследователи начнут экспериментировать с более сложными моделями нейронов. Одно из направлений в этом — работа со сложными вложенными моделями, например, LSTM-нейронами.

https://medium.com/intuitionmachine/neurons-are-more-complex-than-what-we-have-imagined-b3dd00a1dcd3 #ai #brain #nature #neuron #networks

p.s. Это я не к тому, что DL сырой, а к тому, что там еще куча работы, исследований и т.п. Мы в самом начале этой истории.