В продолжение темы с искуственными vs. настоящими нейронными сетями. Если у вас из курсов по ML или остатков школьных воспоминаний сложилось впечатление, что нейрон с отростками — это такая простая вычислительная штука и фокус в том, что их (нейронов и связей) очень-очень много, то самое время узнать, что все еще сложнее. Сильно сложнее. :)

Carlos E. Perez, автор "Artificial Intuition" и "Deep Learning Playbook", рассказывает о некоторых исследованиях в области "как оно там на самом деле и что мы можем с этим делать".

1. Настоящие нейроны не статичны и работают с динамичным потоком "данных". Условно, эту модель называют спайковой или импульсной. Часть исследователей пытается ее повторить в виде нейроморфных чипсетов (о некоторых проектах я писал раньше). К сожалению, пока они не очень эффективны, в том числе с точки зрения затрат энергии.

2. В биологических нейронах тысячи синапсов, сами нейроны распознают сотни паттернов и обучаются в том числе за счет роста новых синапсов. Часть исследователей пытается повторить эту модель в софтверной реализации (например, в Numenta), но пока не очень успешно.

Карлос отмечает, что тонкость ситуации также в том, что существенно более примитивная модель, используемая в глубоком обучении, наоборот показывает хорошие результаты во многих случаях.

3. Новые исследования показывают, что нейроны еще более сложны, чем мы думали. Форма волны спайка зависит от источника стимуляции, пространственное суммирование стимулов отсутствует для разных направлений (и скорее всего происходит по-разному в разных направлениях), а внутриклеточные и внешние стимуляции не суммируются. Вывод такой: внутри нейрона есть несколько независимых порогов, по-разному реагирующих на совокупность стимулов. (То есть это сильно отличается от модели перцептрона с весом.)

4. Другие свежие исследования показывают, что нейроны общаются друг с другом не только посредством электрических сигналов, но и также пакетами РНК-кода. То есть нейроны обмениваются не только данными, но и инструкциями, и, соответственно, поведение одних нейронов может меняться не только вследствие "наблюдения", но и вследствие "инъекции поведения".

Карлос, резюмируя, говорит, что все это не только подчеркивает, что в настоящем мозге все намного сложнее, чем мы бы хотели думать, но и что наши оценки вычислительных возможностей мозга на основании числа нейронов и связей — это весьма и весьма заниженная величина.

С точки зрения машинного обучения, скорее всего, мы придем к тому, что исследователи начнут экспериментировать с более сложными моделями нейронов. Одно из направлений в этом — работа со сложными вложенными моделями, например, LSTM-нейронами.

https://medium.com/intuitionmachine/neurons-are-more-complex-than-what-we-have-imagined-b3dd00a1dcd3 #ai #brain #nature #neuron #networks

p.s. Это я не к тому, что DL сырой, а к тому, что там еще куча работы, исследований и т.п. Мы в самом начале этой истории.