В мире искусственного интеллекта постоянно ищут новые пути для создания систем, которые были бы не только эффективными, но и более приближенными к принципам работы биологического мозга. Недавнее достижение от Sakana AI, метод Error Diffusion, знаменует собой значительный шаг в этом направлении. Он позволяет обучать нейронные сети, соблюдающие принцип Дейла, без использования обратного распространения ошибки (backpropagation), что открывает новые горизонты для разработки более биологически правдоподобных моделей ИИ.
Традиционное обратное распространение ошибки, краеугольный камень современного глубокого обучения, сталкивается с фундаментальной проблемой, когда речь заходит о его биологической реализуемости. Этот метод требует «транспортировки весов», при которой сигналы ошибок должны передаваться обратно через те же пути, что и прямые сигналы, но в обратном направлении. Биологические нейронные цепи, как предполагается, не могут реализовать такой механизм, что делает backpropagation несовместимым с тем, как, по всей видимости, обучается мозг. Это ограничение долгое время ставило под вопрос возможность создания по-настоящему биологически вдохновленного искусственного интеллекта.
Метод Error Diffusion от Sakana AI обходит это ограничение, предлагая альтернативный подход к обучению. Он тренирует двухпоточные сети, состоящие из возбуждающих и тормозных нейронов, которые строго подчиняются принципу Дейла. Этот принцип гласит, что каждый нейрон выделяет только один тип нейромедиатора — либо возбуждающий, либо тормозной. Соблюдение этого принципа делает архитектуру сети значительно более близкой к биологическим нейронным структурам, чем большинство современных моделей глубокого обучения.
Ключевым элементом, позволяющим масштабировать этот метод, является маршрутизация ошибок по модулю (modulo error routing). Эта техника позволяет Error Diffusion эффективно работать на задачах различной сложности, от распознавания рукописных цифр MNIST до классификации изображений CIFAR-10, а также в обучении с подкреплением. Результаты впечатляют: сети, обученные с помощью Error Diffusion, достигают точности в 96.7% на наборе данных MNIST и 61.7% на CIFAR-10 без использования backpropagation. Это демонстрирует высокую эффективность метода даже при отсутствии традиционных механизмов обучения.
Исследования также включают «зависящие от задачи абляции», которые позволяют лучше понять внутреннюю работу этих сетей и выявить, как различные компоненты влияют на их производительность в конкретных условиях. Эти эксперименты предоставляют ценные данные о том, как можно оптимизировать и улучшать архитектуры, основанные на Error Diffusion. Разработка Sakana AI представляет собой важный шаг к созданию более энергоэффективного и биологически обоснованного ИИ, что может привести к прорывам в области нейроморфных вычислений и понимания принципов работы человеческого мозга.
Это достижение не только демонстрирует потенциал альтернативных методов обучения, но и открывает двери для создания нового поколения ИИ, который будет не только мощным, но и более гармоничным с биологическими принципами. Возможно, именно такие подходы проложат путь к истинно интеллектуальным системам, способным к обучению и адаптации подобно живому организму.
Подробнее: marktechpost.com