Охота на электроовец. Большая книга искусственного интеллекта - Сергей Сергеевич Марков

алгоритма обучения импульсных нейронных сетей[1641], хотя сам термин STDP появился только в 2000 г. в работе[1642] Сена Сонга, Кеннета Миллера и Ларри Эбботта. Таким образом, спустя полстолетия после основополагающей работы Хебба его знаменитое «возбуждаются вместе — связываются вместе» [fire together, wire together] (соответствующее ДВП), как оказалось, можно дополнить ещё одним принципиальным афоризмом, предложенным Карлой Шатц: «Сработал несинхронно — потерял свою связь» [fire out of sync, lose your link][1643] (соответствующее ДВД).

Важными параметрами STDP являются конкретные значения временных интервалов синхронизации импульсов. В ходе экспериментов по обучению больших импульсных сетей для решения прикладных задач были созданы такие методы, как R-STDP (версия STDP, в которой обучение модулируется при помощи внешнего подкрепления, основанного на фазовой активности дофаминовых нейронов)[1644], TD-STDP (версия STDP, использующая метод временных разниц [temporal difference])[1645] и даже BP-STDP, а также другие похожие методы, эмулирующие работу метода обратного распространения ошибки за счёт особого подбора параметров STDP[1646], [1647], [1648]. Эти методы для ряда задач демонстрируют эффективность, сходную с эффективностью метода обратного распространения ошибки[1649], [1650], [1651].

5.3.7 Нейроморфные системы типа I. Перспективы

Одним из потенциальных преимуществ импульсных нейронных сетей является, по всей видимости, то, что они меньше подвержены так называемой проблеме катастрофической интерференции [catastrophic interference] или, как её ещё называют, проблеме катастрофического забывания [catastrophic forgetting][1652].

Суть этой проблемы заключается в том, что искусственные нейронные сети, обученные на некоторой выборке, имеют склонность внезапно полностью забывать ранее изученную информацию при попытке «доучить» их на другой выборке, содержащей прецеденты, с точки зрения человека отличающиеся от прецедентов в оригинальной выборке. Это существенно осложняет перенос обучения (знаний) [transfer learning] между близкими областями и создаёт проблемы при дообучении моделей [fine-tuning, дословно — тонкая настройка]. Впрочем, для классических нейронных сетей в настоящее время существует несколько рабочих рецептов, предназначенных для борьбы с этой проблемой (мы поговорим о них позже).

Учитывая тот факт, что Генри Маркрам был основным идеологом Human Brain Project на его старте, было бы удивительно, если бы разработчики BrainScaleS не заложили бы в созданную ими аппаратную архитектуру, помимо краткосрочной синаптической пластичности, поддержку STDP. Причём прототип второй версии BrainScaleS позволяет реализовать принцип R-STDP, что делает возможным моделирование таких сложных явлений, как, например, формирование павловского условного рефлекса[1653].

Вторая аппаратная линейка, разработанная в рамках Human Brain Project, носит название SpiNNaker. В отличие от BrainScaleS в основе SpiNNaker лежит многоядерная цифровая архитектура. Система состоит из 57 600 процессоров ARM9 (а именно ARM968), каждый из которых имеет 18 ядер и 128 Мб мобильной памяти DDR SDRAM, что в сумме даёт 1 036 800 ядер и более 7 Тб оперативной памяти.

Вся эта монструозная конструкция, потребляющая около 100 кВт, размещена в десяти 19-дюймовых стойках, каждая из которых содержит более 100 000 вычислительных ядер, а каждое ядро способно эмулировать работу 1000 нейронов. Конечной целью системы является моделирование в реальном времени импульсных нейронных сетей, содержащих до миллиарда нейронов[1654], [1655].

В сентябре 2019 г. было принято решение о том, что новый грант в размере 8 млн евро для финансирования строительства машины SpiNNaker второго поколения (названной SpiNNcloud) получит Технический университет Дрездена (Technische Universität Dresden)[1656].

Полномасштабный SpiNNcloud будет состоять из десяти серверных стоек с пятью шасси, в каждом из которых будет установлено по 25 плат, на каждой из которых, в свою очередь, размещено по 56 процессоров. Каждый из процессоров модели SpiNNaker 2 содержит 144 ядра ARM A4F, выполненных по технологии 22-нм FDSOI. Итого SpiNNcloud будет содержать 10 080 000 вычислительных ядер. При этом каждое из этих новых ядер будет способно симулировать в пять раз больше нейронов, чем старое, что в итоге позволит полномасштабной системе в сборке симулировать в реальном времени работу биологических нейронных сетей, состоящих из приблизительно 50 млрд нейронов[1657], [1658]. Напомним, что мозг человека содержит около 86 млрд нейронов.

При перечислении всех этих чисел создаётся впечатление об огромном масштабе проекта, сопоставимом чуть ли не с ядерной и космической программами. В действительности 8 млн евро — это сумма, составляющая менее одной десятой части рыночной цены самой дорогой московской квартиры[1659]. Сумма двухлетнего (с апреля 2018 г. по март 2020 г.) финансирования Human Brain Project со стороны Европейского союза составляет 88 млн евро[1660], что всё ещё меньше цены шикарного пятиуровневого пентхауса в Неопалимовском переулке. Расходы на Human Brain Project в год немного превышают две миллионные доли от мировых военных расходов[1661]. Самый богатый в мире проект по исследованию мозга (Brain Initiative), бюджет которого десятикратно превышает бюджет Human Brain Project[1662], выглядит в подобном сравнении едва заметной букашкой.

5.3.8 Нейроморфные системы типа II. Начало

Пока научные коллаборации заняты развитием нейроморфных систем типа I, моделируя биологические процессы, параллельно происходит развитие систем типа II, дающее осторожные надежды на то, что нейроморфное «железо» вскоре может стать частью массовых пользовательских устройств. В первую очередь оно может быть востребовано там, где особенно важно повысить мобильность машин — в носимых устройствах (например, смартфонах или фитнес-трекерах), в бионических протезах (здесь применение импульсных нейронных сетей может быть особенно полезным, поскольку такая сеть способна «общаться» с нервной системой «на одном языке»), на борту дронов и других автономных или полуавтономных устройств (например, пользовательских роботов). Серьёзный интерес проявляют к нейроморфным системам типа II и военные. Во всяком случае, наиболее заметный проект 2010-х гг. в этой области — нейроморфный чип от IBM под названием TrueNorth — был создан в рамках военной программы DARPA SyNAPSE (Systems of Neuromorphic Adaptive Plastic Scalable Electronics, Системы нейроморфной адаптивной пластичной масштабируемой электроники).

Сложно сказать, какой именно проект нейроморфной системы типа II можно считать первым. В конце концов своё применение в технике нашли и триггеры Шмитта, да и контуры памяти первых ЭВМ, как мы знаем из «Первого проекта отчёта об EDVAC», создавались под влиянием исследований Мак-Каллока и Питтса. Как мы уже заметили ранее, граница, разделяющая нейроморфные системы и классические, во многом размыта. Если за неё принять использование импульсных нейронных сетей в качестве математической модели, лежащей в основе вычислительного устройства, то отсчёт, видимо, следует начать с американо-польского проекта Бялко, Ньюкомба и Деклариса. Эта практика создания устройств на основе импульсных нейронных сетей получила своё развитие в 1980-е гг. Например, ряд публикаций конца 1980-х — начала 1990-х гг. за авторством