Как учится машина. Революция в области нейронных сетей и глубокого обучения - Ян Лекун

под углом 12° и т. д. Иначе говоря, каждый из нейронов в пучке реагирует на разные линии и ориентацию контура, присутствующего в воспринимающем поле, с которым связан данный пучок. Эти нейроны реагируют также и на размер элементов. Такой механизм напоминает принцип работы экстрактора признаков.

Хьюбел и Визель как раз и объясняют это тем, что области первичной зрительной коры выступают в роли экстракторов признаков (о них говорится в главах 3 и 5).

Если взять соседний пучок нейронов, который смотрит на рецепторное поле, слегка смещенное по сравнению с предыдущим, то у него также есть нейрон № 1 и нейрон № 60 (см. рис. 6.1). То, что Хьюбел и Визель называют простыми и сложными клетками, – это нейроны, о которых я постоянно говорю в этой книге. Нейрон № 1 в этом пучке делает то же самое, что и нейрон № 1 в следующем пучке. Таким образом, пучки из 60 нейронов связаны со всеми рецептивными полями поля зрения. Миллионы нейронов № 1 выявляют один и тот же паттерн, но на разных участках изображения.

Таким образом, все поле зрения покрыто этими пучками из 60 нейронов, чьи воспринимающие поля частично перекрываются, как черепица на крыше, и все они выполняют одну и ту же операцию: обнаруживают во всех рецепторных полях очень маленькие и простые паттерны. Все эти миллионы нейронов представляют собой простые клетки.

Если поместить электроды в область V1, как это Хьюбел и Визель сделали с кошками, что мы увидим? В пучке нейронов, смотрящем на рецепторное поле в левой части круга, активируются нейроны № 1 и № 30 детекторов вертикальных контуров. Точно так же в пучке нейронов, смотрящем на правую часть круга, возбуждаются другие нейроны № 1 и № 30, потому что они также обнаруживают вертикальный контур. Наоборот, в пучке нейронов, смотрящем на верхнюю часть круга, становятся активными нейроны уже № 15 и № 45, которые обнаруживают горизонтальные контуры.

Рис. 6.1. Простые клетки и сложные клетки

Область первичной зрительной коры млекопитающих V1 содержит простые клетки и сложные клетки. Каждая простая клетка обнаруживает паттерн в маленьком окне на входе, называемом «воспринимающем полем». Клетки организованы в виде плоскостей, называемых «картами признаков». Все клетки одной и той же карты признаков обнаруживают один и тот же паттерн в разных местах входного изображения. Каждая карта признаков определяет паттерн, отличный от других. Каждая из клеток всех карт признаков с одним и тем же принимающим полем выявляет разные паттерны, например, первая «видит» контур, расположенный под углом 45°, вторая – горизонтальный контур, третья – какой-то еще и т. д. Сложные клетки собирают «ответы» из небольшого окна простых клеток. Когда паттерн слегка перемещается по входу, реакция сложных клеток практически не меняется.

Зрительная кора: сложные клетки и «пулинг»

В области V1 сложные клетки (другая категория нейронов) агрегируют ответы соседних простых клеток одного и того же типа: одна сложная клетка агрегирует все числа от нейронов № 1 в своей окрестности, другая – от нейронов № 2 и т. д. Операция агрегирования заключается в вычислении среднего значения выходов простых клеток или получении наибольшего из них.

Что происходит, когда вертикальный контур немного сдвигается? Простые клетки № 1, связанные с различными рецепторными полями, активируются при движении. Но поскольку сложная ячейка объединяет результаты отдельных ячеек № 1 в своей окрестности, она непрерывно активизируется, пока контур не появится из рецептивных полей всех простых клеток, с которыми соединена данная сложная клетка. Таким образом, сложная клетка, которая смотрит на простые клетки № 1, обнаруживает вертикальный контур независимо от его положения в окрестности (с определенным допуском к его положению). Такой механизм агрегации сигнала (его называют английским термином «пулинг») объясняет инвариантность обнаружения паттернов. Соответственно, рецепторное поле сложной клетки области V1 больше, чем рецепторное поле простой клетки в этой же области.

Но если переместить паттерн слишком далеко и выйти за пределы рецепторного поля сложной клетки (то есть рецепторных полей всех простых клеток, которые она агрегирует), сложная клетка отключится.

Хьюбел и Визель предположили, что данная схема соединения повторяется в областях V2 и V4, но не смогли это доказать.

А вот и мы: операция, вычисляемая миллионами нейронов № 1, которые обнаруживают вертикальные линии, является «сверткой».

Подводим итоги

● В области V1 каждый нейрон в пучке – или простой клетке – реагирует на линию определенной ориентации.

■ Миллионы пучков из 50–100 нейронов, покрывающих поле зрения, связаны со всеми рецептивными полями.

■ Миллионы нейронов обнаруживают один и тот же паттерн в разных местах поля зрения.

■ Сложные клетки в области V1 принимают набор ответов от простых клеток одного и того же типа (например, нейронов, которые воспринимают вертикальные контуры в разных, но близких местах) и вычисляют среднее значение данных ответов.

■ Благодаря механизму, называемому «пулингом», создается инвариантность реакции сложных клеток на небольшие изменения положения паттернов в изображении, которые могут быть вызваны перемещением объекта в поле зрения, небольшим вращением или деформацией.

Основываясь на открытиях Хьюбела и Визеля о механизмах работы зрительной коры головного мозга, исследования в области искусственного интеллекта придерживаются двух основных принципов конструирования нейронных сетей.

1. Создание локальных соединений. Нейрон в первом слое зрительной системы связан только с небольшой областью изображения, небольшим блоком пикселей – «рецепторным полем».

2. Повторение операций на всем изображении. Несколько нейронов с разными рецептивными полями обнаруживают один и тот же паттерн в разных местах.

Селективность ориентации (то есть чувствительность нейронов к ориентации) и существование сложных клеток – два открытия, которые принесли Хьюбелу и Визелю Нобелевскую премию в области физиологии и медицины.

Дальновидный Фукусима

Машина японского исследователя Кунихико Фукусимы повторила архитектуру модели Хьюбела и Визеля – то же самое нециклическое прохождение сигнала в последовательных слоях простых и сложных нейронов. Фукусима применил систему простых клеток, связанных с небольшой областью поля зрения, и сложных клеток, которые интегрируют активацию предыдущего слоя и позволяют построить представление, инвариантное относительно небольших искажений. Токийский ученый построил две версии своей машины: когнитрон в 1970-х и неокогнитрон в начале 1980-х.

Вторая модель – это многослойная сеть для распознавания простых форм. Неокогнитрон состоял из набора чередующихся слоев, аналогичных слоям простых клеток и сложных клеток. Подход Фукусимы – своего рода попытка теснее следовать принципам биологии и за счет этого заставить сеть работать. Они вычисляли взвешенную сумму своих входов и обрабатывали результат через ряд сложных операций, от описания которых я вас избавлю. Неокогнитрон использовал также подвыборку слоев сложных клеток. Как только мы перейдем к сверточным сетям, я подробно опишу, что это значит.

Фукусима обучал последний