Мыслящие машины Дженсена Хуанга: История Nvidia и мировой ИИ-революции - Стивен Витт

не нуждалась в освещении. Вместо него был поток чисел, представляющих расположение и цвета определенного набора пикселей. Затем она корректировала значения в числовых матрицах – тех самых синаптических весах, – которые отвечали за разные уровни интерпретации данных. Из-за этого некоторые скептики утверждали, что нейронная сеть всего лишь выполняет математические операции, но с таким же успехом можно говорить, что человеческая сетчатка всего лишь взаимодействует с фотонами света.

Допустим, в течение нескольких минут обучения сеть Крижевского совершенно случайно правильно идентифицировала первое изображение – например, цветочный горшок. Этот маленький успех вызывал бурный процесс умножения матриц: схема обратного распространения стремилась сообщить нейронам, что именно отличает «цветочный горшок» от «шимпанзе», «бильярдного стола» или «самосвала». Это давало минимальный выигрыш: вероятно, сеть приняла бы за цветочный горшок и мусорное ведро. Но если она сталкивалась с предметом совершенно иной формы – скажем, с акулой, – она уже могла увидеть различие.

Этот процесс повторялся миллионы раз в секунду, превращая комнату Крижевского в арену гиперскоростной эволюции. Процесс обучения нейросети был сродни чуду. В сети Крижевского было несколько «слоев», каждый из которых постепенно учился различать разные аспекты данных. Один слой улавливал форму, другой – цвет, третий – симметрию, и все эти слои связывались причудливыми информационными каналами, образуя гармоничное целое. При появлении нового изображения – стрекозы, песочных часов, мангуста, контейнеровоза, дирижабля или трости – информационные потоки формировали все более точное отражение реальности.

Вентиляторы охлаждения на блоках GeForce работали постоянно, создавая шум около 44 децибел. Этот гул не то чтобы был оглушительным, но тем не менее не давал Крижевскому спать по ночам. Успешность идентификации изображений росла с 0 до 1%, затем до 10%, до 40%, до 60% – и наконец стабилизировалась на уровне 80%. Завершившая обучение сеть имела слабые места, особенно в распознавании человеческих инструментов – например, никак не могла отличить лопатку от топорика. Крижевский мог бы еще поработать над улучшением, но этот результат уже превосходил все прочие методы распознавания, точность которых была не более 70%.

В Стэнфорде группа ImageNet под руководством Ли проводила ежегодные соревнования по распознаванию изображений искусственным интеллектом. Для проверки работоспособности своей модели Крижевский протестировал ее на данных прошлого года, с которыми его сеть никогда не сталкивалась. Она легко побила все рекорды.

В мире машинного обучения такая работа с размеченными наборами данных называлась «обучение с учителем» (supervised learning), поэтому Крижевский назвал свою нейросеть SuperVision. Хинтон и Суцкевер были потрясены результатами его работы. «Появились графические процессоры, и произошло чудо», – с восторгом говорит Суцкевер даже спустя 10 лет. В оптимальных условиях две карты GeForce могли выполнять суммарно 3 триллиона операций в секунду, то есть 10 квадриллионов операций менее чем за неделю. Человеку на выполнение такой задачи потребовалось бы 9 миллиардов лет, а теперь все это было закодировано в хрупком синтетическом мозге SuperVision. «Без CUDA заниматься машинным обучением было бы непомерно сложно», – утверждает Хинтон.

Крижевский решил представить SuperVision миру в 2012 году на очередном конкурсе ImageNet. Хинтон и Суцкевер сгорали от нетерпения. «Мы знали, что победим», – говорит Хинтон. Они первыми испытали восторг и гордость от причастности к пока никому не известной ИИ-технологии, которая должна была изменить мир. Представляя возможные области применения SuperVision, они обсуждали автономных роботов, беспилотные автомобили и самопрограммирующиеся компьютеры. Для этих троих – по крайней мере тогда – ИИ был исключительно благим порождением прогресса.

Исследователи из Торонто также осознали еще одну важную вещь: если SuperVision получила преимущество благодаря Nvidia, то и Nvidia может получить преимущество от SuperVision, поскольку потребность нейросетей в росте мощности параллельных вычислений казалась бесконечной. «Еще до подачи заявки мы поняли, что в будущем значительную часть научных расчетов будет составлять машинное обучение», – говорит Хинтон.

Когда Фэй Фэй Ли впервые увидела результаты SuperVision, она не поверила своим глазам. Ее конкурс задумывался как способ доказать научным руководителям ценность ее работы, но в 2010 году в нем было 35 участников, в 2011-м – 15, а в 2012 году – всего семь. Будущее конкурса оказалось под вопросом. Тем удивительнее был тот факт, что один из этих семи продемонстрировал показатель распознавания выше 80% – на 10% больше существующего рекорда в области, где прогресс традиционно измерялся долями процента. А еще удивительнее было то, что победила нейронная сеть – технология, которую Ли считала пережитком прошлого. «Представьте, что вам сказали, что рекорд скорости для наземных транспортных средств побила " Хонда-Цивик", причем сразу на 100 миль в час», – пишет Ли в автобиографии.

Ли родилась в Китае и была единственным ребенком в семье. Ее родители переехали в Нью-Джерси, когда она была подростком. Этот период оказался для нее непростым: мечтательная девочка изо всех сил старалась влиться в круг старшеклассников и при этом была вынуждена работать, чтобы помочь семье свести концы с концами. Ей повезло с учителем математики, который заметил ее способности, и благодаря его помощи Фэй Фэй получила стипендию в Принстонском университете. В качестве основного предмета она сначала выбрала физику, а затем переключилась на электронику, мечтая научить машину «видеть».

И вот теперь, столкнувшись с чудом – машиной, которая действительно была способна «видеть», – Ли не могла поверить в реальность происходящего. Она попросила свою команду перепроверить данные. «Я разговаривал с человеком, который обрабатывал результаты, и он тоже сначала был уверен, что это ошибка», – рассказывает Хинтон. Ли продолжала сомневаться и обратилась к своему научному руководителю. Тот написал Хинтону электронное письмо, спрашивая, уверены ли они на все сто в правильности результатов. «Мы перепроверяли несколько раз, прежде чем он признал, что данные верны», – вспоминает Хинтон.

Постепенно до Ли начало доходить, что ее угасающий конкурс ИИ только что открыл настоящее сокровище. Официальные результаты ImageNet опубликовали в октябре 2012 года. В том же месяце разработчики должны были представить свои модели на научной конференции во Флоренции. У Ли только что родился первенец, и она не собиралась ехать в Италию, но, увидев результаты SuperVision, изменила свое решение. Ей нужно было лично встретиться с гением, придумавшим эту технологию.

Фэй Фэй Ли прилетела во Флоренцию, но Алекс Крижевский не отвечал на ее сообщения. Она начала сомневаться, приедет ли он вообще. Может, он передумал? Или заблудился в галерее Уффици? Однако утром в день конференции Крижевский неожиданно появился. Ли была поражена: неужели этот похожий на подростка лохматый парень в широченной толстовке и черных очках действительно создатель SuperVision? Они обменялись неловкими приветствиями. Ли была очень рада, что главный докладчик наконец-то объявился, но все-таки упрекнула его в том, что он не выходил на связь. Крижевский мямлил, извиняясь.