Мыслящие машины Дженсена Хуанга: История Nvidia и мировой ИИ-революции - Стивен Витт
Параллельно со сбором пожертвований OpenAI формировала команду из выдающихся специалистов в области ИИ. К основателям присоединился Андрей Карпатый, тот самый, который демонстрировал на GTC 2015 свой генератор подписей к изображениям. В команду также вошел Войцех Заремба, польский программист, воссоздавший AlexNet в Google, а техническим директором стал Грег Брокман, разработчик из Северной Дакоты и один из первых сотрудников Stripe. Но главным приобретением оказался Илья Суцкевер, бывший партнер Алекса Крижевского по исследованиям, участвовавший в создании AlexNet и с тех пор направлявший развитие ИИ.
Сам Крижевский обошел все ловушки. Его крайняя необщительность не способствовала сотрудничеству с кем-либо, и в 2017 году он ушел из Google. Его доля от аукциона по продаже DNNResearch составила чуть меньше 15 миллионов долларов – достаточно, чтобы больше никогда не работать, особенно учитывая его аскетический образ жизни. В 2019 году он пригласил японскую съемочную группу в свою квартиру, находившуюся над вьетнамским рестораном в районе залива Сан-Франциско. Крижевский жил как монах. Стены были голыми, всю обстановку составляли стол, диван, цифровое пианино и телевизор, а единственным живым существом, кроме хозяина, был кот. Крижевский, своего рода Орвилл Райт в мире нейронных сетей, рассказал съемочной группе, что завязал с технологиями. «Может, это моя особенность, – сказал он, – но если я долгое время акцентируюсь на чем-то, лет через десять я начинаю терять к этому интерес».
Пока OpenAI собирала команду мечты, Хуанг занялся созданием для нее компьютера. Самым дорогим предложением от Nvidia на тот момент был системный блок, предназначенный для научных исследований и визуализации данных. Хуанг решил, что нужно что-то в 10 раз мощнее. Он поручил своей команде разработать DGX–1 – оснащенный искусственным интеллектом компьютер, архитектура которого была в первую очередь ориентирована на матричные вычисления.
Переделка началась на атомарном уровне. TSMC предложила новую технологию сборки под названием FinFET. Теперь транзисторы возвышались над кремниевой подложкой словно акульи плавники. Если бы микроскопический человек встал на зеркальную кремниевую поверхность, эти транзисторы, вздымающиеся со всех сторон на высоту 200 атомов, могли бы напомнить ему советские блочные многоэтажки.
Благодаря этим транзисторам разработчики могли гораздо лучше контролировать поток электричества. Предыдущие модели вели себя как старый садовый шланг: «протекали» повсюду и с трудом поддавались управлению. В новых вероятность утечек была устранена. Для разработчиков микросхем FinFET стала долгожданным воплощением триединства точности, эффективности и контроля.
Широкую публику не интересовали подобные инновации. Транзисторы и компьютеры только что пережили важнейший скачок развития начиная с 1970-х годов, но об этом вряд ли знал хотя бы 1% людей на планете. Выдающиеся достижения полупроводниковой индустрии воспринимались как должное даже программистами, как победы какого-нибудь знаменитого футбольного клуба. Компьютеры просто постоянно становились лучше, к этому все давно привыкли.
Однако в компании Nvidia появление транзисторов с архитектурой «акульего плавника» было встречено с восторгом. Разработчики микросхем занимались проектированием на невообразимо высоком уровне. Образно выражаясь, упоминавшийся выше лабиринт из волос теперь мог бы заполнить не теннисный корт, а целый штат Род-Айленд. А по мере того, как эти лабиринты начали расти ввысь, перед разработчиками открылись еще более фантастические возможности. Помните древнегреческий миф о Дедале, построившем лабиринт для Минотавра? Увидев то, что создавали инженеры Nvidia, легендарный строитель лабиринта заплакал бы от зависти.
Архитектура первой микросхемы Nvidia на основе FinFET получила название Pascal – в честь философа и математика XVII века Блеза Паскаля, который, помимо прочих его достижений, создал первый механический калькулятор. В названии содержалась скрытая отсылка к главному узкому месту в вычислениях: скорости расчетов. До сих пор вычислительным устройствам – от счетной машины Паскаля, собранной из шестеренок, до вакуумных ламп ЭНИАКа и миниатюрных чипов Intel и IBM – не хватало в первую очередь скорости. Однако процессор P100, выпущенный Nvidia в апреле 2016 года, считал быстрее, чем поступали данные. С появлением таких процессоров главным препятствием была уже не скорость вычислений. Мощные компьютеры перестали быть просто счетными машинами.
Хуанг предвидел возникшую проблему. С 2014 года Nvidia разрабатывала высокоскоростную шину для передачи данных под названием NVLink. Это была, можно сказать, пушка, выстреливающая в процессор миллионом матричных вычислений каждую секунду. Соединив восемь процессоров P100 по шине NVLink, Nvidia превратила отдельные кремниевые лабиринты в единый вычислительный суперлабиринт.
Этот великолепный массив стал основой DGX–1. Заключенное в элегантный металлический корпус с фактурной поверхностью устройство весило 61 килограмм, стоило 129 000 долларов и при этом потребляло энергии не больше сушилки для белья. DGX–1 стал самым мощным творением Nvidia – Хуанг называл его «центр обработки данных, помещенный в коробку». Эта машина не была предназначена для общих задач, ее единственным назначением было обучение все более мощных систем ИИ. DGX–1 было суждено встать в один ряд с ENIAC Джона Экерта и Джона Мокли и Apple II Джобса и Возняка как одному из важнейших вычислительных устройств в истории.
Первый такой компьютер получил Илон Маск. В августе 2016 года Хуанг лично доставил его в штаб-квартиру OpenAI в Сан-Франциско. Хуанг приехал в кожаной куртке – теперь он носил ее всегда. Устройство было настолько тяжелым, что в офис его пришлось завозить на тележке, а чтобы поднять на стол, потребовалось несколько человек. Маск вскрыл упаковку канцелярским ножом, и Хуанг расписался маркером прямо на компьютере. «Илону и команде OpenAI! – вывел он своим каллиграфическим почерком. – Будущему вычислений и человечества. Представляю вам первый в мире DGX–1!»
На следующей неделе Хуанг доставил еще один подписанный DGX–1 в лабораторию Фэй Фэй Ли в Стэнфорде. Через несколько дней начался конкурс ImageNet 2016. Модели с сотнями когнитивных слоев достигли точности распознавания изображений 98%, превзойдя средний результат человека, который составлял 95%. Шестьдесят лет исследований и десятки миллиардов долларов инвестиций ушли на то, чтобы научить искусственный интеллект отличать лопатку от топорика. Эпоха господства машин началась.
Глава 14
Хороший год
В 2016 году акции Nvidia взлетели на 224%, вернув Дженсену Хуангу могущество и снова сделав его миллиардером. Однако в
