Мыслящие машины Дженсена Хуанга: История Nvidia и мировой ИИ-революции - Стивен Витт

ошибался не реже, чем был прав. Все гораздо сложнее». В отличие от маргинальных клиентов Кристенсена – мотоциклистов и экскаваторщиков – малоприбыльными клиентами Хуанга были ученые-исследователи. Он рассчитывал, что именно они совершат прорыв, который изменит мир.

Подобное переосмысление технологий уже происходило в истории. В начале XVII века голландские мастера, работавшие над изготовлением очков, обнаружили, что можно расположить линзы так, чтобы увеличивать удаленные объекты. (Существует версия, что это открытие случайно сделали двое детей, разглядывавшие сквозь стекла флюгер.) Мастера-оптики завалили голландское патентное ведомство проектами телескопов. Не прошло и года, как Галилей направил один из таких приборов в небо и первым описал фазы Венеры, спутники Юпитера и кольца Сатурна. Телескоп Галилея, созданный из модифицированных линз для очков, обладал меньшей увеличительной способностью, чем современные бинокли, но он навсегда изменил наше представление о Вселенной и о нашем месте в ней. Распространяя доступные суперкомпьютеры среди ученых-энтузиастов, Хуанг надеялся спровоцировать аналогичную революцию.

У Хуанга не было четкого представления о будущем его технологии. Другие, например Илон Маск, начинали с конкретной цели – например, высадки на Марс – и затем создавали технологии для ее достижения. Хуанг шел иным путем: он отталкивался от уже существующих электронных микросхем и развивал их, насколько это было возможно. И только исчерпав их возможности, он позволял себе сделать шаг в туманную область интуиции и предчувствий.

«То, что делает Дженсен, выходит за рамки обычного фокуса, – говорит Хорстманн. – Я бы назвал это резонансом». Чтобы достичь этого резонанса, Хуанг постоянно взаимодействовал с клиентами и сотрудниками. На своих конференциях он всегда сажал ученых впереди, а прессу – сзади и распределял свое внимание соответственно. Он постоянно общался с рядовыми работниками – не столько для поднятия их морального духа, сколько для того, чтобы «чувствовать пульс компании», как он выражался.

«Я помню времена в LSI, когда нам почти ничего не приходилось выдумывать самим, – мы просто угадывали мысли наших клиентов, – вспоминает Хорстманн. – Здесь, с параллельными вычислениями, происходило то же самое: Хуанг улавливал резонанс благодаря общению с клиентами и сотрудниками. Он чувствовал, когда наступало время действовать».

Прорыв был близок, Хуанг был уверен в этом. Он ощущал это по реакции исследователей, которые были поражены возможностями его технологии, по энтузиазму талантливых сотрудников, таких как Билл Дэлли, Джон Николлс и Йен Бак. Ради этого он был готов жертвовать прибылью, забыть об основном продукте и рискнуть собственным положением. Хуанг верил, что где-то существует безумный ученый – необязательно Чу с его квантовой физикой, – чьи идеи будут доказаны благодаря CUDA. Где-то существовал аспирант, готовый отказаться от бюрократической волокиты, сопровождающей получение гранта, и вместо этого купить на стипендию графический процессор Nvidia и совершить революцию в науке. И где-то была малоизвестная область этой науки, готовая использовать мощь CUDA, чтобы разрушить устоявшиеся парадигмы. Просто Хуанг еще не знал, как именно все это произойдет.

Глава 11

AlexNet

Если бы Алекс Крижевский мог стать невидимкой, он бы, вероятно, так и сделал. Этот талантливый программист испытывал патологическое отвращение к вниманию. Худощавый рыжий парень неохотно о себе рассказывал даже коллегам. Поэтому его научный руководитель в аспирантуре Джеффри Хинтон мало что мог о нем рассказать, разве что сказал: «Алекс, пожалуй, лучший программист, которого я когда-либо встречал».

Хинтон познакомился с Крижевским в конце 2000-х, когда тот учился в магистратуре Университета Торонто и жил с родителями. Крижевский родился в еврейской семье в СССР, в Восточной Украине, но его семья эмигрировала в Канаду, когда Алекс был маленьким. Его родным языком был русский, но по-английски он говорил безупречно, хотя и был немногословен. Своими манерами он напоминал Хинтону опытного шпиона, который много знает, но не станет болтать, однако стоило ему открыть рот и становилось ясно, что за этим лбом кроется глубокий ум.

Однажды он без приглашения явился в кабинет к Хинтону. «Он пришел ко мне и заявил: "Я лучший студент по программной инженерии, и мне скучно, – вспоминает Хинтон. – Можно я присоединюсь к вашей группе?"» Это была дерзкая просьба: Хинтон был знаменитым ученым, посвятившим годы разработке нейронных сетей, соавтором знаковой статьи 1986 года о методе обратного распространения ошибок, который он на протяжении десятилетий пропагандировал, несмотря на непонимание и даже враждебность большинства разработчиков искусственного интеллекта.

Однако научная работа Хинтона завела его далеко от основных компьютерных исследовательских центров, таких как Стэнфорд и MIT. Заснеженный Торонто сложно было назвать столицей инноваций. Исследования Хинтона имели весьма ограниченное финансирование. Прежде чем взять Крижевского в ученики, он честно предупредил его, что в научном сообществе идея разработки нейронных сетей непопулярна. И хотя группа Хинтона добивалась результатов, не уступающих результатам, получаемым традиционными методами, статьи о ее исследованиях регулярно отказывались публиковать. «Нейронные сети считались бессмыслицей», – констатирует он.

Хинтон считает, что предубеждение против нейронных сетей носило «идеологический» характер. Это слово он произносит с той же ядовитой интонацией, с какой Хуанг говорит слово «политический». А общепринятая идеология на тот момент заключалась в том, что просто создать полезный ИИ недостаточно, он должен каким-то образом раскрыть секреты разума и превратить их в математический код. Стандартный 1100-страничный учебник по ИИ представлял собой обзор вероятностного вывода, деревьев решений и метода опорных векторов. Нейронным сетям отводилось 10 страниц с кратким обсуждением игры в нарды в начале. Когда коллега Хинтона разработал нейронную сеть, превзошедшую лучшие программы распознавания пешеходов, его статью даже не приняли для обсуждения на конференции. «Реакция была такой: это не считается, потому что не объясняет, как производятся вычисления, так что здесь нет ничего полезного», – рассказывает Хинтон.

Хинтон возражал, что математически описать, как в человеческом мозге формируется речь, тоже невозможно, но его никто не слушал. ИИ-сообщество не желало имитировать разум – оно хотело разгадать его. Хинтон считал попытки разгадать, как мыслит мозг, абсурдными, сравнивая их с попытками разгадать, как функционирует почка, но и этот довод не находил понимания. Чтобы как-то замаскировать свою деятельность и получить финансирование, он и другие исследователи нейронных сетей вынуждены были называть свою работу «машинное обучение» или «глубокое обучение» – чем угодно, только не разработкой ИИ.

Крижевский, не испугавшись трудностей, присоединился к группе Хинтона. Хинтон познакомил его с Ильей Суцкевером, еще одним русскоговорящим еврейским иммигрантом родом из Советского Союза. Несмотря на схожие биографии, Суцкевер и Крижевский были абсолютно непохожи. Суцкевер был спортивным молодым человеком с темными густыми бровями, выразительными карими глазами и лукавой улыбкой. Будучи ярым последователем Хинтона, Суцкевер утверждал, что нейронные сети однажды превзойдут человеческий интеллект, – предсказывать подобное в то время не решался сам Хинтон. «Илья любит