Мыслящие машины Дженсена Хуанга: История Nvidia и мировой ИИ-революции - Стивен Витт

компьютерщикам идея создания ИИ казалась столь же сомнительной, как поиски снежного человека, а нейронные сети были главным объектом насмешек. «Бытовало мнение, что мир вычислительных технологий полон странных людей, которые занимаются чем-то устаревшим и нелепым, что не имеет смысла и не работает», – рассказывает Катандзаро, приглаживая волосы рукой.

Мне понятно его разочарование: Катандзаро одним из первых осознал потенциал разработки ИИ с использованием параллельных вычислений, но преподаватели отговорили его от правильного выбора. Вместо этого Катандзаро погрузился в заумную математику и опубликовал несколько малозначимых научных статей. Работа над докторской диссертацией оказалась для него очень непростой. К этому времени у них с женой было трое детей, а стоимость аренды жилья в Кремниевой долине кусалась. В отчаянии он начал подавать заявки в разные компании на все доступные стажировки. За шесть лет Катандзаро поработал в восьми компаниях, с трудом зарабатывая деньги, позволявшие семье кое-как сводить концы с концами. Однако был и положительный момент: благодаря этим стажировкам он получил возможность заглянуть на кухню гигантов полупроводниковой индустрии.

В поисках постоянной работы Катандзаро поначалу вернулся в Intel. К тому времени руководство компании поняло, что Nvidia действительно представляет для них угрозу, и запустило проект Larrabee по созданию графического процессора, который должен был стать «убийцей GeForce». Катандзаро привлекли к работе над ним. Однако ожидания Intel не оправдались. Из-за разногласий внутри команды выпуск Larrabee неоднократно откладывался, и в итоге проект был закрыт. Катандзаро полагает, что на самом деле руководство компании не очень интересовали передовые вычислительные технологии. «Им было все равно, что производит Intel – хоть мыло», – говорит он.

Еще одним местом стажировки Катандзаро была Qualcomm, известная компания, разрабатывавшая микросхемы для мобильных устройств, расположенная в Сан-Диего. В Qualcomm дела шли хорошо, зарплату тоже платили достойную, но Катандзаро коробили постоянные попытки очернить конкурентов. «Мне все время говорили, что Nvidia – ужасное место для работы, а их гендиректор – настоящий тиран», – рассказывает он. Это противоречило личному опыту Катандзаро, который успел поработать в Nvidia. Именно он когда-то сказал, что общаться с Хуангом – все равно что совать палец в розетку, но при этом понимал, что этот человек не будет заниматься «продажей мыла». Хуанг был увлечен своим делом, и Катандзаро решил, что должен убедить его в необходимости использовать параллельные вычисления для создания ИИ. После получения докторской степени в 2011 году Катандзаро в качестве места работы выбрал Nvidia.

Катандзаро присоединился к растущему отделу Билла Дэлли Nvidia Research. По его словам, это было похоже на аспирантуру, «только масштабнее и куда интереснее». Атмосфера в коллективе была почти академической: исследователи могли заниматься тем, что их увлекало, и сотрудничать с другими отделами. Дэлли часто публиковал статьи о своих открытиях в научных журналах, не заботясь о финансовой выгоде. Многие из них были написаны в соавторстве с инженерами других компаний, например AMD и Intel. Такая открытость Дэлли удивляла многих, и не все коллеги ее одобряли, однако он ориентировался на долгосрочную перспективу и считал, что, пропагандируя свои достижения, сможет привлечь к совместной работе других ученых. «Они прочтут наши публикации и захотят работать с нами, – объяснял он. – Результаты говорят сами за себя».

Одним из таких ученых оказался Катандзаро. Изначально ему поручили изучать языки программирования, но вскоре он стал первым сотрудником Nvidia, специализирующимся на разработке ИИ. Узнав о прорыве в технологии нейронных сетей, Дэлли решил, что это направление нельзя упускать из виду. В 2012 году он отправил Катандзаро к своему коллеге Эндрю Ыну, стэнфордскому профессору, работавшему на Google. Ын разработал технологию, схожую с AlexNet, но применил для этого процессоры, имеющие стандартную архитектуру. Проект оказался дорогим: используя кластер из 2000 процессоров, Ын хотел научить нейросеть распознавать на видео кошек, загрузив в компьютер 10 миллионов записей с YouTube. Это потребовало больших затрат, расход энергии был колоссальным, но в итоге сеть Ына создала впечатляющую систему распознавания кошек, которую он представил прессе.

Об этом открытии начали писать СМИ, в июне 2012 года статья с результатами исследования появилась в The New York Times. Но для Дэлли было важно не то, что нейронная сеть может распознавать животных, а то, сколько ресурсов для этого потребовалось. Он поручил Катандзаро повторить эксперимент с кошками, но с использованием оборудования Nvidia. Катандзаро сумел добиться тех же результатов всего с 12 графическими процессорами.

События развивались с головокружительной быстротой. Все лучшие умы стекались в Кремниевую долину. Крижевский, Хинтон и Суцкевер, продав свой стартап компании Google, тоже перебрались из Торонто в Маунтин-Вью, где продолжили свои революционные исследования параллельных вычислений. Когда Крижевскому предложили в Google работать с массивным кластером процессоров, он отказался. Вместо этого Алекс установил в офисном шкафу обычный персональный компьютер с несколькими видеокартами Nvidia. Вскоре и другие разработчики Google начали отключаться от разросшегося до невероятных размеров архипелага дата-центров компании (на тот момент, вероятно, самого массивного компьютерного комплекса в мире) и использовать игровое оборудование, установленное непосредственно в стоящих под их столами системных блоках.

Катандзаро на волне перемен обратился к руководству Nvidia за дополнительными ресурсами, но вначале столкнулся с отказом. Из-за чувствительного характера и гуманитарного образования Брайан не вписывался в привычный образ сотрудника Nvidia. «Оценка моей работы оставляла желать лучшего, – признается он. – Да и зарплата тоже». Но несмотря на отсутствие поддержки, Брайан продолжал трудиться над разработкой библиотеки программного обеспечения cuDNN, необходимой для развития нейронных сетей на платформе CUDA.

Сначала работа шла тяжело. Катандзаро, будучи академическим ученым, не имел практического опыта программирования. К тому же у него появился четвертый ребенок, из-за чего он постоянно не высыпался. Возникли проблемы со здоровьем, а от лекарств Брайан чувствовал себя «каким-то тупым». Когда он в начале 2013 года представил свой прототип cuDNN команде разработчиков Nvidia, его подвергли жесткой критике. Катандзаро начал сомневаться в себе и до сих пор, вздыхая, вспоминает полученную на аттестации оценку «необходимо совершенствоваться». «Мне кажется, мои руководители не считали, что я занимаюсь чем-то важным, – говорит он. – И у меня ничего не клеилось».

Катандзаро решил обсудить свои идеи с Хуангом. Казалось, что технология нейронных сетей не была у того в приоритете; на конференции GTC в марте 2013 года Хуанг говорил о прогнозировании погоды и о мобильной графике, ни словом не упомянув нейросети. (Он все еще находился в поисках своего стиля и на этой конференции впервые появился в нелепой кожаной куртке.) К удивлению Катандзаро, Хуанга заинтересовали его идеи. После их разговора Хуанг выделил в своем плотном графике целые выходные на изучение материалов об искусственном интеллекте, в котором раньше разбирался не слишком хорошо. Вскоре состоялась еще