Мыслящие машины Дженсена Хуанга: История Nvidia и мировой ИИ-революции - Стивен Витт

микросхем. Решающим фактором было качество программного обеспечения. Классическая стратегия увеличения количества транзисторов на плате теперь давала лишь малую часть прироста производительности – закон Мура перестал работать. Остальной прогресс был заслугой Билла Дэлли, Йена Бака и других разработчиков Nvidia, которые ускоряли матричные вычисления с помощью особых математических методов. Инженеры компании разработали для графического процессора новые команды, действовавшие подобно скоростным алгоритмам сборки кубика Рубика. Они отказались от традиционного языка процессора в пользу внешне некрасивых, но эффективных упрощенных типов данных – словно перешли от каллиграфии к скорописи. Они вычищали «мертвые» синапсы из матриц, удаляя бесполезную информацию из нейронной сети, – почти как машина забвения из фильма «Вечное сияние чистого разума».

С 2012 по 2022 год Nvidia сумела добиться ускорения производительности ИИ на одной микросхеме в 1000 раз, что значительно превышало все предсказания закона Мура. Лишь малая часть этого прироста была обусловлена развитием транзисторов; львиная доля (более 400 раз) обеспечивалась использованием математических инструментов Nvidia. «Чипы AMD по качеству ничем не хуже наших, – замечает Арджун Прабху. – Просто они не могут обеспечить такую же скорость вычислений».

На базе этого мощного движка Nvidia создавала специфические программы для различных узких областей: Drive для автомобильных разработок, BioNeMo для фармацевтов, Clara для медицинской визуализации, Morpheus для кибербезопасности и Highlights для записи лучших моментов в игре Fortnite. К 2020-м годам у Nvidia появились почти три сотни таких наборов инструментов для самых разных сфер – от компьютерных игр и анимации до планетологии, климатологии, математики, физики, финансов, биохимии и квантовых вычислений. Эти программные пакеты были общедоступны, бесплатны, Хуанг раздавал их ученым как бабушка накладывает внукам кашу в тарелки. Он называл эти инструменты своими сокровищами.

Разумеется, Хуанг не был альтруистом: это была долгосрочная стратегия, рассчитанная на то, чтобы обновлениями софта привязать исследователей к аппаратному обеспечению Nvidia. В начале 2024 года я узнал от администратора центра обработки данных Калифорнийского технологического института, что время ожидания поставки процессора H100 доходило до 18 месяцев. Он пытался убедить профессоров перейти на другие платформы, но желающих находилось немного. «Они готовы ждать новое оборудование полтора года, лишь бы не отказываться от CUDA», – говорит он. Именно благодаря этому программному обеспечению никто не мог конкурировать с Nvidia. Другие компании могли разработать новый процессор, но этого было недостаточно: под началом Дуайта Диркса, главы отдела программного обеспечения Nvidia, работали 10 000 программистов. «На самом деле мы – программная компания, но не все это понимают», – утверждает Диркс.

Как и Хуанг, Диркс никогда не ослаблял хватку, заставляя свою команду постоянно придумывать все новые и новые функции. Работать под его началом было нелегко, и некоторые программисты уходили, не вынеся давления. В своей клетчатой рубашке и джинсах расхаживающий по футуристическим интерьерам Диркс был похож на ковбоя, похищенного инопланетянами, но за этим несуразным обликом скрывалась его одержимость работой.

Программные продукты Nvidia не всегда отличались изяществом или удобством использования, а интерфейсы некоторых инструментов отставали от современных стандартов на десятилетие. Однако Диркса мало заботила внешняя сторона, его интересовало только первенство. Стоило появиться какому-то многообещающему направлению в науке, он оказывался тут как тут с новым набором неброских, но работающих программных инструментов. Конкуренты могли с небольшим опозданием выпустить более элегантное и экономичное решение, но к тому моменту было уже поздно: отраслевой стандарт был задан. Именно поэтому Билл Дэлли утверждал, что не боится конкуренции в сфере открытого программного обеспечения. «Мы не перестаем жать на газ! – говорит он. – И всегда опережаем других на пару поколений».

У Nvidia не было собственного производства, а сотрудники давно привыкли к удаленной работе, поэтому пандемия COVID–19 мало повлияла на деятельность компании. Тем не менее жизнь в ней сбавила активность: бар на третьем этаже закрылся, конференции GTC стали виртуальными, и Хуанг, как и все остальные, вынужден был работать, находясь дома. В июле 2020 года, когда Nvidia наконец обошла Intel по рыночной стоимости, Хуангу не удалось отпраздновать это событие в кругу коллег. И перед семьей он не мог похвалиться своими достижениями, так как его младший брат Джим работал в Intel. Поэтому Дженсен просто пошел гулять с собаками. Возможно, хоть они как-то почувствовали его праздничное настроение.

Вскоре Nvidia опередила и AMD. Управляя самой дорогостоящей компанией в мире, разрабатывающей полупроводниковые компоненты, и при этом сидя в четырех стенах, Хуанг боялся потерять связь с реальностью. Nvidia стала такой огромной, что Дженсен не мог полностью разбираться во всем, что в ней происходило, но делегировать задачи другим он не привык. Чтобы ощущать пульс компании, ему необходимо было поддерживать контакт с сотрудниками, работающими на передовой технологий.

Примерно в это время Хуанг попросил всех сотрудников компании еженедельно присылать ему список из пяти самых важных задач, над которыми они работали. Каждый пятничный вечер он получал 20 000 электронных писем. Прочитать их все Дженсен не мог, поэтому выбирал некоторые случайным образом и сидел над ними до глубокой ночи. Ежедневно он отправлял сотрудникам сотни сообщений, часто ограничиваясь несколькими словами (один из топ-менеджеров сравнил эти сообщения с хайку, другой – с записками вымогателя). Быстрота его реакции казалась сверхчеловеческой. «Можно было написать ему в два ночи и получить ответ через пять минут, – рассказывает Билл Дэлли. – Потом отправить сообщение в шесть утра и снова получить ответ через пять минут».

Именно благодаря этой переписке до Хуанга дошла информация об архитектуре трансформеров. Рассказывали, что OpenAI запустила на сервере Microsoft Azure проект, который загрузил 1000 графических процессоров на целый месяц и обошелся в 5 миллионов долларов. Это была большая языковая модель, превосходившая все существующие аналоги примерно в 100 раз.

Хуанг понял, что нужно разработать новый набор инструментов специально для трансформеров. Он поручил Басу Аартсу немедленно выбросить текущий компилятор рекуррентных нейронных сетей в корзину и приступить к разработке нового – для трансформеров. Аартс с радостью взялся за работу: структуры долговременной и кратковременной памяти в рекуррентных нейронных сетях казались ему слишком сложными и ненужными. «Рекуррентные нейронные сети было очень непросто программировать и еще труднее компилировать, – говорит он. – Трансформеры были лучше по всем параметрам».

Еще до перехода на трансформеры Аартс начал замечать в Nvidia странные и отчасти пугающие тенденции. Демонстрации передовых продуктов в компании проводились задолго до их официальной презентации. В немом изумлении Аартс наблюдал, как ИИ в реальном времени редактирует сцену из фильма «Миссия невыполнима», заменяя лицо Тома Круза на произвольно выбранного из присутствующих человека. «С моей точки зрения – хотя я не специалист по видео – результат выглядел безупречным, – рассказывает Аартс. – Невозможно было заметить следы подделки».

В Nvidia