Мыслящие машины Дженсена Хуанга: История Nvidia и мировой ИИ-революции - Стивен Витт
Катандзаро было уже не остановить – я чувствовал, что на работе ему нечасто удается с кем-то поделиться подобными мыслями. «ИИ не нужна биосфера. На самом деле ему вообще не нужна Земля, потому что его особенность в том, что он сможет перемещаться со скоростью света. Нам, людям, приходится таскать свои тела, а искусственный интеллект сможет путешествовать в виде радиосигнала, был бы приемник на другом конце». По словам Катандзаро, не имеющий биологических ограничений ИИ быстро распространится по всей Солнечной системе и выйдет за ее пределы. «Люди конфликтны по своей природе. Мы территориальные существа, и защита своей территории заложена в нашей лимбической системе. А если ИИ станет действительно разумен, его будут интересовать вещи куда более масштабные, чем та тонкая земная кора, на которой живут люди. Я не думаю, что ему понадобится наша территория. Более того: он, вероятно, начнет заботиться о нас».
Перспективу стать питомцами космического разума стоило обдумать на досуге. Но пока еще Nvidia решала сугубо земные задачи, и Катандзаро неслучайно упомянул размещение дата-центров. Гудящие вентиляторы, которые я видел внутри горы в Voyager, свидетельствовали об огромном энергопотреблении оборудования Nvidia. Графические процессоры помогли обойти узкое место в скорости вычислений, а протокол Infiniband от Mellanox решил проблему пропускной способности данных. Теперь единственным препятствием оставалось высокое энергопотребление дата-центров. Все упиралось в мощность.
Глава 19
Мощность
Приближаясь к линии электропередачи, электромонтер отчетливо слышал гудение проводов. Напряжение составляло более 200 киловольт. Рабочий находился на высоте примерно 30 метров над землей в подвесной корзине, висящей на стреле крана. На нем был пояс с инструментами, рубашка из огнеупорного материала и диэлектрические перчатки. Специальным приспособлением он аккуратно отсоединял высоковольтный кабель от удерживавшей его перекладины. Любая ошибка могла стоить ему жизни. Кабель сорвался, рассыпая искры, и воздух наполнился запахом озона. Один есть, осталось еще несколько тысяч.
Этот электрик работал в компании Dominion Energy, обеспечивающей электричеством округ Лаудун в Вирджинии. Он занимался модернизацией инфраструктуры, которая питала крупнейшее в мире скопление центров обработки данных. Лаудун стал нервным узлом вычислительных мощностей Соединенных Штатов; если вы искали что-то в Google, находясь на Манхэттене, скорее всего, ваш запрос проходил через Вирджинию.
На построение всей инфраструктуры, подающей ток к гигантским компьютерам, Dominion потребовалось более века. Однако с появлением искусственного интеллекта компании предстояло удвоить мощности менее чем за 15 лет. Связанные с этим работы опасны в любых условиях, но требования центров обработки данных были столь высоки, что летом 2024 года Dominion приняла решение о замене проводов без отключения напряжения. Риск был значительным, однако безопасности людей уделялось второстепенное внимание. Электропитание центров нельзя было отключать ни при каких условиях – настолько велик был спрос. ИИ оказался очень нужен всем.
Высокое потребление электроэнергии было обусловлено не обучением новых нейронных сетей, а в первую очередь их использованием. Когда-то для инференции было достаточно одной дискеты, но запросы современных пользователей ИИ выходили далеко за пределы вычисления ходов в нардах. Им требовались возможность писать курсовые работы, эффективный поиск, генераторы голосов для создания мемов.
Продуктами GPT от OpenAI ежедневно пользовались свыше 180 миллионов человек. Google в порядке эксперимента интегрировал ответы ИИ в результаты поиска. Видеоролики на TikTok озвучивались с помощью голосовых аватаров ИИ. За обеспечением каждого такого сервиса стоял графический процессор Nvidia, работающий в каком-нибудь ангаре на окраине крупного города.
Графические процессоры были крайне энергоемкими. Если для простого поиска в Google требовалось около трети ватта электроэнергии в час, то с подключенным генеративным ИИ затраты возрастали в 10 раз – количества энергии, потраченного на обработку запроса, хватило бы на горение лампочки в течение 20 минут. Попросите GPT написать курсовую работу на 5000 слов, и вы израсходуете электроэнергию, достаточную для работы микроволновки в течение часа.
Промышленный спрос на ИИ был еще выше персонального: топ-менеджеры компаний предвкушали, что нейросети полностью заменят труд человека на многих рабочих местах. В 2022 году Джеймс Эрл Джонс объявил, что больше не хочет озвучивать Дарта Вейдера, и передал права на бессрочное использование своего голоса компании Disney (Джонс скончался в 2024 году, но жуткий голос Вейдера и его тяжелое дыхание, возможно, останутся навечно). Инструменты распознавания изображений в МРТ сулили ежегодную экономию в миллиарды долларов и грозили оставить радиологов без работы. Amazon применяла ИИ, чтобы оценить качество клубники, а сельскохозяйственные предприятия экспериментировали с ИИ-роботами для сбора урожая.
По одной из оценок, чтобы удовлетворить растущие потребности генеративного ИИ, США нужно было за десять лет удвоить мощность атомных электростанций. По самым скромным прогнозам, увеличение спроса на электроэнергию за это время составило бы не менее 20%. Обеспечить графические процессоры Nvidia электричеством, не нарушая квот на выбросы углекислого газа, было практически невозможно. Поэтому, помимо модернизации мощных линий электропередачи, Dominion уже начала рассматривать возможность восстановления законсервированных угольных станций.
В Nvidia не закрывали глаза на проблему глобального потепления. Исследователи любили подчеркивать, что климатическое моделирование стало одной из первых задач для суперкомпьютеров. Сюкуро Манабе, получивший в 2021 году Нобелевскую премию по физике за доказательство того, что углекислый газ задерживает тепло в атмосфере, сделал свое открытие еще в конце 1960-х. Для расчетов он использовал компьютер IBM – 70-тонную машину, потреблявшую столько же энергии, сколько было необходимо десяти городским кварталам. В 1980-х годах, уже работая на более мощных компьютерах, ученые NASA предсказали глобальное повышение температуры на Земле на несколько градусов, хотя эмпирические данные указывали на отсутствие такой тенденции. Также специалисты предсказывали, что по мере глобального потепления верхние слои атмосферы будут остывать, а тепло будет концентрироваться у поверхности, что приведет к сжатию атмосферных слоев. К 2020-м годам спутниковые данные подтвердили этот эффект.
Практически все изменения климата, о которых нам сегодня известно, – результат работы мощных суперкомпьютеров, потребляющих много энергии. С конца 2000-х годов ученые использовали для моделирования климата оборудование Nvidia, а в самой Nvidia этим занималось специальное подразделение, выдававшее на удивление точные прогнозы. Например, симуляция Earth–2 предсказывала скорость ветра в масштабах городских кварталов.
Билл Дэлли, главный научный сотрудник Nvidia, испытывал серьезные опасения по поводу изменений климата. Он часто бывал в ледяных Альпах и
