Мыслящие машины Дженсена Хуанга: История Nvidia и мировой ИИ-революции - Стивен Витт
Однако Дэлли все же не до конца доверял Хуангу. Он слышал о его эмоциональной неустойчивости и о жестком рабочем графике в Nvidia. Вероятно, предвидя его колебания, Хуанг принес на встречу уже подписанный чек. И Дэлли, один из ведущих мировых ученых в своей области, все-таки согласился.
Йен Бак, Билл Дэлли и десятки других талантливых инженеров были привлечены для участия в секретном проекте Nvidia под названием Compute Unified Domain Architecture, или CUDA (название намеренно выбирали непонятное «вычисление унифицированной доменной архитектуры»). Идея CUDA заключалась в том, чтобы использовать параллельные вычислительные схемы, разработанные для видеоигр, в научных целях. Больше не требовалось взламывать треугольники ради драгоценных гигафлопсов – архитектура была открыта для любого пользователя. «Фактически CUDA можно представить как карту для видеоигр, оснащенную дополнительным переключателем, – объясняет Дуайт Диркс. – Вы щелкаете им, и видеокарта превращается в суперкомпьютер».
CUDA придумал Джон Николлс, инженер Nvidia, который ранее был одним из основателей прогоревшего стартапа, занимавшегося параллельными вычислениями. Николлс увлекался горнолыжным спортом и сборкой моделей поездов, а его офис украшали изображения микросхем в рамках. Он был одержим идеей сделать компьютеры быстрее, а в своей компании MasPar он пытался внедрить рабочий график 9–9–6, как в TSMC, где сотрудники работали с девяти утра до девяти вечера шесть дней в неделю. Даже после краха компании Николлс остался верен своим идеям, считая, что в конечном итоге они получат развитие, так как на его стороне законы физики.
Долгие годы миниатюризация электроники происходила в соответствии с «законом масштабирования Деннарда». По этой концепции транзисторы должны были продолжать эффективно работать по мере уменьшения размеров – именно благодаря этому компьютеры каждый год становились быстрее[12]. Однако Николлс подсчитал, что около 2005 года это правило перестанет работать. Пришлось бы создавать транзисторы размером в сотню атомов, что примерно в 6000 раз тоньше человеческого волоса и в 700 раз меньше эритроцита. На таком уровне миниатюризации проводимость транзисторов ухудшится и появится утечка тока из них, в результате чего скорость работы компьютеров снизится.
Николлс видел, что индустрия игнорирует эту проблему, особенно Intel, уверенная в линейном улучшении параметров транзисторов при уменьшении их размеров вплоть до атомов. Он полагал, что это невозможно, и в начале 2003 года по собственной инициативе написал Хуангу письмо, излагая свои «еретические» взгляды. В письме он точно и объективно, исходя из законов физики, объяснил, почему доминирование Intel с ее подходом близится к концу. «Мы все видели приближение этого момента, но именно Николлс убедил меня, что действие закона Мура закончилось, – говорит Хуанг. – В том, что Nvidia стала такой, какая она есть, в большой степени его заслуга».
Хуанг предложил Николлсу работу и назначил руководителем пилотного проекта по разработке научных приложений для GeForce. Даже среди сотрудников Nvidia Джон выделялся упорством и силой характера. Через две недели после начала работы у него обнаружили меланому, однако он продолжал трудиться по 70 часов в неделю, параллельно проходя лечение и не показывая ни семье, ни коллегам, насколько ему тяжело. Вскоре меланома Николлса перешла в стадию ремиссии, а первые версии платформы CUDA начали работать.
Николлс совершенно не интересовался видеоиграми и вообще компьютерной графикой, его заботила только вычислительная мощность устройств. Однако в остальном он был типичным сотрудником Nvidia. «Мой отец частенько повышал голос, – рассказывает его сын Алек. – Я часто слышал, как во время телефонных совещаний он кричит на людей. Но это не казалось чем-то плохим, скорее он просто хотел быть уверен, что люди понимают, что делают, и будут работать продуктивно».
В личной жизни Николлс был столь же жестким, как и на работе. Он хитростью затаскивал сына на самые сложные горнолыжные трассы, а в клубе железнодорожного моделирования больше интересовался устройством путей, чем общением. Когда Алек был бойскаутом, ему никак не удавалось пройти классическое испытание на выживание, которое заключалось в том, чтобы сделать спасательное средство на воде из собственных штанов. Николлс загнал сына в бассейн и не выпускал оттуда, пока тому не удалось наполнить брюки воздухом.
Николлс был одержим задачей заставить платформу CUDA работать. Друзья иногда удивлялись тому, что он работает в компании, связанной с видеоиграми, хотя сам ими не интересуется. Николлс отвечал, что занимается не играми: он работает над одной из самых значимых технологий всех времен. Он стремился создать платформу столь быструю, чтобы в сравнении с ней другие компьютеры выглядели калькуляторами. «Немногие изобретения так повлияли на мир, как повлияет CUDA», – утверждал он.
Конечно, это скорее отражало его веру в свою работу, чем реальное положение дел. К концу 2000-х годов компьютеры достигли скорости, достаточной для большинства потребительских нужд, и очевидного спроса на то, что создавал Николлс, пока не было. Объединить CUDA с обычной видеокартой было все равно что поставить на минивэн реактивный двигатель и попытаться продать его обычному жителю пригорода. Но Николлса это не смущало. Он хотел не просто обойти закон Мура, а развенчать его навсегда.
Для этого Николлсу нужно было увеличить вычислительную мощность микросхем. Частоты, на которых они работали, словно подчинялись некоему ускоряющемуся с каждым годом метроному. К середине 2000-х этот метроном выдавал сотни миллионов тактов (герц) в секунду, а возможности электрических соединений в устройствах уже не соответствовали таким скоростям. Параллельные вычисления решали проблему не за счет увеличения скорости каждого транзистора, а благодаря росту их количества. В процессорах Intel одновременно работало ограниченное количество транзисторов, в графических процессорах Nvidia их были тысячи.
Nvidia было сложно найти пользователей, которым понадобилась бы такая мощность. «Поначалу нашими единственными клиентами были двое исследователей рака груди», – вспоминает Диркс. Эти ученые, работавшие в Массачусетской больнице общего профиля, предложили Nvidia улучшить их маммографические сканеры. Хуанг доверил больнице провести альфа-тестирование CUDA, вложив несколько миллионов долларов в пилотный проект, который в итоге привел к продаже всего лишь двух графических карт. «Это было вполне в духе Дженсена», – замечает Диркс.
Маммографическая визуализация стала первым примером того, что Хуанг позже назвал «потенциальный рынок с оборотом в миллиарды долларов». Он давно стремился найти способ выделить Nvidia на фоне конкурентов. Инновации в аппаратном обеспечении не могли решить эту задачу, так
