Мыслящие машины Дженсена Хуанга: История Nvidia и мировой ИИ-революции - Стивен Витт
Чтобы выделиться на общем фоне, Nvidia нужно было следовать стратегии, которая настолько противоречила общепринятой практике, что, к примеру, та же ATI ни за что не стала бы этим заниматься. Нужно было создать экспериментальный продукт, что-то вроде суперкомпьютера начального уровня стоимостью примерно 300 долларов, у которого тогда не было не только конкурентов, но и явных покупателей. «Потенциальный миллиардный рынок» по определению должен был стать таковым: на нем пока не только не было других участников, о нем даже никто не знал. Хуанг намеревался построить бейсбольный стадион посреди кукурузного поля и ждать, когда на него придут игроки.
При параллельных вычислениях масштабная задача разбивается на множество мелких, которые выполняются одновременно. Чтобы детально объяснить этот сложный процесс, потребуется написать целый учебник, но кое-что можно объяснить на пальцах. Представьте электронную схему размером с танцпол. На нем толпа людей размахивает светящимися палочками (это как бы символизирует транзисторы). Мигают огни, гремит музыка, но большинство танцоров стоит на месте: они могут двигаться только тогда, когда наступает их очередь[13]. Кто-то вступает на первый удар первого такта, кто-то на четвертый удар второго такта и так далее. Мы видим, как палочки вспыхивают то там, то здесь, но большинство просто находится в режиме ожидания.
Руководящий их последовательным движением диджей пытается расшевелить толпу, ускоряя ритм, но успех такого подхода ограничен. В этот момент на сцену выходит другой диджей, управляющий выполняемыми параллельно действиями. Вместо того чтобы ускорять ритм, он придумывает значительно более сложные движения для танцоров, которые можно выполнять группами. И это работает: активность танцоров резко увеличивается, пол начинает дрожать, в помещении становится жарко (некоторые танцоры настолько активны, что могут перегреться). Теперь тысячи светящихся палочек качаются в такт.
Переосмысление работы микросхем таким образом было кардинальным решением. Сложность параллельных вычислений состоит в необходимости координации подобной «хореографии», которая требует от программистов абсолютно нового подхода. Относительно просто составить инструкцию для процессора Intel, который работает как фургон, развозящий посылки по одной. Да, это медленно, зато не требует от программиста больших ухищрений. Нужно доставить посылку? Просто киньте ее в фургон!
Графический процессор Nvidia, работающий по принципу параллельных вычислений, больше напоминал армию мотоциклистов, разъезжающих по городу. Все курьеры доставляют посылки примерно одновременно, и весь процесс может занять не более получаса, однако управлять им сложнее: требуется больше водителей, автомобилей, нужна продуманная логистика. Необходимо выдать каждому мотоциклисту правильную посылку и указать правильный путь.
На протяжении десятилетий программисты отдавали предпочтение фургону, но, как и предсказывал Николлс, вскоре фургону предстояло застрять в пробке законов физики. Николлс считал, что, как только это произойдет, всем придется перейти к управлению армией мотоциклистов. Просто не останется выбора.
Тем не менее Nvidia ориентировалась не на программистов как таковых; они были лишь посредниками. Настоящими клиентами должны были стать врачи, астрономы, геологи и другие ученые – специалисты в различных областях, которые, возможно, вовсе не умели программировать. Именно они будут тратить деньги на CUDA, и им нужно было более простое объяснение.
Объяснить ученым различие между последовательными и параллельными вычислениями было проще всего, сравнив выполняющий последовательные операции процессор Intel с кухонным ножом из нержавеющей стали. Этот нож – великолепный многоцелевой инструмент, с помощью которого можно нарезать что угодно как угодно: соломкой, кубиками, ломтиками, крошить или рубить. Немного умения, и с его помощью повар приготовит целый обед. Но ножом можно резать только один продукт за раз.
В свою очередь графический процессор Nvidia, выполняющий параллельные операции, можно сравнить с кухонным комбайном. Это профессиональное устройство, шумное, большое и мощное. Он неспособен нарезать хрен тонкой стружкой или сделать надрезы в виде решетки на филе кальмара. Однако когда необходимо быстро нарезать одновременно большое количество овощей, такой комбайн – то, что нужно.
Невозможно приготовить все блюдо с помощью одного лишь комбайна, не применяя кухонный нож. И компьютер не может работать, используя только графический процессор. Это слишком специализированное устройство для конкретных задач; в любом случае для работы необходим и центральный процессор. В этом контексте последний всегда является основным инструментом, а GPU – мощным дополнением с узким функционалом. Поэтому, как и многие современные кухонные инструменты, его тоже поначалу воспринимали с долей скепсиса. Однако представьте, что шеф-повар приходит на работу и обнаруживает, что для банкета крупной международной организации нужно срочно нарезать грузовик свежих овощей. У него нет времени аккуратно их нарезать, ему нужно срочно измельчить сотни килограммов продуктов. В такой ситуации кухонный комбайн будет весьма полезен. Фактически для такой задачи хорошо бы использовать множество комбайнов, работающих одновременно.
В этой аналогии грузовик с овощами обозначает большие массивы данных. К середине 2000-х годов ученые накопили такие объемы данных, которые многократно превышали все, что до этого собиралось веками. Это были данные по астрономии, геологии, медицине, правительственные и финансовые записи, а также неуклонно растущий объем информации, закачиваемой пользователями в интернет.
Ученый прошлых веков был бы счастлив, получив ящик овощей на несколько недель. К середине 2000-х годов ему пришлось бы ежедневно разбирать нескольких грузовых контейнеров. «Кухонные ножи» от Intel просто не справлялись с этой задачей: требовалась машина с мощным вращающимся лезвием. Конечно, нарезка не всегда получалась идеальной – ну и что? Все равно вскоре прибудет еще один грузовик. Графический процессор стал кухонным комбайном для обработки данных. Это было устройство, которое превращало массивы информации в грубо нарезанные кубики.
Под руководством Николлса команда Nvidia начала компоновать свои микросхемы в «ядра CUDA» – массивы, способные одновременно выполнять одну и ту же команду для нескольких групп данных. Арджун Прабху, директор Nvidia по аппаратным решениям, сравнивал проектирование нового процессора с градостроительством, когда зоны застройки должны выполнять разные функции. Иногда транзисторы даже снились Прабху, как падающие блоки игрокам в «Тетрис». «Самые лучшие идеи возникают у меня в пятницу перед сном – они буквально снятся мне», – признавался Прабху.
Решение выпускать карты двойного назначения вызвало в Nvidia споры, поскольку это увеличивало себестоимость видеокарт GeForce по сравнению с устройствами Radeon (в компании это увеличение расходов стали называть «налог CUDA»). Хуанг сделал ставку на то, что геймеры, завороженные графикой
