Мыслящие машины Дженсена Хуанга: История Nvidia и мировой ИИ-революции - Стивен Витт
В 2013 году стоимость акций Nvidia выросла на 30%, в 2014-м – на 27%, в 2015-м – на 66%. Последний скачок позволил Nvidia побить предыдущий рекорд, поставленный еще в 2001 году, когда компания впервые вошла в индекс S&P 500. Включение в этот индекс имело значение: на следующий день фондам, контролирующим пенсионные сбережения Америки, было предписано купить акции Nvidia. На протяжении четырнадцати лет частные инвесторы поддерживали компанию, не получая прибыли. Настало время расплатиться со всеми.
Со стороны Nvidia все еще выглядела как игровая компания, так как основную часть ее дохода составляли розничные продажи GeForce. Однако Уолл-стрит, заглядывая в будущее, начала оценивать ее как лидера в области разработки искусственного интеллекта. Вслед за Google, которая приобрела большое число графических процессоров для проекта Mack Truck, аналогичные покупки начали совершать и другие технологические гиганты, такие как Amazon, Oracle и Microsoft. Бизнес-модель этих провайдеров облачных услуг заключалась в создании огромных центров обработки данных, оснащенных десятками или даже сотнями тысяч графических процессоров и сдающихся в аренду корпоративным клиентам.
Облачные провайдеры продавали вычислительные мощности как коммунальные услуги – как воду или электричество. Центры обработки данных размещались в неброских промышленных зданиях по всему миру. Миновав охрану и проходную, вы попадали в большое помещение с кондиционерами, где находились ряды двухметровых стоек, напоминающие библиотечные стеллажи. В каждой стойке было несколько лотков, в каждом лотке размещались один или два графических процессора. Лотки были модульными и легкозаменяемыми, вся система соединялась кабелями, так что сотни графических процессоров могли работать в унисон как единое вычислительное устройство. Управляла системой меньшая группа центральных процессоров, а толстый пучок оптоволоконных кабелей соединял весь комплекс с внешним миром.
Nvidia не занималась производством стоек и лотков и обычно сама не строила центры обработки данных. Она поставляла только микросхемы, но это был прибыльный бизнес, в котором компания была практически монополистом. Новые процессоры Nvidia получали свои имена в честь известных ученых: Curie, Tesla, Fermi, Kepler, Maxwell, Pascal, Turing, Volta, Ampere, Lovelace, Hopper и Blackwell. Более поздние серии включали специальные микросхемы для ИИ, так что центрам обработки данных приходилось постоянно заменять процессоры. Шестимесячный цикл обновления заставлял разработчиков передовых технологий машинного обучения регулярно покупать новое оборудование, что приносило компании значительную прибыль.
Цены у поставщиков облачных услуг указывались в «долларах за графический процессор в час». Аренда системы с новейшими наборами микросхем Nvidia стоила около 3 долларов за час (для сравнения: доступ к центральным процессорам Intel стоил какие-то центы). При таких ценах обучение «мозга насекомого» AlexNet обошлось бы примерно в 500 долларов, но исследователи уже создавали гораздо более сложные модели с миллиардами параметров, на обучение которых уходили миллионы долларов. Тем не менее при правильном обучении результат оправдывал затраты, что подтверждалось примером Google. Применение нейронных сетей для оптимизации энергопотребления серверных позволило этой компании сэкономить сотни миллионов на счетах за электричество, что обеспечило быструю окупаемость инвестиций в ИИ. Google также применила инструменты распознавания изображений в своем приложении для фотографий, включив в него возможность создания автоматических меток для пользовательских снимков, и использовала ИИ для улучшения поиска.
Другие крупные технологические компании тоже внедряли ИИ в свои продукты. Instagram, Facebook и Twitter начали привлекать внимание пользователей, алгоритмически организуя их ленты, то есть применяя методы машинного обучения. (Эти методы оказались столь же эффективными, сколь и манипулятивными: алгоритмы в социальных сетях удерживали внимание пользователей часами, умело подбирая провокационный контент.) Инвестиции в ИИ приносили столь большую прибыль, что Хуанг вспомнил один из самых старых лозунгов розничных продаж: «Чем больше тратишь, тем больше экономишь».
Венчурные капиталисты начали активно инвестировать в стартапы, связанные с ИИ, поддерживая не только разработки в области распознавания изображений и речи, но и проекты в сферах здравоохранения, розничной торговли, беспилотных автомобилей и образования. В 2010 году инвестиций в ИИ практически не было, а к 2015 году они достигли 5 миллиардов долларов и продолжали стремительно расти. «Мы инвестируем в множество стартапов, в различных областях применяющих методы глубокого обучения, и практически все они используют платформу Nvidia, – отмечал Марк Андриссен из фирмы Andreessen Horowitz в начале 2016 года. – У наших сотрудников есть игра: мы фантазируем, в какие публичные компании вложили бы деньги, если бы были хедж-фондом, и всегда выходит, что вложили бы всё в Nvidia».
Опытные инженеры, работающие в сфере глубокого обучения, тоже зарабатывали немалые суммы. В общей сложности так называемая общая компенсация, состоящая из базовой зарплаты, бонусов, опционов на акции и соцпакета, складывалась в магическое число, которое могло превышать семизначную сумму за год. В конце 2014 года Брайан Катандзаро перешел из Nvidia в Baidu, чтобы работать с Эндрю Ыном. «Они предложили мне зарплату в три раза выше», – рассказывает Катандзаро с легким сожалением, добавляя, что если бы остался в Nvidia, то заработал бы гораздо больше на опционах. Бас Аартс, создавший первый компилятор CUDA, ушел примерно в это же время. Однако спустя несколько лет оба вернулись. Они поняли, что для них нет другой компании, кроме Nvidia.
По мере развития ИИ наблюдатели начали проявлять беспокойство. В книге «Сверхразум» (Superintelligence), вышедшей в 2014 году, шведский философ из Оксфордского университета Ник Бостром сравнил людей, экспериментирующих с машинным интеллектом, с «маленькими детьми, играющими с бомбой». Он предположил, что компьютер, способный к абстрактному мышлению, станет последним изобретением человечества. По его мнению, компьютер с общим интеллектом сможет самосовершенствоваться и превратится – возможно, за несколько секунд – в сверхразум, который с точки зрения человека будет всемогущим. Бостром задавался вопросом, не станет ли такая машина обращаться с людьми так же, как люди обращаются с гориллами, – захватит планету и уничтожит среду их обитания, оставив лишь несколько особей в качестве экспонатов зоопарков и охраняемых заповедников.
Книга Бострома развивала идеи, над которыми он размышлял годами. Ранее он предложил мысленный эксперимент под названием «максимизатор скрепок»:
Представим, что у нас есть ИИ, единственная цель которого – производить как можно больше канцелярских скрепок. ИИ быстро поймет, что без людей ему будет гораздо лучше, потому что они могут его отключить. А если люди это сделают, скрепок станет меньше. Кроме того, человеческие тела содержат множество атомов, из которых можно сделать канцелярские скрепки. Будущее, к которому станет стремиться такой ИИ, – это мир, полный канцелярских скрепок, но без людей.
Пример с «максимизатором скрепок» долго цитировали в интернете, он нашел отклик в сообществе «рационалистов», а также среди
