Мыслящие машины Дженсена Хуанга: История Nvidia и мировой ИИ-революции - Стивен Витт
Как и все сотрудники Nvidia, Аартс подписывал соглашение о неразглашении, запрещавшее ему обсуждать технологии компании с посторонними. Это было повсеместно принято в Кремниевой долине: инженеры и программисты не могли обсуждать ни с кем чудеса, которые они создавали, как бы им этого ни хотелось. Примерно до 2018 года ИИ развивался в духе открытого научного сотрудничества, однако теперь разработка велась в атмосфере строгой секретности. В Twitter стали появляться загадочные аккаунты, намекавшие на предстоящие удивительные открытия. «Я видел вещи, которые заставляли думать: "Ух ты, не могу поверить, что это возможно в наше время", – признается Аартс. – Люди просто не осознают, что на самом деле происходит. Они вообще ни о чем не догадываются».
Однако на самом деле Аартс и сам еще не видел ничего…
Глава 17
Деньги
В 2020 году OpenAI представила GPT–3, обученный на текстовых данных объемом более терабайта, что составляло примерно 100 миллиардов слов. Подробности его обучения не разглашались, но впоследствии выяснилось, что OpenAI крайне вольно интерпретировала идею «добросовестного использования», включив в обучающий набор не только всю англоязычную «Википедию», но и обширные данные с защищенных авторским правом веб-сайтов, в том числе из архивов The New York Times начиная с 1851 года.
Из литературы, помимо самиздатовских вампирских романов, в этот набор вошел загадочный корпус текстов под названием Books2. Многие полагали, что он был составлен на основе LibGen, пиратской коллекции, состоящей из 4 миллионов электронных книг, которые годами циркулировали по файлообменникам (среди подавших в суд на OpenAI, помимо Times, были известные писатели, такие как Джонатан Франзен, Джон Гришэм, Джоди Пиколт и Джордж Мартин). Затем модель была тонко настроена для исключения ответов оскорбительного содержания.
GPT–3 поразил техническое сообщество своими способностями, в том числе к решению логических задач и написанию полноценного кода. Однако его дебют остался незамеченным широкой публикой. И только к концу 2022 года общественное внимание привлек ChatGPT – бот для общения с последними моделями OpenAI, разработанный Суцкевером и его командой.
Детали функционирования этих моделей оставались засекреченными. Microsoft на тот момент сделала инвестиции с ограниченной прибылью в подразделение OpenAI на сумму не менее 10 миллиардов долларов и не желала делиться с конкурентами закрытыми данными. Можно было сказать лишь, что ChatGPT был адаптирован для общения с человеком на основе не только текстов из интернета, но и стенограмм видео с YouTube и данных из лицензированных сторонних источников. По самым консервативным оценкам, в модели было не менее триллиона параметров, то есть, если применять биологическую аналогию, она уже соответствовала мозгу кошки.
Бета-версия ChatGPT была выпущена 30 ноября 2022 года без маркетинговой поддержки и предоставлялась пользователям совершенно бесплатно. Путь к мировому господству выглядел как незатейливая веб-страница в серых тонах с мигающим курсором в строке, в которую пользователь мог вводить абсолютно любые запросы. Действительно любые. ChatGPT умел писать стихи! И не просто банальные вирши, а сонеты, лимерики и даже секстины. Он справлялся с написанием сценариев, эссе и рабочего компьютерного кода. А еще умел создавать короткие рассказы и письма и давал родителям ценные советы по воспитанию детей. За первые пять дней на тестовую версию подписались более миллиона человек. К январю 2023 года у ChatGPT было 100 миллионов активных пользователей в месяц.
В марте 2023 года OpenAI представила на своем онлайн-портале обновленную модель: GPT–4. Для оценки уровня интеллекта своего творения разработчики OpenAI провели серию академических испытаний. GPT–4 успешно сдал экзамены на юриста и получил высшие баллы в продвинутых школьных программах по истории искусств, истории США, государственной системе США, биологии и статистике. В вербальной части экзамена для поступающих в магистратуру его результат оказался среди 1% лучших результатов, а на вводном экзамене сомелье – среди лучших 8%.
Исследователи добавили в нейронную сеть модуль визуального распознавания, что позволило ей не только точно описывать изображения, но и интерпретировать сложные визуальные шутки. В одном из экспериментов ей показали изображение массивного компьютерного кабеля из 1990-х годов, подключенного к iPhone, и попросили объяснить, что она видит. «Юмор этого изображения заключается в абсурдности подключения огромного устаревшего коннектора VGA к маленькому современному порту для зарядки смартфона», – объяснила модель. Позднее в социальных сетях пользователь продемонстрировал, как GPT–4 может создать веб-сайт, получив в качестве эскиза рисунок на салфетке.
В этот период я начал беспокоиться, что скоро останусь без работы. Однажды я попросил ChatGPT заставить меня плакать над рассказом и получил трогательную историю о паре певчих птичек, одна из которых погибла, ударившись о стекло, а другая осталась охранять пустое гнездо. В другой раз я дал ему задание рассмешить меня, и он предложил представить, как человек в соседней машине ковыряет в носу. Но я не использовал ChatGPT для написания этой книги – слишком страшно.
Мой опыт сходен с опытом пользователей по всему миру. Школьники поняли, что могут использовать нейросеть для написания сочинений, и домашние задания ушли в прошлое. Юристы начали применять ее для получения кратких обзоров правовых документов, соискатели работы – для составления резюме. Для моего отца ChatGPT написал обращение к местным властям с просьбой установить дорожный знак. Это было настоящее волшебство – по крайней мере так казалось. «Однажды пообщавшись с ChatGPT, люди попадают на крючок, – говорит Илья Суцкевер. – Этот первый опыт сродни духовному переживанию. Вы думаете: "Ничего себе, этот компьютер и правда все понимает!"»
На обучение модели GPT–4 OpenAI затратила более 100 миллионов долларов, причем львиная доля этих средств перешла через Microsoft к Nvidia. В отличие от GPT–3, который представлял собой единую масштабную нейронную сеть, в GPT–4 использовалась модель Mixture of Experts, то есть набор специализированных нейронных сетей, каждая из которых выполняла свою задачу. Одна экспертная сеть обеспечивала контроль запросов, блокируя попытки пользователей узнать у GPT–4, как сделать бомбу или избавиться от трупа, другая занималась написанием компьютерного кода, третья обслуживала эмоциональную составляющую. (Комментировать архитектуру GPT–4 в OpenAI отказались.)
Затраты на инференцию, или вывод информации, в GPT–4 могли составлять более половины расходов на обучение, при этом функция должна была постоянно быть доступной для пользователей. По оценке одного из
