Мыслящие машины Дженсена Хуанга: История Nvidia и мировой ИИ-революции - Стивен Витт

то текст может выглядеть косноязычным. Чтобы исправить это, он добавил в модель функцию «лучевого поиска», которая позволила ей выбирать один из нескольких вариантов, словно райтеру, использующему словарь синонимов. «Когда вы рассматриваете первое слово в списке, затем второе, третье, а потом возвращаетесь к первому, результат часто получается лучше, чем если бы вы сразу останавливались на первом, – объясняет он. – Реализация этого алгоритма была настоящим кошмаром, но когда мы все-таки это сделали, все стало получаться действительно прекрасно».

Чтобы лучше понять, как работает трансформер, Джонс написал программу для визуализации, которая показывала статистические связи между словами при помощи линий различной толщины. Он дал модели пару относительно сложных фраз: «животное не перешло дорогу, потому что было слишком уставшим» и «животное не перешло дорогу, потому что она была чересчур широкой». Чтобы правильно их интерпретировать, трансформер должен был понять, что прилагательное «уставший» относится только к животному, а «широкий» – только к дороге. К удивлению Джонса, визуализация точно отобразила эти связи. «Это одна из самых древних проблем в вычислительной лингвистике и мы даже не пытались ее решить! – восклицает он. – Это получилось само собой».

Язык включает множество скрытых структур, порой невидимых даже лингвистам. «Модель изучает не только связи между прилагательными и существительными, но и более сложные конструкции, для которых у нас, возможно, даже нет подходящих терминов», – отмечает Гомес. Например, носители английского интуитивно знают, что надо говорить «старое канадское кленовое дерево», а не «кленовое канадское старое дерево». Трансформер впервые зафиксировал это языковое интуитивное знание в программном коде, открыв новые горизонты в понимании и обработке языка.

Если AlexNet была первой ласточкой, хрупким доказательством концепции, то трансформер можно было сравнить с реактивным лайнером. Шазир и Ушкорайт, работая плечом к плечу, позаботились о том, чтобы вся архитектура трансформера была рассчитана на его рост – на огромные массивы данных, колоссальное количество параметров и мощные кластеры графических процессоров.

По мере того как проект набирал обороты, работа становилась все более напряженной. Васвани вспоминает, что после одного бессонного марафона ему мерещились нейроны на офисных шторах. Когда Шазир рассказывает о своей работе с платформой Nvidia, его глаза расширяются от возбуждения, он раскачивается и размахивает руками. «Эти микросхемы были сделаны для того, чтобы стрелять по монстрам, а мы используем их для создания разума!» – восклицает он.

На заключительном этапе команда проводила так называемые абляции, отключая части кода трансформера, чтобы понять, какую роль они играют. При этом неожиданно выяснилось, что без некоторых частей основные функции трансформера работают лучше. В результате Шазир удалил такое количество кода, что не осталось почти ничего.

В самом примитивном виде программа трансформера включала в себя всего лишь около 20 строк. Но у нее были потрясающие возможности! Готовя к публикации свою программную статью, команда экспериментировала с загрузкой в трансформер библиотек музыки и изобразительного искусства. Оказалось, что трансформер может предсказывать не только наиболее вероятное слово в предложении, но и ноту в симфонии или пиксель в картине. Вскоре он начал сам создавать музыку и узнаваемые художественные работы.

Эта изящная архитектура, разработанная для выполнения простейшей задачи – выполнять работу шаг за шагом, оказалась универсальной, ключевой для искусственного интеллекта. В 2017 году команда предоставила свои разработки журналу Neural Information Processing Systems – тому, где ранее были опубликованы результаты AlexNet. Статья нуждалась в заголовке, и Джонс, перефразируя слова песни The Beatles, предложил назвать ее Attention Is All You Need («Внимание – это все, что вам нужно»). Это был экспромт: он совершенно не ожидал, что фраза будет принята, но впоследствии встречал людей, которые делали себе татуировки с ней.

В июле 2017 года, незадолго до публикации результатов, Шазир с еще одним членом команды – Лукашем Кайзером провел эксперимент. Вместо того чтобы заставлять трансформер переводить готовые тексты, они загрузили в него миллионы статей из «Википедии» и попросили создать новый текст на основе прочитанного. Промт был весьма коротким: «Напиши статью о трансформере». В результате машина выдала статью на тысячу слов о японской панк-группе Transformer. Статья была чистым вымыслом: такой группы не существовало. Тем не менее текст получился гладким, убедительным и даже содержал липовые ссылки. Гомес ощутил, как рушатся его представления о прогрессе. «Ты ложишься спать, будучи уверенным, что модели едва способны писать без ошибок, – говорит он. – И тут такое! Мы полагали, что пройдет несколько десятилетий, прежде чем мы увидим ИИ, способный создавать связные тексты на английском!»

Разработчики надеялись, что Google использует эту технологию в массовых продуктах, но руководство компании не увидело в ней ценности. Создатели трансформера пришли к выводу, что монополия Google в сфере поисковых систем превратила ее в бюрократического гиганта, не склонного к рискам. «Они говорили: "Нам не нужно то, что нельзя вписать в поисковую строку", – рассказывает Полосухин. – Пятнадцатью годами ранее мы просто выпустили бы что-то сырое. Затем учились бы на ошибках и совершенствовали продукт, пока не добились бы отличного результата. Но в какой-то момент мы утратили этот настрой».

Создатели трансформера начали уходить в стартапы. К 2023 году все восемь членов команды покинули Google. (Шазир, который стал соучредителем популярного сервиса чат-ботов Character.Ai, в 2024 году был принят обратно. Перебежка окупилась.) Джонс, последний из ушедших, до сих пор хорошо отзывается о бывшем работодателе. Он вспоминает свою разношерстную группу, в которой уникальные идеи и способности всех членов органично содействовали развитию перспективного направления. «Только Google могла создать такой продукт», – говорит он. Наверное, это правда, но нежелание компании воспользоваться возможностями трансформера оставило на рынке огромную пустую нишу, которую должен был занять кто-то другой.

После того как Хуанг доставил Маску DGX–1, OpenAI пережила не лучшие времена. Первым исследовательским проектом компании стал «искусственный игрок», которому удалось достичь впечатляющих результатов в игре-стратегии Dota 2. Однако некоторые сотрудники сомневались, что это лучшее применение их талантов. Илон Маск, разочарованный отсутствием явного прогресса, начал переманивать инженеров OpenAI в Tesla. Ситуация достигла кульминации в феврале 2018 года, когда после напряженных споров в совете директоров Маск был отстранен от участия в управлении компанией и контроль перешел к Сэму Альтману, бывшему руководителю Y Combinator. На последней встрече с сотрудниками Маск объявил, что уходит, чтобы сосредоточиться на собственных разработках искусственного интеллекта в Tesla. «Когда один из молодых исследователей поставил под вопрос решение Маска, предположив, что оно усугубит "гонку вооружений" в сфере ИИ, Маск назвал его придурком и выскочил из здания», – писала The Wall Street Journal.

Илья Суцкевер остался в OpenAI. Соавтор AlexNet продолжал свои успешные исследования и теперь мог составить конкуренцию своему наставнику Джеффри Хинтону по цитируемости в научных публикациях.