Мыслящие машины Дженсена Хуанга: История Nvidia и мировой ИИ-революции - Стивен Витт

Он ответил, что идет обучение внутренней модели Nvidia, аналогичной GPT–4. Другими словами, я оказался внутри языковой модели – той, которая догоняла меня как писателя и, вероятно, скоро могла бы заменить. Гамильтон сообщил, что для завершения обучения компьютеру предстоит выполнить 30 миллиардов квадриллионов операций. Я огляделся, ощущая собственную ничтожность в этом технологическом мире. Отсек-капсула был великолепен. Мне нечего было этому противопоставить. Эта мыслящая машина с каждым оборотом вентилятора, с каждым импульсом в ее цепях становилась немного умнее.

Благодарности

Я хочу выразить благодарность Дженсену Хуангу и всей команде Nvidia за то, что они потратили на меня время, были честны и помогли мне многое понять. Особенно я признателен Бобу Шербину, который приложил огромные усилия, чтобы этот проект стал возможен. Боб, спасибо за все. Ты предоставил мне возможность выполнить работу всей моей жизни. Я также благодарен каждому, кто поделился со мной своими историями для этой книги, особенно Йенсу Хорстманну, Кёртису Приму и Дэвиду Кирку.

Отдельно хочу поблагодарить Уиллинга Дэвидсона и коллег из The New Yorker за то, что они заказали статью, из которой выросла эта книга. Уиллинг – замечательный редактор, и я всем советую не бояться предлагать ему свои идеи. Я также признателен Эллисон Лорентцен из издательства Viking и Стюарту Уильямсу из Bodley Head за то, что они в очередной раз взялись подготовить к печати и издать мою работу. Эллисон и Стюарт, ваши советы и идеи были бесценны. Спасибо Шону Лавери, Инуо Ши и Анне Кордунски за фактчекинг. И как всегда, я бесконечно благодарен моему агенту Крису Пэррис-Лэму, который более десяти лет поддерживает и защищает меня в моей работе. Хорошо, что он у меня есть.

Меган Макэнери вдохновляла меня осуществить этот проект и оказала большую моральную поддержку. Спасибо, Меган. Без тебя эта книга не была бы написана. Я также ценю помощь моих друзей Джея Будзика и Маркуса Моретти, которые разделили мое восхищение компанией Nvidia и не раз часами обсуждали ее со мной. Также хочу выразить благодарность моим родителям Леонарду и Диане за их постоянную поддержку и сестре Эмили, которая всегда была для меня источником вдохновения. И конечно, особая благодарность – моей дочери Джейн, которая проявляла терпение, когда папа много дней подряд уходил в полумрак своей комнаты, чтобы писать. Спасибо, Джейн. Эта книга посвящается тебе.

Notes

1

На момент написания книги. – Прим. пер.

2

Джон Генри – мифологический американский персонаж, рабочий-путеец, победивший в соревновании с паровым молотом, но надорвавшийся в этом состязании и в результате умерший. – Прим. пер.

3

Ли Куан Ю приписывал экономический успех Сингапура двум факторам: мультикультурализму и кондиционированию воздуха. «Кондиционирование воздуха для нас было наиважнейшим изобретением, возможно, одним из наиболее знаковых во всей истории, – говорил он. – Оно изменило саму суть цивилизации, сделав возможным ее развитие в тропиках».

4

The National Honor Society – одна из старейших студенческих организаций, работающая в средних школах, цель которой – выявлять и стимулировать способных школьников и развивать их таланты. – Прим. пер.

5

«Зависть» по-английски – envy, произносится «энви», как буквы NV. – Прим. пер.

6

Вероятно, речь идет о богине Мазу, покровительнице Тайваня. – Прим. пер.

7

На самом деле Мур говорил о 24 месяцах, а цифра 18 взята из прогноза другого сотрудника Intel, Дэвида Хауса. – Прим. пер.

8

Физическое лицо, включенное в перечень террористов и экстремистов. Внесен в реестр иностранных агентов.

9

С технической точки зрения метод обратного распространения ошибки (backpropagation) использует многомерное исчисление и линейную алгебру для вычисления градиентов через всю последовательность слоев нейронной сети. Сначала определяется величина ошибки на выходе сети – насколько ее предсказание отличается от целевого значения. Затем эта ошибка используется для вычисления набора частных производных, называемого градиентом, который показывает, как каждый параметр влияет на итоговую ошибку. После вычисления градиента метод обновляет параметры сети в направлении, противоположном градиенту. Весь процесс повторяется множество раз.

Метод обратного распространения ошибки был открыт в 1970 году финским математиком Сеппо Линнайнмаа, хотя он и не применял его непосредственно к нейронным сетям. В 1974 году американский ученый-компьютерщик Пол Вербос самостоятельно переоткрыл этот метод и представил его Марвину Минскому в MIT как решение проблем, описанных в книге Минского «Перцептроны». Однако, по словам Вербоса, Минский отверг эту методику и фактически выставил его за дверь (позже Вербос предположил, что Минский был раздосадован тем, что сам не сделал это открытие). В 1986 году Румельхарт, Уильямс и Хинтон вновь предложили метод обратного распространения ошибки для обучения нейронных сетей, что привлекло к нему широкое внимание научного сообщества.

10

Американская бейсбольная команда, устраивающая театрализованные игры-шоу. – Прим. пер.

11

Позднее Комиссия по ценным бумагам и биржам предъявила Хоберг обвинение в мошенничестве, заявив, что она скрыла от корпоративных аудиторов незарегистрированные расходы на сумму 3 миллиона долларов. Хоберг выплатила штраф в размере 600 000 долларов, однако не признала своей вины.

12

С технической точки зрения закон масштабирования Деннарда означает, что по мере уменьшения размеров транзисторов их мощность остается неизменной. Закон сформулирован в 1974 году Робертом Деннардом и его коллегами из IBM.

13

Метафора не очень точная, но так у автора. – Прим. пер

14

От слова bumps – выступы на плате, к которым крепятся микросхемы. – Прим. пер.

15

Японское питейное заведение, аналог европейского паба или бара. – Прим. пер.

16

Nobody Gets Fired For Buying IBM.

17

Кембрийский взрыв – период около 500 миллионов лет назад, когда резко увеличилось количество живых существ на планете и появилось множество новых типов (хордовых, членистоногих и т. д.). – Прим. пер.

18

Хинтон получил премию не за метод обратного распространения ошибки или создание AlexNet, а за более ранние исследования в области анализа данных с применением методов статистической физики. И хотя научное сообщество высоко оценивает его вклад в науку в целом, кое-кто выражал мнение, что его работа с физикой как таковой связана мало.