Мыслящие машины Дженсена Хуанга: История Nvidia и мировой ИИ-революции - Стивен Витт
Доклад Крижевского не произвел фурора: ничто не указывало на то, что он сейчас рассказал об открытии огромной значимости. «Ну вот, – сказал он. – Это все». После этого его завалили на удивление жесткими вопросами. Впрочем, враждебность аудитории можно было понять: то, что сделал Крижевский, абсолютно не вписывалось в общепринятые теории. По сути, он заявил собравшимся, что до сих пор они занимались ерундой и десятилетия их исследований ничего не стоят. Он мог хотя бы представить свои открытия более уважительно! После нескольких мучительных минут Ли прервала поток вопросов, так как в них не было ничего конструктивного: участники конференции просто выплескивали на этого странного юношу свое негодование.
Несмотря на прием, оказанный Крижевскому во Флоренции, ИИ-сообщество встретило результаты SuperVision с энтузиазмом. «Многие ведущие исследователи практически сразу оценили ее возможности и признали: нейронные сети действительно работают», – говорит Хинтон. В 2013 году конкурс ImageNet был буквально завален заявками участников, работающих с нейронными сетями, а в 2014 году все участники – а их было больше сорока – применяли их. Научная статья о сети SuperVision, подписанная Крижевским, Суцкевером и Хинтоном, стала одним из самых значимых прорывов в истории вычислительной техники и к настоящему времени процитирована уже более 150 000 раз. Крижевский разработал несколько ключевых методов программирования, но основным его открытием оказалось то, что графический процессор может обучать нейронные сети в сотни раз быстрее, чем центральный.
Компания Google поручила одному из своих сотрудников, поляку Войцеху Зарембе, воспроизвести SuperVision. Вскоре его сеть, названная WojNet, стала популярной в среде компьютерщиков, и Хинтон испугался, что открытие скромного Крижевского не получит заслуженного признания. Он предложил Крижевскому переименовать SuperVision, использовав в названии его имя, чтобы подчеркнуть его вклад. Крижевский не считал это необходимым, но все же согласился («Алекс не особо интересуется такими вещами, как брендинг», – замечает Хинтон). С тех пор сеть известна как AlexNet.
Хинтон волновался зря. Крупные технологические компании начали проявлять огромный интерес к малоизвестному факультету компьютерных наук Университета Торонто, и поиски финансирования остались позади. Команда AlexNet получила множество предложений о сотрудничестве и о покупке их технологии. По настоянию Суцкевера Хинтон учредил стартап под названием DNNResearch, в котором каждый из троицы – Хинтон, Крижевский и Суцкевер – получил треть акций. У DNNResearch не было ни клиентов, ни совета директоров, ни доходов, ни веб-сайта, только интеллектуальная мощь троих ученых.
Этого было вполне достаточно. В декабре 2012 года, находясь на научной конференции, Хинтон организовал по электронной почте аукцион по продаже этой «компании». Команда AlexNet, расположившаяся в номере на седьмом этаже отеля в Лейк-Тахо, осознавала, что вот-вот разбогатеет. Microsoft и лондонский ИИ-стартап DeepMind сделали первоначальные предложения, но вскоре выбыли из борьбы. Главное соперничество развернулось между Google и китайским технологическим гигантом Baidu. Ставки быстро перевалили за 20 миллионов долларов, а трое исследователей бродили по гостиничному номеру, иногда подходя к окну, чтобы полюбоваться заснеженными лесистыми склонами Сьерра-Невады.
Когда Google предложила 44 миллиона, Хинтон с согласия Суцкевера и Крижевского принял предложение и закрыл аукцион. Им казалось, что Google более подходящий партнер, чем китайская компания. Теперь нейронная сеть AlexNet, которую Крижевский обучал у себя в спальне, могла быть поставлена в один ряд с самолетом братьев Райт и лампочкой Эдисона. «Это было как Большой взрыв, – вспоминает Хинтон. – Настоящая революция».
Часть II
Глава 12
OIALO
Брайан Катандзаро не был типичным сотрудником Nvidia. В окружении прожженных технарей он выглядел мечтателем. У него были длинные волосы, он любил носить броские очки и яркие рубашки. При первом нашем разговоре на нем была разноцветная футболка с мелкими картинками, а при следующем – свитер с изображением совы. Брайан покорял своей мягкостью, терпимостью и убаюкивающим голосом. Он был единственным инженером Nvidia с гуманитарным образованием, которого я знал.
Катандзаро воспитывался в мормонской общине и через год после окончания школы отправился в Сибирь миссионером. В течение двух лет он говорил только на русском. «Я был невероятно предан своему делу», – вспоминает он. Там он прочел «Преступление и наказание» в оригинале, и это стало важным опытом для формировавшегося экзистенциалиста. Вернувшись, он получил диплом по русской литературе в Университете Бригама Янга. «Достоевский, безусловно, мой любимый писатель, – говорит Катандзаро. – Трое моих фаворитов – Достоевский, Толстой и Пушкин».
Параллельно он получил и вторую степень – по компьютерной инженерии, понимая, что гуманитарное образование окупится с меньшей вероятностью. В 2001 году его приняли на летнюю стажировку в Intel, где он трудился над разработкой микропроцессора, который должен был функционировать на частоте 10 миллиардов герц. Выполнив расчеты, он понял, что задача была скорее теоретической: такой процессор создать невозможно. Брайан предоставил полученные результаты старшим инженерам и услышал от них: «Наверняка вы сделали что-то не так. Создание такого микропроцессора – в наших ближайших планах».
Брайан был ошеломлен. Перепроверив свои вычисления, он еще раз убедился в верности выводов. Транзисторы становились все меньше, закон Мура переставал работать, но в Intel это игнорировали. «Я ведь был всего лишь стажером, – вспоминает он. – Но я видел, что традиционные принципы конструирования архитектуры процессора перестают работать».
Катандзаро считал, что нужен принципиально новый подход к разработке микросхем. В середине 2000-х вместе с несколькими коллегами он основал лабораторию параллельных вычислений в Калифорнийском университете в Беркли. Там он изучил существующие приложения для параллельных вычислений. Проблема заключалась в том, что на тот момент вычислительных мощностей хватало даже самым требовательным клиентам: продав нефтяной компании суперкомпьютер, вы закрывали ее потребности на годы. Нужно было некое ненасытное приложение, требующее постоянного роста вычислительных мощностей. Что-то вроде приложения для непрерывной отрисовки 3D-графики. После нескольких дней мозгового штурма Катандзаро и его команда поняли, что это должно быть за приложение. «Решением был искусственный интеллект, – говорит он. – Я пришел к идее ИИ, двигаясь снизу вверх, я отталкивался от архитектуры микросхем. Я чувствовал, что разработка ИИ – самая важная вычислительная задача будущего».
Научные руководители Катандзаро в Беркли не особо приветствовали его увлечение искусственным интеллектом. Многим
