Как учится машина. Революция в области нейронных сетей и глубокого обучения - Ян Лекун

группа инженеров приступила к экспериментам с программным обеспечением Торонто для распознавания изображений и лиц. Они быстро добились хороших результатов, о которых сообщили техническому отделу, а потом и руководству всей компании.

Марк Цукерберг и Майк Шрепфер, технический директор Facebook, начали задумываться о будущем компании. На тот момент компания Facebook только отметила свое десятилетие. Дела ее шли успешно: сеть котировалась на бирже, хорошо зарекомендовала себя на рынке, перешла на мобильную телефонию и т. д. Но летом 2013 г. Марк и Майк пришли к выводу, что важной составляющей компании Facebook (или, сокращенно, FB) должен стать искусственный интеллект. Поэтому они решают приступить к НИОКР («научно-исследовательские и опытно-конструкторские работы») в этой области.

Меня нанимает Марк Цукерберг

Пройдет совсем немного времени, и я узнаю об этом! В начале лета 2013 г. на конференции по компьютерному зрению я встретил инженеров компании Facebook, которые уже работали над сверточными сетями и делились опытом о проделанной работе. В конце лета компания Facebook обратилась к Марку Аурелио Ранзато, одному из моих докторантов Нью-Йоркского университета. Он работал на позиции постдока[104] с Джеффри Хинтоном в Торонто, прежде чем стал сотрудником Google X – секретной лаборатории, где группа ученых также работала над глубоким обучением и нейронными сетями. Компания Google не хотела говорить об этом, но Джон Маркофф, журналист New York Times, специалист по техническим и научным вопросам, обнародовал данную информацию[105].

Итак, компания Facebook захотела переманить Марка Аурелио. Я посоветовал ему не соглашаться: у Facebook не было исследовательской лаборатории, а Марк Аурелио хотел продолжать занятия фундаментальными исследованиями. Он сказал мне, что компания хочет начать исследовательскую деятельность. Через месяц Марк Аурелио все-таки решает перейти в Facebook – Марк Цукерберг и Майк Шрепфер лично наняли его! Типичный подход технологических компаний Кремниевой долины: как только в их поле зрения попадает талантливый человек, они изо всех сил будут стараться переманить его на свою сторону. Сам генеральный директор компании может взять телефон и позвонить человеку, который их заинтересовал.

Я тоже был под прицелом. Тем летом я разговаривал по видеосвязи со Шринивасом Нараянаном, лидером команды, которая активно проводила эксперименты с глубоким обучением в компании Facebook. Несколько недель спустя я пообщался с Майком Шрепфером, моим будущим руководителем. В сентябре мне позвонил Марк Цукерберг. Это был наш первый разговор. Он рассказал мне о своих планах и своем интересе к ИИ: «Вы сможете нам помочь?» – спросил он. Я не понимал, как. Я не хотел бросать преподавание в университете и переезжать из Нью-Йорка в Кремниевую долину. На этом мы тогда и закончили.

В конце ноября мне нужно было съездить в Калифорнию на семинар. Марк Аурелио, которого тоже пригласили, попросил меня зайти в Facebook и посмотреть на то, чем они занимались. Вскоре после этого помощник Марка Цукерберга предложил мне приехать пораньше. Итак, за день до моего официального визита в Facebook я обедал наедине с его руководителем в его доме.

Конечно же, мы обсуждали ИИ! Я прекрасно понимал, что он обдумал все свои вопросы и хорошо подготовился – он даже прочитал мои статьи! Он всегда так делает, когда его интересует та или иная тема. То же самое было с виртуальной реальностью или влиянием компании Facebook на демократию. Я такого не ожидал. Этот молодой генеральный директор был чем-то похож на мудрого старика. Занимая высокую руководящую должность, мало кто сможет выделить время на то, чтобы взять в свои руки переговоры, прочитать литературу по теме и даже развивать свои технические навыки.

Вечером он снова спросил меня, смогу ли я им помочь. Я объяснил ему, как я создал исследовательскую лабораторию ИИ. До поступления в Нью-Йоркский университет я шесть лет руководил промышленной исследовательской лабораторией в AT&T. По своему опыту я знаю, что такое учреждение должно подчиняться определенным правилам, чтобы хорошо функционировать: если мы хотим добиться результатов, мы должны предоставить ученым свободу творчества и не побуждать их к созданию скороспелых приложений. Гарантируйте им устойчивость и репутацию структуры, чтобы они могли инвестировать в нее свои силы и время. Поощряйте их публиковать статьи. У меня были и свои личные требования: исследования должны быть обнародованы, а программное обеспечение должно иметь открытый исходный код, который можно распространять и позволять другим использовать его, в том числе в своей продукции и услугах.

Марк успокоил меня: компания Facebook уже делится своими технологиями, включая дизайн центров обработки данных, что случается довольно редко. Многие лидеры «голубого сайта»[106] происходят из мира открытого кода. Прежде чем стать техническим директором Facebook, Майк Шрепфер занимал такую же должность в Mozilla, некоммерческой организации.

На следующий день в штаб-квартире компании я встретился с дюжиной инженеров из AI Group, к которой принадлежал Марк Аурелио. В конце дня я снова встретился с Марком и Майком, которые рассказали мне о своем проекте. Я снова сказал им, что не хочу бросать работу в Нью-Йоркском университете и переезжать, и они согласились с этим условием.

Руководители Нью-Йоркского университета дали мне согласие на неполный рабочий день. Я был уверен, что сделал правильный выбор. У меня были все нужные навыки. Я не всегда с такой уверенностью подходил к новой должности. Когда я в 43 года получил свою первую работу в области преподавания, у меня не было опыта. Я хорошо разбирался в машинном обучении, но в других областях ИТ я не чувствовал себя столь уверенно, чтобы их преподавать. Хоть я и был закоренелым атеистом, где-то в глубине души я молился, чтобы мне не пришлось преподавать операционные системы или компиляцию – самые сложные базовые дисциплины. Но на тот момент у меня уже был нужный опыт, гарантии от Марка Цукерберга и сохраненная преподавательская должность. Чего еще я мог пожелать?

Через несколько дней на озере Тахо, штат Невада, прошла Международная конференция NIPS. Марк Цукерберг и Майк Шрепфер решили принять участие в семинаре, посвященном глубокому обучению, который состоялся после конференции. С одной стороны, они хотели лучше познакомиться с исследовательским сообществом, а с другой, публично объявить о создании новой лаборатории в сотрудничестве со мной, и прежде всего – нанять новых сотрудников! Присутствие Марка, Йошуа Бенжио и других ученых создавало проблемы для организаторов семинара: все хотели попасть на него! Нужно было найти помещение побольше, усилить охрану… Генеральный директор Facebook удивил аудиторию своими познаниями. В те выходные Марк, Майк и я провели около 20 собеседований, в результате чего наняли примерно десяток специалистов.

Удивительно, что компания согласилась раскрыть результаты своих исследований. Я лично нашел для этого