65-летнему лауреату премии Тьюринга больше не нужно отчитываться перед 28-летним бросившим учебу. Как Цукербергу удалось его прогнать?

Этот упрямый старик, стоявший в авангарде течения LLM и пел по-другому, возможно, покидает Meta.

Уход магнатов Кремниевой долины ради собственного бизнеса — обычное дело, но Янн Лекун, который вот-вот уйдет, — это нечто особенное. Он — влиятельная фигура, способная уговорить Цукерберга лично к себе приехать. Он — один из трёх гигантов глубокого обучения, лауреат премии Тьюринга и основатель Meta AI Research.

Но что еще важнее, все эти годы он делал нечто особенно странное: стоял у входа на самый загруженный в мире маршрут магистратуры права, держа в руках табличку и говоря: «Эти люди выбрали неправильный маршрут».

Financial Times сообщает, что он уходит с работы, чтобы открыть свой стартап, и уже начал связываться с инвесторами. Обратите внимание, что пока это лишь предположения; утверждать наверняка, что Лекун ушёл, чтобы открыть свой бизнес, явно неверно.

Однако на момент публикации статьи сам Янн Лекун не произнес ни слова в ответ на подавляющее большинство сообщений, и это молчание само по себе говорит о многом.

Что именно произошло за эти двенадцать лет, начиная с трех визитов в соломенную хижину Чжугэ Ляна и до их расставания?

Сделал ли Цукерберг правильную ставку в 2013 году?

История Лекуна и Меты начинается в 2013 году.

Этот период совпал с бурным развитием глубокого обучения. В 2012 году на конференции ILSVRC-2012 Джеффри Хинтон и его ученики Алекс Крижевский и Илья Суцкевер, AlexNet, достигли впечатляющего показателя ошибок в топ-5, составляющего около 15,3%. Это был прорыв, который заставил всё академическое и промышленное сообщество осознать потенциал нейронных сетей.

Затем началась война талантов среди технологических гигантов: Google потратила целое состояние на приобретение стартапа Хинтона DNNresearch и попутно переманила и самого Хинтона; Microsoft Research также лихорадочно расширяла свою команду по искусственному интеллекту.

Цукерберг больше не мог сидеть на месте.

В то время Facebook (теперь Meta) переходил с ПК-интернета на мобильный, и технологии были необходимы повсюду: от алгоритмов распространения новостей и распознавания фотографий до модерации контента.

Проблема в том, что возможности искусственного интеллекта Facebook просто не соответствуют уровню Google или Microsoft. Цукербергу нужен человек, способный вывести компанию на новый уровень, в идеале — это должно быть известное имя в академической среде с достаточным влиянием, чтобы привлекать лучшие кадры.

Он остановил свой выбор на Яне Лекуне.

В то время Лекун был профессором Нью-Йоркского университета, проработав там более десяти лет. Он, конечно, не был новичком: ещё в 1989 году он разработал в Bell Labs свёрточные нейронные сети (СНС) для распознавания рукописных цифр, которые впоследствии стали краеугольным камнем компьютерного зрения.

Но в то время глубокое обучение не получило широкого признания, и Лекун долгое время оставался в стороне, беспомощно наблюдая, как его исследования отодвигаются на второй план. Лишь в 2012 году, когда Хинтон выиграл конкурс ImageNet, используя глубокое обучение, он доказал жизнеспособность подхода, основанного на нейронных сетях.

Лекун наконец смог выдохнуть, хотя до этого сдерживал дыхание.

Впоследствии Цукерберг лично посетил его. О чём именно они говорили, посторонним неизвестно, но предложенные им условия были весьма заманчивыми:

Во-первых, предоставить финансирование, подчеркивая свободу ресурсов; во-вторых, предоставить свободу, позволив Лекуну сохранить свою профессорскую должность в Нью-Йоркском университете и продолжить преподавание и проведение исследований; в-третьих, предоставить полномочия, позволив ему участвовать в создании Исследовательского института искусственного интеллекта Facebook, полностью контролируя набор кадров и направления исследований.

Это была возможность мечты для ученого, который на протяжении многих лет чувствовал себя скованным.

В конце 2013 года Лекун официально присоединился к Facebook в качестве руководителя недавно созданной лаборатории Facebook AI Research (FAIR).

Он основал лаборатории FAIR в Нью-Йорке, Менло-Парке и Лондоне, а его нью-йоркский офис стал его постоянным местом жительства.

Поначалу команда была небольшой, но все ее члены были набраны из ведущих университетов и исследовательских институтов — влияние Лекуна в то время было очевидным, поскольку любой, кто работает в области глубокого обучения, знает титул «отца сверточных нейронных сетей».

Цукерберг предоставил ресурсы, а Лекун добился результатов.

С момента прихода в Facebook работу Лекуна можно разделить на три направления: во-первых, интеграция глубокого обучения в продукты Facebook; во-вторых, содействие передовым исследованиям в академической среде; и в-третьих, воспитание следующего поколения талантов в области ИИ.

В линейке продуктов компании система распознавания лиц DeepFace достигла точности 97,35% в 2014 году, а оптимизированный на основе глубокого обучения push-алгоритм также повысил показатели кликов по рекламе.

Тем временем Лекун продолжал оставлять свой след в академической среде: публиковал статьи, выступал с докладами на ведущих конференциях и проводил семинары для студентов. Лишь разделив премию Тьюринга с Хинтоном и Бенджио, он наконец добился признания.

Кроме того, в лаборатории FAIR, основанной Лекуном, Сомит Чинтала руководил разработкой фреймворка PyTorch и открыл его исходный код в 2017 году. Это одна из немногих знаковых функций Meta на сегодняшний день.

Динамический вычислительный граф PyTorch и нативный интерфейс Python делают отладку удобной, что привело к быстрому изменению поддержки со стороны академического сообщества. Этот шаг фактически вовлек исследователей искусственного интеллекта со всего мира в экосистему Facebook.

Однако, возможно, это была судьба, так как несколько дней назад Сомит также объявил о своем уходе из Meta, заявив, что «не хочет заниматься PyTorch до конца своей жизни».

Что ещё важнее, это способствует развитию талантов. В FAIR действует правило: исследователи могут свободно публиковать статьи, сотрудничать с академическим сообществом и быть наставниками для внешних студентов. Такое сочетание первоклассных ресурсов и академической свободы естественным образом привлекает группу ведущих исследователей.

Примерно к 2020 году FAIR стала одним из ведущих мировых исследовательских институтов в области искусственного интеллекта, занимая первое место наряду с DeepMind от Google. Рискованная стратегия Цукерберга уже принесла значительную прибыль за первые семь-восемь лет.

Кошки умнее ChatGPT? Этот лауреат премии Тьюринга серьёзно настроен.

В первые дни мирового господства ChatGPT Янн Лекун и Марк Цукерберг также пережили период взаимопонимания.

С 2023 года компания Meta открыла исходный код своей серии моделей LLaMA, что вызвало переполох в отрасли.

OpenAI и Google используют закрытый подход, зарабатывая через API; Meta же напрямую выдаёт веса моделей, позволяя использовать их любому. Расчёт, стоящий за этим шагом, довольно ясен: чем позволить конкуренту доминировать, лучше переманить на свою сторону экосистему разработчиков с помощью открытого исходного кода, сделав LLaMA Android в мире искусственного интеллекта.

По крайней мере на первый взгляд, Лекун, занимающий должность главного специалиста по искусственному интеллекту в Meta, является самым ярым сторонником такого подхода.

Открытый исходный код LLaMA позволил Meta закрепиться на крупных соревнованиях по моделированию, а также позволил в некоторой степени реализовать идеалы искусственного интеллекта Лекуна, хотя эта реализация была достигнута через технический путь LLM, с которым он не был полностью согласен.

Да, Лекун всегда считал, что магистратура права — это тупик. В этом и суть проблемы.

Лекун не раз публично критиковал подход LLM. По его мнению, LLM лишь предсказывает следующее слово, основываясь на статистической корреляции, и не имеет никакого представления о мире. Если задать ему вопрос здравого смысла, он может состряпать для вас вполне правдоподобную ложь — это называется «галлюцинацией», то есть просто притворяться, что знает то, чего не знает.

Те, кто знаком с творчеством Лекуна, знают, что его любимыми примерами являются кошки и роботы:

«У нас есть языковые модели, которые могут сдавать экзамены и общаться, но где же роботы, которые выполняют работу по дому? Мы даже не видели роботов, столь же ловких, как кошки».

«У вашей кошки определённо более сложная модель, чем у любой системы искусственного интеллекта. У животных есть система постоянной памяти, которой нет у современных LLM; система, которая может планировать сложные последовательности действий, невозможные для современных LLM».

Он подсчитал: четырёхлетний ребёнок за несколько лет усваивает 10 в 15-й степени байт информации посредством зрения, что значительно превышает объём информации, который LLM (машина с ограниченной степенью обучения) может почерпнуть, читая бесчисленные интернет-тексты. Однако ребёнок уже освоил базовую физическую интуицию и язык; несмотря на огромный объём данных, потребляемых LLM, его интеллект остаётся весьма ограниченным.

«Простое скармливание текстов не позволит достичь уровня человеческого интеллекта. Этот путь никогда не сработает», — сказал он.

На фоне самого модного сейчас тренда подобные несогласные мнения явно непопулярны. Некоторые критикуют его за высокомерие, другие же говорят, что он закоснел в своих методах. Даже в Meta звучат голоса, предполагающие, что именно сопротивление Лекуна подходу LLM привело к временному отставанию компании в конкурентной борьбе за крупные модели.

Но Лекуна это не волновало.

У него есть собственный план действий: модель мира, архитектура совместного встроенного прогнозирования (JEPA) и т. д. Эти концепции звучат весьма академично, но основные идеи на самом деле вполне интуитивны:

Пусть ИИ учится, наблюдая за миром, а не заучивая тексты. Подобно развитию ребёнка, сначала он должен усвоить базовые физические концепции, такие как гравитация и причинно-следственная связь, а затем постепенно развивать абстрактное мышление.

Его концепция архитектуры ИИ модульная: модуль восприятия, модуль модели мира, модуль памяти и модуль действия, каждый из которых имеет свою функцию. В отличие от LLM, который втискивает все знания и рассуждения в гигантскую сеть, превращая её в «ботаника», который знает всё, но на самом деле не знает ничего.

В частности, модель мира позволяет ИИ внутренне обучиться предсказательной модели внешнего мира. Подобно тому, как младенец по мере роста развивает здравый смысл в отношении гравитации и постоянства объектов, ИИ должен формировать понимание физических законов и причинно-следственных связей, наблюдая за миром.
Имея модель мира, ИИ может мысленно моделировать будущее, получая таким образом возможность планировать действия.

JEPA — это конкретная архитектура для реализации этой модели мира.

В нём используется метод самообучения, при котором ИИ получает два связанных входных сигнала (например, два соседних кадра в видео), а модель кодирует эти два входных сигнала в абстрактное пространство представления. Затем она обучает предиктор предсказывать целевое представление на основе контекстного представления.

Такой подход позволяет избежать непосредственного генерирования всех деталей, сосредоточившись вместо этого на ключевых абстрактных факторах, что больше соответствует методам обучения человека. Лекун предсказал, что если команда будет двигаться гладко, в течение трёх-пяти лет появится более совершенная парадигма, что сделает текущий подход, основанный на степени магистра права, устаревшим.

Вопрос в том, может ли Meta позволить себе ждать от трех до пяти лет?

Внезапная реструктуризация положила конец золотому веку Фэрса.

Когда Лекун основал FAIR, он пообещал «провести долгосрочные фундаментальные исследования в области искусственного интеллекта», и Цукерберг согласился.

Но какова именно продолжительность этой «долгосрочной перспективы»? Какую прямую выгоду могут принести компании «фундаментальные исследования»? Эти вопросы не являются проблемой на ранних этапах, поскольку глубокое обучение само по себе является актуальным трендом, и ожидается, что всё, что делает FAIR, превратится в преимущество продукта.

Однако с появлением генеративного ИИ конкуренция обострилась, и ситуация начала меняться. В частности, провал Llama 4 нанёс Цукербергу тяжёлый удар. Цукербергу нужны были технологии, которые можно было бы использовать сейчас, а не идеи, которые могут пригодиться через пять лет.

Таким образом, произошла неожиданная реструктуризация.

В этом году компания Meta сделала важный шаг, создав «Лабораторию суперинтеллекта», объединив FAIR, команду по базовой модели и различные команды по прикладному ИИ в одном месте. На первый взгляд, речь идёт об интеграции ресурсов, но на самом деле это полная реструктуризация власти.

Основная логика этой реструктуризации ясна: сделать так, чтобы исследования напрямую служили продуктам, а ученые уступили место коммерческим целям.

Команда FAIR, которая ранее проводила исследования «относительно спокойно», теперь вынуждена следовать за развитием продукта, ориентируясь на разработку персональных ИИ-помощников. Кроме того, Meta внедрила более строгий процесс внутреннего рецензирования исследовательских публикаций FAIR.

Прежде чем исследователи опубликуют статьи или открытый исходный код, им необходимо пройти дополнительные внутренние перекрестные проверки и одобрения руководства, поскольку Meta опасается, что ее с трудом полученные результаты будут использованы конкурентами.

Лекун решительно сопротивлялся этим изменениям.

По многочисленным сообщениям, он яростно выступал против новой системы рецензирования внутри университета, выступая за свободу исследований. Издание The Information, ссылаясь на источники, знакомые с ситуацией, сообщило, что в сентябре этого года Лекун был «настолько зол, что подумывал об отставке» в знак протеста.

Но, возможно, еще труднее ему было смириться с потерей лидерства.

В ходе реструктуризации Цукерберг совершил смелое кадровое назначение: он переманил Александра Вана со стороны и сделал его директором по искусственному интеллекту Meta, подчиняющимся напрямую генеральному директору.

Кто такой Александр Ванг? 28-летний выпускник Массачусетского технологического института, основавший Scale AI — компанию, специализирующуюся на маркировке данных и предоставляющую данные для обучения моделей ИИ для крупных технологических компаний.

Цукерберг ценил именно продуктовое мышление и деловую хватку Вана. В гонке за генеративный ИИ Meta нужны не идеалисты в башнях из слоновой кости, а прагматики, способные быстро превращать технологии в продукты.

Шок от этого назначения заключается в том, что Лекун, лауреат премии Тьюринга, один из трех гигантов в области глубокого обучения и главный специалист по искусственному интеллекту в Meta на протяжении двенадцати лет, лишился своего голоса в связи с новой архитектурой и даже вынужден подчиняться Вану.

В июле этого года Цукерберг также назначил молодого и перспективного Чжао Шэнцзя главным ученым в области искусственного интеллекта в Лаборатории суперинтеллекта, ответственным за определение направления исследований новой лаборатории.

Примечательно, что Лекун в то время выступил с заявлением, в котором говорилось, что его роль и миссия остаются неизменными, и что он с нетерпением ждёт работы с новой командой. Его инстинкт самосохранения, безусловно, проявился в полной мере. Однако его разногласия по поводу направления исследований и реструктуризации руководства, очевидно, были секретом Полишинеля.

Последней каплей могут стать недавние увольнения. Согласно сообщениям, компания Meta недавно уволила свою команду специалистов по искусственному интеллекту, что затронуло исследовательский отдел FAIR и команды, занимающиеся разработкой продуктового ИИ, а также известного китайского деятеля Тянь Юаньдуна.

Сигнал к увольнениям очевиден: Meta больше не желает платить за фундаментальные исследования, которые «не дают краткосрочной отдачи». Направления исследований, которые невозможно напрямую трансформировать в функции продукта и которые не способны мгновенно увеличить число пользователей или доходы от рекламы, стали объектами ликвидации.

Золотой век ярмарки подошел к концу.

Учитывая все эти факторы, неудивительно, что Financial Times сообщила о его подготовке к открытию собственного бизнеса.

В последние годы в Кремниевой долине стало нормой, когда академические гиганты начинают работать в одиночку. Хинтон выступает с речами и выступает за регулирование ИИ после выхода на пенсию, а у Бенджио есть собственная лаборатория и стартап-проекты. Если Лекун действительно решится открыть свой бизнес, это может быть даже хорошо. В конечном счёте, в этом вопросе нет ни правых, ни виноватых.

Лекун смог продолжить дело своей жизни за пределами Меты.

Он забрал с собой видение, которое Мета «отложил», что дало ему возможность разработать собственную модель мира, доказать ее правильность по-своему и больше не спорить с менеджерами по продуктам или отчитываться перед своим 28-летним младшим коллегой.
Если он успешен, то: «Я же давно говорил вам, что степень магистра права — это тупик»; если же он провалится, большинство людей будут смеяться над вами, говоря: «Посмотрите на этого упрямого старика».

В Meta Цукербергу необходимо рассказать акционерам историю и внедрить наиболее практичный генеративный ИИ в каждый аспект своих продуктов, что, безусловно, и должен делать генеральный директор.

Однако, хотя отсутствие Лекуна не станет серьёзным ударом, оно может означать уменьшение числа несогласных. Возможно, однажды, когда люди поймут, что магистратура права действительно достигла своего предела, будет весьма интересно вспомнить, что сказал этот упрямый старик с плакатом оппозиции.

#Добро пожаловать на официальный аккаунт iFanr в WeChat: iFanr (WeChat ID: ifanr), где вы сможете как можно скорее получить еще больше интересного контента.

ifanr | Исходная ссылка · Просмотреть комментарии · Sina Weibo