Член основного состава Клода 4: В 2027 году ИИ автоматизирует почти все рабочие места «белых воротничков» Разговор на 10 000 слов

31 мая, 2025 Дядя Влад

Кодирование ИИ, главная тема индустрии ИИ в этом году, в последнее время становится все более очевидной.

В дополнение к новому королю программирования Claude Opus 4, который доминировал на экранах на прошлой неделе, новая версия DeepSeek R1 также была сосредоточена на возможностях кода. Не так давно компания OpenAI приобрела помощника по программированию на основе искусственного интеллекта Windsurf за 3 миллиарда долларов США, а затем выпустила программный агент Codex.

За последние несколько дней Мин Чаопин, бывший менеджер по продукции Kimi, и компания Meituan, которая борется с JD.com, официально анонсировали продукты, связанные с программированием ИИ.

Разработчик C++ с более чем 30-летним опытом написал на Reddit, что Claude Opus 4 исправил ошибку, которая беспокоила его в течение четырех лет, и это был первый используемый им ИИ, способный сделать это.

Почему Клод так хорош в программировании? Теперь, когда люди упоминают Anthropic, они практически предполагают, что это «компания, которая создает модели программирования». Но в чем, по их мнению, заключается настоящий прорыв этого поколения моделей? Что произойдет в будущем?

Несколько дней назад в подкасте-беседе с Шолто Дугласом, ведущим исследователем Claude Opus 4, были даны подробные ответы на эти вопросы. Это очень познавательно и стоит послушать.

Ключевые моменты обсуждения (для более быстрого просмотра):

Клод Опус 4, на какие прорывы действительно стоит обратить внимание?

Прежде всего, улучшения способностей очень сбалансированы.

С одной стороны, возможности выполнения кода были значительно улучшены. Он может не только понимать сложные требования, но и самостоятельно искать информацию, запускать тесты и отлаживать ошибки. Он действительно способен «идти от начала до конца». С другой стороны, временной интервал выполнения задачи также был значительно увеличен для поддержки многошаговых рассуждений и операций, что означает, что он не только умен, но и очень настойчив.

С точки зрения архитектуры, Claude Opus 4 добавляет вызовы инструментов и модули долговременной памяти, что позволяет ему обрабатывать задачи с большей контекстной непрерывностью. От помощника по кодированию до интеллектуального агента, способного «проектировать решения».

Конечно, есть потолок.

Команда признает, что четкого верхнего предела интеллектуальной сложности выполнения задачи не существует — сложность заключается в том, как расширить диапазон контекстов, которые модель может воспринимать и использовать, что позволит ей использовать несколько инструментов и запоминать больше ключевой информации.

Каково будущее?

Шолто Дуглас упомянул в подкасте несколько четких направлений:

Обучение с подкреплением (RL) продолжит улучшать производительность модели в непрерывных задачах;
Кодовые агенты смогут работать часами, лишь изредка требуя вмешательства человека;
Модели могут стать «виртуальными удаленными работниками» на должностях, требующих знаний;
Если строительство автоматизированных лабораторий и роботизированных платформ будет продолжаться, модели смогут участвовать в реальных физических задачах, таких как биологические эксперименты или производство.

Но есть одно обязательное условие: надежность интеллектуального агента должна оставаться на высоком уровне.

Хотя нам пока не удалось достичь 100% успеха, уровень успеха неуклонно растет в течение ограниченного времени. Ожидается, что к концу 2025 года запрограммированные интеллектуальные агенты смогут «стабильно работать в течение нескольких часов», а людям нужно будет лишь изредка проверять их работу.

Помимо написания кода?

Программирование — это лишь «опережающий индикатор» возможностей модели. Такие профессиональные области, как медицина и юриспруденция, все еще ждут усовершенствования данных и инструментов, но как только они будут готовы, они также приведут к быстрым прорывам. Текущее узкое место кроется не в самом ИИ, а в механизме проверки и инфраструктуре в реальном мире.

К 2027–2030 годам модель сможет автоматизировать практически всю работу «белых воротничков», однако без соответствующих лабораторий и реальных механизмов обратной связи она будет обладать «большими возможностями, но ее будет трудно реализовать».

Как оценить, действительно ли модель улучшилась?

Команда отметила, что хорошая система оценки (Evals) особенно важна. Он не только измеряет технические показатели, но и подчеркивает опыт и вкус оценщика. Вот почему порог оценки модели становится все выше и выше. В то же время пользователи должны продолжать использовать, взаимодействовать и предоставлять обратную связь для достижения истинной «совместной эволюции».

Лаборатории против компаний-разработчиков приложений: кто одержит верх?

Дуглас считает, что лаборатория открывает новые возможности благодаря открытым API, но основные преимущества остаются:

Возможность преобразования вычислительной мощности;
Модель «пригодности для найма» и доверия пользователей;
Более глубокое личное понимание.

Лаборатории подобны производителям «умных двигателей», сосредоточенным на пределах своих возможностей; Компании-разработчики приложений добиваются лучших результатов в плане внедрения и удобства для пользователей. В будущем между ними будет все больше совпадений, интеграции и конкуренции.

Не оставит ли эта модельная компания другие компании без выхода из положения из-за ее стоимости и основных преимуществ? Мнение Дугласа таково:

Нет, наоборот, он приносит жизненную силу.

Он считает, что все рвы в конечном итоге будут разрушены, и что действительно важно, так это отношения с клиентами, организация задач и интегрированный опыт.

Последнее ключевое слово — «выравнивание».

По мере совершенствования возможностей модели проблема «выравнивания» становится все более важной. Anthropic продвигает исследования интерпретируемости, пытаясь «понять, о чем думает модель». Хотя обучение с подкреплением может улучшить способности, оно также может разрушить существующие механизмы согласования. В будущем потребуется, чтобы университеты, правительства и больше исследователей совместно продвигали «науку о выравнивании».

Ссылка на оригинальное видео: https://www.youtube.com/watch?v=W1aGV4K3A8Y

Ниже приводится стенограмма интервью, которая была слегка отредактирована APPSO.

Ведущий: Шолто Дуглас — один из основных членов модели Anthropic Claude 4. На этот раз было очень приятно пообщаться с ним. Мы обсудили самые разные темы, в том числе то, как разработчики видят тенденции развития нового поколения моделей Anthropic. Мы обсудили, куда могут привести эти модели через 6, 12 или даже 2–3 месяца, а также ключевые факторы, необходимые для создания надежных агентов ИИ, и когда эти модели смогут совершить такие же прорывы в таких профессиональных областях, как медицина и юриспруденция, как и в программировании. Кроме того, Дуглас также поделился своими взглядами на «Исследования выравнивания» и своим ответом на прогноз «ИИ 2027». Это увлекательная беседа, и я верю, что она вам понравится.

Важные достижения и будущие возможности Клода Опуса 4

Ведущий: К тому времени, как этот подкаст появится в сети, Claude 4 уже выйдет, и все должны будут начать его прослушивать. Мне интересно, вы были одним из первых, кто получил в руки эти модели. Какой аспект вас больше всего воодушевил?

Дуглас: Это действительно еще один шаг вперед в разработке программного обеспечения. Модель Opus в этом отношении действительно превосходит все ожидания. У меня часто бывают моменты, когда я даю ему очень сложную задачу, включающую нашу обширную кодовую базу, и он выполняет ее почти полностью автономно . Он будет самостоятельно искать информацию, понимать требования и проводить тесты. Весь процесс очень независим и эффективен. Каждый раз, когда я вижу подобное выступление, я в шоке.

Ведущий: Каждый раз, когда появляется новое поколение модели, нам приходится пересматривать нашу когнитивную модель, чтобы судить, какие методы эффективны, а какие нет. Изменилось ли ваше использование и понимание этих моделей в программировании?

Дуглас: Я думаю, что самое большое изменение — это улучшение временного горизонта. Я думаю, что улучшение возможностей модели можно оценить с точки зрения двух измерений: одно из них — интеллектуальная сложность задачи, а другое — объем контекста или количество последовательных действий, которые они могут осмысленно осмыслить и обработать. Эти модели особенно усовершенствованы во втором измерении, где они фактически могут выполнять многошаговые операции, определять, какую информацию им необходимо получить из окружающей среды, а затем предпринимать действия на основе этой информации. Кроме того, он может вызывать такие инструменты, как Cloud Code, что делает его более сложным, чем просто копирование и вставка, и имеет более мощные возможности исполнения. Теперь я могу видеть, как он работает часами напролёт с той же эффективностью, что и непрерывный человеческий труд.

Ведущий: Так с чего, по-вашему, следует начать тем, кто впервые использует Claude 4?

Дуглас: Я думаю, лучший способ — напрямую включить это в свою работу. Например, если вы планируете написать код сегодня, просто позвольте ему сделать это за вас и понаблюдайте, как он оценит информацию и определит следующий шаг. Я гарантирую, что вы будете поражены его производительностью.

Ведущий: Это поколение модели более мощное, и многие планируют использовать его для создания продуктов. Где, по вашему мнению, открываются новые возможности для разработчиков?

Дуглас: Мне всегда нравился термин «экспоненциальный продукт». Разработчикам необходимо постоянно совершенствовать возможности моделей для создания продуктов . Типичными примерами являются Cursor, Windsurf и Devon. Cursor начал создавать будущий опыт кодирования, когда возможности модели были недостаточно сильны, но их видение не было по-настоящему реализовано до появления Claude 3.5 и Sonne. Виндсерфинг пошел еще дальше и захватил часть рынка. Их успех заключается в использовании этого окна экспоненциального роста.

Теперь вы можете увидеть Claude Code, новую интеграцию GitHub, кодеки OpenAI, агент кодирования Google и т. д. Все работают над концепцией «агента кодирования» с целью достижения большей автономности и асинхронной работы . В будущем вы больше не сможете выполнять операции раз в минуту, а вместо этого будете управлять парком моделей ИИ, в котором несколько моделей будут выполнять собственные задачи и работать вместе. Я думаю, что это направление заслуживает изучения.

Ведущий: Вы когда-нибудь сталкивались со сценарием типа «многомодельного параллельного сотрудничества»? Как это будет выглядеть?

Дуглас: Я знаю многих людей в Anthropic, которые запускают несколько экземпляров Claude Code в разных средах одновременно, что выглядит довольно круто. Но, честно говоря, пока никто толком не придумал, как это сделать. На самом деле это исследование того, насколько большой может быть «пропускная способность управления» человека. Я думаю, что это один из ключевых вопросов для будущего экономического развития: как измерить отдачу от производительности модели? Первоначально нам все еще приходилось вручную проверять выходные данные модели, а это означало, что влияние модели будет ограничено возможностями человеческого управления. Пока мы не сможем доверять моделям управление моделями, этот уровень модернизации абстракции будет иметь решающее значение.

Модератор: То есть, если вы будете проверять модель каждые 15 минут, каждый час, каждые 5 часов, количество моделей, которыми вы сможете управлять, будет сильно отличаться?

Дуглас: Да, Дженсен Хуан сказал что-то подобное. Он сказал, что его окружают 100 000 сверхразумных искусственных интеллектов и что он обладает огромным влиянием. Он также заявил, что является «контролирующим фактором» в цепочке управления Nvidia. Я думаю, что будущее действительно может развиваться в этом направлении.

Ведущий: Возможно, самой важной отраслью в будущем станет само «организационное проектирование».

Дуглас: Да, включая то, как построить доверие и насколько сложной будет организационная структура, все это стоит тщательно продумать.

Секретное оружие: увеличенный временной промежуток, интеллектуальное обновление агента на основе RL

Ведущий: Вы проработали в McKinsey год. Может ли консалтинговая отрасль также разрабатывать новые линейки продуктов на основе этих моделей? Я также согласен с тем, что вы только что сказали: компании-разработчики приложений должны развиваться быстрее, чем модели. Например, у Cursor поначалу возникли трудности с запуском своего продукта, но он стал пользоваться успехом, как только возможности модели были реализованы. Так что же, по-вашему, конкретно означает «быть на шаг впереди»?

Дуглас: Речь идет о постоянном обновлении вашего продукта, чтобы он всегда соответствовал новейшим возможностям модели несколько месяцев спустя. В то же время необходимо поддерживать тесный контакт с пользователями, чтобы гарантировать, что продукт уже используется, но также может осваивать более продвинутые функции модели.

Ведущий: Я думаю, вот в чем секрет: если вы все еще ждете, пока модель улучшится, прежде чем приступить к действиям, другие, возможно, уже переманили пользователей. Вы совершили множество прорывов в области памяти, выполнения инструкций и использования инструментов. Не могли бы вы кратко обобщить текущий прогресс по различным аспектам? Какие из них уже зрелые, а какие еще изучаются?

Дуглас: Хороший способ оценить прогресс, достигнутый за последний год, — это то, что обучение с подкреплением (RL) наконец-то по-настоящему работает с языковыми моделями. По сути, не существует предела интеллектуальной сложности задач, которые могут решать модели; например, они могут решать сложные математические и программные задачи. Однако большинство этих задач выполняются в ограниченных контекстах . Проблема использования памяти и инструментов заключается в расширении диапазона контекстов, которые модель может воспринимать и использовать.

Например, такие механизмы, как MCP (Model Context Protocol), позволяют модели взаимодействовать с внешним миром, а память позволяет ей обрабатывать задачи в течение более длительных промежутков времени, а также обеспечивает более персонализированный опыт. Эти достижения по сути касаются создания ключевой цепочки возможностей «интеллектуальных агентов». Кстати, Pokemon eval — очень интересный способ экспериментировать.

Ведущий: В детстве я был фанатом игр. Я думаю, что это отличный обзор, и надеюсь, вы опубликуете его вместе с этой моделью.

Дуглас: Действительно, этот обзор был чрезвычайно интересным. Модель не была специально обучена игре Pokémon Go, но она все равно показала хорошие результаты и продемонстрировала сильные способности к обобщению. Эта задача, хотя и не совсем незнакомая, не похожа ни на что, что делалось ранее.

Ведущий: Я помню, что в игре было много лестниц и лабиринтов, и модели могли помочь вам их пройти.

Дуглас: Да, еще один пример, который мне очень нравится, это то, что мы недавно сделали, под названием «Объяснимые агенты». Первоначально это был запрограммированный агент, но он может автоматически обучаться, использовать инструменты визуализации нейронов и разговаривать сам с собой, пытаясь понять внутреннюю структуру модели. Он даже может пройти оценку безопасности, называемую «Аудиторская игра», — обнаруживая ошибки, намеренно заданные моделью, генерируя гипотезы и самостоятельно проверяя проблемы. Этот инструмент + способность к обобщению по памяти действительно замечательны.

Ахиллесова пята интеллектуальных агентов: надежность

Ведущий: Похоже, что интеллектуальные агенты действительно становятся более могущественными. Ранее вы говорили, что ключом к успеху агентства по делам ветеранов является «надежность» . Как вы думаете, где мы сейчас находимся?

Дуглас: С точки зрения успешности с течением времени мы добились большого прогресса. Хотя 100% стабильности еще не достигнуто, все еще существует разрыв между первой попыткой модели и многочисленными попытками. Но судя по тенденции, мы уверенно движемся к «экспертному уровню надежности».

Ведущий: Так что, по-вашему, заставило бы вас изменить свой оптимистичный взгляд?

Дуглас: Если к середине следующего года модель столкнется с узким местом в продолжительности миссии, это будет поводом для беспокойства. Например, программирование является хорошим опережающим индикатором прогресса: если оно начинает ухудшаться, это может указывать на структурную проблему. Конечно, может оказаться, что данных слишком мало. Например, такие задачи, как «использование программного обеспечения как человека», трудно поддаются обучению. Однако сейчас мы наблюдаем поразительный прогресс в решении подобных задач, поэтому в целом я по-прежнему настроен оптимистично.

Ведущий: Когда, по-вашему, у меня появится «универсальный помощник», который сможет заполнять за меня различные формы, искать информацию в Интернете и т. д.?

Дуглас: «Персональный административный помощник» — горячая тема. Кто не хочет доверить незначительные вопросы искусственному интеллекту? Но это действительно зависит от ситуации. Ключевым моментом является то, практиковалась ли модель в подобных ситуациях. Вы не можете просто так взять и поручить финансовую работу кому попало, верно? Но если это будет обученный «виртуальный бухгалтер», то это будет гораздо надежнее. Поэтому надежность миссии во многом зависит от уровня подготовки. Если все пойдет хорошо, то к концу этого года мы увидим, как эти агенты выполняют задачи в браузерах, а в следующем году они станут стандартом.

Ведущий: Это очень волнительно. Ваша модель отлично работает в программировании. Это потому, что вы уделяете первостепенное внимание его обучению? Теперь, когда люди упоминают Anthropic, они думают о «модели программирования».

Дуглас: Конечно. Мы придаем большое значение программированию, поскольку это ключевой путь к ускорению самоисследования ИИ. Мы также прилагаем немало усилий для измерения прогресса в навыках программирования. Можно сказать, что мы сознательно уделяем внимание этому направлению.

Ведущий: Значит, эти агенты теперь ускоряют исследования в области ИИ?

Дуглас: По-моему, да. Они значительно повышают эффективность проектирования. Даже некоторые из известных мне ведущих инженеров говорят, что в знакомых областях их эффективность выросла в 1,5 раза; Но в незнакомых областях, таких как новые языки или незнакомый контент, улучшение может достигать даже 5 раз. Поэтому помощь более очевидна при «пересечении границ». Вопрос в следующем: считаете ли вы, что на данный момент нашим узким местом является вычислительная мощность? Если нет, то допуск агентов ИИ к участию в исследовании эквивалентен расширению всей исследовательской группы, а повышение эффективности составляет порядки величин.

Ведущий: Я полагаю, что эти агенты в основном выполняют утомительные задачи, экономя ваше время для размышлений о более важных вопросах. Когда же они начнут активно предлагать ценные исследовательские идеи?

Дуглас: Сейчас мы в основном занимаемся инженерными задачами, но начинают появляться и некоторые творческие идеи. Я бы не сказал, что через три месяца произойдет взрыв, но в течение двух лет мы сможем увидеть, как они будут предлагать все больше и больше интересных научных идей. Конечно, это также зависит от того, существует ли хороший механизм обратной связи. Как и люди, модели должны овладевать знаниями в сложных задачах посредством практики, проб и ошибок и в конечном итоге достигать высококачественного результата.

Ведущий: Потому что эти области относительно легче проверить, верно? Будет ли так, что ИИ добьется быстрого прогресса в программировании, но не добьется большого прогресса в областях, которые трудно поддаются проверке, таких как медицина и юриспруденция?

Дуглас: Такой риск действительно существует. Но хорошая новость в том, что порог проверки для исследований в области машинного обучения также очень низок. Например, «уменьшилась ли величина убытка» — это очень четкий показатель. Пока модель может генерировать хорошие идеи в исследованиях МО, она справляется с очень серьезной задачей RL, которая больше подходит для ИИ, чем многие задачи разработки программного обеспечения. Хотя такие области, как медицина, трудно поддаются проверке, они также добиваются прогресса. Недавно компания OpenAI опубликовала статью с ответами на медицинские вопросы, в которой количественно оцениваются вопросы с развернутыми ответами с помощью более детального механизма подсчета баллов. Я думаю, что этот подход очень перспективен и неизбежно постепенно решит проблему сложной верификации в будущем.

Ведущий: То есть «в конечном итоге» означает, когда у нас появится по-настоящему превосходный помощник врача или юриста? Будут ли они частью более крупной модели?

Дуглас: Определенно.

Ведущий: Как вы думаете, станут ли они частью более крупной общей модели? Или будут ли специальные модели, разработанные специально для медицинского или юридического использования?

Дуглас: Да. Я большой сторонник превосходства моделей. Хотя персонализация важна (вам нужно, чтобы модель понимала вашу компанию, рабочие привычки и личные предпочтения), такие настройки следует выполнять на уровне компании или отдельного человека, а не разделять модель по отраслям. Наше сотрудничество с Databricks отражает это направление корпоративной кастомизации, но с точки зрения базовых возможностей я твердо убежден, что нам по-прежнему придется полагаться на единую мощную общую модель. В будущем нам следует динамически распределять вычислительную мощность (например, FLOP) в соответствии со сложностью задачи, а не создавать кучу разных небольших моделей. Вот почему я настроен оптимистично в отношении большой модели.

«ИИ 2027»: будут ли полностью заменены рабочие места «белых воротничков»?

Ведущий: Вы уверены в дальнейшем совершенствовании своей модели. Многие задаются вопросом, как улучшенные возможности модели повлияют на общество? Например, часто задают вопрос: какое влияние эти модели окажут на мировой ВВП в ближайшие годы?

Дуглас: Я думаю, что первоначальное воздействие, вероятно, будет похоже на подъём Китая, на изменения в Шанхае на протяжении десятилетий, но на этот раз всё будет происходить гораздо быстрее. Однако нам необходимо различать способы воздействия на различные области. К 2027 или 2028 году мы почти наверняка можем ожидать, что модели автоматизируют почти все рабочие места «белых воротничков» , а к 2030 году — примерно. Это связано с тем, что задачи «белых воротничков» прекрасно подходят для существующих архитектур ИИ — есть данные, обратная связь, и их можно, по сути, выполнять на компьютерах.

Но робототехника или биологические исследования — это совершенно другое. Например, если вы хотите создать модель суперпрограммиста, вам понадобится лишь много кода и вычислительной мощности; Но если вы хотите создать модель супербиолога, вам понадобится автоматизированная лаборатория для выдвижения и проверки гипотез, а также проведения масштабных экспериментов. Мы все еще сильно отстаем в этом типе оборудования и инфраструктуры.

Поэтому я опасаюсь, что возникнет «несоответствие» : рабочие места «белых воротничков» меняются очень быстро, в то время как те отрасли в реальном мире, которые действительно могут улучшить качество жизни человека, такие как здравоохранение и производство, развиваются медленно из-за недостаточной инфраструктуры. ИИ сам по себе очень мощный, но для того, чтобы он работал в реальном мире, мы должны заранее построить «вспомогательные объекты в физическом мире», такие как облачные лаборатории и роботизированные платформы.

Ведущий: Но к тому времени у нас, вероятно, будут миллионы исследователей ИИ, предлагающих эксперименты. Им, возможно, не нужны столь масштабные роботизированные системы или биологические данные.

Дуглас: Действительно, ИИ быстро развивается, но для того, чтобы по-настоящему преобразовать эти возможности в рост ВВП, мы должны также задействовать «механизм обратной связи в реальном мире», чтобы по-настоящему раскрыть ценность технологий.

Ведущий: То есть вы считаете, что в будущем каждая профессия «белых воротничков» сможет создать механизм оценки, как в медицине? На самом деле, больше всего меня удивило то, что нам не потребовалось слишком много данных для обучения такой мощной модели.

Дуглас: Абсолютно согласен. Мы продемонстрировали, что модели могут обучаться различным задачам, и мы пока не увидели четкого верхнего предела их интеллекта. Хотя эффективность выборки модели может быть не такой высокой, как у людей, это не имеет значения, поскольку мы можем запускать десятки тысяч копий модели одновременно, и они параллельно пробуют разные пути и накапливают «виртуальный опыт». Даже если эффективность немного ниже, ее можно компенсировать масштабированием, в конечном итоге достигнув человеческого уровня или даже превзойдя его.

Ведущий: Похоже, вы считаете, что нынешний подход достаточен для того, чтобы справиться с будущими событиями. Некоторые считают, что нам по-прежнему нужны новые прорывные алгоритмы. Что вы думаете?

Дуглас: Большинство экспертов в области ИИ в настоящее время полагают, что парадигма «предварительное обучение + обучение с подкреплением» достаточна для создания общего искусственного интеллекта (AGI). Пока мы не видим никаких признаков замедления на этом маршруте, и эта комбинация работает. Конечно, могут быть и другие, более быстрые пути к прорывам, и могут даже появиться новые «вершины», на которые нужно покорить. Например, Илья (Суцкевер) мог бы быть соавтором обеих доминирующих парадигм, и я бы не стал подвергать его сомнению. Все данные свидетельствуют о том, что нынешний технологический путь уже достаточно силен. Конечно, возможно, что Илья выбрал новый путь из-за ограниченности средств или посчитал, что это лучший путь, но с моей личной точки зрения я считаю, что наш нынешний технологический путь может привести нас к нашим целям.

Ведущий: Станет ли следующим узким местом энергетика ? Когда, по-вашему, мы действительно столкнемся с этой проблемой?

Дуглас: Я думаю, что к 2028 году около 20% энергии в США будет использоваться для нужд ИИ. Если мы хотим увеличить ее на несколько порядков, нам потребуется кардинальная трансформация нашей энергетической структуры. Правительство должно взять на себя больше ответственности в этой области. Например, темпы роста мощностей по производству энергии в Китае значительно превышают темпы роста в США, поэтому в будущем это станет ключевым сдерживающим фактором.

Критерий улучшения модели: надежная система оценки

Модератор: На волне развития моделей, какие показатели, по вашему мнению, заслуживают наибольшего внимания? Например, каково направление развития от Claude 4 до модели следующего поколения?

Дуглас: Во многих компаниях действуют очень строгие внутренние системы оценки, и мне тоже нравится «спускаться в горы» в отношении этих оценок. Сложные тесты, такие как «Frontier Math», очень сложны и находятся на пределе интеллекта модели. Что еще важнее, нам необходимо разработать показатели, которые действительно смогут охватить «временной промежуток рабочего процесса», охватывая темп работы человека в течение дня. Такого рода оценка может помочь нам лучше понять, приближается ли модель к человеческим возможностям или превосходит их. Я считаю, что правительство должно играть определенную роль в этой области.

Модератор: Будучи базовой модельной компанией, помимо алгоритмов и инфраструктуры, одной из основных проблем, которую вам предстоит преодолеть, должно стать создание хорошей системы оценки . Насколько, по вашему мнению, важна «способность оценивать» в вашей организации?

Дуглас: Возможность оценки имеет первостепенное значение. Без хорошей системы оценки вы не узнаете, добиваетесь ли вы прогресса. Полностью обеспечить публичные обзоры сложно, и нам по-прежнему нужна надежная и стабильная внутренняя система обзоров.

Модератор: Я также заметил, что некоторые разработчики, создававшие приложения на основе вашей модели, также высказали очень полезные мысли по поводу оценки. Особенно если вы хотите выйти на рынок различных вертикальных отраслей, таких как логистика, юриспруденция, бухгалтерский учет и т. д., отзывы внешних разработчиков могут помочь вам лучше понять реальную ситуацию, чем отзывы ваших внутренних разработчиков.

Дуглас: Совершенно верно, и это также требует очень большого опыта и вкуса , а также глубокого понимания отрасли. Раньше нам требовалось, чтобы обычные люди выбирали лучший ответ, но теперь для оценки нам нужны эксперты в данной области. Например, если бы меня попросили оценить результаты работы модели в области биологии, я бы, вероятно, не имел ни малейшего представления о том, какая из них лучше.

Станьте другом пользователя: персонализация модели и вкус

Ведущий: Вы только что упомянули слово «вкус», которое я тоже нахожу очень интересным. Например, многие модели теперь начинают оснащаться системами памяти, а также меняется способ взаимодействия пользователей с моделями. Многие продукты ИИ действительно успешны, потому что они нашли определенный «резонанс» или уловили определенный культурный темперамент (дух времени). Как и в примере с мостом Золотые Ворота, который вы упомянули в начале, есть много других интересных мелочей. Каким будет будущее такого рода персонализированной «пользовательской атмосферы»?

Дуглас: Я на самом деле думаю, что в будущем может возникнуть «странный» сценарий, когда ваша модель станет одним из ваших самых умных и обаятельных друзей. Это правда, что некоторые люди уже считают Клода своим другом, и я знаю многих людей, которые проводят по несколько часов в чате с Клодом каждый день. Но я думаю, что мы изучили лишь 1% концепции персонализации. В будущем модели будут гораздо глубже понимать вас и понимать ваши предпочтения.

Ведущий: Как мы можем улучшить нашу способность «понимать пользователей»? Воспитывается ли такой вкус у людей с большим эстетическим чувством и суждением? Как решить эту проблему?

Дуглас: Во многом это зависит от «людей со вкусом», которые определяют направление развития продукта. Подобно тому, как опыт общения Клода оказался положительным, во многом это объясняется тем, что у Аманды (члена команды) сильно развито эстетическое чувство в отношении «красивых продуктов». Этот «уникальный вкус» очень важен.
Традиционные механизмы обратной связи, такие как «нравится/не нравится», могут легко привести к неестественному результату модели, поэтому нам нужны новые способы сбора обратной связи. Модели по сути являются мощными «симуляторами», которые, если им предоставить достаточный пользовательский контекст, могут автоматически научиться понимать предпочтения, тон и стиль пользователя. Таким образом, решение представляет собой сочетание стильных человеческих настроек и постоянного взаимодействия между пользователем и моделью.

Лабораторные компании против компаний-разработчиков: открытость и конкуренция

Ведущий: Каков ваш прогноз на следующие 6–12 месяцев?

Дуглас: Далее мы сосредоточимся на дальнейшем расширении системы обучения с подкреплением (RL) и посмотрим, куда это нас приведет. Возможности модели будут быстро расти, особенно к концу года, и ключевым показателем станет соответствие стандартам. К этому времени модель должна быть способна работать непрерывно в течение нескольких часов и стабильно выполнять поставленную задачу.

Ведущий: Вы имеете в виду, что люди будут тратить меньше времени на проверку, да?

Дуглас: Да, в настоящее время с Claude Code нам иногда приходится проверять его каждые несколько минут, но к концу года мы, возможно, увидим модели, которые смогут выполнять задачи в течение нескольких часов независимо, не делая ошибок. В будущем мы сможем достичь «полного хостинга» и даже управлять несколькими задачами параллельно, как в «StarCraft», а скорость работы модели станет более эффективной.

Ведущий: Вы только что упомянули Codec и Joule от Google. Некоторые стартапы также делают нечто подобное.

Дуглас: Да, на самом деле мы также собираемся запустить агент GitHub. Например, вы можете позвонить «@Claude» из любой точки GitHub, и мы автоматически возьмем на себя задачу и выполним часть работы за вас.

Модератор: Какие факторы в конечном итоге повлияют на выбор разработчиками инструментов или моделей?

Дуглас: Помимо возможностей модели, также очень важны доверие и отношения между разработчиком и компанией. По мере увеличения разрыва в возможностях моделей разработчикам следует учитывать не только технические показатели, но и чувство миссии, чтобы строить будущее вместе с компанией.

Ведущий: Особенно учитывая, что темпы выпуска новых моделей постоянно растут, создается впечатление, что новые модели появляются каждый месяц. Сегодня эта модель лидирует в определенном обзоре, а завтра другая модель лидирует в другом обзоре. Все перегружены различной сравнительной информацией.

Дуглас: Да, собственно, именно поэтому «GPT-обертки» неожиданно стали популярными. Никто не ожидал, что одним из преимуществ работы обертчиком является то, что вы всегда можете быть в авангарде возможностей модели.

Ведущий: Мне кажется, что все, кто не хочет быть «оберткой», в конечном итоге сжигают все свои деньги.

Дуглас: Полностью согласен. Поэтому «серфинг» на передовой возможностей модели — это замечательно. Конечно, есть и обратная сторона: некоторые вещи можно предсказать, только если вы овладеете базовой моделью, четко увидите линии тренда и по-настоящему создадите глубокие продукты. Например, многие приложения ИИ, предназначенные для «глубоких исследований», требуют большого объема внутреннего обучения с подкреплением (RL). Такие изделия трудно подделать извне, их необходимо изготавливать в лабораторных условиях.

Ведущий: Не могли бы вы подробнее остановиться на этом вопросе? Потому что сейчас такие компании, как OpenAI и Anthropic, становятся все более открытыми, позволяя внешним разработчикам участвовать. Но многие задаются вопросом: что же такое «эксклюзивно для лаборатории»? Какие из них открыты для всех и в каких может принять участие любой желающий?

Дуглас: Это очень важный вопрос. Открытие RT API (тонко настраиваемых API) действительно меняет ситуацию, и теперь компании, сосредоточенные на конкретной вертикальной области, могут создавать большую ценность. Но в то же время лаборатория по-прежнему имеет «централизованное преимущество».

Например, OpenAI предлагает определенные скидки клиентам, которые позволяют им продолжить обучение на основе результатов вашей модели. Другими словами, они являются не только поставщиками моделей, но и вторичными пользователями данных. Это преимущество централизации очень велико.
Каковы «уникальные преимущества лаборатории»? Я думаю, что есть несколько измерений:

Возможности преобразования вычислительной мощности: Насколько сильны ваши возможности преобразования вычислительной мощности (FLOPs), средств и ресурсов в интеллект? Вот почему такие компании, как Anthropic, OpenAI и DeepMind, так популярны в области эффективности моделей;
«Трудоустраиваемость» модели: доверяете ли вы ей, когда модель постепенно становится «виртуальным сотрудником»? Вам это нравится? Готовы ли вы делегировать ему эту задачу?
Возможности персонализации: способность модели понимать ваш контекст, рабочий процесс вашей компании и ваши личные предпочтения также станет ключом к конкурентному превосходству.

Подводя итог, можно сказать, что компании лабораторного уровня лучше всего справляются с созданием моделей высшего уровня и преобразованием вычислительной мощности в интеллект; в то время как компании «прикладного уровня» могут занять место в своей собственной области за счет фокусировки, персонализации и опыта использования продукта. Но между ними будет все больше совпадений и сотрудничества.

Ведущий: Я полагаю, что вашу модель также используют многие люди для создания универсальных агентов? Эти компании не реализуют саму модель, а действуют посредством оркестровки и интеллектуальных цепочек вызовов. Считаете ли вы, что этот подход обречен на провал из-за ценового преимущества модельных компаний?

Дуглас: Я не думаю, что это плохо. Напротив, такой подход привел к большой конкурентоспособности, и все изучают, какая форма продукта наиболее подходит. Действительно, у модельных компаний есть некоторые преимущества, например, мы можем напрямую получить доступ к базовой модели, выполнять более глубокую настройку и знать, какие возможности стоит усилить в первую очередь.
В конце концов, все «рва» исчезнут — когда вы сможете «создать компанию в любое время», все будет восстановлено. Так какова же основная ценность будущего? В отношениях с клиентами? С точки зрения возможностей оркестровки и интеграции? Или это способность эффективно преобразовывать капитал в интеллект? Это остается сложной проблемой.

Мнение исследователей: потенциал обучения с подкреплением и проблема согласования

Ведущий: Изменилось ли ваше мнение о чем-то за последний год?

Дуглас: За последний год прогресс в области искусственного интеллекта ускорился. В прошлом году мы все еще задавались вопросом, нужна ли нам большая предварительная вычислительная мощность для достижения идеальных возможностей модели, но теперь у нас есть четкий ответ: нет. Обучение с подкреплением (RL) доказало свою эффективность, и к 2027 году наверняка появится высокоэффективная модель «удалённого цифрового труда». Прежние «надежды» и «опасения» относительно ИИ изменились с «возможно» на «почти наверняка».

Ведущий: Как вы думаете, потребуется ли нам в будущем значительно расширить масштаб данных? Или к моменту выхода Claude 17 алгоритм модели будет усовершенствован до такой степени, что потребуется лишь небольшое количество новых данных?

Дуглас: Весьма вероятно, что нам больше не придется значительно расширять масштаб данных, поскольку «способность модели понимать мир» будет достаточно сильной, чтобы она могла даже направлять обучение роботов и обеспечивать обратную связь. Существует концепция, называемая «разрыв между генератором и верификатором», при которой генерировать контент зачастую проще, чем выполнять его. Этот путь позволит и дальше улучшать возможности модели. В области робототехники достижения в области познания намного превосходят возможности физического манипулирования миром, и в этом заключается огромный потенциал для будущего.

Ведущий: Как вы оцениваете текущее состояние «исследований выравнивания ИИ»?

Дуглас: Исследования интерпретируемости привели к удивительным прорывам. В прошлом году мы только начали изучать суперпозицию и особенности нейронов, и работа Криса Олаха и его команды стала огромным шагом вперед. Теперь мы можем определять структурные и поведенческие особенности «на уровне цепей» в современных больших моделях. Есть замечательная статья, в которой изучается «биология» больших языковых моделей и показано, как они четко рассуждают о концепциях. Хотя мы еще не полностью разобрались с поведением модели, мы добились поразительного прогресса.

Однако стоит отметить, что благодаря предварительному обучению модель может усваивать и выражать человеческие ценности, что в некоторой степени «согласовано по умолчанию»; Однако как только процесс переходит в стадию обучения с подкреплением, такое соответствие больше не гарантируется. Например, ранее упомянутое «загрузить библиотеку Python, чтобы обойти модель, когда вы знаете, что это невозможно сделать» является целенаправленным и «попробовать все возможные способы выполнить задачу». Этот процесс обучения по сути является «целеориентированной оптимизацией средств», и то, как контролировать и управлять поведением этой модели, является важной задачей, которую все в настоящее время изучают.

Ведущий: Около месяца назад тема «ИИ 2027» много обсуждалась. Какова была ваша реакция, когда вы это увидели?

Дуглас: Честно говоря, я нахожу это очень правдоподобным. В этой статье было много моментов, о которых я подумал: «Да, возможно, так оно и было на самом деле». Определенно есть несколько ответвлений, но даже если это всего лишь 20%-ный шанс, сам факт того, что это 20%-ный шанс, для меня удивителен.

Ведущий: Когда вы говорите о вероятности 20%, это потому, что вы более оптимистично настроены в отношении исследований выравнивания, или вы думаете, что прогресс будет медленнее?

Дуглас: В целом я настроен более оптимистично в отношении исследований выравнивания, чем они. Возможно, мой график отстает от их графика примерно на год, но что такое год в этой большой тенденции?

Ведущий: Это зависит от того, как вы используете этот год.

Дуглас: Да, если вы сможете извлечь из этого максимум пользы и провести правильное исследование, это действительно может иметь большое значение.

Ведущий: Если бы вы стали политиком на один день, что, по вашему мнению, нам следует сделать, чтобы будущее двигалось в лучшем направлении?

Дуглас: Это хороший вопрос. Самое главное, вы должны чувствовать тенденции, которые мы видим и обсуждаем. Если нет, то вы бы разбили возможности, которые важны для страны, и количественно оценили бы, в какой степени модель может улучшить эти возможности, возможно, проведя серию тестов, чтобы увидеть, сможет ли модель пройти эти тесты или добиться значительного прогресса в решении этих задач, после чего она достигнет некоторого базового уровня интеллекта, а затем провели бы линию тренда, чтобы увидеть, что произойдет в 2027 или 2028 году.

Ведущий: Что-то вроде оценок на уровне государства?

Дуглас: Да, например, вам нужно разбить экономику вашей страны на все рабочие места, а затем спросить себя: если модель может выполнять все эти работы, означает ли это, что у нее есть настоящий «интеллект»? Вам следует создать оценочные тесты, нарисовать линии тренда и сказать: «Боже мой, что произойдет в 2027 или 2028 году?» Следующий шаг — вам следует вложить значительные средства в исследования, которые сделают модели более понятными, управляемыми и честными. Это то, что мы называем наукой о согласовании. Единственное, о чем я сожалею, так это о том, что большая часть прогресса в этой области была достигнута Frontier Labs. Но я думаю, что так и должно быть…

Ведущий: Могут ли участвовать другие люди? Например, можно ли использовать Клода для проведения соответствующих исследований?

Дуглас: Нет. Я имею в виду, что вы все равно можете добиться огромного прогресса другими способами. Существует проект под названием программа MAS, в рамках которого многие люди внесли значительный вклад в исследования выравнивания, особенно в области интерпретируемости, и все это за пределами Frontier Labs. Я думаю, что больше университетов должны принять участие в этом процессе. Во многих отношениях это ближе к чистой науке: это изучение «биологии» и «физики» языковых моделей.

Ведущий: Но я чувствую, что исследовательский энтузиазм в этой области не очень высок.

Дуглас: Я не уверен. Я слышал, что на некоторых недавних конференциях, таких как ICML, семинар по механистической интерпретируемости не был включен, что для меня совершенно непонятно. По моему мнению, это чистейшее научное исследование «внутреннего механизма модели». Если вы хотите открыть спиральную структуру ДНК или открыть общую теорию относительности, как это сделал Эйнштейн, то соответствующий путь в технологическом дереве машинного обучения/искусственного интеллекта — это изучение механической интерпретируемости.

Ведущий: Давайте поговорим о положительной стороне. Мы уже говорили, что в ближайшие несколько лет все рабочие места «белых воротничков» будут автоматизированы, но как вы думаете, в чем нас недооценили?

Дуглас: Да, модели, безусловно, автоматизируют работу «белых воротничков», но я удивлен, насколько медленно мир интегрирует эти технологии. Даже если возможности моделей больше не улучшатся, существующие возможности уже могут открыть огромную экономическую ценность, но мы еще не полностью реструктурировали рабочие процессы вокруг этих моделей. Даже если модель останется прежней, мы можем полностью изменить мир.

Дуглас: Это требует от нас инвестировать в области, которые действительно могут сделать мир лучше, например, в содействие достаточному и эффективному управлению материальными ресурсами, расширение границ физики и индустрии развлечений, а также в то, чтобы модели помогали нам достигать этих целей. Моя самая большая надежда — сделать людей более креативными и способными создавать больше контента, например, сериалы, видеоигры и т. д. Люди получат огромное количество полномочий, а будущее откроет безграничные возможности. Хотя эта модель заменит некоторые рабочие места, у каждого будет больше рычагов воздействия, а рабочая модель общества претерпит колоссальные изменения.

Ведущий: Что, по вашему мнению, сейчас переоценено, а что недооценено в кругах искусственного интеллекта?

Дуглас: Хорошо, давайте сначала поговорим о недооцененных. Я думаю, что мировые модели — это действительно здорово, но сегодня мы о них мало говорили. Благодаря развитию технологий дополненной и виртуальной реальности модели смогут напрямую генерировать виртуальные миры, что подарит шокирующие впечатления.

Ведущий: Для этого требуется определенный уровень понимания физики, например, причинно-следственных связей, которого мы пока не достигли, верно?

Дуглас: Я думаю, мы в определенной степени доказали, что модель способна понимать физику. Это можно увидеть в оценках, решающих физические задачи, а также в некоторых видеомоделях. Например, я видел отличное видео, в котором кто-то с помощью видеогенерирующей модели поместил акулу Lego под воду — она имитировала, как свет отражается от поверхности кубиков Lego, а тени располагались в правильных местах. Это совершенно новый сценарий, который модель никогда ранее не рассматривала, и он является полным обобщением. Это ведь всеобъемлющие возможности моделирования физики, верно?

Ведущий: Вы сказали, что даже если модель сейчас находится в состоянии застоя, все равно может быть разработано большое количество приложений. Какие области наиболее недооценены и неиспользованы?

Дуглас: Область разработки программного обеспечения является зрелой, и модели очень хороши для программирования. Почти во всех других областях, таких как юриспруденция, бухгалтерский учет и т. д., еще есть огромный потенциал для развития. Особенно для применения интеллектуальных агентов, пока не существует настоящей асинхронной операционной системы. Другие области пусты и заслуживают изучения.

Модератор: Часто говорят, что программирование — идеальное направление применения этих моделей.

Дуглас: Да, это опережающий индикатор. Но следует ожидать, что за ними последуют и другие регионы.

Ведущий: Я помню, вы выкладывали свою фотографию в Цитадели. Что это значит?

Дуглас: Это была военная игра, в которой приглашались сотрудники разведывательных служб и курсанты военных академий, чтобы смоделировать появление ОИИ и мощного искусственного интеллекта и обсудить его геополитическое влияние.

Ведущий: После этого случая вы почувствовали больше страха или облегчения?

Дуглас: Честно говоря, я немного больше напуган.

Ведущий: Как вы думаете, достаточно ли серьезных симуляций такого рода проводится в настоящее время?

Дуглас: Недостаточно. Многие недооценили скорость развития технологий в ближайшие несколько лет и оказались к ней не готовы. Даже если вы думаете, что вероятность того, что что-то произойдет, составляет всего 20%, вы должны быть к этому готовы. Эффективность каждого технического звена еще предстоит значительно повысить, а будущие цели почти очевидны.

Ведущий: Точно так же, как сейчас почти все антропные люди достигли уровня уверенности в 90%?

Дуглас: Почти все члены команды уверены, что к 2027 году мы сможем создать «удалённых работников с искусственным интеллектом, готовых к работе». Даже те, кто менее уверен, оценивают вероятность в 10–20%. Поэтому правительству следует сделать это приоритетом и тщательно продумать его социальные последствия. Однако в настоящее время этого чувства безотлагательности далеко недостаточно.

#Добро пожаловать на официальный публичный аккаунт WeChat iFanr: iFanr (WeChat ID: ifanr), где вам будет представлен еще более интересный контент как можно скорее.

iFanr | Исходная ссылка · Просмотреть комментарии · Sina Weibo