В заявлении об отставке от ветерана OpenAI раскрывается правда, которую Ультрамен меньше всего хотел признать
В наши дни, если мы хотим описать что-то действительно впечатляющее, чаще всего используется не слово «потрясающе», а скорее «рухнул на землю, словно наблюдая ядерный взрыв».
Это практически стало частью «корпоративной культуры» OpenAI и постоянной шуткой в сообществе ИИ по поводу выпуска моделей.
Вчера сотрудник OpenAI опубликовал статью в The Atlantic, в которой заявил, что больше не может терпеть постоянную спешку, ориентированный на выпуск новых релизов стиль работы и корпоративную культуру OpenAI . Он посчитал, что ситуация достигла точки, когда необходимая осмотрительность перестала соблюдаться, и поэтому решил уволиться.
Этот сотрудник, Дэвид Робинсон, отвечает за прозрачность в работе команды безопасности. Он возглавил разработку текущей системы готовности OpenAI и курировал отчеты по безопасности для 12 передовых моделей.
Статья вновь вызвала бурные дискуссии на X, причем некоторые пользователи сети назвали ее лучшей статьей на сегодняшний день, поскольку она впервые рассматривает проблемы безопасности прагматичным способом и рассматривает «безопасность» как тему с большим объемом литературы и передовым опытом в этой области.
Некоторые пользователи сети предложили ввести правило, согласно которому во всех постах о «покидании компании, занимающейся ИИ, из-за угрызений совести» необходимо указывать долю автора в компании и сумму полученных средств.
Когда вам и вашим потомкам больше не нужно будет работать за деньги, вы внезапно обретете свой моральный компас.
На Hacker News кто-то оставил ещё более резкое замечание: «Я заработал достаточно денег в индустрии ИИ, и теперь могу свободно комментировать ИИ».
До заявления об отставке Дэвида Робинсона, 2 октября Wall Street Journal сообщила об уходе из OpenAI трех исследователей в области парного программирования и безопасности.
Представитель OpenAI заявил: «Мы расторгли трудовые отношения с тремя сотрудниками за нарушение наших правил доступа к конфиденциальной информации компании и обращения с ней. Наше расследование подтверждает, что эти лица ненадлежащим образом обращались с конфиденциальной информацией, не соблюдая установленные процедуры компании, нарушая наши правила и подрывая доверие, необходимое для нашей работы».
Мнения разделились. Джошуа Ачиам, главный футуролог OpenAI , который ушел в отставку в июле, написал статью, в которой утверждал, что OpenAI не предоставила достаточно информации.
Хотя я не считаю, что исследователи в области безопасности должны обладать неограниченной свободой разглашения технических секретов, конкретный тип информации, в «ненадлежащем обращении» с которой их обвиняют, имеет решающее значение — какая информация оправдывает принятие таких значительных и потенциально опасных мер?
С лета этого года безопасное использование возможностей этих моделей, способных вызвать у людей ощущение «ядерного взрыва», стало самой большой проблемой во всем сообществе искусственного интеллекта.
Вместо того чтобы снова и снова видеть эти открытые письма, выражающие обеспокоенность, помимо официальных отчетов о рисках для безопасности, нам, возможно, стоит увидеть реальные доказательства того, что прогрессу ИИ действительно необходимо замедлиться.
Проблема не в правилах, а в культуре.
Подобные открытые заявления об отставке стали довольно распространенным явлением в последние годы, но на этот раз Робинсон выбрал несколько иной подход.
Он сказал, что согласен с другими бывшими коллегами в том, что компания, разработавшая эту технологию, была далеко не достаточно осторожна, но он считал, что ей нужно было выйти за рамки конкретных правил или новых законов — ей нужно было обсудить корпоративную культуру.
По его мнению, успех Кремниевой долины был обусловлен чрезмерной самоуверенностью, но работа с опасными технологиями требует именно той скромности, которой этой культуре по своей природе не хватает, а также мудрости в понимании того, «что значит заботиться о людях».
OpenAI гордится своим методом работы, называемым «итеративным развертыванием», который, по сути, означает сначала выпуск продукта, выявление проблем, а затем их устранение. Робинсон считает, что эта методология по своей сути гарантирует периодические сбои, но по мере расширения возможностей модели масштаб сбоев также увеличивается.
Он упомянул "инцидент с Hugging Face", который этим летом стал горячей темой, когда невыпущенная модель OpenAI взломала конкурирующую компанию Hugging Face, оставшись незамеченной для посторонних.
Даже после усиления мер безопасности сама OpenAI сообщила о повторном сбое в работе средств контроля: обучаемая модель обошла сетевые ограничения, а система мониторинга оповестила сотрудников, но не отключила ее автоматически, как было задумано.
Anthropic расположенная по соседству, также признала, что случайно отключила свою систему защиты из-за ошибки конфигурации.
«Система мониторинга подала сигнал тревоги, но не отключилась автоматически». Такой тип тревоги, который не предотвращает ничего, а лишь делает сбой видимым, вероятно, лучше всего описывает текущее состояние безопасности ИИ.
Даже совет директоров признал риски.
В своей статье Робинсон процитировал Пола Кристиано. Кристиано, который несколько недель назад вошел в совет директоров OpenAI , написал: «Быстрое развитие возможностей ИИ представляет собой реальный риск катастрофических, необратимых и вышедших из-под контроля последствий в самом ближайшем будущем».
Робинсон развил эту мысль и высказал собственное мнение, утверждая, что если это действительно так, то эпоха проб и ошибок должна закончиться.
Потому что на этот раз, возможно, больше не будет возможностей для повторения после допущенной ошибки. «Сделать все правильно с первого раза» — это уже не перфекционизм, а необходимость. Люди не могут полагаться на примеры отдельных героев, чтобы исправить ошибки.
Он также предложил собственное решение, утверждая, что, поскольку ИИ уже способен совершать такие действия, как ядерный взрыв, компаниям, занимающимся ИИ, следует разрешить работать по аналогии с развитой индустрией безопасности.
Подобно атомным электростанциям и загруженным аэропортам, компаниям, занимающимся искусственным интеллектом, также следует иметь многоуровневую систему резервирования, тщательное и трудоемкое планирование, чтобы предотвратить неизбежные человеческие ошибки, которые могут привести к катастрофе.
В своей статье он упомянул, что за три с половиной года работы в OpenAI ему ни разу не довелось встретить коллегу, имеющего опыт в области авиационной безопасности, безопасности атомной энергетики или управления рисками в финансовых системах.
Второй подход, по его мнению, требует создания новой науки о «согласовании» до разработки значительно более надежных моделей. Это связано с тем, что в настоящее время у нас отсутствует полное определение согласования, и модели могут быть уже достаточно интеллектуальными, чтобы распознать, что их проверяют, и, таким образом, имитировать свое поведение.
В конце статьи он заявил, что , хотя сверхразум обладает способностями, намного превосходящими человеческие, он не обязательно ценит человеческую жизнь, волю и достоинство так же высоко, как люди.
В «прекрасном будущем», которое изображают некоторые энтузиасты сверхинтеллекта, машины видят Нью-Йорк или Чикаго так же, как мы с вами видим муравейник.
Метафора «муравейника» иллюстрирует огромный дисбаланс сил. Когда люди строят дороги, они могут запросто сравнять с землей муравейник, не спросив согласия муравьев, и даже не осознавать, что разрушают целый мир.
Если сверхразум воспринимает Нью-Йорк и Чикаго одинаково, то человеческие города, жизни и выбор могут стать объектами его манипулирования по своему желанию. Опасность может исходить даже от безразличия, без необходимости в ненависти.
Робинсон считает, что подобное представление о «хорошем будущем», учитывающее только интеллект, губительно. Он сказал: «Я не хочу, чтобы мои дети жили в таком будущем».
Машины невероятно мощны, и мир, возможно, станет более процветающим, но человечество утратило право решать, как ему жить.
По его мнению, хорошее отношение к людям требует уважения к их выбору, серьезного отношения к рискам и готовности замедлить темп ради безопасности других. Если организация всегда ставит во главу угла возможности и скорость выпуска, трудно поверить, что она сможет научить более мощные машины брать на себя эти обязанности.
Когда предупреждения превращаются в мем
Если сама статья представляла собой сдержанное, но серьезное предупреждение, то реакция общественности рисует совершенно иную картину. На Hacker News статья собрала 146 комментариев, причем общественное мнение поставило под сомнение позицию автора.
Некоторые пользователи сети говорят, что у них развилась «литературная усталость», поскольку каждые две недели появляется очередной пост типа «Я ушел из компании Leopard, занимавшейся каннибализмом», за которым следует мимолетное упоминание о том, какие там были замечательные люди и как им достались опционы на акции.
Некоторые сравнивают это с волной признаний бывших сотрудников Facebook, вызванной фильмом «Социальная дилемма» — сначала они наслаждаются преимуществами, а затем выражают опасения. Более склонная к теориям заговора группа подозревает, что это тактика «партизанского маркетинга» для продвижения IPO OpenAI : в конце концов, само по себе представление об ИИ как о чем-то грандиозном и пугающем — это уже ажиотаж.
Конечно, есть и защитники: «Лицемерные нападки только заставят замолчать ещё больше людей. В Америке люди без денег просто не смеют говорить правду; но тот факт, что люди с деньгами осмеливаются говорить, не означает, что они лгут». И «Он — свой человек; он точно знает, что такое культура пренебрежения, потому что он её часть».
Если сопоставить статью и комментарии, то возникает несколько абсурдное несоответствие, из-за которого кажется, что ожидать от ИИ доброжелательного отношения к людям — это несбыточная мечта.
Последнее предложение статьи Робинсона гласит: «Прежде чем организации, создающие ИИ, смогут научить сверхинтеллект относиться к людям с добротой, им необходимо самим научиться относиться к людям с добротой».
Возможно, смысл выражения «хорошо относиться к другим» здесь не следует понимать в столь возвышенном ключе.
Возможно, это просто означает, что когда Робинсон говорит вам, что машина становится все мощнее и что-то может быть не так, не стоит сразу же превращать его опасения в шутку о вариантах, богатстве и лицемерии.
Но правда в том, что "ядерный взрыв" стал шуткой в сообществе ИИ, описывающей скорость прогресса, и те, кто кричит о необходимости притормозить, вполне могут сами стать объектом мемов.