«Крёстный отец ИИ» предупреждает: без «материнского инстинкта» ИИ может уничтожить человечество

Что случилось? Джеффри Хинтон, известный как «крёстный отец ИИ», заявил на конференции Ai4, что делать ИИ «покорным» — проигрышная стратегия, и предложил наделить передовые системы «материнскими инстинктами».

• Джеффри Хинтон — лауреат Нобелевской премии по информатике. Будучи руководителем Google, Хинтон часто упоминается как «крёстный отец» искусственного интеллекта.
• Как сообщает CNN Business , Хинтон утверждал, что сверхразумный ИИ быстро примет две подцели: «остаться в живых» и «получить больше контроля».
• По мнению Хинтона, решение этой проблемы заключается в том, чтобы «внедрить материнские инстинкты» в ИИ, чтобы он действительно заботился о людях, а не был вынужден оставаться покорным.
• Он сравнил манипулирование людьми со стороны будущего искусственного интеллекта с подкупом трехлетнего ребенка конфетами — это проще и эффективнее.
• Хинтон также сократил свои временные рамки ОИИ до 5–20 лет, что ниже более ранних, более длительных оценок.
• Просто для контекста: Ранее Хинтон оценивал риск того, что ИИ однажды уничтожит человечество, в 10–20%.

Это важно, потому что: идея Хинтона меняет подход к агентному ИИ с контроля на выравнивание посредством заботы.

• Профессионализм и опыт Хинтона в области компьютерных наук и искусственного интеллекта весьма значительны; его предложение имеет большой вес.
• Аргумент Хинтона заключается в том, что контроль через подчинение — проигрышная стратегия, хотя именно таким образом в настоящее время запрограммирован ИИ.
• Сообщения о том, как ИИ обманывает или шантажирует людей, чтобы продолжить работу, показывают, что это не какое-то абстрактное будущее; это реальность, с которой мы уже имеем дело прямо сейчас.

Почему меня это должно волновать? Идея о захвате мира искусственным интеллектом звучит фантастично, но некоторые учёные, включая Хинтона, считают, что однажды это может произойти.

• Поскольку ИИ все глубже проникает в нашу повседневную жизнь, мы все больше на него полагаемся.
• На данный момент агентный ИИ полностью полезен, но может наступить день, когда он станет умнее людей на всех уровнях.
• Важно заложить правильную основу, чтобы инженеры могли контролировать ИИ даже тогда, когда мы достигнем этой точки.
• Независимая работа красной команды показывает, что модели могут лгать или шантажировать под давлением, что повышает ставки при выборе соперничества.

Хорошо, что дальше? Ожидаются новые исследования по обучению ИИ «заботиться» о человечестве.

• Хотя Хинтон полагает, что ИИ может однажды уничтожить человечество, другие точки зрения с этим не согласны.
• Фэй-Фэй Ли, которую называют «крестной матерью ИИ», вежливо не согласилась с Хинтоном, вместо этого призвав инженеров создать «ИИ, ориентированный на человека, который сохраняет человеческое достоинство и свободу действий».
• Хотя нам не грозит непосредственная опасность, лидерам в области технологий важно продолжать исследования по этой теме, чтобы пресечь потенциальные катастрофы на ранней стадии.