Искусственный интеллект может обыгрывать шахматных гроссмейстеров, но он не способен адаптироваться к современным видеоиграм.
Несмотря на весь шум вокруг покорения ИИ шахмат , го и даже программирования, за этими победами скрывается довольно очевидная слабость. ИИ по-прежнему плохо справляется с новой видеоигрой, с которой он никогда раньше не сталкивался.
Основной тезис новой статьи Нью-Йоркского университета заключается в том, что эти громкие достижения создали обманчивое представление о том, насколько близки машины к реальному общему интеллекту.
Отличительные черты действительно имеют значение.
Шахматы и го — впечатляющие достижения, но это игры с фиксированными правилами и структурированной средой, в отличие от сложных современных видеоигр. В Нью-Йоркском университете отмечают, что ИИ еще не освоил человекоподобный интеллект, поскольку плохо адаптируется.
Там, где ИИ по-прежнему недостаточен
По мнению исследователей, многие из самых больших успехов ИИ в игровой индустрии основаны на системах, точно настроенных на одну конкретную игру. В этих заданных рамках ИИ может фактически стать сверхчеловеком. Но как только происходят незначительные изменения в правилах или среде, его впечатляющие результаты могут рухнуть.
Именно здесь видеоигры становятся настоящим испытанием интеллекта. Игры не являются одномерными, они часто требуют широкого спектра навыков, включая пространственное мышление, долгосрочное планирование, обучение методом проб и ошибок и даже социальную интуицию. В отчете утверждается, что это разнообразие делает игры гораздо лучшим показателем гибкого интеллекта, чем отдельные эталонные задания.
И обучение с подкреплением, и LLM сталкиваются с препятствием.
В исследовательской работе добавляется, что обучение с подкреплением может давать впечатляющие результаты, но приемлемые цели достигаются только после миллионов или миллиардов смоделированных запусков. Таким образом, система становится экспертом именно в той ситуации, для которой она была обучена. Но все это рушится при любых изменениях. Даже такие простые вещи, как изменение цветов или перемещение объектов на экране, могут привести к сбою.
Большие языковые модели (LLM) тоже не решают эту проблему. В Нью-Йоркском университете утверждают, что они показывают удивительно низкую производительность в незнакомых играх. Когда же они начинают показывать хорошие результаты, это обычно происходит благодаря специально разработанной для конкретной игры структуре, которая интерпретирует игровые состояния, управляет памятью и выполняет действия. Если убрать эту дополнительную поддержку, производительность быстро падает.
Реальный эталон
Исследователи утверждают, что настоящему игровому ИИ потребуется изучить новую игру с нуля примерно за то же время, что и опытному игроку. Возможно, за десятки часов, без масштабного моделирования или предварительного опыта. Все это выходит за рамки возможностей современных систем.
Именно поэтому это важно не только для игр. Если ИИ не может надежно адаптироваться к совершенно новой видеоигре, он с еще меньшей вероятностью справится с непредсказуемостью реального мира. Шахматы, возможно, и привлекают внимание, но современные игры показывают, как много еще предстоит сделать ИИ.