Теперь Roblox использует модерацию с помощью ИИ для блокировки вредоносного контента до того, как он попадёт к вам.

Если вы когда-либо играли в Roblox , вы знаете, насколько непредсказуемой и непредсказуемой может быть эта платформа. Теперь Roblox использует эту же непредсказуемость как повод для пересмотра системы модерации контента.

Платформа недавно внедрила многомодальную систему модерации на основе ИИ в режиме реального времени, которая не просто проверяет отдельные случаи, а сканирует целые игровые сцены в режиме реального времени, чтобы обнаружить контент, который проскользнул мимо предыдущих фильтров.

Как работает новая система модерации с использованием ИИ в Roblox?

В отличие от старых инструментов модерации, которые оценивали только один объект за раз, новая мультимодальная система оценивает всю сцену целиком, включая аватары, текст и 3D-объекты, чтобы определить, нарушает ли вся комбинация стандарты сообщества Roblox.

Например, рассмотрим ситуацию, когда кто-то использует инструмент для рисования произвольной формы, чтобы набросать оскорбительный символ — такой, который не вызвал бы проверки по одному пункту, но который явно представляет собой проблему в контексте.

При обнаружении повторных нарушений в одном игровом экземпляре система отключает только этот сервер, а не всю игру. С момента запуска ежедневно отключалось около 5000 серверов.

Roblox работает над тем, чтобы с помощью этой системы отслеживать 100% игрового времени. Помимо отключения серверов, компания также разрабатывает инструменты для выявления и удаления отдельных нарушителей, не портя при этом игровой процесс для всех остальных.

Что это значит для создателей контента в Roblox?

Создатели контента тоже не останутся в неведении. В новой диаграмме в существующей панели управления для создателей контента теперь отображается, сколько ваших игровых серверов было отключено в любой конкретный день из-за ненадлежащего поведения пользователей.

Резкие скачки этого показателя могут сигнализировать о проблеме, требующей расследования, предоставляя создателям возможность пересмотреть и скорректировать такие вещи, как пользовательские эмоции или внутриигровые инструменты для строительства, прежде чем ситуация ухудшится.

Новая программа сертификации для наведения порядка в онлайн-играх.

Roblox также решает более масштабную проблему в индустрии. Совместно с Keyword Studios и Riot Games компания разрабатывает программу DLC Leadership Program для менеджеров и модераторов онлайн-сообществ.

Научное направление возглавляет психолог-исследователь Рейчел Коверт, директор по исследованиям в организации Games for Change. Цель – создание стандартизированной, основанной на доказательствах программы обучения для людей, управляющих игровыми сообществами, чего в индустрии раньше никогда не было.

Roblox уже некоторое время усиливает свою систему безопасности, от родительского контроля до возрастных фильтров в чате , и последнее обновление — это самый амбициозный шаг компании на сегодняшний день.