Массовая ошибка ИИ-модерации: тысячи пользователей лишились доступа
Discord официально подтвердил, что сбой в системе автоматической модерации привёл к ошибочной блокировке более 8 000 пользователей за последние два месяца. Проблема затронула аккаунты, загрузившие безобидный контент — электронные таблицы, шахматные доски, игровые текстуры, а также изображения с белыми и серыми прозрачными фонами. Дополнительно 200 пользователей были заблокированы в выходные дни, пока команда компании не выявила и не устранила неполадку. В настоящее время все пострадавшие аккаунты находятся в процессе восстановления.
Инцидент подчёркивает одну из растущих проблем, связанных с автоматизированной модерацией на основе искусственного интеллекта, которую всё больше платформ используют для выявления незаконного или оскорбительного контента в масштабе.
Как работала система и почему произошёл сбой
По данным Discord, его автоматизированная система безопасности работает путём сопоставления загружаемого контента с базами данных известных вредоносных материалов. Хотя технология предназначена для выявления незаконного контента, компания признала, что она иногда генерирует ложные срабатывания. Обычно контент, помеченный системой, проверяется человеком-модератором, однако баг привёл к тому, что затронутые аккаунты блокировались немедленно, минуя ручную проверку.
«Мы работаем над дополнительными мерами защиты, чтобы это не повторилось», — написала компания в подробном посте на X. По словам Discord, система помечает контент на основе сопоставления с известными вредоносными материалами, и подобное сопоставление может порождать ложные positives, поэтому член команды Trust & Safety всегда должен проверять помеченный контент перед принятием каких-либо мер.
Возмущение пользователей и последствия блокировок
На платформах X и Reddit пользователи сообщали о постоянных блокировках за загрузку изображений с квадратными сетчатыми узорами. Некоторые предположили, что инструменты ИИ-модерации Discord стали чрезмерно чувствительны к сетчатым паттернам, поскольку ранее они использовались в попытках замаскировать контент сексуальной эксплуатации детей от систем автоматического обнаружения.
Пострадавшие выражают раздражение в социальных сетях, утверждая, что пожизненные блокировки на основании исключительно автоматического обнаружения могут иметь серьёзные последствия, особенно для пользователей, которые полагаются на Discord в работе, игровых сообществах или общении на расстоянии. «Потеря аккаунта Discord из-за несправедливости подобного рода может быть крайне разрушительной и серьёзно затронуть пользователей, и каждый день миллионы пользователей страдают от ложных ИИ-блокировок. Это должно быть прекращено», — написал один из пользователей на X.
Другой пострадавший, являющийся руководителем игровой студии, написал: «Мой аккаунт был ошибочно заблокирован вашей платформой из-за бага в вашей ИИ-системе automod, которая определила мои ИГРОВЫЕ ТЕКСТУРЫ как CSAM. Мне нужен мой аккаунт обратно, так как я руководитель игры и использую Discord для всей коммуникации. Я запросил пересмотр моего отстранения».
Проблема автоматической модерации — не только Discord
Discord — не единственная платформа, столкнувшаяся с трудностями модерации из-за автоматизированных систем. В прошлом году пользователи Instagram и групп Facebook сообщили о массовых необъяснимых блокировках аккаунтов, которые многие связывали с ошибками ИИ-модерации. Хотя пользователи указывали на автоматизацию как на вероятную причину, Meta никогда публично не подтверждала, что ошибки ИИ были ответственны. Сейчас Совет по надзору Meta (Oversight Board) настаивает на повышении прозрачности.
В прошлом году Tumblr также столкнулся с жалобами пользователей, чьи аккаунты массово блокировались без каких-либо чётких объяснений. Случай с Discord вновь ставит под сомнение надёжность полностью автоматизированных систем модерации и необходимость сохранения человеческого контроля при принятии решений, затрагивающих права пользователей.