AI-модерация обросла настройками

AI-модерация выехала с шестью готовыми темами — скам, фишинг, гэмблинг и компания. Это закрывает то, что мешает всем, но у каждого чата свой список неуместного, и он редко совпадает с чужим. За полтора месяца блок оброс всем, чего в нём не хватало.

Свои правила обычными словами#

Главное дополнение. На вкладке «Правила» к встроенным темам можно добавить свои. Правило — это описание того, что ловить, а не команда боту: что делать с найденным, решает цепочка наказаний, как и в остальных блоках.

Пишется обычным текстом, без синтаксиса — ни скобок, ни связей, ни экранирования:

• сообщения с нецензурной лексикой или оскорблениями;
• предложения работы и заработка, в том числе «пишите в личку» и ссылки на каналы с вакансиями;
• объявления о продаже чего угодно, кроме рыболовных снастей и прикормки;
• сборы денег, реквизиты карт и просьбы скинуть на что-нибудь;
• обсуждение политики, выборов и военных новостей;
• реклама сторонних чатов и каналов, приглашения перейти в другое сообщество;
• переход на личности и обсуждение самих участников, а не их сообщений.

Исключения пишутся там же и такими же словами: «рассказ о собственной работе — не нарушение». Модель понимает формулировку так же, как понимает встроенную тему, и так же ловит её в любых переформулировках.

Одно важное ограничение: модель видит только само сообщение. Она не знает, о чём ваш чат, кто автор и какой сегодня день, поэтому формулировки вроде «не по теме чата» или «оффтоп» для неё пустые — перечисляйте конкретно, что считать нарушением. На правило отводится 500 символов, и этого хватает с запасом.

Порядок, чувствительность и симулятор#

Свои правила проверяются отдельным запросом и только если сообщение не попало ни в одну из встроенных скам-тем, — и сверху вниз, в том порядке, в котором вы их расставили. Порядок меняется стрелками, так что более важное правило можно поднять выше.

У каждого правила своя чувствительность: «Точный» реагирует только при высокой уверенности модели, «Чувствительный» — и при средней. Для мата подойдёт второй, для «переход на личности» — скорее первый.

Проверить формулировку, не дожидаясь живого спама, помогает симулятор: вставляете пример сообщения и видите, какое правило сработало бы. Санкции при этом не применяются, но проверка списывается с баланса как обычное сообщение, а встроенные темы в симуляторе не участвуют — только ваши правила.

Своё наказание у каждого правила и темы#

У правила есть имя, и дальше оно живёт само по себе: своя цепочка наказаний, свой счётчик нарушений, своя строка в журнале. То же самое получили встроенные темы: за фишинг можно банить сразу, а за рекламу гэмблинга ограничиться предупреждением, и эти нарушения не сложатся в один счётчик.

В логе модерации теперь видно не общее «сработала AI-модерация», а название конкретного правила или темы. Пока санкции не заданы, правило не срабатывает — и кабинет об этом прямо предупреждает, а не оставляет молчащее правило включённым.

Контроль расхода#

Блок платный по факту работы, поэтому появились настройки, которые решают, звать модель или нет:

• минимальная длина сообщения — «ок» и «спасибо» в модель не уходят вовсе;
• не проверять то, что уже поймали — если сообщение отсекли фразы, ссылки, regex или длина, модель по умолчанию не зовут; отдельная галочка заставляет проверить всё равно и может выдать вторую, независимую санкцию;
• альбомы — включаются отдельно, потому что альбом из десяти фото это десять проверок, а не одна.

Правил тоже стоит держать ровно столько, сколько нужно: каждое участвует в проверке каждого сообщения и делает обработку дороже. Поэтому правил на чат не больше двадцати, а кабинет предупреждает о росте стоимости, а не молча списывает больше.

За повторы вы не платите дважды#

Одно и то же сообщение спамеры рассылают десятками копий. Платить за каждую копию бессмысленно, поэтому проверка одинакового текста стоит как одна: повтор получает готовый ответ и до модели не доходит. В истории баланса такие проверки помечены отдельно, так что экономия видна.

Автопополнение#

Баланс, который кончился ночью, означает чат без AI-модерации до утра. Теперь можно задать порог и сумму — и когда остаток подходит к нижней границе, баланс пополняется сам. Уведомление о низком балансе приходит в любом случае.