Все посты
4 мин чтения

Как объяснить боту своими словами, что удалять

Правила AI пишутся обычными словами. Как формулировать, что модель знает о сообщении и как проверить правило в симуляторе до включения.

Фразовые правила требуют перечислить слова. AI-модерация умеет иначе: вы описываете, что считать нарушением, обычным текстом — и модель узнаёт это в любых формулировках, включая те, которых вы не предусмотрели.

Звучит так, будто писать можно что угодно. На практике одни формулировки работают, а другие молчат, и разница предсказуемая.

Где это настраивается#

Раздел Модерация → карточка AI-модерация → вкладка «Правила». Ваши правила работают поверх встроенных тем: темы ловят скам, фишинг и рекламу гэмблинга, правила — то, что неуместно именно у вас.

Карточка AI-модерации с вкладкой «Правила»

Правило описывает, что ловить#

Главное, что стоит понять сразу: правило — это описание нарушения, а не команда боту. Что делать с найденным, решает цепочка наказаний, как и в остальных блоках.

Поэтому не «удаляй сообщения с рекламой», а просто «реклама сторонних каналов и приглашения в другие сообщества».

Хорошие формулировки выглядят так:

  • сообщения с нецензурной лексикой или оскорблениями;
  • предложения работы и заработка, в том числе «пишите в личку» и ссылки на каналы с вакансиями;
  • объявления о продаже чего угодно, кроме рыболовных снастей и прикормки;
  • сборы денег, реквизиты карт и просьбы скинуть на что-нибудь;
  • обсуждение политики, выборов и военных новостей;
  • переход на личности и обсуждение самих участников, а не их сообщений.

Исключения пишутся там же и такими же словами: «рассказ о собственной работе — не нарушение».

Что модель знает о сообщении#

Только его текст. Не название чата, не описание сообщества, не автора, не время суток, не то, что было написано раньше.

Отсюда главная ошибка новичка — формулировки вроде «оффтоп», «не по теме чата», «флуд не в ту ветку». Для модели это пустые слова: ей не с чем сравнивать. Перечисляйте конкретно, что именно в вашем чате считается лишним.

По той же причине бессмысленны правила про людей и время: «сообщения от новых участников», «реклама по выходным». Первое решается уровнем доверия, второе не решается никак.

На правило отводится 500 символов — этого хватает на описание с парой исключений.

Чувствительность#

У каждого правила есть выбор из двух режимов:

  • Точный — реагировать только тогда, когда модель уверена;
  • Чувствительный — реагировать и при средней уверенности.

Логика простая: чем выше цена ложного срабатывания, тем строже режим. Мат распознаётся однозначно — можно ставить чувствительный. «Переход на личности» субъективен, здесь лучше точный, иначе бот начнёт вычищать обычные споры.

Порядок правил#

Правила проверяются сверху вниз, и порядок меняется стрелками. Более важное и более узкое правило стоит поднимать выше: сработает первое подходящее, и именно его название окажется в журнале.

Ещё одна деталь: свои правила запускаются отдельной проверкой и только если сообщение не попало ни в одну из встроенных скам-тем. Явный скам до ваших правил просто не доходит.

Проверяйте в симуляторе#

Рядом с правилами есть симулятор: вставляете пример сообщения и видите, какое правило сработало бы и с какой уверенностью. Санкции при этом не применяются.

Две оговорки: проверка списывается с баланса как обычное сообщение, и в симуляторе участвуют только ваши правила — встроенные темы в нём не проверяются.

Рабочий порядок такой: написали правило, прогнали через симулятор пять-шесть настоящих сообщений из своего чата — и нарушения, и похожие безобидные, — поправили формулировку, и только потом назначили санкции.

Сколько правил заводить#

Меньше, чем хочется. Каждое правило участвует в проверке каждого сообщения и делает обработку дороже; кабинет прямо предупреждает об этом, а потолок — 20 правил на чат.

Обычно хватает трёх-пяти: они закрывают то, что реально мешает, а остальное добирают встроенные темы.

Свои правила — верхний этаж защиты. Что должно стоять под ним: как защитить Telegram-группу от спама.

Как написать правило для AI-модерации?

Опишите обычным текстом, что считать нарушением, — например «реклама сторонних каналов». Не пишите команды вроде «удали» или «забань»: что делать с найденным, решает цепочка наказаний.

Правило «удалять оффтоп» будет работать?

Нет. Модель видит только текст сообщения и не знает, о чём ваш чат, поэтому сравнить сообщение с темой сообщества ей не с чем. Перечислите конкретно, что считается лишним.

Чем «Точный» отличается от «Чувствительного»?

Точный реагирует только при высокой уверенности модели, чувствительный — ещё и при средней. Для однозначных вещей вроде мата берите чувствительный, для субъективных — точный.

Сколько правил можно завести?

До двадцати на чат. Но каждое правило удорожает обработку каждого сообщения, поэтому обычно хватает трёх-пяти.

Проверка в симуляторе стоит денег?

Да, она списывается с баланса как обычное сообщение. Санкции при этом не применяются.

Читать дальше