AI-модерація обросла налаштуваннями

AI-модерація виїхала із шістьма готовими темами — скам, фішинг, гемблінг і компанія. Це закриває те, що заважає всім, але в кожного чату свій список недоречного, і він рідко збігається з чужим. За півтора місяця блок обріс усім, чого в ньому бракувало.

Свої правила звичайними словами#

Головне доповнення. На вкладці «Правила» до вбудованих тем можна додати свої. Правило — це опис того, що ловити, а не команда боту: що робити зі знайденим, вирішує ланцюжок покарань, як і в решті блоків.

Пишеться звичайним текстом, без синтаксису — ні дужок, ні зв'язок, ні екранування:

• повідомлення з нецензурною лексикою чи образами;
• пропозиції роботи й заробітку, зокрема «пишіть у приватні» та посилання на канали з вакансіями;
• оголошення про продаж будь-чого, крім рибальського спорядження й прикормки;
• збори грошей, реквізити карток і прохання скинути на щось;
• обговорення політики, виборів і воєнних новин;
• реклама сторонніх чатів і каналів, запрошення перейти в іншу спільноту;
• перехід на особистості й обговорення самих учасників, а не їхніх повідомлень.

Винятки пишуться там само й такими самими словами: «розповідь про власну роботу — не порушення». Модель розуміє формулювання так само, як розуміє вбудовану тему, і так само ловить його в будь-яких переформулюваннях.

Одне важливе обмеження: модель бачить лише саме повідомлення. Вона не знає, про що ваш чат, хто автор і який сьогодні день, тож формулювання на кшталт «не по темі чату» чи «офтоп» для неї порожні — перелічуйте конкретно, що вважати порушенням. На правило відводиться 500 символів, і цього вистачає із запасом.

Порядок, чутливість і симулятор#

Свої правила перевіряються окремим запитом і лише якщо повідомлення не потрапило в жодну зі вбудованих скам-тем, — і згори вниз, у тому порядку, у якому ви їх розставили. Порядок змінюється стрілками, тож важливіше правило можна підняти вище.

У кожного правила своя чутливість: «Точний» реагує лише за високої впевненості моделі, «Чутливий» — і за середньої. Для лайки підійде другий, для «переходу на особистості» — радше перший.

Перевірити формулювання, не чекаючи живого спаму, допомагає симулятор: вставляєте приклад повідомлення й бачите, яке правило спрацювало б. Санкції при цьому не застосовуються, але перевірка списується з балансу як звичайне повідомлення, а вбудовані теми в симуляторі не беруть участі — тільки ваші правила.

Своє покарання в кожного правила й теми#

У правила є ім'я, і далі воно живе саме по собі: свій ланцюжок покарань, свій лічильник порушень, свій рядок у журналі. Те саме отримали вбудовані теми: за фішинг можна банити одразу, а за рекламу гемблінгу обмежитися попередженням, і ці порушення не складуться в один лічильник.

У лозі модерації тепер видно не загальне «спрацювала AI-модерація», а назву конкретного правила чи теми. Поки санкції не задані, правило не спрацьовує — і кабінет про це прямо попереджає, а не лишає мовчазне правило ввімкненим.

Контроль витрати#

Блок платний за фактом роботи, тому з'явилися налаштування, які вирішують, кликати модель чи ні:

• мінімальна довжина повідомлення — «ок» і «дякую» в модель не йдуть зовсім;
• не перевіряти те, що вже впіймали — якщо повідомлення відсікли фрази, посилання, regex чи довжина, модель за замовчуванням не кличуть; окрема галочка змушує перевірити все одно й може видати другу, незалежну санкцію;
• альбоми — вмикаються окремо, бо альбом із десяти фото це десять перевірок, а не одна.

Правил теж варто тримати рівно стільки, скільки потрібно: кожне бере участь у перевірці кожного повідомлення й робить обробку дорожчою. Тому правил на чат не більше двадцяти, а кабінет попереджає про зростання вартості, а не мовчки списує більше.

За повтори ви не платите двічі#

Те саме повідомлення спамери розсилають десятками копій. Платити за кожну копію безглуздо, тому перевірка однакового тексту коштує як одна: повтор отримує готову відповідь і до моделі не доходить. В історії балансу такі перевірки позначені окремо, тож економію видно.

Автопоповнення#

Баланс, який скінчився вночі, означає чат без AI-модерації до ранку. Тепер можна задати поріг і суму — і коли залишок підходить до нижньої межі, баланс поповнюється сам. Сповіщення про низький баланс приходить у будь-якому разі.