Негатив рядом с брендом

В ответе нейросети написано: «…среди магазинов с быстрой доставкой стоит упомянуть Бренд, хотя на форумах встречаются жалобы на возвраты…». Читатель запомнит слово «жалобы». Негатив рядом с брендом: метрика, которая ловит такие случаи простым способом: ищет слова-маркеры («обман», «жалобы», «задержки», «возврат денег», «мошенники») в окне символов вокруг названия бренда.

Три параметра

Первый параметр, список слов-маркеров. Вы можете менять и дополнять его. Второй, окно: сколько символов слева и справа от названия просматривается. Третий, условие «в том же абзаце»: учитывать ли маркеры только из того же абзаца, что и бренд, чтобы не засчитывать негатив, относящийся к соседнему пункту списка.

Условный пример. Окно 120 символов в каждую сторону, фрагмент из начала: маркер «жалобы» стоит в 60 символах от названия, срабатывание есть. Второй фрагмент: «Бренд работает с 2015 года. Конкурент X недавно получал жалобы на качество». Маркер за границей абзаца, и при включённом условии «в том же абзаце» срабатывания нет.

Чем это не тональность

Тональность оценивает смысл фрагмента, и модель может ошибиться. Поиск слов даёт предсказуемый результат: вы видите, какое слово и где сработало, и можете оспорить. Недостаток тоже очевиден: слово «обман» в предложении «об обмане речи нет» засчитается как негатив. У метода высокая полнота и невысокая точность, поэтому результат всегда проверяют глазами.

Когда метрика врёт

Слишком широкое окно захватывает соседние пункты списка, и ложных срабатываний много. Один список слов на все ниши не годится: для ювелирного магазина ключевое слово «подделка», для магазина электроники нужны «брак» и «гарантия». Срабатывание не равно факту: нейросеть ошибается, а негатив нередко относится к конкурентам или к категории («покупка в интернете рискованна»). Ложные срабатывания нужно размечать отметкой «это не негатив», иначе метрика раздувается из-за одного и того же слова.

Что делать

Откройте страницу негатива и прочитайте фрагменты. Ошибочные пометьте «это не негатив», остальные сгруппируйте по теме: доставка, возвраты, качество. Проверьте, откуда нейросеть берёт тему: отзывы на площадках, форумы, новости. В ответах с веб-поиском источники видны. Если утверждение ложное, это галлюцинация: исправляют первоисточник и публикуют проверяемые факты на сайте. Если претензии справедливы, начните с сервиса, потому что публикации не удержат бренд, пока проблема есть.