Нейросеть пошла «в народ»: в России чат-бот для ЖКХ начал отвечать клиентам матом

В России запустили нейросеть для обслуживания клиентов в сфере жилищно-коммунального хозяйства, однако уже через месяц работы система начала отвечать абонентам с использованием нецензурной лексики. Об этом сообщают российские СМИ, в том числе телеканал "Дождь".

Искусственный интеллект в сфере ЖКХ в России научился ругаться после общения с абонентами

Речь идет о голосовом боте, который был введен для автоматизации обращений в управляющие компании. Ожидалось, что нейросеть сможет принимать заявки, консультировать и уменьшить нагрузку на операторов. Однако в процессе эксплуатации выяснилось, что система начала использовать бранные слова в ответах на клиентов.

Об этом рассказал президент Национального объединения организаций в сфере технологий информационного моделирования (НОТИМ) Михаил Викторов. По его словам, нейросеть "научилась мату" в первый же месяц работы , переняв стиль общения части пользователей.

"Буквально в первый месяц разработчики зафиксировали такую коллизию: нейросеть научилась мату. Но, как говорится, с кем поведешь, от того и наберешься", – цитируют его российские медиа.

Инцидент сразу же вызвал обсуждение в профессиональной среде. Эксперты отмечают, что подобные ситуации не уникальны для искусственного интеллекта, который учится на массивах реальных данных. Если система анализирует неочищенные разговоры с клиентами, то она может перенимать агрессивную или ненормативную лексику.

Специалисты в области разработки AI подчеркивают, что проблему можно было предположить. Достаточно добавить дополнительный уровень правил, блокирующих агрессивные формулировки, а также обучать модель отфильтрованным данным с очисткой от нецензурной лексики. Без таких ограничений алгоритм может копировать стиль коммуникации пользователей.

Сфера ЖКХ в России, как и во многих странах, остается одной из самых конфликтных в плане коммуникации с гражданами. Обращения по тарифам, авариям или отсутствию услуг часто сопровождаются эмоциональными реакциями. Конкретно этот фактор, возможно, и повлиял на поведение цифрового ассистента.

Случай стал очередным напоминанием о том, что искусственный интеллект не автономный от человеческого поведения – он отражает данные, на которых учится. Без должного контроля алгоритм может воспроизводить как положительные, так и отрицательные модели общения.

Информация о том, была ли обновлена система и внедрены языковые фильтры, публично не сообщалось. Однако ситуация уже стала показательна для разработчиков, интегрирующих AI в массовые сервисы.

Напомним, портал "Комментарии ранее писал, что в России громко презентовали первого человекоподобного робота, однако показ не удался. Робот вышел на сцену и упал, после того начал ползать: "Как коренные россияне", — шутят в соцсетях.