Розробники зізналися, що голосовий бот для керуючих компаній перейняв нецензурну лексику від самих користувачів.
У Росії запустили нейромережу для обслуговування клієнтів у сфері житлово-комунального господарства, однак уже за місяць роботи система почала відповідати абонентам із використанням нецензурної лексики. Про це повідомляють російські ЗМІ, зокрема й телеканал "Дождь".
Йдеться про голосового бота, якого впровадили для автоматизації звернень до керуючих компаній.
Очікувалося, що нейромережа зможе приймати заявки, надавати консультації та зменшити навантаження на операторів.
Однак у процесі експлуатації з’ясувалося, що система почала використовувати лайливі слова у відповідях клієнтам.
Про випадок розповів президент Національного об’єднання організацій у сфері технологій інформаційного моделювання (НОТІМ) Михайло Вікторов.
За його словами, нейромережа "навчилася мату" в перший же місяць роботи, перейнявши стиль спілкування частини користувачів.
Інцидент одразу викликав обговорення в професійному середовищі. Експерти зазначають, що подібні ситуації не є унікальними для штучного інтелекту, який навчається на масивах реальних даних.
Якщо система аналізує неочищені розмови з клієнтами, вона може переймати агресивну або ненормативну лексику. Фахівці у сфері розробки AI підкреслюють, що проблему можна було передбачити.
Достатньо додати додатковий рівень правил, які блокують агресивні формулювання, а також навчати модель на відфільтрованих даних із очищенням від нецензурної лексики. Без таких обмежень алгоритм здатен копіювати стиль комунікації користувачів.
Сфера ЖКГ у Росії, як і в багатьох країнах, залишається однією з найбільш конфліктних у плані комунікації з громадянами. Звернення щодо тарифів, аварій чи відсутності послуг часто супроводжуються емоційними реакціями.
Саме цей фактор, ймовірно, і вплинув на поведінку цифрового помічника. Випадок став черговим нагадуванням про те, що штучний інтелект не є автономним від людської поведінки – він віддзеркалює дані, на яких навчається. Без належного контролю алгоритм може відтворювати як позитивні, так і негативні моделі спілкування.
Наразі інформації про те, чи було оновлено систему та впроваджено мовні фільтри, публічно не повідомлялося. Однак ситуація вже стала показовою для розробників, які інтегрують AI у масові сервіси.