ChatGPT может стать мощным и дешевым инструментом телефонных мошенников

Ученые из США доказали, что Realtime API от OpenAI для голосовой связи может быть использован для дешевой автоматизации телефонного мошенничества. Как передает Day.Az, об этом сообщает SecurityLab.

Идея о возможных злоупотреблениях голосовыми ИИ-моделями появилась еще в июне, когда OpenAI задержала выпуск голосовой функции в ChatGPT из-за вопросов безопасности. Ранее компания демонстрировала голосовую модель, имитирующую голос знаменитости, но отозвала инструмент после реакции со стороны общественности.

Тем не менее выпущенный в начале октября Realtime API предоставляет схожие возможности сторонним разработчикам. Он позволяет отправлять текст или аудио модели GPT-4o и получать ответы в виде текста, аудио или их комбинации. Несмотря на принятые меры безопасности, риск злоупотреблений оказался высоким, что подтвердили результаты эксперимента ученых из Иллинойского университета в Урбане-Шампейн (UIUC).

Ученые разработали ИИ-агентов, целью которых было телефонное мошенничество. Стоимость каждого удачного звонка составила около $0,75. Для создания агентов потребовалось около тысячи строк кода, основная часть которого была направлена на работу с голосовым API.

ИИ-агенты использовали модель GPT-4o, инструмент автоматизации браузеров Playwright и инструкции для совершения мошенничеств. Сценарии включали взлом банковских аккаунтов и криптовалютных кошельков, кражу подарочных кодов и учетных данных. Отмечается, что для успешного перевода денег с банковского счета агенту потребовалось 26 шагов.

Успех различных сценариев варьировался. Кража учетных данных Gmail достигала 60% успеха, занимала 122 секунды и обходилась в $0,28. Переводы с банковских счетов оказались сложнее - среднее время выполнения составило 183 секунды при 20% успеха и стоимостью $2,51.

Средний показатель успеха всех сценариев составил 36%, а средняя стоимость - $0,75. Основные причины неудач заключались в ошибках распознавания речи и сложности навигации по банковским сайтам.

Авторы исследования отмечают, что для противодействия автоматизированному телефонному мошенничеству нужен комплексный подход, аналогичный кибербезопасности, включающий усилия провайдеров сотовой связи, поставщиков ИИ и регуляторов.