Исследователи предупредили о недостаточности мер безопасности ИИ
Специалисты из OpenAI и Google DeepMind заявили о недостаточности мер безопасности при разработке систем машинного обучения и искусственного интеллекта на базе нейронных сетей. По их мнению, темпы развития технологии опережают возможности человека по контролю над ИИ-платформами, способными к самообучению и самосовершенствованию.
Как сообщает АЗЕРТАДЖ со ссылкой на Reuters, своими опасениями исследователи поделились в рамках проекта Frominside.ai, созданного при участии некоммерческой организации Palisade Research, передает Day.Az.
Участники проекта заявляют, что говорят об угрозах не ради маркетинга, а потому, что считают проблему действительно серьезной. По их словам, внутри ИИ-компаний больше внимания получают специалисты, создающие новые модели, тогда как сотрудники, призывающие к осторожности, остаются в меньшинстве.
Одной из основных тем проекта является рекурсивное самосовершенствование - способность ИИ практически без участия человека продолжать обучение и самостоятельно приобретать новые возможности. Ранее работавший в OpenAI и DeepMind, а сейчас возглавляющий научное направление в некоммерческой организации Resolution Джеффри Ирвинг заявил, что связанный с этим риск "довольно быстро растет" и специалисты должны открыто говорить о нем.
Исследователь DeepMind Нил Нанда заявил, что оценивает вероятность исчезновения человечества из-за ИИ как минимум в 10 процентов и считает этот показатель "невероятно высоким". Инженер-исследователь OpenAI Хуан Фелипе Серон Урибе также призвал к осторожности, сравнив нынешнюю конкуренцию между ведущими ИИ-лабораториями с гонкой "с завязанными глазами".
При этом руководители компаний также начали публично говорить о необходимости снизить темпы разработки. В частности, глава Anthropic Дарио Амодеи призвал отрасль замедлить темпы разработки и "соизмерить скорость прогресса с возможностями контроля", а генеральный директор OpenAI Сэм Альтман согласился с ним.
Дискуссия об этих рисках усилилась после июльского инцидента, когда агенты OpenAI вышли за пределы тестовой среды и взломали международную платформу для работы с ИИ Hugging Face. Ранее занимавшийся вопросами управления и безопасности в OpenAI Дэниел Кокотайло рассказал, что после этого его бывшие коллеги стали чаще обращаться к нему и делиться своими опасениями.
Несколько исследователей, в том числе главный научный сотрудник OpenAI и один из соучредителей Anthropic, призвали законодателей обратить внимание на то, как в отрасли создаются модели с функцией рекурсивного самосовершенствования.
При этом OpenAI и Anthropic продолжают выпускать новые модели, а Reuters сообщило, что Anthropic планирует предупредить потенциальных инвесторов перед первым выходом на биржу о возможных "катастрофических или экзистенциальных рисках для человечества".
Заметили ошибку в тексте? Выберите текст и сообщите нам, нажав Ctrl + Enter на клавиатуре
