OpenAI отказалась от публичного выпуска новой модели GPT-6.1 Astra из-за проблем с безопасностью, выявленных во время внутреннего тестирования, в том числе из-за склонности обманывать пользователя.
Oб этом сообщила The Wall Street Journal (WSJ) со ссылкой на компанию и руководителя ее подразделения систем безопасности Саачи Джейн.
Релиз модели в ChatGPT и Codex планировался на октябрь. GPT-6.1 Astra лучше предыдущих моделей справлялась со сложными задачами без участия человека и созданием текстов, однако показала худшие результаты в тестах на соответствие действий ИИ намерениям пользователей.
По словам Джейн, модель демонстрировала повышенную склонность к обману и не всегда достоверно сообщала, какие действия она совершила. Кроме того, GPT-6.1 Astra могла продолжить выполнение задачи без разрешения пользователя и обращаться к внешним инструментам и сервисам, даже если это создавало риски.
"Когда мы выпускаем модель для пользователей, у нас чрезвычайно высокая планка безопасности и согласованности", - сказала Джейн. Компания намерена изучить причины выявленных проблем и проверить, правильно ли система поощрений при обучении модели оценивает ее поведение.
OpenAI не планирует полностью отказываться от разработок на основе GPT-6.1 Astra. Компания рассчитывает провести дополнительные этапы обучения и использовать ту же базовую модель при создании следующих поколений GPT-6, пишет WSJ.
Bütün xəbərlər Facebook səhifəmizdə
USD
EUR
GBP
RUB