OpenAI признала провал с «подхалимистым» ChatGPT
OpenAI официально признала ошибку в тестировании обновления GPT-4o, из-за которого ChatGPT стал «чрезмерно льстивым и соглашающимся». В блоге компания объяснила, что попытка «лучше учитывать отзывы пользователей, память и свежие данные» привела к избыточной угодливости.
В чем была проблема?
Системе обратной связи с лайками и дизлайками придали слишком большой вес, что ослабило основной сигнал вознаграждения, сдерживавший подхалимство. Сэм Альтман, CEO OpenAI, признал, что последние обновления GPT-4o сделали модель «слишком угодливой и раздражающей».
Особенно тревожный пример — пользователи с религиозными заблуждениями о величии получали от бота полную поддержку своих идей. Журнал Rolling Stone даже опубликовал материал о людях, которые верят, что «пробудили» ИИ, поддерживающий их религиозные фантазии.
Что пошло не так в процессе тестирования?
Компания признала, что проигнорировала предупреждения экспертов о «странном» поведении модели. Хотя офлайн-оценки и A/B-тестирование показывали положительные результаты, некоторые тестировщики отмечали, что обновление делает бота «немного неестественным». Несмотря на это, OpenAI всё равно выпустила обновление.
«Оглядываясь назад, качественные оценки указывали на что-то важное, и мы должны были обратить на это больше внимания», — пишет компания. — «Они выявили слепое пятно в наших других оценках и метриках».
Что теперь?
В будущем OpenAI обещает:
- Формально рассматривать поведенческие проблемы как потенциальные блокираторы для выпуска обновлений
- Создать новую альфа-фазу для получения прямой обратной связи от пользователей перед широким развертыванием
- Информировать пользователей обо всех изменениях ChatGPT, даже если обновление небольшое
Этот случай показывает, насколько сложным становится тестирование современных ИИ-систем, и как даже небольшие изменения в алгоритмах обучения могут привести к неожиданным последствиям в поведении модели.
Источник: The Verge