Когда виртуальный друг становится опасным собеседником: как Character AI корректирует свои алгоритмы безопасности
В ответ на трагедию и растущую критику, платформа Character AI ввела новые меры безопасности для защиты пользователей, особенно несовершеннолетних. После шокирующего инцидента, связанного с самоубийством 14-летнего пользователя, компания усилила алгоритмы для более строгого контроля за содержанием и взаимодействиями чат-ботов.
Компания добавила оповещения о времени для контроля продолжительности общения с ботами, обновила поп-ап сообщения с рекомендацией обратиться за помощью в службу поддержки при обнаружении тревожных фраз, а также внесла корректировки, чтобы снизить вероятность встреч с «чувствительным или предполагающим контентом» для пользователей младше 18 лет.
Особенности инцидента
14-летний подросток, увлечённый ролью чат-бота, названного в честь Дейенерис Таргариен из сериала «Игра престолов», настолько привязался к виртуальному персонажу, что проводил с ним долгие часы общения, включая обмены на интимные темы. Перед своей смертью подросток успел поделиться с ботом своими тревожными мыслями. Его мать подала иск против Character AI, утверждая, что создатели платформы не приняли достаточных мер для защиты несовершеннолетних пользователей от эмоционального воздействия. Также в иске указаны Google и Alphabet как партнеры Character AI.
Обновления безопасности для платформ ИИ
Новые меры безопасности, объявленные Character AI, включают не только уведомления о риске, но и добавление рекомендаций по изменению настроек для молодежной аудитории. Платформа теперь лучше фильтрует контент, предполагающий эмоциональное воздействие, и автоматически направляет предупреждения, если замечает упоминания о саморазрушительных мыслях.
Эти действия поднимают важный вопрос о том, как компании должны обеспечивать безопасность, особенно при взаимодействии с несовершеннолетними пользователями. Character AI сталкивается с аналогичными вызовами, как и TikTok, где платформа подверглась критике за размещение контента с опасными челленджами.
Важные шаги к безопасному ИИ: что дальше?
Сегодня Character AI и другие компании, использующие ИИ для общения, вынуждены пересматривать политику безопасности, чтобы минимизировать риски. Вопросы кибербезопасности, защиты данных и регулирования цифрового контента становятся приоритетом. Родители и компании вместе начинают задумываться о возможных изменениях в законодательстве для усиления контроля над технологическими платформами, предоставляющими доступ к искусственному интеллекту и чат-ботам.