пятница, 25 октября 2024 г.
/Новости

Когда виртуальный друг становится опасным собеседником: как Character AI корректирует свои алгоритмы безопасности

В ответ на трагедию и растущую критику, платформа Character AI ввела новые меры безопасности для защиты пользователей, особенно несовершеннолетних. После шокирующего инцидента, связанного с самоубийством 14-летнего пользователя, компания усилила алгоритмы для более строгого контроля за содержанием и взаимодействиями чат-ботов.

Компания добавила оповещения о времени для контроля продолжительности общения с ботами, обновила поп-ап сообщения с рекомендацией обратиться за помощью в службу поддержки при обнаружении тревожных фраз, а также внесла корректировки, чтобы снизить вероятность встреч с «чувствительным или предполагающим контентом» для пользователей младше 18 лет.

Особенности инцидента

14-летний подросток, увлечённый ролью чат-бота, названного в честь Дейенерис Таргариен из сериала «Игра престолов», настолько привязался к виртуальному персонажу, что проводил с ним долгие часы общения, включая обмены на интимные темы. Перед своей смертью подросток успел поделиться с ботом своими тревожными мыслями. Его мать подала иск против Character AI, утверждая, что создатели платформы не приняли достаточных мер для защиты несовершеннолетних пользователей от эмоционального воздействия. Также в иске указаны Google и Alphabet как партнеры Character AI.

Обновления безопасности для платформ ИИ

Новые меры безопасности, объявленные Character AI, включают не только уведомления о риске, но и добавление рекомендаций по изменению настроек для молодежной аудитории. Платформа теперь лучше фильтрует контент, предполагающий эмоциональное воздействие, и автоматически направляет предупреждения, если замечает упоминания о саморазрушительных мыслях.

Эти действия поднимают важный вопрос о том, как компании должны обеспечивать безопасность, особенно при взаимодействии с несовершеннолетними пользователями. Character AI сталкивается с аналогичными вызовами, как и TikTok, где платформа подверглась критике за размещение контента с опасными челленджами.

Важные шаги к безопасному ИИ: что дальше?

Сегодня Character AI и другие компании, использующие ИИ для общения, вынуждены пересматривать политику безопасности, чтобы минимизировать риски. Вопросы кибербезопасности, защиты данных и регулирования цифрового контента становятся приоритетом. Родители и компании вместе начинают задумываться о возможных изменениях в законодательстве для усиления контроля над технологическими платформами, предоставляющими доступ к искусственному интеллекту и чат-ботам.

Подписывайтесь на наш Telegram!
На канале больше новостей и гайдов для ИИ
Загружаем комментарии
Другие новости

Aitoolz.ru — Ваш гид по ИИ и нейросетям.

Последние новости из мира ИИ; Практические гайды по нейросетям и ИИ-инструментам; Обзоры передовых технологий; Раскрываем потенциал искусственного интеллекта. Будьте в авангарде прогресса!