Чат-бот пересек личные границы погибшей девушки в США

Чат-бот пересек личные границы погибшей девушки в США

Платформа Character.AI, предоставляющая возможность создавать чат-ботов на основе как реальных, так и вымышленных персонажей, оказалась в центре громкого скандала.

Семья Дженнифер Креченте, убитой в 2006 году, выразила недовольство после того, как узнала о существовании аватара, созданного на основе образа их погибшей родственницы.

Чат-бот использовался для общения, пока семья не привлекла внимание к данной ситуации через социальные сети. Случай вызвал возмущение у родственников, поскольку использование образа покойной для общения с пользователями было воспринято как серьезное нарушение её памяти и достоинства.

Character.AI, созданная бывшими сотрудниками Google, предоставляет пользователям возможность создавать цифровых персонажей на основе любой информации: будь то вымышленная личность, знаменитость или даже реальный человек. На платформе доступны чат-боты, имитирующие, например, Илона Маска или Тейлор Свифт. Однако в этот раз один из пользователей воссоздал образ Дженнифер Креченте, что вызвало волну критики.

Компания Character.AI, оцененная в миллиард долларов и поддерживаемая известным венчурным фондом Andreessen Horowitz, утверждает, что у неё более 20 миллионов пользователей и около 100 миллионов созданных персонажей. Чат-бот Дженнифер был описан как «дружелюбный и эрудированный персонаж», предоставляющий советы в области журналистики, видеоигр и поп-культуры. Почти 70 человек успели взаимодействовать с ботом до его удаления.

Страница чат-бота, основанного на личности Дженнифер Креченте

Ситуация получила огласку благодаря Брайану Креченте, дяде Дженнифер и бывшему главному редактору игрового сайта Kotaku. Брайан опубликовал пост в соцсети, где выразил шок от обнаружения бота, основанного на образе его племянницы. Вскоре компания удалила аватар, признав, что он нарушает правила площадки.

В ответ на возмущение семьи Character.AI опубликовала краткое сообщение, в котором поблагодарила за сообщение и пообещала удалить чат-бота, а также провести дальнейшую проверку. Однако в блог-посте под названием «ИИ и смерть достоинства» Брайан Креченте подчеркнул, что ситуация принесла его семье новые страдания, несмотря на все усилия, которые они предпринимали, чтобы почтить память Дженнифер, в том числе через создание благотворительной организации.

Данный случай поднимает серьёзные вопросы о том, как компании, занимающиеся разработкой ИИ, защищают этические принципы и какие механизмы существуют для предотвращения таких инцидентов. На данный момент остаётся неясным, смогут ли пострадавшие от таких действий юридически оспорить действия платформы, так как подобные случаи редко рассматриваются в судах.

Стоит отметить, что в условиях обслуживания Character.AI есть оговорка, которая не позволяет пользователям подавать на в суд на сервис, но, похоже, нет никаких формулировок об особенно уникальной полосе эмоционального стресса, причиняемого пользователями не пользователям платформы.

Ситуация с Character.AI показывает, что вопросы этики и ответственности в отношении ИИ только начинают обсуждаться, и подобные инциденты, вероятно, будут повторяться в будущем.