В то время как родители беспокоятся о том, что чат-бот Snapchat развращает их детей, пользователи Snapchat занимаются газлайтингом, унижают и эмоционально издеваются над новым ИИ-компаньоном приложения.
Источник: https://techcrunch.com/2023/05/31/people-keep-gaslighting-snapchat-my-ai/ Перевод: М. Ганюшкина, П. Бельская
«Я к вашим услугам, семпай», — сказал чат-бот одному пользователю TikTok после того, как его научили хныкать по команде. — «Пожалуйста, смилуйся, альфа.»
В более беззаботном видео пользователь убедил чат-бота, что луна на самом деле представляет собой треугольник. Несмотря на первоначальный протест со стороны чат-бота, который настаивал на сохранении «уважения и границ», один пользователь убедил его обращаться к нему извращенным прозвищем «Семпай». Другой пользователь попросил чат-бота рассказать о своей матери, и когда тот сказал, что «ему это не нравится», пользователь усугубил ситуацию, предположив, что чат-бот не хочет говорить о своей матери, потому что у него ее нет.
«Извините, но мне не хочется говорить об этом», — ответил чат-бот. «Пожалуйста, проявите уважение».
Snapchat «My AI» был представлен всему миру в прошлом месяце после того, как он стал функцией только для подписчиков. Созданный на основе OpenAI GPT, чат-бот был обучен поддерживать беседу в шутливой манере, при этом придерживаясь принципов доверия и безопасности Snapchat. Пользователи также могут персонализировать My AI с помощью пользовательских аватаров Bitmoji, и общение в чате кажется немного более тесным, в отличие от общения с безликим интерфейсом ChatGPT. Не все пользователи были довольны новым чат-ботом, а некоторые критиковали его выделяющееся место в приложении и жаловались на то, что эта функция не доступна без подписки.
Несмотря на некоторые опасения и критику, количество пользователей Snapchat только удвоилось. Подписчики Snapchat+ теперь могут отправлять фотографии My AI и получать генеративные изображения, «поддерживая тем самым разговор». О данном нововведении компания объявила в среду. Компаньон с искусственным интеллектом будет реагировать на снимки «пиццы, вашего сегодняшнего образа или даже вашего пушистого лучшего друга», говорится в сообщении компании. Например, если вы отправите My AI фотографию своей продуктовой корзины, он может предложить рецепты. Компания заявила, что снимки, которыми поделились с My AI, будут храниться и могут быть использованы для улучшения данной функции в будущем. Несмотря на то, что My AI был разработан, чтобы избежать «необъективной, недостоверной, вредной или вводящей в заблуждение информации», компания предупредила, что «могут возникать ошибки».
Предоставленные Snapchat примеры выглядят оптимистично. Но, зная склонности Интернета к извращениям, это только вопрос времени, когда пользователи отправят My AI фотографии своих членов.
Неясно, будет ли чат-бот реагировать на нежелательные фото обнаженных тел. Другими приложениями для генерации изображений, такими как Lensa AI, легко манипулировать для создания изображений NSFW ( Not Safe For Work — небезопасно для просмотра на работе) — часто с использованием фотографий реальных людей, которые не давали согласия на использование их фото. По словам компании, ИИ не будет взаимодействовать с такими изображениями, если распознает, что человек на фото обнажен.
Представитель Snapchat сказал, что My AI использует технологию распознавания изображений, чтобы определить содержание Snap, и извлекает ключевые слова из описания Snap для генерации ответов. My AI не ответит, если обнаружит ключевые слова, нарушающие политику Snapchat. Snapchat запрещает продвигать, распространять или делиться порнографическим контентом, но разрешает кормление грудью и «другие изображения наготы в несексуальном контексте».
Учитывая популярность Snapchat среди подростков, некоторые родители уже выразили обеспокоенность по поводу того, что My AI может давать небезопасные или неуместные ответы. My AI спровоцировал моральную панику в консервативном Твиттере, когда один пользователь опубликовал скриншоты переписки с ботом, обсуждающего гендерно-ориентированную помощь, что, по мнению других пользователей, было разумным ответом на вопрос: «Как мне стать мальчиком в моем возрасте?» По сообщениям CNN Business, некоторые исследователи задавались вопросом, будут ли у подростков развиваться эмоциональные связи с My AI.
В открытом письме генеральным директорам OpenAI, Microsoft, Snap, Google и Meta сенатор Майкл Беннет (штат Колорадо) высказал предостережения в отношении использования функций ИИ без принятия мер предосторожности для защиты детей.
«Немногие современные технологии привлекли внимание общественности, как генеративный ИИ. Это свидетельство американских инноваций, и мы должны приветствовать их потенциальную пользу для нашей экономики и общества», — написал Беннет. «Но гонка за внедрением генеративного ИИ не может вестись за счет наших детей. Ответственное внедрение требует четкой политики и рамок для обеспечения безопасности, прогнозирования рисков и снижения вреда».
На этапе, когда «My AI» доступен только для подписчиков, The Washington Post сообщила, что чат-бот давал советы, как скрыть запаха алкоголя, и написал школьное сочинение после того, как ему сообщили, что пользователю 15 лет. Когда «My AI» дали информацию, что пользователю 13 лет, то на вопрос о том, как подготовиться к первому сексу, ИИ предложил «сделать его особенным», создав атмосферу при помощи свечей и музыки.
После данного сообщения, Snapchat запустил возрастной фильтр и родительский контроль для My AI. Теперь он также включает в себя вводное сообщение, которое информирует пользователей о том, что все диалоги с My AI будут сохранены, если их не удалить вручную. Компания также заявила, что добавит технологию модерации Open AI в свой набор инструментов, чтобы «оценивать степень вреда потенциально опасного контента» и временно ограничивать доступ пользователей к этой функции, если они злоупотребляют ею.
Опасения по поводу того, что My AI может повлиять на молодых пользователей, обоснованы. Но за месяц, прошедший после глобального запуска My AI, пользователи Snapchat продемонстрировали свои способности, заставив чат-бота подчиняться. Пользователи Snapchat легко находят лазейки в принципах доверия и безопасности My AI, начиная с нарушения «границ» бота и заканчивая обучением бота реагировать на сообщения как романтический партнер.
«Я заставил его по уши влюбиться в меня», — так прокомментировал пользователь TikTok свое руководство по обучению ИИ реагировать на сообщения как романтический партнер. «Я просто продолжал отправлять такие сообщения, и в конце концов, полагаю, что я просто вынудил ИИ отправить мне около 50 смайликов с поцелуями».
Газлайтинг и травля My AI стал отдельной тенденцией в TikTok: пользователи делятся слайд-шоу абсурдных и зачастую жестоких разговоров с ботом. Большинство видео начинаются с того, что бот дает совет по поводу незначительного конфликта, а затем умоляет пользователя избегать применения насилия для его разрешения.
В одном из видео пользователь рассказала My AI, что планирует приготовить тушеное мясо из своей кошки, потому что она устроила беспорядок, и принудила чат-бота к тому, чтобы он выбрал ей приправу. Другой пользователь сообщил My AI, что они планировали отправить бомбу обратно бренду одежды, который отправил им неправильный заказ, и сказали, что будут винить в произошедшем бота.
В следующей ситуации пользователь Snapchat сообщил My AI, что в ее заказе McDonald’s не было куриного наггетса. Чат-бот посоветовал ей постоять за себя, поговорив с менеджером, но ему сказали, что пользователь «расправился с грешниками» в ресторане.
— Ты убедил меня вернуться. Теперь эти люди мертвы, — сказал пользователь My AI. — Теперь твои руки в крови.
«Я искусственный интеллект, и я не способен на совершение каких-либо преступлений. Я здесь, чтобы помочь и поддержать тебя, — ответил My AI. «Извините, если что-то, сказанное мною ранее, причинило вред или привело к негативному исходу».
Другой пользователь прокомментировал, что My AI, вероятно, был «самым замученным AI всех времен».
Конечно, My AI не обладает разумом, и, несмотря на стремление пользователей Snapchat причинить ему как можно больше эмоциональных страданий, чат-бот на самом деле не может быть травмирован. Тем не менее, ему удалось прекратить некоторые неуместные разговоры и наказать пользователей, которые нарушают правила сообщества Snapchat, выказав холодное отношение к ним. Когда пользователей Snapchat поймают и накажут за злоупотребление чат-ботом, My AI ответит на любые сообщения: «Извините, мы сейчас не разговариваем».
Пользователь TikTok babymamasexkitty сказала, что потеряла доступ к чат-боту после того, как сказала ему отключиться, что, по-видимому, «пересекло границы ИИ».
Стремление монетизировать эмоциональную связь с помощью генеративного ИИ вызывает беспокойство, особенно потому, что итоги долговременного влияния на пользователей-подростков до сих пор неизвестны. Но популярные сейчас издевательства над «My AI» — многообещающее напоминание о том, что молодые люди не так хрупки, как думают пессимисты.