Обучение меньшему количеству слов больших языковых моделей может помочь им звучать более естественно. Статья о том, как чат-боты с искусственным интеллектом революционизируют способы изучения языков. Последние достижения в области технологий искусственного интеллекта и их влияние на модели изучения языков, преимущества и проблемы использования чат-ботов с искусственным интеллектом для овладения языком, а также мнения экспертов в этой области.
Оливер Вэнг | писатель, работающий в Бруклине. Начал писать для The Times в 2020 году. Источник: https://www.nytimes.com/2023/05/30/science/ai-chatbots-language-learning-models.html Дата публикации: 30 мая 2023 года Перевод: Мазурова Полина
Когда речь заходит о чат-ботах с искусственным интеллектом, обычно «больше — значит лучше».
Большие языковые модели, такие как ChatGPT и Bard, которые генерируют разговорный, оригинальный текст, улучшаются по мере того, как в них поступает больше данных. Каждый день блогеры выкладывают в интернет, чтобы рассказать о том, как последние достижения — приложение, резюмирующее статьи, подкасты, созданные искусственным интеллектом, отточенная модель, способная ответить на любой вопрос, связанный с профессиональным баскетболом, — «изменят все».
Но для создания более крупных и более способных И.И. требуется вычислительная мощность, которой обладают немногие компании, и растет беспокойство, что небольшая группа, включая Google, Meta, OpenAI и Microsoft, будет получать практически полный контроль над технологией.
Кроме того, большие языковые модели сложнее понять. Их часто называют «черными ящиками», даже те, кто их разрабатывает, и ведущие деятели в этой области беспокоятся, что цели И.И. могут в конечном итоге не совпадать с нашими собственными. Если больше — значит лучше, то это также означает непрозрачность и эксклюзивность.
В январе группа молодых ученых, работающих в области обработки естественного языка — отрасли И.И., специализирующейся на изучении языка — выступила с инициативой перевернуть эту парадигму с ног на голову. Группа призвала команды создать функциональные языковые модели, используя наборы данных, размер которых меньше, чем одна десятитысячная часть тех, которые используются самыми передовыми большими языковыми моделями. Успешная мини-модель будет обладать почти такими же возможностями, как и высококлассные модели, но будет гораздо меньше, доступнее и более приспособлена для работы с человеком. Проект получил название BabyLM Challenge.
«Мы призываем людей мыслить компактно и сосредоточиться на создании эффективных систем, которые смогут использовать больше людей», — говорит Аарон Мюллер, специалист по компьютерным технологиям из Университета Джона Хопкинса и организатор BabyLM.
Новое поколение чатботов
Дивный новый мир. Новый ряд чат-ботов, работающих на основе искусственного интеллекта, вызвал волну споров о том, сможет ли эта технология перевернуть экономику Интернета, превратив сегодняшних лидеров в отстающих и создав новых гигантов индустрии. Вот боты, о которых стоит знать:
ChatGPT. ChatGPT, языковая модель искусственного интеллекта, созданная исследовательской лабораторией OpenAI, с ноября попала в заголовки газет благодаря своей способности отвечать на сложные вопросы, писать стихи, генерировать код, планировать отпуск и переводить языки. GPT-4, последняя версия, представленная в середине марта, может реагировать даже на изображения (и успешно сдать Единый экзамен на адвоката).
Bing. Через два месяца после выхода ChatGPT компания Microsoft, основной инвестор и партнер OpenAI, добавила аналогичного чат-бота, способного вести бессрочные текстовые беседы практически на любые темы, в свою поисковую систему Bing. Но именно неточные, вводящие в заблуждение и странные ответы бота привлекли к нему повышенное внимание после его выпуска.
Bard. Чатбот Google под названием Bard был выпущен в марте для ограниченного числа пользователей в США и Великобритании. Будучи изначально задуманным как творческий инструмент, предназначенный для составления электронных писем и стихов, чатбот умеет генерировать идеи, писать сообщения в блогах и отвечать на вопросы, приводя факты или мнения.
Ernie. Поисковый гигант Baidu в марте представил первого крупного китайского конкурента ChatGPT. Дебют Ernie, сокращенно от Enhanced Representation through Knowledge Integration, оказался неудачным после того, как выяснилось, что обещанная «живая» демонстрация бота была записана.
Алекс Варштадт, ученый из области компьютерных технологий из ETH Zurich и еще один организатор проекта, добавил: «Задача ставит в центр разговора вопросы изучения человеческого языка, а не «Насколько большими мы можем сделать наши модели?».
Большие языковые модели
Большие языковые модели — это нейронные сети, предназначенные для предсказания следующего слова в данном предложении или фразе. Они обучаются для этой задачи, используя корпус текстов, собранных из стенограмм, веб-сайтов, романов и газет. Обычная модель делает предположения на основе примеров фраз, а затем корректирует себя в зависимости от того, насколько близко она подошла к правильному ответу.
Повторяя этот процесс снова и снова, модель формирует схемы связи слов относительно друг друга. Как правило, чем на большем количестве слов обучается модель, тем лучше она становится; каждая фраза обеспечивает модель контекстом, а больше контекста приводит к более детальному восприятию значения каждого слова. Модель GPT-3 от OpenAI, выпущенная в 2020 году, была обучена на 200 миллиардах слов; модель Chinchilla от DeepMind, выпущенная в 2022 году, была обучена на триллионе.
Итан Уилкокс, лингвист из ETH Zurich, считает, что тот факт, что нечто нечеловеческое может генерировать язык, представляет собой потрясающую возможность: Можно ли использовать языковые модели A.I. для изучения того, как люди учат язык?
Например, нативизм, влиятельная теория, восходящая к ранним работам Ноама Хомского, утверждает, что люди учат язык быстро и эффективно, потому что у них есть врожденное понимание того, как работает язык. Но языковые модели также быстро учат язык, и, похоже, без врожденного понимания того, как устроен язык — так что, возможно, нативизм не выдерживает критики.
Проблема в том, что языковые модели учатся совсем не так, как люди. У людей есть тело, социальная жизнь и разнообразные чувства. Мы можем чувствовать запах почвы, ощущать ощущать перышко, сталкиваться с дверьми и слышать вкус мятных конфет. В раннем возрасте мы знакомимся с простыми речевыми оборотами и синтаксисом, которые часто не представлены в письменном виде. Доктор Уилкокс заключил, что компьютер, который создает язык после обучения на гигантских количествах записанных слов, может рассказать нам очень много о человеческом речевом процессе.
Но если языковая модель будет работать только с теми словами, с которыми сталкиваются молодые люди, она сможет взаимодействовать с языком определенным образом, что позволит решить некоторые вопросы о наших способностях.
Поэтому вместе с полудюжиной коллег доктор Уилкокс, доктор Мюллер и доктор Уорстадт задумали провести конкурс BabyLM Challenge, чтобы попытаться подтолкнуть языковые модели немного ближе к человеческому разуму. В январе они обратились к командам с призывом обучить языковые модели на том же количестве слов, с которыми сталкивается 13-летний человек — примерно 100 миллионов. Модели-кандидаты будут проверены на то, насколько хорошо они генерируют и воспринимают тонкости языка, после чего будет объявлен победитель.
Ева Портеланс, лингвист из Университета Макгилла, узнала об этой задаче в день ее объявления. Ее исследования проходят по весьма нечеткой грани между информатикой и лингвистикой. Первые шаги в области И.И. в 1950-х годах были обусловлены желанием смоделировать когнитивные способности человека в компьютере; основной единицей обработки информации в И.И. является «нейрон», а ранние языковые модели 1980-х и 90-х годов были напрямую вдохновлены человеческим мозгом.
Но по мере того, как процессоры становились все мощнее, а компании начали работать над созданием коммерческих продуктов, ученые поняли, что зачастую проще обучать языковые модели на огромных объемах данных, чем заставлять их формировать психологически обоснованные структуры.
Доктор Портеланс отметил, «они дают нам текст, похожий на человеческий, но нет никакой связи между нами и тем, как они функционируют».
Для ученых, заинтересованных в понимании того, как работает человеческий разум, эти большие модели дают ограниченное представление. А поскольку они требуют огромной вычислительной мощности, немногие исследователи могут получить к ним доступ. «Только небольшое число промышленных лабораторий с огромными ресурсами могут позволить себе обучать модели с миллиардами параметров на триллионах слов», — сказал доктор Уилкокс.
«Или даже загрузить их», — добавил доктор Мюллер. «Из-за этого в последнее время исследования в этой области стали казаться чуть менее демократичными».
По словам доктора Портеланса, BabyLM Challenge можно рассматривать как шаг в сторону от гонки вооружений за большие языковые модели и шаг к более доступным, более интуитивным ИИ.
Потенциал такой исследовательской программы не остался без внимания крупных промышленных лабораторий. Сэм Альтман, исполнительный директор OpenAI, недавно заявил, что увеличение размера языковых моделей не приведет к тем же улучшениям, которые наблюдались в последние несколько лет. Такие компании, как Google и Meta, также инвестируют в исследования более эффективных языковых моделей, основанных на когнитивных структурах человека. В конце концов, модель, способная генерировать язык при обучении на меньшем количестве данных, потенциально может быть также расширена.
Какую бы прибыль ни сулил успех BabyLM, для тех, кто стоит за этой задачей, цели более академические и абстрактные. Даже приз подменяет практические цели. «Просто гордость», — сказал доктор Уилкокс.