Что «чудо» ИИ говорит о будущем бизнес-технологий

AI21 Labs — это своего рода израильский ответ американской OpenAI. Компания является одновременно исследовательской лабораторией, ведущей передовые разработки в области обработки естественного языка (NLP), и коммерческим предприятием, стремящимся быстро превратить эти передовые достижения в продукты, которые реальный бизнес сможет использовать — и за которые будет платить.
AI21 Labs была основана Йоавом Шохамом, почётным профессором искусственного интеллекта Стэнфордского университета; Амноном Шашуа, одним из основателей компании по разработке программного обеспечения для автономного вождения Mobileye, приобретённой Intel; и Ори Гошеном, одним из основателей краудфандинговой платформы CrowdX. Высокая цель компании — «переосмыслить то, как люди читают и пишут, в лучшую сторону».
Лаборатория создала новую систему, которую она с некоторой дерзостью называет «Miracle» — более дружелюбная версия MRKL, аббревиатуры от Modular Reasoning, Knowledge and Language system (Модульная система рассуждений, знаний и языка). MRKL важна тем, что отражает четыре ключевые тенденции в том, как бизнес будет использовать ИИ в будущем.
Во-первых, MRKL разработана для решения всевозможных задач обработки естественного языка, а не только одной конкретной задачи, как большинство подобных систем до недавнего времени. Например, если вам нужен чат-бот для обслуживания клиентов, тот же ИИ не мог помочь с анализом настроений на звонках о доходах генерального директора. Но теперь единый NLP-движок может справляться с обеими задачами. Это ещё один пример подлинной революции в NLP и того влияния, которое она начинает оказывать на бизнес.
Вторая, тесно связанная с первой, тенденция заключается в том, что эти универсальные NLP-системы будут всё чаще строиться на основе «сверхбольших языковых моделей» — единых алгоритмов, обучающихся на миллиардах статистических связей между словами. Они обучаются на огромных объёмах текстов, собранных из интернета, включая книги на английском и других языках, а также общедоступные источники, такие как Wikipedia и ветки Reddit. Большинство этих систем обучены либо предсказывать пропущенное слово в предложении, либо следующее слово в предложении. Но оказывается, что когда вы создаёте настолько большую систему ИИ и обучаете её делать одно, она также способна делать многое другое с минимальным или нулевым дополнительным обучением: переводить, отвечать на вопросы и писать оригинальные фрагменты текста.
Более того, при совсем небольшом дополнительном обучении на относительно небольшом количестве примеров эти большие языковые модели зачастую превосходят меньшие системы ИИ, обученные на больших наборах данных — нередко собранных с большими затратами — для выполнения одной узкой задачи. Именно эта способность работать с «малыми данными» делает сверхбольшие языковые модели потенциально привлекательными для бизнеса, поскольку их использование может быть быстрее и дешевле.
Пожалуй, наиболее известным примером сверхбольшой языковой модели, доступной для коммерческого использования, является GPT-3 от OpenAI. OpenAI тесно сотрудничает с Microsoft, которая инвестировала в компанию более 1 000 000 000 $, и, что неудивительно, Microsoft интегрировала GPT-3 в продукт, автоматически пишущий компьютерный код. Компания также делает эту технологию доступной для своих клиентов облачного сервиса Azure.

У AI21 Labs есть собственная сверхбольшая языковая модель под названием Jurassic-1, выпущенная в коммерческое использование в прошлом году, которая, по заявлению компании, превосходит GPT-3 — отчасти благодаря более широкому «словарю токенов». Это относится к количеству слов и частей слов, которые она знает. Словарь токенов Jurassic насчитывает более 250 000 единиц, что в пять раз больше, чем у GPT-3.
Существуют хорошо задокументированные проблемы с этими сверхбольшими языковыми моделями, в том числе то, что их можно спровоцировать на выдачу токсичного контента. Но ещё одним серьёзным недостатком является их склонность выдавать неточную информацию в ответ на фактические вопросы.
Например, попросите GPT-3 сложить два плюс два, и она уверенно ответит четыре, но попросите сложить несколько четырёх- и пятизначных чисел — и, скорее всего, она с такой же уверенностью выдаст неверный ответ. Спросите, какая сейчас погода в Нью-Йорке, и она ответит, но, вероятно, это будет температура в Нью-Йорке на момент, когда данные AccuWeather были включены в её обучающую выборку, а не сегодняшняя погода. Та же проблема касается вопросов о текущих событиях и даже науке. А поскольку эти большие языковые модели настолько велики, их обучение крайне дорого обходится — в миллионы долларов, — поэтому постоянное обновление для обеспечения актуальности данных нецелесообразно.
Именно эту проблему AI21 Labs взялась решить с помощью MRKL (об одной из предыдущих разработок лаборатории я писал здесь). Что подводит нас к третьей важной тенденции, которую представляет MRKL: MRKL — это гибридная система. Она использует не только глубокое обучение — метод ИИ, ответственный за большинство крупных технологических прорывов за последнее десятилетие. Вместо этого она объединяет различные модули, часть из которых использует глубокое обучение, а часть — более старую форму ИИ, символическое рассуждение, для предоставления точных и актуальных ответов на фактические вопросы.
Умная особенность MRKL — модуль под названием маршрутизатор, который принимает вопрос от пользователя и определяет, какую информацию тот ищет. Если вопрос касается математики, он отправляет его обычному научному калькулятору. Если речь идёт об обменных курсах — направляет к конвертеру валют. Если о погоде — отправляет на сайт прогноза погоды. По словам Шохама, в настоящее время MRKL поддерживает 55 таких специализированных модулей. Если маршрутизатор не уверен, какой модуль лучше, он обращается к Jurassic-1. Jurassic также помогает составлять контекстный язык вокруг ответа MRKL.
Ещё одна умная инновация — то, как AI21 Labs добивается нужного типа ответа от Jurassic. Это делается с помощью метода под названием «настройка подсказок» (prompt tuning), при котором способ подачи начального вопроса или фрагмента текста в сверхбольшую языковую модель помогает определить характер выходных данных. Это один из способов адаптировать ИИ к конкретному типу задачи без необходимости дообучения на дополнительных данных. Проблема дополнительного обучения состоит в том, что по мере того, как система становится лучше в одной узкой задаче, она фактически ухудшается в других. Исследователи называют эту проблему «катастрофическим забыванием».
Некоторые исследователи ИИ преодолевают катастрофическое забывание, обучая модель одновременно на множестве разнородных задач, но это требует больших вычислительных мощностей, времени и денег. Настройка подсказок позволяет этого избежать. Инновация AI21 Labs в рамках MRKL заключается в создании небольших модулей глубокого обучения, которые могут автоматически настраивать подсказки для Jurassic на лету, принимая запрос пользователя и составляя оптимальный набор подсказок, чтобы подтолкнуть Jurassic к выдаче ответов в правильном стиле и формате.
На этом переходим к остальным новостям этой недели в сфере ИИ.   

Jeremy Kahn
@jeremyakahn
[e-mail]

Этот материал был первоначально опубликован на Fortune.com