«Яндекс» открыл доступ к своей нейросети для генерации текстов

Технология опробована в 20 проектах и работает с текстами на русском и английском языках.

«Яндекс» открыл свободный доступ к YaLM 100B — нейросети для генерации и обработки текстов на русском и английском языках. Это самая большая GPT-подобная модель, опубликованная в свободном доступе. Нейросеть предназначена для разработчиков и исследователей со всего мира.

YaLM 100В содержит 100 млрд параметров — больше, чем любая другая модель для русского языка. Языковые модели из семейства YaLM определяют принцип построения текста и генерируют новые с опорой на законы лингвистики и свои знания о мире.

По заявлению «Яндекса», они способны:

• придумывать идеи для рекламных кампаний; 
• создавать описания товаров и видео; 
• генерировать любые тексты — стихи, ответы, поздравления; 
• классифицировать тексты, например, по стилю речи.

Команда «Яндекса» задействует нейросети YaLM более чем в 20 проектах, включая «Поиск» и «Алису». Сотрудники службы поддержки отвечают на обращения, используя языковые модели. Также нейросети пишут рекламные объявления и описания сайтов (сниппеты) для компании. Также технологию применяют при подготовке быстрых ответов в поисковике.

Для обучения такой большой языковой модели требуются огромные ресурсы, опытные специалисты и годы работы. А нам важно, чтобы доступ к современным технологиям был не только у крупнейших IT-компаний, а у всего сообщества исследователей и разработчиков. Выкладывая YaLM 100B в открытый доступ, мы рассчитываем, что это даст толчок развитию генеративных нейросетей.  

Пётр Попов, гендиректор «Яндекс Технологий»

Модель обучали на суперкомпьютерах «Яндекса». В процессе YaLM 100B обработала около 2 ТБ текстов из открытых наборов данных (data set) и интернета на английском и русском языках.

Модель предоставляется по открытой лицензии Apache 2.0 и доступна на GitHub.