Объем данных — ключевой показатель для качества обучения ИИ, пока

ИИ

С достаточно большим набором данных модель-трансформер ИИ способна заменить, с некоторыми оговорками, специализированную шахматную программу. Ученые из Google DeepMind полагают, что это очередное подтверждение тому, что модель-трансформер является универсальной архитектурой, которую можно применять для решения любых задач. Недавние прорывные успехи в машинном обучении в основном объясняются масштабом: а именно большим числом параметров у моделей ИИ и наборами обучающих данных беспрецедентного объема и "неожиданными когнитивными способностями обучения". 

В статье, которую опубликовали исследователи из Google DeepMind, исследуется влияние масштабных моделей, обученных в игру в шахматы. В отличие от традиционных шахматных программ, которые полагаются на сложную эвристику, архитектурный поиск или комбинацию, исследователи обучили модель-трансформер с 270 млн параметров на наборе данных из 10 млн партий. Каждая партия в наборе данных была размечена символами действий, предоставленными традиционной шахматной программой Stockfish 16. Модель набрала 2895 баллов в рейтинге Эло против людей и оказалась способной решить серию сложных шахматных головоломок без каких-либо специфичных для предметной области настроек или явных алгоритмов поиска оптимального хода. Ученые провели систематическое исследование размера моделей и наборов данных, которое показывает, что высокие результаты в шахматах возникают только при достаточном масштабе как самой модели, так и обучающих данных. 

Эта работа дополняет быстро растущее число исследований,  показывающих, что сложные и изощренные алгоритмы могут быть преобразованы в модели-трансформеры. Таким образом, ученые в очередной раз показали, что модели-трансформеры и большим количеством параметров можно рассматривать не только как просто статистические распознаватели паттернов, но и как общий метод для создания мощных алгоритмов.

Однако, как отмечают авторы работы, даже очень масштабные модели-трансформеры, требующие гигантских вычислительных ресурсов, пока что показывают более слабые результаты, чем специализированные шахматные программы. 

Все проведенные эксперименты по масштабированию указывают на то, что в конечном итоге этот разрыв может быть устранен с помощью достаточно большой модели, обученной на достаточно огромном количестве данных. Однако текущие результаты не позволяют утверждать, что разрыв гарантированно получится преодолеть. 

Еще одно ограничение моделей-трансформеров, заключается в том, что они работают только с текущим состоянием игры, а не со всей историей сделанных ранее ходов. Это приводит к некоторым фундаментальным техническим ограничениям, которые невозможно преодолеть без специальных знаний, характерных для той или иной предметной области, на которую обучается модель.

Последние материалы

Количество промышленных роботов в мире бьет рекорды

Несмотря на экономические шоки, пандемию и нарушение торговых цепочек из-за санкций, количество установленных и запущенных в эксплуатацию промышленных роботов в мире ежегодно обновляет рекорды.

15:32, 23 мая 2024, четверг
Рынок промышленных роботов в мире и России: демография диктует спрос

Несмотря на экономические шоки, пандемию и нарушение торговых цепочек из-за санкций, количество установленных и запущенных в эксплуатацию промышленных роботов в мире ежегодно обновляет рекорды. Российская промышленность проявляет все больше интереса к автоматизации производственных процессов, включая использование роботов. Но степень распространенности роботов на производстве в России остается сущ

...
10:06, 23 мая 2024, четверг
Массовое внедрение электротранспорта создаст сектор переработки аккумуляторов

Утилизация батарей электромобилей, содержащих платину, литий и другие элементы, может нанести ущерб окружающей среде. Средний аккумуляторный блок служит 10‑20 лет, и к 2025 году 3,4 млн блоков выйдут из строя. Их содержимое — возвращаемое сырье, но процесс утилизации очень сложен. 

17:13, 22 мая 2024, среда
Золото будет стоить почти $5000 к 2030 году

Согласно старой стратегии по золоту, цена золота обычно падает, если реальные процентные ставки растут. В настоящий момент эта теория не работает. Согласно отчету In Gold We Trust 2024 управляющей компании Incrementum AG, важная причина этого заключается в том, что западный инвестор больше не является главным игроком на рынке. В частности смещение центра тяжести на Восток, проявляется в падении за

...
11:36, 21 мая 2024, вторник
Bitcoin и золото: есть ли связь?

Алгоритмически ограниченная эмиссия bitcoin в глазах некоторых адептов криптовалют делает ее похожей на золото. Однако котировки bitcoin и золота движутся практически независимо друг от друга.

17:11, 20 мая 2024, понедельник
Халвинг vs ETF. Как формируется курс bitcoin в 2024 году

Очередной рекорд котировок bitcoin пока не смог вызвать ажиотажа, похожего на ситуацию конца 2017 года. Но появление спотовых ETF фондов на bitcoin, без сомнения, сделает инвестиции в криптовалюту более доступной для всех участников рынка.

Однако факторы мешающие полноценному включению криптовалют в традиционную финансовую систему остаются. Можно ли сравнить bitcoin с золотом? Существует ли влиян

...
14:12, 20 мая 2024, понедельник
Новости о санкциях влияют на финансовые рынки не меньше, чем сами санкции

Исследование В.В. Рычкова, кандидата экономических наук, доцента кафедры финансов, кредита и биржевого дела ПГНИУ, подтвердило тот факт, что информационная волна о вводимых или введённых санкционных ограничений в отношении России является частью давления на нашу страну и оказывает не меньшее негативное влияние на финансовые рынки России, чем сам факт введения санкций.

15:05, 19 мая 2024, воскресенье
Может ли дружба между Россией и Китаем изменить мир?

Встреча президента России с Си Цзиньпином в Пекине центре внимания западных СМИ. Экономические связи между нашими странами находятся на подъеме, и самое главное, каждая страна получает свои выгоды от этого, что не может не беспокоить Запад.

17:04, 16 мая 2024, четверг
"Росконгресс": представители более 110 стран уже подтвердили участие в ПМЭФ-2024

Участие в Петербургском международном экономическом форуме (ПМЭФ), который пройдет в Санкт-Петербурге с 5 по 8 июня, в настоящий момент подтвердили более 110 стран и территорий, сообщил Фонд "Росконгресс".

16:06, 15 мая 2024, среда
Доходы полупроводниковой промышленности снизились в прошлом году из-за распродажи запасов

Чистая прибыль компаний, работающих в секторе полупроводников в 2023 году сократилась на 8,2% до $66,7 млрд по сравнению с рыночным рекордом в $72,7 млрд, установленным в 2022 году, согласно данным  отраслевой ассоциации SEMI.

12:07, 15 мая 2024, среда
Наверх