Эволюция покерных ботов: От простых программ до продвинутого искусственного интеллекта

Онлайн-покер произвел революцию, сделав игру доступной для миллионов новых игроков, которые никогда не заходили в казино и, вероятно, никогда не зайдут. Будь то техасский холдем, омаха или любой другой вариант покера, теперь каждый может насладиться игрой дома, когда захочет, а благодаря мобильным приложениям — и где захочет.

Но со времен первых цифровых покерных игр, появившихся в 1998 году, технологии шагнули далеко вперед, и игры, которые мы имеем сегодня, неузнаваемы по сравнению с теми ранними предложениями. Как и в любом другом деле, где на кону стоят деньги, игроки стремятся максимально увеличить свои шансы на выигрыш, и покерные боты — один из способов сделать это в карточных онлайн-играх.

Как и сам покер, они стремительно развивались на протяжении многих лет, но как они появились, что собой представляют и как будут развиваться покерные боты дальше?

Первые дни простого искусственного интеллекта в покерных ботах

Покерные боты появились раньше самого онлайн-покера: одним из первых известных ботов, созданных в 1981 году, был Орак. После нескольких лет тестирования и обучения программного обеспечения он использовал бота для игры с Бобом Ступаком, владельцем казино, и снял игру для национального телевидения. Орак проиграл.

В течение двух десятилетий после этого, еще до появления онлайн-покера, ученые использовали карточные игры в качестве обучающего инструмента для ИИ. Использование данных о предыдущих играх для определения вероятностей в текущих играх и принятия решений на основе этого анализа делает машинное обучение и искусственный интеллект идеальными для применения в покере. По мере развития технологий развивались и боты.

Хотя большинство первых ботов использовали блэкджек в качестве игры для разработки, поскольку он управляется простой вероятностью появления определенной карты в известной колоде карт, гораздо более сложный покер оставался предметом частых исследований. Инициатором разработки был Дарс Биллингс, профессор из США, который выбрал покер для исследования, потому что любой игрок обладает неполной информацией, он не знает, какие карты у других игроков.

Первые боты использовали исключительно программные системы, которые анализировали вероятности на основе большой базы данных игр, и не были «умными» в том смысле, в котором мы знаем их сегодня. То есть они не адаптировались и не обучались, а просто использовали специфические логические методы решения, применяемые ботом на каждом этапе игры.

Технологический прогресс и его влияние на стратегию покера с роботами и Мировую серию покера

В 1998 году, когда появились столы для игры в онлайн-покер, работа, проделанная Биллингсом, легла в основу первых ботов в том виде, в котором мы знаем их сегодня, — программных решений для игры в онлайн-покер. Известный как Vexbot, этот первый бот для игры в онлайн-покер был относительно слабым игроком и легко побеждал большинство человеческих оппонентов, которые хоть немного разбирались в игре. Другие боты, появившиеся на том этапе, обладали схожими характеристиками, но ученые, включая Биллингса, продолжали их совершенствовать.

В 2005 году в Лас-Вегасе был проведен первый в мире турнир по покерным ботам, в котором приняло участие удивительное количество участников. Эти боты были похожи по конструкции на ранние предложения и не являлись самообучающимися системами, как мы понимаем ИИ сегодня. В основе этих решений снова лежали алгоритмы и анализ данных, хотя и более сложные, а системы ограничивались пониманием игры по базе данных предыдущих игр, к которым они имели доступ.

В конце контента бот-победитель был легко побежден игроком-человеком, что говорит о том, что, несмотря на достигнутый прогресс, идея бота, способного регулярно играть и выигрывать у человека, все еще далека от реализации.

Прорывы в области искусственного интеллекта и покерных ботов — от Polaris до Libratus

Первый настоящий прорыв произошел в 2007 году, когда появился Polaris. Ее создала исследовательская группа из Университета Альберты под руководством Биллингса. По сравнению с современными покерными ботами, Polaris все еще предлагал относительно базовый геймплей, но использовал новую логику принятия решений в реальном времени. Он мог моделировать поведение отдельных игроков, что стало значительным прогрессом в технологии ботов и одним из первых примеров обучения в реальном времени с помощью ИИ.

Несмотря на то, что дальнейшее совершенствование дало преимущество последующим ботам, следующий настоящий прорыв произошел только в 2015 году. Cepheus стал первым ботом, который «решил» задачу по безлимитному техасскому холдему. Используя 200 процессоров и большой объем памяти, он за 2 месяца просчитал все возможные варианты игры, все 316 квадриллионов, и был запрограммирован на игру по «сбалансированной стратегии». В результате получилась непревзойденная программа, однако способ ее игры означал, что если целью является выигрыш денег, то она не очень-то поможет.

За Cepheus в 2015 году последовал Claudico, который был первым настоящим ботом для безлимитного покера и развитием Cepheus, но не смог выиграть ни у одного профессионального игрока, однако следующий настоящий прогресс произошел в 2017 году, с Libratus.

Liberatus стал эволюцией Libratus, по-прежнему требуя больших ресурсов для работы и используя продвинутые обучающие программы, которые подстраиваются под сценарий по мере его развития. Это был первый покерный бот, который регулярно обыгрывал человеческих оппонентов, играя в течение дня, а затем анализируя каждый ход за ночь, чтобы на следующий день улучшить свои решения.

На основе Libratus создан современный покерный бот, первый из которых появился в 2019 году — Pluribus. Эти боты существенно отличаются друг от друга и обладают впечатляющими возможностями, которые значительно превосходят все, что было создано до них.

Современные покерные боты сегодня: Возможности и стратегии Pluribus и других покерных ИИ

Pluribus и другие современные покерные боты используют передовые и сложные алгоритмы искусственного интеллекта для обучения и адаптации в режиме реального времени, и поэтому им больше не нужны большие ресурсы, которые использовались для работы предыдущих ботов. На самом деле Pluribus может работать всего на 128 ГБ оперативной памяти и двух процессорах, поэтому при необходимости его можно запускать с облачного узла.

Он также не обучался на базе данных игр. Вместо этого программу обучили правилам покера, а затем позволили ей играть и учиться в процессе. Эти боты не только понимают игру, но и могут на лету выбирать подход к каждой руке, чтобы максимизировать свои шансы на победу, анализируя при этом других игроков.

В результате получился покерный бот, который может с удовольствием играть против нескольких соперников одновременно, что мы и представляем, когда думаем о покерном боте. Pluribus стал первым в истории ботом, который обыграл сразу нескольких профессиональных игроков в покер, сыграв с пятью профессионалами на протяжении десяти тысяч рук и выйдя победителем.

Будущее покерных ботов и исследований ИИ

Итак, раз уж компания Pluribus показала, что современные продвинутые системы искусственного интеллекта способны выучить правила покера и превратиться в игрока, способного обыграть нескольких профессионалов одновременно, при этом затрачивая минимум ресурсов, то куда еще могут прийти покерные боты?

Люди, использующие ботов для игры за столами онлайн-покера, уже давно являются проблемой для различных покерных платформ, но если раньше это не было такой уж серьезной проблемой, поскольку боты были неискушенными и их было относительно легко победить, то когда в играх доминируют боты, которые могут легко выиграть у профи за столом — это нечто иное. Особенно когда что-то вроде Pluribus может работать на облачной платформе стоимостью менее $100 в месяц, и практически любому человеку не составит труда создать такую систему.

Покерные боты никогда не чувствуют себя связанными, они никогда не нервничают из-за банка, поэтому со временем они могут подавлять игроков, если их не контролировать. Поэтому будущее ботов на коммерческой арене всегда будет заключаться в усилении проверок и систем безопасности на платформах, чтобы остановить их. А как насчет самой технологии?

Искусственный интеллект стремительно развивается во всех областях, и было бы глупо думать, что в покере все будет иначе. Обучающее программное обеспечение будет и дальше становиться все более сложным как в понимании игры, так и в применяемых стратегиях.

Через десятилетие вместо соревнований на то, сможет ли бот обыграть профессионального игрока, мы будем проводить соревнования на то, сможет ли профессионал обыграть бота.

Заключение

Несомненно, боты прошли долгий путь: от систем, которые едва умели играть, до самообучающихся алгоритмов, которые не только учатся, но и подстраиваются под игроков в режиме реального времени. Для онлайн-покера стремительный рост использования ботов может оказаться губительным, ведь если за каждым столом будет полно ботов, которые с легкостью обыгрывают новичков, зачем кому-то оставаться здесь достаточно долго, чтобы учиться?

Технический аспект ботов очень интересен, и наблюдение за его развитием является хорошим индикатором того, как ИИ развивается и в других сферах, но мы должны помнить об их использовании в онлайн-покере и о том, как это может повлиять на игру во всем мире.

FAQ

Каковы были первоначальные возможности ранних покерных ботов и как они развивались?

Ранние покерные боты были основаны на логических системах и требовали программирования стратегий. Поэтому они были предсказуемы и легко побеждаемы. Со временем ИИ стал более сложным, сначала позволяя анализировать результаты и корректировать стратегию между играми, а сегодня — анализировать и принимать решения в режиме реального времени.

Как прорыв в области ИИ и машинного обучения повлиял на разработку продвинутых покерных ботов?

Ранние системы были не только необучаемыми, то есть не могли адаптироваться за пределами запрограммированных стратегий, но и требовали больших аппаратных средств для работы. По мере развития возможностей искусственного интеллекта боты стали способны адаптироваться и обучаться, а также перешли на программные решения, требующие значительно меньше ресурсов для работы.

Какие самые сложные покерные боты существуют на данный момент и что делает их передовыми?

Pluribus — самый продвинутый покерный бот на сегодняшний день, способный играть в безлимитный холдем против нескольких профессиональных игроков одновременно и побеждать их. Pluribus — это полностью разработанное обучающее решение, он был запрограммирован с учетом правил покера и с тех пор развивает свои стратегии, основываясь на своем опыте в играх.

Что может ждать покерных ботов в будущем и какова их роль в онлайн и живом покере?

Благодаря постоянно развивающемуся программному обеспечению с искусственным интеллектом, боты, способные играть в турнирах и многое другое, становятся все более доступными и недорогими. Очевидно, что они будут становиться все более совершенными игроками, их будет все сложнее отличить от обычного человека, и в конечном итоге лучшим игроком в мире, скорее всего, станет покерный бот.