Poker AI: Aprendizagem estatística e automática Avanços na inteligência artificial

Quando o poker se tornou digital com a introdução das salas de poker online, nasceu a ideia dos bots de poker. Já tinha havido algumas tentativas de jogadores de póquer computorizados nos anos 80, mas o póquer online oferecia novas oportunidades. No ambiente digital, se tivéssemos um robot de póquer que pudesse jogar sozinho e derrotar adversários humanos, poderíamos ganhar dinheiro e ninguém saberia que estávamos a jogar com um bot.

Póquer com IA de Libratus para Pluribus

Os primeiros bots não utilizavam a Inteligência Artificial tal como a conhecemos atualmente, dependendo em vez disso de hardware dedicado e de sistemas de regras codificadas para poderem “jogar” o jogo. Os resultados não eram inspiradores e qualquer jogador humano com alguma experiência em jogar póquer online conseguia vencê-los facilmente. No entanto, os investigadores continuaram a trabalhar e, com o desenvolvimento da IA, a tecnologia foi rapidamente adoptada como uma forma de automatizar o jogo de póquer online.

No início, isto ainda se restringia a soluções baseadas em hardware, sendo que o Libratus, a mais avançada destas soluções, conseguiu finalmente vencer jogadores humanos médios numa base regular. Mas o maior salto deu-se quando a tecnologia de IA avançou rapidamente, passando de algoritmos baseados em hardware para algoritmos baseados em software que podiam ser facilmente adaptados para serem utilizados em bots de póquer com IA.

Esse avanço tornou-se no Pluribus Poker AI e, ao contrário do Libratus, que exigia hardware dedicado, usando um computador normal (o único requisito importante era 128 GB de RAM), o Pluribus enfrentou uma mesa completa de jogadores de póquer profissionais. Cinco humanos, um robot de póquer, e o Pluribus ganhou. E não foi só uma vez: de repente, a inteligência artificial conseguiu vencer jogadores de todos os níveis, e de forma fiável.

Adaptação à dinâmica dos jogos a dinheiro para vários jogadores

No entanto, neste mundo variado do póquer, nem mesmo o poderoso robot de póquer Pluribus AI era a resposta final. Jogar torneios de póquer contra cinco outros jogadores é uma experiência de póquer muito diferente de jogar jogos a dinheiro numa sala de póquer online. Em particular, os jogos a dinheiro permitem que os jogadores adicionem mais fichas sempre que quiserem, pelo que, com tamanhos de pilha variáveis, há uma diferença de estratégia que altera significativamente o jogo.

Aqui, nos jogos a dinheiro de póquer online, os sistemas de IA não podem confiar em probabilidades de base que reflictam a igualdade de recursos entre todos os jogadores, mas enfrentam uma abordagem em constante mudança que exige que os jogadores e os bots de póquer com IA se adaptem em tempo real ao que está a acontecer numa determinada mão ou jogo. As soluções de IA como o Libratus e o Pluribus precisavam de novas estratégias para terem um bom desempenho em jogos como o texas Hold’em sem limites.

Por necessidade, esse é um sistema de aprendizagem automática que deve ser capaz de pensar reactivamente para ultrapassar essas mudanças no comportamento do adversário, e a forma como isso acontece é a chave para o sucesso do robot de póquer com IA.

Abordagens estatísticas no póquer

As estatísticas têm sido parte integrante da análise de póquer durante muitos anos, com os melhores jogadores a utilizarem cálculos de probabilidade para compreenderem os resultados prováveis em cada jogada. Embora não seja tecnicamente um bot, os assistentes virtuais de póquer também têm crescido em popularidade, fornecendo estatísticas dos jogadores e potenciais resultados no ecrã em tempo real durante um jogo de póquer online.

Talvez a utilização mais famosa das estatísticas no póquer seja o que é conhecido como valor esperado, ou EV. Este conceito calcula o potencial de cada mão, incluindo perdas e ganhos, permitindo-lhe fazer a escolha correta de apostar, aumentar ou desistir.

A combinação do EV com outros dados permite que a IA de um bot de póquer adopte o que é conhecido como uma estratégia de Otimização da Teoria dos Jogos (GTO). A ideia é que a GTO maximiza o seu desempenho em cada mão. Isto significa minimizar as perdas e tirar o máximo partido das situações de vitória. A IA de póquer que consegue manter estratégias GTO é a última palavra em jogo de póquer automatizado.

Tratamento de informações incompletas e bluff

Mas mesmo com as estratégias GTO, há uma área em que as estatísticas não são a única resposta. O póquer é um jogo em que existe informação incompleta, ou seja, não se sabe que cartas têm os outros jogadores. É isto que torna o póquer um desafio tão grande e é por isso que os investigadores de IA gostam de o utilizar para desenvolver os seus sistemas.

Essa informação desconhecida é depois multiplicada por outro aspeto do jogo. Os jogadores não têm de responder de forma lógica. Uma mão fraca pode tornar-se uma mão vencedora através do bluff, mas também não se sabe quando um jogador está a fazer bluff. São duas grandes quantidades de informação que um jogador, incluindo a IA do póquer, não terá. Este é o verdadeiro desafio do póquer, para além das estatísticas, e onde a habilidade do jogador faz a diferença. É também o aspeto mais difícil do jogo para a IA de póquer dominar.

É possível fazê-lo. A Pluribus adoptou um algoritmo de deteção de bluff para tentar identificar quando os jogadores estavam a fazer bluff, com base em alterações nas estratégias dos jogadores e no histórico de bluff anterior, caso existam dados disponíveis. Este algoritmo foi relativamente bem sucedido e, juntamente com as suas próprias rotinas de bluff, proporcionou uma abordagem mais humana ao jogo. À medida que a IA do póquer continua a avançar, esta é uma área em que ainda há muito espaço para melhorias.

Aplicação de algoritmos no mundo real

Atualmente, os algoritmos de IA do póquer aparecem em várias ferramentas. Os próprios bots oferecem jogo automatizado e a capacidade de funcionar em várias contas simultaneamente. Isto significa jogar em várias mesas ao mesmo tempo, o que, mesmo em jogos de micro stakes, pode oferecer um rendimento mensal ao operador. Uma vez que funcionam sem intervenção humana, estes tipos de bot estão a aumentar a sua popularidade para aqueles que procuram uma forma de ganhar dinheiro com o póquer online.

Mas isso não é tudo, os assistentes virtuais de póquer que utilizam algoritmos de IA oferecem uma análise de jogo em tempo real semelhante, mas em vez de jogarem eles próprios o jogo, trabalham para o ajudar a jogar de forma mais eficaz. As análises e sugestões aparecem no ecrã, pelo que, ao contrário de um bot, o jogador joga cada mão sozinho, mas tem a mesma estrutura de análise para o ajudar a fazer as escolhas estratégicas mais eficazes durante o jogo.

Por último, as soluções de formação com IA utilizam a força do desempenho da IA para ajudar os jogadores a aprender e a compreender os melhores cenários de abordagem. Quer se trate de novos jogadores a aprender o jogo ou de jogadores profissionais que procuram aperfeiçoar aspectos específicos do seu jogo, estas ferramentas de formação com IA são outra forma de a aprendizagem automática e a IA estarem a influenciar o póquer.

Aprendizagem automática no póquer

Podemos ver, então, que os processos de aprendizagem automática são parte integrante do desenvolvimento de uma série de ferramentas que ajudam os jogadores a aprender e a ganhar no póquer online. À medida que a aprendizagem automática evolui, como tem sido o caso ao longo dos anos, ajudará os bots de póquer a melhorar o desempenho, a oferecer mais nuances em termos de escolha de estratégia e a ser melhores a reconhecer e a implementar bluffs.

Há uma razão pela qual tantos investigadores utilizam o póquer para o desenvolvimento da IA e da aprendizagem automática. Oferece desafios que requerem uma verdadeira adaptabilidade e compreensão para serem dominados e, à medida que a aprendizagem automática avança, o mesmo acontece com as ferramentas que a utilizam.

Conclusão

A aprendizagem automática e os algoritmos de IA tiveram um impacto prolífico no póquer online. Desde os primeiros bots até à capacidade de derrotar jogadores profissionais, os avanços na tecnologia de aprendizagem automática e nos algoritmos de IA fizeram com que os bots de póquer e outras ferramentas semelhantes dessem um salto em frente nas suas capacidades.

Hoje em dia, os bots podem ser deixados a jogar autonomamente, não requerem qualquer hardware especializado e podem jogar em várias mesas ao mesmo tempo, apresentando desempenhos vencedores. No entanto, isso não significa que tenham atingido o seu auge. Longe disso, desde o aperfeiçoamento da abordagem à informação desconhecida e ao bluff até comportamentos mais semelhantes aos humanos para evitar os sistemas de deteção de bots, ainda há muitas formas de os avanços da IA poderem melhorar a experiência de póquer.

FAQ

Que métodos estatísticos são utilizados no póquer?

Existem vários, embora o mais comum seja o EV, ou valor esperado, como uma forma de avaliar o potencial de uma determinada mão. Em geral, o jogo estatístico tenta alcançar a estratégia óptima do jogo, que minimiza as mãos perdedoras e maximiza as posições vencedoras.

Como é que a aprendizagem automática ajuda a criar estratégias de póquer mais eficazes?

Ao compreender melhor as nuances da estratégia de jogo, particularmente os aspectos desconhecidos do jogo, em que a análise estatística não pode fornecer todas as respostas, em particular, os bluffs dos jogadores e os factores ocultos das cartas.

Que algoritmos de aprendizagem automática são mais eficazes na análise de situações de jogos de póquer?

O Pluribus é o algoritmo mais eficaz que existe, capaz de vencer vários jogadores profissionais em simultâneo.

As técnicas estatísticas e de aprendizagem automática podem ajudar os jogadores com menos experiência a melhorar o seu jogo?

Sim. Quer numa ferramenta de treino dedicada, quer como assistente virtual de póquer que ajuda os jogadores a compreender melhor as estratégias e acções durante um jogo.