Arrependimento Contrafactual

Artigo de termo: Arrependimento Contrafactual ## Visão Geral O Arrependimento Contrafactual (CFR) é um conceito importante nos campos da teoria dos jogos e inteligência artificial. Foi proposto por Martin Zinkevich et al. em 2008 para resolver problemas de otimização de estratégia em jogos de informação imperfeita. Em jogos como Texas Hold'em, o CFR é um componente central dos algoritmos de minimização de arrependimento e tem sido amplamente utilizado para construir IAs de alto nível, como Libratus e Pluribus. ## Princípio O arrependimento contrafactual mede a diferença no retorno que um jogador teria obtido se tivesse escolhido uma ação diferente em vez da ação realmente tomada, dado um conjunto específico de informações (toda a informação que o jogador conhece atualmente). Especificamente, para cada conjunto de informações e cada ação possível, o algoritmo calcula o "valor de arrependimento contrafactual" para essa ação: assumindo que o jogador segue a estratégia atual em todos os outros pontos de decisão e apenas muda a ação neste nó, o valor de arrependimento é igual ao retorno esperado da nova ação menos o retorno esperado da estratégia atual. Após cada rodada de jogo, o algoritmo atualiza os valores de arrependimento para ações sob cada conjunto de informações com base no resultado real. À medida que o número de iterações aumenta, os arrependimentos se acumulam e são usados para ajustar a estratégia: ações com menor arrependimento (ou seja, menos arrependidas) recebem probabilidades mais altas. Eventualmente, quando o arrependimento médio em todos os conjuntos de informações se aproxima de zero, a estratégia converge para um equilíbrio de Nash. ## Aplicação no Texas Hold'em O CFR é particularmente adequado para jogos como Texas Hold'em, que envolvem informações ocultas, aleatoriedade e tomada de decisão em várias rodadas. Como a árvore de jogo completa é muito grande, aplicações práticas geralmente usam técnicas de abstração (como agrupamento de estados e abstração de ações) para reduzir a complexidade. Através de trilhões de simulações de autojogo, o CFR pode gerar estratégias quase ótimas e derrotou jogadores humanos de alto nível no Texas Hold'em heads-up sem limite. ## Relação com Termos Relacionados - Minimização de Arrependimento (RM): O CFR é uma extensão do RM para cenários multijogador e de informação imperfeita, compartilhando a mesma ideia central.

• Equilíbrio de Nash: O objetivo do CFR é encontrar um equilíbrio de Nash de estratégia mista, onde nenhum jogador pode se beneficiar ao mudar unilateralmente sua estratégia.
• Iteração de estratégia: O CFR atualiza a estratégia por meio de iterações repetidas, diferindo dos métodos tradicionais de iteração de valor ou gradiente de política.