Penyesalan Kontrafaktual

Artikel istilah: Penyesalan Kontrafaktual ## Gambaran Umum Penyesalan Kontrafaktual (CFR) adalah konsep penting dalam bidang teori permainan dan kecerdasan buatan. Ini diusulkan oleh Martin Zinkevich dkk. pada tahun 2008 untuk memecahkan masalah optimasi strategi dalam permainan informasi tidak sempurna. Dalam permainan seperti Texas Hold'em, CFR adalah komponen inti dari algoritma minimisasi penyesalan dan telah banyak digunakan untuk membangun AI tingkat tinggi, seperti Libratus dan Pluribus. ## Prinsip Penyesalan kontrafaktual mengukur perbedaan imbalan yang akan diperoleh pemain jika mereka memilih tindakan yang berbeda daripada tindakan yang sebenarnya diambil, dengan set informasi tertentu (semua informasi yang saat ini diketahui pemain). Secara khusus, untuk setiap set informasi dan setiap tindakan yang mungkin, algoritma menghitung "nilai penyesalan kontrafaktual" untuk tindakan tersebut: dengan asumsi pemain mengikuti strategi saat ini di semua titik keputusan lain dan hanya mengubah tindakan di node ini, nilai penyesalan sama dengan imbalan yang diharapkan dari tindakan baru dikurangi imbalan yang diharapkan dari strategi saat ini. Setelah setiap putaran permainan, algoritma memperbarui nilai penyesalan untuk tindakan di bawah setiap set informasi berdasarkan hasil aktual. Seiring bertambahnya jumlah iterasi, penyesalan terakumulasi dan digunakan untuk menyesuaikan strategi: tindakan dengan penyesalan lebih rendah (yaitu, lebih sedikit disesali) diberi probabilitas lebih tinggi. Pada akhirnya, ketika rata-rata penyesalan di semua set informasi mendekati nol, strategi konvergen ke keseimbangan Nash. ## Penerapan di Texas Hold'em CFR sangat cocok untuk permainan seperti Texas Hold'em, yang melibatkan informasi tersembunyi, keacakan, dan pengambilan keputusan multi-putaran. Karena pohon permainan penuh terlalu besar, aplikasi praktis sering menggunakan teknik abstraksi (seperti pengelompokan status dan abstraksi tindakan) untuk mengurangi kompleksitas. Melalui triliunan simulasi pertandingan sendiri, CFR dapat menghasilkan strategi yang hampir optimal dan telah mengalahkan pemain manusia teratas di Texas Hold'em heads-up tanpa batas. ## Hubungan dengan Istilah Terkait - Minimisasi Penyesalan (RM): CFR adalah perluasan RM ke skenario multi-pemain, informasi tidak sempurna, dengan berbagi ide inti yang sama.

• Keseimbangan Nash: Tujuan CFR adalah menemukan keseimbangan Nash strategi campuran, di mana tidak ada pemain yang bisa diuntungkan dengan mengubah strategi mereka secara sepihak.
• Iterasi strategi: CFR memperbarui strategi melalui iterasi berulang, berbeda dengan iterasi nilai tradisional atau metode gradien kebijakan.