ความเสียใจแบบตรงกันข้าม

บทความคำศัพท์: ความเสียใจในเชิงสมมุติ ## ภาพรวม ความเสียใจในเชิงสมมุติ (CFR) เป็นแนวคิดสำคัญในสาขาทฤษฎีเกมและปัญญาประดิษฐ์ มันถูกเสนอโดย Martin Zinkevich และคณะในปี 2008 เพื่อแก้ปัญหาการปรับกลยุทธ์ให้เหมาะสมในเกมที่มีข้อมูลไม่สมบูรณ์ ในเกมอย่าง Texas Hold'em CFR เป็นองค์ประกอบหลักของอัลกอริทึมการลดความเสียใจ และถูกใช้อย่างกว้างขวางในการสร้าง AI ระดับสูง เช่น Libratus และ Pluribus ## หลักการ ความเสียใจในเชิงสมมุติวัดความแตกต่างของผลตอบแทนที่ผู้เล่นจะได้รับหากพวกเขาเลือกการกระทำอื่นแทนการกระทำที่ทำจริง โดยพิจารณาจากชุดข้อมูลที่กำหนด (ข้อมูลทั้งหมดที่ผู้เล่นรู้ในปัจจุบัน) โดยเฉพาะ สำหรับแต่ละชุดข้อมูลและการกระทำที่เป็นไปได้ อัลกอริทึมจะคำนวณ "ค่าความเสียใจในเชิงสมมุติ" สำหรับการกระทำนั้น: สมมติว่าผู้เล่นปฏิบัติตามกลยุทธ์ปัจจุบันในจุดตัดสินใจอื่นๆ ทั้งหมด และเปลี่ยนเฉพาะการกระทำที่โหนดนี้ ค่าความเสียใจเท่ากับผลตอบแทนที่คาดหวังของการกระทำใหม่ลบด้วยผลตอบแทนที่คาดหวังของกลยุทธ์ปัจจุบัน หลังจากแต่ละรอบการเล่น อัลกอริทึมจะอัปเดตค่าความเสียใจสำหรับการกระทำภายใต้แต่ละชุดข้อมูลตามผลลัพธ์จริง เมื่อจำนวนการวนซ้ำเพิ่มขึ้น ความเสียใจจะสะสมและใช้ในการปรับกลยุทธ์: การกระทำที่มีความเสียใจต่ำกว่า (คือเสียใจน้อยกว่า) จะได้รับความน่าจะเป็นที่สูงขึ้น ในที่สุด เมื่อความเสียใจเฉลี่ยในทุกชุดข้อมูลเข้าใกล้ศูนย์ กลยุทธ์จะลู่เข้าสู่สมดุลของแนช ## การประยุกต์ใช้ใน Texas Hold'em CFR เหมาะเป็นพิเศษสำหรับเกมอย่าง Texas Hold'em ซึ่งมีข้อมูลซ่อนเร้น ความสุ่ม และการตัดสินใจหลายรอบ เนื่องจากต้นเกมเต็มมีขนาดใหญ่เกินไป การใช้งานจริงจึงมักใช้เทคนิคการทำให้เป็นนามธรรม (เช่น การจัดกลุ่มสถานะและการทำให้การกระทำเป็นนามธรรม) เพื่อลดความซับซ้อน ผ่านการจำลองการเล่นด้วยตนเองหลายล้านล้านครั้ง CFR สามารถสร้างกลยุทธ์ที่ใกล้เคียงที่สุด และเอาชนะผู้เล่นมนุษย์ระดับสูงใน Texas Hold'em แบบ heads-up ไม่จำกัดเดิมพัน ## ความสัมพันธ์กับคำศัพท์ที่เกี่ยวข้อง - การลดความเสียใจ (RM): CFR เป็นการขยาย RM ไปยังสถานการณ์หลายผู้เล่นและข้อมูลไม่สมบูรณ์ โดยมีแนวคิดหลักร่วมกัน

• สมดุลของแนช: เป้าหมายของ CFR คือการหาสมดุลของแนชแบบกลยุทธ์ผสม ที่ไม่มีผู้เล่นคนใดได้ประโยชน์จากการเปลี่ยนกลยุทธ์ฝ่ายเดียว
• การวนซ้ำกลยุทธ์: CFR อัปเดตกลยุทธ์ผ่านการวนซ้ำซ้ำๆ แตกต่างจากการวนซ้ำค่าแบบดั้งเดิมหรือวิธีการไล่ระดับนโยบาย