تعیین آرایش بهینه یگان ها با استفاده از یادگیری تقویتی چند عاملی در بازی جنگ

نوع مقاله : مقاله پژوهشی

نویسندگان

1 دانشگاه صنعتی امیرکبیر

2 دانشگاه صنعتی امیرکبیر.

چکیده

در این مقاله، به مسئله یادگیری تقویتی چندعاملی با کاربرد در باز یجنگ پرداخته شده است. ساختارهای نظامی باعث ایجاد اولویت در اجرای تصمیمات بین عامل های درگیر در صحنه نبرد می شود. حالت های استاتیک تصمیم گیری بین عامل ها در این ساختارهای را می توان در قالب بازی های بسیط بیان کرد. فرآیند مزبور در چارچوب بازیهای مارکوف بسیط مدل شده که عمل مشترک بهینه از طریق محاسبه نقطه تعادل نش کامل زیربازی به دست می آید. با استفاده از مفهوم ارزشهای انجمنی، امکان ایجاد مصالحه در انتخاب عمل بهینه نقطه تعادل نش و اکتشاف عمل های جدید فراهم شده است. شبیه سازی انجام شده بر روی نسخه ساد های از یک باز یجنگ واقعی، علاوه بر تا یید همگرایی، کارآمدی این روش را در بررسی پدیده های مختلف جنگ نشان میدهد

کلیدواژه‌ها


عنوان مقاله [English]

Military Units Optimal Formation in Wargame Simulation Using Multiagent Reinforcment Learning

نویسندگان [English]

  • Ali Akrami Zadeh 1
  • Ahmad Afshar 2
  • Mohammad Bagher Menhaj 2
  • Samira Jafari 1
1 AmirKabir Uni
2 Amirkabir Uni
چکیده [English]

In this paper, multiagent reinforcement learning has been used in wargame simulation. Military organization causes priorities in actions taken among agents in the feild. Decision making among n-person generalsum multiagent systems with consecutive action selection can be modeled through extensive form games. The existing process of learning can be considered as a set of successive extensive form games with Markov property. We use subgame perfect equilibrium points as optimal joint action using the well-known backward induction algorithm. An estimation of possible utilities gained over a game with respect to other agents’ preferences, called as associative Q-values, is used to predict optimal action. Simulation results present the effectiveness of the proposed algorithms in wargame simulation.

کلیدواژه‌ها [English]

  • Wargame simulation
  • Multiagent Systems
  • Reinforcement Learning
  • Extensive Markov Game
  • Subgame Perfect Nash Equilibrium
  • Associative Q
  • values
  • Backward Induction