Development of Neuroevolution Algorithms for game problems

Abstract

This research aims to develop a new neuroevolution algorithm and apply the results, a group of convolutional neural networks to create intelligent agents to play computer games. The first part of the thesis presents a development of a multi-objective genetic algorithm to evolve convolutional neural networks. The multi-objective genetic algorithm is based on the non-dominated sorting of NSGA-II. However, we propose using a dual population approach. We studied the effects of genetic operators, namely crossover and mutation, on the quality of the evolving process. With our dual population approach, the diversity of the search process is increased. After deriving a group of optimized convolutional neural networks, those networks are used in the deep Q-learning to online learning to play a computer racing game. The experimental results show that the neuroevolution using multi-objective genetic algorithms delivered a competitive group of convolutional neural networks. However, the results of creating intelligent agents to play still need to be improved.

งานวิจัยนี้มีวัตถุประสงค์เพื่อพัฒนาอัลกอริทึมนิวโรอีโวลูชั่น และประยุกต์ใช้งานกลุ่มของโครงข่ายประสาทเทียมแบบคอนโวลูชันที่เป็นผลลัพธ์เพื่อสร้างเอเย่นต์ที่ฉลาดเพื่อเล่นเกมส์คอมพิวเตอร์ ส่วนแรกของวิทยานิพนธ์นำเสนอการพัฒนาระเบียบวิธีเชิงพันธุกรรมแบบหลายวัตถุประสงค์เพื่อวิวัฒนาการโครงข่ายประสาทเทียมแบบคอนโวลูชัน ระเบียบวิธีเชิงพันธุกรรมแบบหลายวัตถุประสงค์พัฒนาต่อจาก แนวคิดการจัดเรียงแบบไม่ข่มของเอนเอสจีเอรุ่นที่สอง อย่างไรก็ตามเรานำเสนอแนวทางการแบ่งประชากรออกเป็นสองกลุ่มเพื่อเพิ่มความหลากหลายในกระบวนการค้นหา เราได้ศึกษาผลกระทบของโอเปอเรเตอร์เชิงพันธุกรรม ได้แก่การผสมพันธ์ และการกลายพันธ์ รวมทั้งนำเสนอการเข้ารหัสโครโมโซมของโครงข่ายประสาทเทียม หลังจากได้โครงข่ายประสาทเทียมแบบคอนโวลูชันที่เหมาะสมที่สุดจำนวนหนึ่ง ได้นำโครงข่ายประสาทเทียมเหล่านี้ไปในงานการเรียนแบบคิวเชิงลึก เพื่อทำการเรียนรู้แบบออนไลน์ในขณะเล่นเกมส์คอมพิวเตอร์แข่งรถ ผลการทดลองพบว่านิวโรอีโวลูชั่นที่ใช้งานระเบียบวิธีเชิงพันธุกรรมแบบหลายวัตถุประสงค์สามารถดัดแปลงโครงข่ายประสาทเทียมแบบคอนโวลูชันที่ดี แต่อย่างไรก็ตาม ผลลัพธ์การใช้งานกับการเล่นเกมส์แข่งรถยังคงต้องปรับปรุงให้ดีขึ้น