Neural Architecture Search using Multi-Objective Evolutionary Algorithms

Abstract

This thesis presents an evolutionary multi-objective optimization approach for designing Vision transformer architectures, focusing on the impact of two genetic crossover operators—two-point crossover and uniform crossover—on the diversity and quality of solutions in the population. The proposed method applies the NSGA-II algorithm in conjunction with a block-based encoding strategy that enables flexible and effective exploration of various ViT configurations. By adopting configurable building blocks, the method allows the search process to construct diverse architectures tailored to multiple objectives, particularly model size and classification accuracy. The study includes a comprehensive analysis of the influence of crossover operators on the performance and diversity of evolved models, offering practical insights for future research in neural architecture search. Experiments were conducted on three image classification datasets: CIFAR-10, CIFAR-100, and a 10-class subset of ImageNet, and the results demonstrate that the proposed approach effectively discovers models that balance compactness and accuracy, which are also compared with existing models to assess performance.

วิทยานิพนธ์ฉบับนี้นำเสนอการค้นหาโครงข่ายประสาทเทียมของ Vision transformer โดยใช้อัลกอริทึมการหาค่าเหมาะที่สุดเชิงวิวัฒนาการแบบหลายวัตถุประสงค์ (Evolutionary multi-objective optimization) และศึกษาผลของตัวดำเนินการครอสโอเวอร์สองรูปแบบ ได้แก่ การครอสโอเวอร์แบบสองจุด (Two-point crossover) และการครอสโอเวอร์แบบสม่ำเสมอ (Uniform crossover) เพื่อประเมินผลต่อความหลากหลายของกลุ่มคำตอบในประชากรที่ได้ โดยประยุกต์ใช้อัลกอริทึมเชิงวิวัฒนาการแบบหลายวัตถุประสงค์ ได้แก่ อัลกอริทึม NSGA-II ร่วมกับการเข้ารหัสโครงสร้างแบบบล็อก (Block-based encoding) สำหรับแบบจำลอง Vision transformer ซึ่งช่วยให้สามารถสำรวจโครงสร้างของแบบจำลองได้อย่างยืดหยุ่นและมีประสิทธิภาพ นอกจากนี้ยังได้วิเคราะห์ผลของตัวดำเนินการทางพันธุกรรมต่อคุณภาพของแบบจำลองอย่างครอบคลุม และผลการทดลองบนชุดข้อมูล CIFAR-10, CIFAR-100 และ ImageNet (10 คลาส) แสดงให้เห็นถึงความสามารถของวิธีที่นำเสนอในการสร้างแบบจำลองที่มีความสมดุลระหว่างขนาดของแบบจำลองและความแม่นยำในการจำแนกรูปภาพ พร้อมทั้งมีการเปรียบเทียบกับแบบจำลองที่มีอยู่ในปัจจุบัน