Hyper-parameter Optimization for Deep NeuralNetwork using an Island-based Genetic Algorithm

Abstract

In this research, we propose the method using the island-based genetic algorithm (ISLGA) to automatically optimize the hyper-parameter of deep neural networks (DNNs). The ISLGA overall process is the same as a common genetic algorithm but possesses unique characteristic and method which is the separation of the population into a small group and force the part of the population to migrate in every set period of generation. With the mentioned characteristic, the chance of early convolution of the answer is significantly lower which leads to better hyper-parameters selection. The proposed method consists of two steps: hyper-parameter searching and complete DNNs training. To demonstrate our method, we apply our algorithm to find the hyper-parameter for Deep convolutional neural network (DCNN) which design is based on the DCNN call Alexnet. We encode the structure and hyper-parameters of chosen DCNN as a chromosome and then apply an ISLGA to optimize the structure and hyper-parameters. To evaluate the performance of the proposed method, we implemented an image classification task using CIFAR-10 dataset. The experimental result shows that the proposed method can efficiently search for the appropriated hyper-parameters of the DCNNs.

งานวิจัยฉบับนี้ได้เสนอวิธีการหาค่าเหมาะสมที่สุด(hyper-parameters)ของการเรียนรู้เชิงลึกโดยอัลกอริทึมเชิงวิวัฒนาการ โดยอัลกอริทึมที่เลือกใช้ในงานวิจัยฉบับนี้เป็นอัลกอริทึมที่มีชื่อว่า Island-based genetic algorithm หรือ ISLGA อัลกอริทึมนี่เป็นอัลกอริทึมที่มีลักษณะเด่นที่แตกต่างอัลกอริทึมเชิงวิวัฒนาการทั่วไปคือ ในอัลกอริทึมนี่จะทำการแบ่งประชากรทั้งหมดเป็นกลุ่มย่อย หลายกลุ่ม และเพิ่มกลไกการแลกเปลี่ยนประชากรระหว่างเกาะ จากลักษณะดังกล่าวนี้ทำให้คำตอบของปัญหา หรือในงานวิจัยนี้ ค่า hyper-parameters ที่หาได้ไม่ลู่เข้าสู่ค่าใดค่าหนึ่งเร็วเกินไปทำให้ค่าที่ได้จากอัลกอริทึมนั้นเป็นค่า hyper-parameter ที่เหมาะสมที่สุดสำหรับการเรียนรู้เชิงลึก

วิธีการที่ถูกเสนอประกอบด้วยสองขั้นตอนหลัก ได้แก่ การหาค่า hyper-parameter และการฝึกสอนการเรียนรู้เชิงลึก เพื่อเป็นการนำเสนอประสิทธิภาพของอัลกอริทึม ผู้วิจัยได้ทำการทดลองโดยการนำอัลกอริทึมนี้มาใช้ในการหาค่า hyper-parameter ของการเรียนรู้เชิงลึกชนิด Deep convolutional neural network (DCNN) ซึ่งการเรียนรู้เชิงลึกที่ใช้ในการทดลองมีต้นแบบมาจากการเรียนรู้เชิงลึกที่มีชื่อว่า Alexnet ผู้วิจัยได้ทำการเข้ารหัสโครงสร้างและ hyper-parameter ในรูปของโครโมโซมเพื่อนำไปใช้ในอัลกอริทึม ISLGA .ในการทดลองผู้วิจัยได้ทำการทดสอบค่า hyper-parameter ที่หาได้จากวิธีการที่นำเสนอโดยการให้ทำการแยกแยะภาพจากฐานข้อมูล CIFAR-10 จากการทดลองพบว่าอัลกอริทึมนี่สามารถหาค่า hyper-parameter ของการเรียนรู้เชิงลึกได้เหมาะสมและมีประสิทธิภาพ