Optimizing Hyperparameters of Transformers Using Particle Swarm Optimization for Low-Resource Neural Machine Translation

Abstract

This thesis presents an approach to improve the performance of Transformers models for low-resource neural machine translation using the particle swarm optimization algorithm. Using probability vectors, we modify the original algorithm for real number problems to handle categorical variables. The research uses the German-English (IWSLT14) and Thai-English (SCB) parallel datasets to evaluate the performance of the models. The developed particle swarm optimization algorithm can search for near-optimum hyperparameter values ​​that make the models more efficient than the baseline hyperparameter values. In the German-English dataset, the BLEU score increases from 28.5 to 31.5 in the Thai-English dataset, the BLEU score increases from 10.1 to 12.1. In addition, the obtained model is validated on a Raspberry Pi embedded system, where it performs well, to demonstrate that the model is sufficiently compact. The results indicate that the developed particle swarm optimization algorithm for hyperparameter search can effectively improve the performance of the transformer model in neural machine translation tasks under resource constraints.

วิทยานิพนธ์นี้มีวัตถุประสงค์เพื่อปรับปรุงประสิทธิภาพของแบบจำลองการเรียนรู้เชิงลึกชนิดทรานส์ฟอร์เมอร์ส (Transformers) สำหรับการแปลภาษาด้วยเครื่องประสาทในสภาวะที่มีข้อมูลจำกัด (Low-Resource Neural Machine Translation) โดยใช้วิธีการหาค่าเหมาะสมที่สุดของค่าไฮเปอร์พารามิเตอร์ด้วยอัลกอริทึมการหาค่าเหมาะที่สุดแบบกลุ่มอนุภาค (Particle Swarm Optimization) โดยได้เสนอแนวทางในการพัฒนาอัลกอริทึมเดิมที่ใช้กับตัวปัญหาเลขจำนวนจริงเพื่อให้สามารถจัดการกับค่าไฮเปอร์พารามิเตอร์ที่มีลักษณะเป็นตัวแปรเชิงกลุ่ม (Categorical Variables) ผ่านการใช้เวกเตอร์ความน่าจะเป็น (Probability Vector)

การดำเนินการวิจัยใช้ชุดข้อมูลคู่ขนานภาษาเยอรมัน-อังกฤษ (IWSLT14) และภาษาไทย-อังกฤษ (SCB) เพื่อประเมินประสิทธิภาพของแบบจำลอง พบว่าการใช้อัลกอริทึมการหาค่าเหมาะที่สุดแบบกลุ่มอนุภาคที่พัฒนาขึ้นสามารถค้นหาค่าไฮเปอร์พารามิเตอร์ที่ทำให้แบบจำลองมีประสิทธิภาพสูงขึ้นได้เมื่อเปรียบเทียบกับค่าไฮเปอร์พารามิเตอร์พื้นฐาน โดยในชุดข้อมูลภาษาเยอรมัน-อังกฤษ คะแนน BLEU เพิ่มขึ้นจาก 28.5 เป็น 31.5 และในชุดข้อมูลภาษาไทย-อังกฤษ คะแนน BLEU เพิ่มขึ้นจาก 10.1 เป็น 12.1 นอกจากนี้ แบบจำลองที่ได้ยังถูกนำไปทดสอบบนระบบสมองกลฝังตัวราสเบอรรี่พายซึ่งสามารถทำงานได้อย่างมีประสิทธิภาพ เพื่อแสดงว่าแบบจำลองมีขนาดเล็กเพียงพอ ผลการวิจัยชี้ให้เห็นว่าการค้นหาค่าไฮเปอร์พารามิเตอร์ด้วยอัลกอริทึมการหาค่าเหมาะที่สุดแบบกลุ่มอนุภาคที่พัฒนาขึ้น สามารถเพิ่มประสิทธิภาพของแบบจำลองทรานส์ฟอร์เมอร์สในงานแปลภาษาด้วยเครื่องประสาทในสภาวะที่มีทรัพยากรจำกัดได้อย่างมีประสิทธิภาพ