Color Data Augmentation through Learning Color-Mapping Parameters between Cameras

Abstract

In order to achieve a more accurate deep learning model, we need large amount of data. For imaging application, color data augmentation is usually required. Color jittering is a common current practice for such augmentation where color values in image are slightly adjusted. Unfortunately, color values between two cameras may be significantly different. This makes the current practice ineffective. This work proposes to map color values among cameras by using deep learning to learn color-mapping parameters. In this way, we can augment color data by converting an image from one camera to another image whose colors seemingly are taken from another camera. This allows a machine to learn a model that can deal with input images from multiple cameras without actually using training data from multiple cameras. These parameters can also be employed to calibrate colors in order that all cameras produce the same color tone. The proposed neural network architecture which employs fully connected layers and batch normalization outperforms an existing method and can be systematically performed for any camera pairs to extend its applications in other scenarios.

เพื่อที่จะได้ตัวแบบโครงข่ายประสาทเทียมที่มีความแม่นยำเราจำเป้นต้องใช้ข้อมูลสำหรับฝึกสอนตัวแบบเป็นจำนวนมาก โดยเฉพาะอย่างยิ่งในงานที่เกี่ยวกับรูปภาพซึ่งมักจะต้องใช้การขยายข้อมูลเข้าช่วยเพื่อให้ได้ข้อมูลเพียงพอต่อความต้องการ เทคนิคการขยายข้อมูลเทคนิคหนึ่งที่เป็นที่นิยมคือ Color jittering ซึ่งเป็นการขยายข้อมูลโดยปรับค่าสีจากภาพต้นฉบับเล็กน้อย อย่างไรก็ตามในสถานะการจริงนั้นความแตกต่างของสีระหว่างอุปกรณ์ถ่ายภาพสองอุปกรณ์อาจจมีความแตกต่างกันเป็นอย่างมาก ส่งผลให้วิธีการขยายข้อมูลดังกล่าวไม่มีประสิทธิภาพ วิทยานิพนธ์นี้จึงเสนอวิธีการจับคู่สีระหว่างอุปกรณ์ถ่ายภาพโดยใช้เทคนิคการเรียนรู้เชิงลึก ในการเรียนรู้พารามิเตอร์สำหรับจับคู่สี วิธีการที่นำเสนอนี้จะทำให้สามารถขยายข้อมูลภาพสีโดยใช้การแปลงภาพจากกล้องต้นฉบับเป็นภาพที่มีสีเหมือนกับภาพที่ถ่ายโดยกล้องเป้าหมาย วิธีการที่นำเสนอนี้จะช่วยให้สามารถสร้างตัวแบบการเรียนรู้ที่มีความชาญฉลาดในการจัดการกับภาพที่ได้จากหลายอุปกรณ์ถ่ายภาพ โดยไม่จำเป็นต้องนำภาพจริงจากอุปกรณ์เหล่านั้นมาใช้ในการฝึกสอนตัวแบบ นอกจากนี้วิธีที่นำเสนอสามารถนำไปใช้ในงานปรับเทียบสีเพื่อให้ภาพที่ได้จากกล้องหลายตัวมีสีในโทนเดียวกัน โครงข่ายประสาทเทียมสำหรับเรียนรู้พารามิเตอร์จับคู่สีที่นำเสนอในวิทยานิพนธ์นี้สามารถนำไปประยุกต์ใช้กับอุปกรณ์ถ่ายภาพอื่นๆ ได้อย่างเป็นระบบ เพื่อขยายขอบเขตการใช้งานเทคนิคที่นำเสนอนี้ในสถานะการอื่นๆ