Recommending Suitable Food Packaging According to Dessert Images Using Multi-Label Classification Model and Image Search for an E-commerce Platform

Abstract

This research aims to develop a process for recommending food packaging on e-commerce platforms using multi-label classification techniques and deep learning models. The input images for the model are bakery images that have undergone segmentation using YOLOv8 to isolate the bakery from unwanted elements. The resulting images are then processed for feature extraction using a pre-trained model InceptionV3, and classified using a multi-label classification model. The packaging features derived from the model are matched with the features of packaging images in a dataset containing 2,243 test images by calculating cosine similarity. This process identifies other packaging images with similar characteristics, even those that have not been previously trained. The experimental results indicate that the developed process can recommend packaging based on image feature similarity. These results can be applied to support decision-making for selecting packaging for bakery products in the context of e-commerce platforms, making the selection process more effective.

งานวิจัยนี้มีวัตถุประสงค์เพื่อพัฒนากระบวนการแนะนำบรรจุภัณฑ์อาหารบนแพลตฟอร์มอีคอมเมิร์ซ ด้วยเทคนิคจำแนกประเภทหลายเลเบล โดยใช้แบบจำลองการเรียนรู้เชิงลึก และภาพที่เป็นอินพุตของแบบจำลองคือภาพขนมหวานที่ผ่านกระบวนการแบ่งส่วนภาพด้วย YOLOv8 เพื่อแบ่งส่วนที่เป็นเบเกอรี่และตัดส่วนอื่นที่ไม่ต้องการออก จากนั้นนำผลลัพธ์ที่ได้เข้าสู่กระบวนการสกัดคุณลักษณะ โดยใช้แบบจำลองสำเร็จรูป InceptionV3 และจำแนกประเภทด้วยแบบจำลองจำแนกประเภทหลายเลเบล จากนั้นนำคุณลักษณะของภาพบรรจุภัณฑ์ที่ได้จากการแนะนำโดยแบบจำลองจำแนกประเภทหลายเลเบล จับคู่กับคุณลักษณะของบรรจุภัณฑ์ในคลังภาพสำหรับการทดสอบทั้งหมด 2,243 ภาพ ด้วยการคำนวณค่าความคล้ายคลึงของโคไซน์ เพื่อค้นหาภาพอื่นๆ ที่มีลักษณะใกล้เคียง ซึ่งอาจทำให้ได้ภาพบรรจุภัณฑ์อื่น ๆ ที่มีลักษณะใกล้เคียงแต่ยังไม่เคยถูกฝึกฝนมาก่อน ผลการทดลองแสดงให้เห็นว่ากระบวนการที่พัฒนาขึ้นสามารถทำการแนะนำบรรจุภัณฑ์ได้โดยอ้างอิงจากความคล้ายคลึงของลักษณะภาพ ผลลัพธ์ดังกล่าวสามารถนำไปใช้เพื่อสนับสนุนการตัดสินใจเลือกบรรจุภัณฑ์สำหรับสินค้าเบเกอรี่ได้ในบริบทของแพลตฟอร์มอีคอมเมิร์ซได้มากยิ่งขึ้น