Development of Line Chatbot by using Dialogflow for Advice Advertising Cosmetics Product

Abstract

This research aims to develop and evaluate the effectiveness of a LINE chatbot designed to provide regulatory information related to cosmetic advertising in accordance with legal standards. The study has three primary objectives (1) to design and develop a LINE chatbot capable of delivering accurate and reliable information regarding cosmetic advertising regulations (2) to assess the chatbot’s performance in terms of classification accuracy through the application of machine learning evaluation metrics and (3) to evaluate user satisfaction among key stakeholders engaged in cosmetic advertising practices. The study employed a research and development (R&D) methodology, involving the systematic design, development, and implementation of the chatbot using Dialogflow integrated with the LINE Messaging API, ensuring seamless interaction and natural language processing capabilities.

The performance of the chatbot was evaluated using Confusion Matrix, yielding an accuracy of 82.0%, Macro average Precision of 82.16%, Macro average Recall of 82.0%, and Macro average F1 of 81.79%, indicating a high level of effectiveness in accurately classifying user inputs and delivering appropriate responses. Additionally, user satisfaction was assessed through a survey conducted with 30 participants, including cosmetic brand owners (n=1), advertising media creators (n=6), and regulatory officers such as the Food and Drug Administration (FDA) and Provincial Public Health Offices (n=8) and consumers(n=15) resulting in an overall satisfaction score at a good level (mean = 4.20, SD = 0.83).

งานวิจัยนี้มีการศึกษานี้มีวัตถุประสงค์ คือ (1) เพื่อพัฒนาไลน์ แชทบอทให้ข้อมูลการโฆษณาเครื่องสำอาง (2) ประเมินความถูกต้องของไลน์ แชทบอทให้ข้อมูลการโฆษณาเครื่องสำอาง (3) ประเมินความพึงพอใจของผู้ใช้งานไลน์ แชทบอท ซึ่งเป็นการวิจัยและพัฒนา วิธีการดําเนินการวิจัยประกอบด้วยกระบวนการออกแบบและพัฒนาแอปพลิเคชันไลน์แชทบอทโดยใช้ Dialogflow ทํางานร่วมกับ Line Messaging API ผลการศึกษาพบว่า ประสิทธิภาพของไลน์ แชทบอทโดยประเมินจาก Confusion Matrix ค่าความถูกต้อง (Accuracy ) = 82.0% ค่าความแม่นยำเฉลี่ย (Macro average Precision ) = 82.16% ค่าความระลึกเฉลี่ย (Macro average Recall) = 82.0% และค่าความถ่วงดุลเฉลี่ย (Macro average F1) = 81.79% และประเมินความพึงพอใจของผู้ใช้งานไลน์ แชทบอทโดยกลุ่มเป้าหมายประกอบไปด้วยผู้ที่มีส่วนเกี่ยวข้องกับการโฆษณาเครื่องสำอาง ได้แก่ เจ้าของตราสินค้าเครื่องสำอางจำนวน 1 คน ผู้ทำสื่อโฆษณาเครื่องสำอางจำนวน 6 คน เจ้าหน้าที่ที่มีส่วนเกี่ยวข้องกับใช้กฎหมายโฆษณาเครื่องสำอาง (เจ้าหน้าที่ อย./สสจ.) จำนวน 8 คน และผู้บริโภคจำนวน 15 คน รวมทั้งสิ้นจำนวน 30 คน มีคะแนนเฉลี่ยรวมอยู่ในระดับดี (X) = 4.20 และส่วนเบี่ยงเบนมาตรฐาน (SD) = 0.83