AI Chatbot development for Answering High-Alert Drug Injection Compatibility questions in Drug Information Services

Abstract

Objective: To develop an AI chatbot and to study its effectiveness in answering questions related to the compatibility of high-alert drug injection in drug information services at Queen SavangVadhana Memorial Hospital. Method: It is a design and development-based research, dividing into 2 phases. Phase 1 is the development of an AI chatbot based on Adapted Waterfall system which includes collecting and studying data on questions and answers related to 32 high-alert drug injections from pharmacists who work at the drug information services department. Its purpose is to determine the question format for creating of the AI chatbot. Phase 2 is the process of evaluating the effectiveness of the AI chatbot in three parts: 1) the ability to answer questions, 2) the efficacy of AI chatbot focusing on Performance, Functionality, Humanity, Affect, Security and privacy, and User satisfaction, and 3) other recommendations for improving the AI chatbot. The evaluation process involves seven pharmacists, with health information expertise from the Queen SavangVadhana Memorial Hospital, who participated in in-depth interviews after using the developed AI chatbot for one month. Results: The AI chatbot was able to correctly answer all high-alert drug injection-related questions, with a 100% accuracy rate. Evaluation results on the performance indicated strongly agreement on the immediate response of the AI chatbot (Mean score 6.93±0.27 of 7). High satisfaction level on continuously use of AI chatbot and strongly recommend to others was found (Mean score 6.81±0.06 of 7). Other results also suggested that the participants paid attention on the importance of accurate and precise information on the AI chatbot response. Reliable evidence, thus, should be included in the response so that users were able to directly reach the original reference on their own. Conclusion: The developed AI chatbot is effective for answering questions in Drug information services, as it provides a correct and immediate response. High satisfaction level on continuous use of AI chatbot was found in all AI users.

วัตถุประสงค์: เพื่อพัฒนาและประเมินประสิทธิผลของเอไอแชทบอทสำหรับตอบคำถามด้านความเข้ากันได้ของยาฉีดที่มีความเสี่ยงสูงในงานบริการเภสัชสนเทศ ณ โรงพยาบาลสมเด็จพระบรมราชเทวี ณ ศรีราชา วิธีการ: เป็นการวิจัยอิงการออกแบบและพัฒนา แบ่งเป็น 2 ระยะคือ ระยะที่ 1 การพัฒนาเอไอแชทบอทตามหลักการ Adapted Waterfall ประกอบด้วยขั้นตอนการรวบรวมข้อมูลคำถาม-คำตอบรายการยาฉีดที่มีความเสี่ยงสูง 32 รายการของโรงพยาบาลจากเภสัชกรปฏิบัติงานบริการเภสัชสนเทศ เพื่อกำหนดรูปแบบคำถามในการสร้างเอไอแชทบอท และระยะที่ 2 การประเมินเอไอแชทบอทเชิงคุณภาพใน 3 ประเด็น คือ 1) ความสามารถในการตอบคำถาม 2) ความคิดเห็นต่อการใช้เอไอแชทบอทในด้านประสิทธิภาพการทำงาน ด้านฟังก์ชันความสามารถ ด้านการแสดงความเป็นมนุษย์ ด้านอารมณ์ ด้านความปลอดภัยและความเป็นส่วนตัว และด้านความพึงพอใจของผู้ใช้ และ 3) ข้อเสนอแนะอื่นเพื่อพัฒนาเอไอแชทบอท วิธีการประเมินโดยให้เภสัชกรผู้เชี่ยวชาญด้านสารสนเทศศาสตร์สุขภาพจากโรงพยาบาลสมเด็จพระบรมราชเทวี ณ ศรีราชา จำนวน 7 คน ทำแบบทดสอบและเข้าร่วมการสัมภาษณ์กลุ่มเชิงลึกหลังจากทดลองใช้เอไอแชทบอทที่ได้พัฒนาขึ้น เป็นระยะเวลา 1 เดือนผลการวิจัย: เอไอแชทบอทสามารถตอบคำถามด้านความเข้ากันได้ของยาฉีดที่มีความเสี่ยงสูงถูกต้องทั้งหมด (ร้อยละ 100) ผลความคิดเห็นต่อการใช้เอไอแชทบอท พบว่า กลุ่มตัวอย่างเห็นด้วยอย่างยิ่งในด้านประสิทธิภาพที่สามารถตอบกลับได้ทันที (คะแนนเฉลี่ย 6.93±0.27 จากคะแนนสูงสุด 7) และมีความพึงพอใจโดยเห็นด้วยอย่างยิ่งที่จะใช้เอไอแชทบอทต่อไปและแนะนำให้บุคคลรอบข้างใช้ (คะแนนเฉลี่ย 6.81±0.06 จากคะแนนสูงสุด 7) ในส่วนของข้อเสนอแนะอื่น กลุ่มตัวอย่างให้ความสำคัญกับการตอบกลับด้วยข้อมูลที่ถูกต้องและแม่นยำของเอไอแชทบอท จึงต้องการให้ใส่หลักฐานที่มีความน่าเชื่อถือลงไปพร้อมกับคำตอบ ซึ่งผู้ใช้สามารถเข้าถึงเอกสารอ้างอิงต้นฉบับได้ด้วยตัวเอง สรุป: เอไอแชทบอทที่พัฒนาขึ้นสามารถนำมาใช้ในการตอบคำถามในงานบริการเภสัชสนเทศได้อย่างมีประสิทธิผล ทั้งในด้านความถูกต้องและความรวดเร็วของคำตอบ ผู้ใช้เอไอแชทบอทมีความพึงพอใจที่จะใช้แชทบอทต่อไปด้วยค่าคะแนนในระดับสูง