The development of AI Chatbot as inquiry tool for interactions between herbs and cytochrome P450

Abstract

The purpose of this study is to develop an AI chatbot as a querying tool for interactions between herbal medicines and Cytochrome P450 (CYP450), and to assess the accuracy and suitability of using the AI chatbot for querying interactions between herbal medicines and CYP450. The study consists of two phases: Phase 1 involves developing the chatbot using systematically searched and evaluated data on interactions between herbal medicines and CYP450, and collecting data using Google Sheets connected to Dialogflow to develop the AI chatbot. Phase 2 involves evaluating the chatbot with 10 expert pharmacists, including 7 pharmacists experienced in providing consultation on drug-herb interactions and 3 pharmacists specialized in health informatics.

The research findings indicate that the developed AI chatbot can answer questions regarding interactions between herbal medicines and CYP450, including 5 isoforms: CYP3A4, CYP1A2, CYP2D6, CYP2C9, and CYP2C19. Results from Unit Testing, Integration Testing, and UI Testing yielded accurate results, with a pass rate of 100%. Testing the usability of the developed AI chatbot with all 10 expert pharmacists, using 20 questions, revealed an accuracy rate of 100% for 17 questions and 90% for 3 questions. The evaluation of the chatbot on 5 aspects, including 1) functional requirement test, 2) usability test, 3) result test, 4) anticipated benefits from using the chatbot, and 5) overall satisfaction with the chatbot, resulted in an average score of 4.44 ± 0.60 out of 5. Additional feedback from experts can be used to further develop and improve the chatbot to ensure it accurately and comprehensively answers questions and meets user needs.

วัตถุประสงค์ของการศึกษานี้ คือ เพื่อพัฒนาเอไอแชทบอทเป็นเครื่องมือสอบถามอันตรกิริยาระหว่างสมุนไพรและไซโตโครม พี450 และประเมินความถูกต้องและความเหมาะสมต่อการใช้งานเอไอแชทบอทในการสอบถามอันตรกิริยาระหว่างสมุนไพรและไซโตโครม พี450 การศึกษาประกอบด้วย 2 ระยะ ได้แก่ ระยะที่ 1 การพัฒนาแชทบอท โดยนำข้อมูลอันตรกิริยาระหว่างสมุนไพรและไซโตโครม พี450 ที่ผ่านการสืบค้นและประเมินอย่างเป็นระบบแล้ว มาใช้ในการพัฒนาเครื่องมือเอไอแชทบอทเพื่อสอบถามอันตรกิริยาระหว่างสมุนไพรและไซโตโครม พี450 และเก็บรวบรวมข้อมูลโดยใช้แพลตฟอร์ม Google Sheets เชื่อมต่อกับ Dialogflow เพื่อพัฒนาเป็นเอไอแชทบอท และระยะที่ 2 การประเมินแชทบอท โดยเภสัชกรผู้เชี่ยวชาญจำนวน 10 ท่าน ประกอบด้วยเภสัชกรผู้เชี่ยวชาญที่มีประสบการณ์ในการให้คำปรึกษาเกี่ยวกับอันตรกิริยาระหว่างยาหรือสมุนไพร 7 ท่าน และเภสัชกรผู้เชี่ยวชาญด้านสารสนเทศศาสตร์สุขภาพ 3 ท่าน

ผลการวิจัยพบว่า เอไอแชทบอทที่พัฒนาสามารถตอบคำถามในเรื่องข้อมูลอันตรกิริยาระหว่างสมุนไพรและ CYP450 ได้ 5 isoforms ได้แก่ CYP3A4, CYP1A2, CYP2D6, CYP2C9 และ CYP2C19 และผลของ Unit Testing, Integration Testing และ UI Testing ได้ผลลัพธ์ถูกต้องตามที่กำหนดไว้ คิดเป็นร้อยละ 100 การทดสอบการใช้งานเอไอแชทบอทที่พัฒนาขึ้น โดยเภสัชกรผู้เชี่ยวชาญทั้งหมด 10 ท่าน โดยใช้คำถามจำนวน 20 ข้อ พบว่าผลลัพธ์ที่ได้ถูกต้องตามที่กำหนดไว้คิดเป็นร้อยละ 100 จำนวน 17 ข้อ และร้อยละ 90 จำนวน 3 ข้อ และผลการประเมินแชทบอท 5 ด้าน ได้แก่ 1) ประสิทธิภาพในการทำงานของเอไอแชทบอท (functional requirement test) 2) ความง่ายต่อการใช้งาน (usability test) 3) ผลลัพธ์ที่ได้จากโปรแกรม (result test) 4) ประโยชน์ที่คาดว่าจะได้รับจากการใช้แชทบอท 5) ความพึงพอใจโดยรวมที่มีต่อแชทบอท ให้ผลอยู่ในระดับมาก – มากที่สุด โดยมีผลรวมค่าเฉลี่ยเท่ากับ 4.44 ± 0.60 (คะแนนเต็ม 5) และจากผลการวิเคราะห์ข้อเสนอแนะเพิ่มเติมที่ได้จากผู้เชี่ยวชาญสามารถนำผลการวิเคราะห์มาใช้ในการพัฒนาและปรับปรุงแชทบอท เพื่อให้สามารถตอบคำถามได้ถูกต้องครบถ้วน และตรงความต้องการของผู้ใช้งานมากยิ่งขึ้น