Applied Big Data Technique for MASSIVE OPEN ONLINE COURSES (MOOCs) recommendation system

Abstract

Traditional recommendation techniques have difficulty scaling out, resulting in poor quality of the recommendation system. Can't support large data Especially when there are so many options to choose from. It becomes difficult for people to find what they want or what they are interested in and the course guidance system that faces such problems. Moreover, the course recommendation system is often in a disabled environment only on its own. And the system still uses the same technology to store and process the data, making it practically unusable in situations where the data changes and increases rapidly. when aiming at such problems The researchers propose a course guide system architecture for MOOCs environment called MCR-CG with an Apache platform for administration. deal with big data and use a deep neural network and Long Short-Term Memory (LSTM) to work with a trained cluster. fit-generator method for developing system models. MCR-CG was tested on real datasets from Harvard and MIT published the edX. The results showed that both the model training and the model testing steps were up to 75% accurate. and has a time efficiency in the model training process that is up to 35% faster compared to non-clustering models. Moreover, the MCR-CG can support the scaling of storage in a horizontal format. (scale-out) and support large data.

ระบบคำแนะนำแบบดั้งเดิม (Traditional recommendation techniques) ประสบปัญหาในการขยายขนาด (Scale-out) ส่งผลให้ระบบคำแนะนำมีคุณภาพไม่ดีเท่าที่ควร ไม่สามารถรองรับกับข้อมูลที่มีขนาดใหญ่ โดยเฉพาะอย่างยิ่งเมื่อมีตัวเลือกให้เลือกมากมาย กลายเป็นเรื่องยากสำหรับผู้คนที่จะค้นหาสิ่งที่ต้องการหรือสิ่งที่พวกเขาสนใจ เช่นเดียวกับระบบคำแนะนำรายวิชาที่ต้องเผชิญกับปัญหาดังกล่าว ยิ่งไปกว่านั้นระบบแนะนำรายวิชามักจะอยู่ในสภาพแวดล้อมแบบปิดใช้งานแค่ในส่วนของตนเองเท่านั้น. และระบบยังคงใช้เทคโนโลยีในการจัดเก็บข้อมูลและประมวลผลข้อมูลแบบเดิมทำให้ไม่สามารถใช้งานได้จริงตามสถานการณ์ที่ข้อมูลมีการเปลี่ยนแปลงและเพิ่มขึ้นอย่างรวดเร็ว เมื่อมุ่งเป้าไปที่ปัญหาดังกล่าวผู้วิจัยขอเสนอสถาปัตยกรรมตัวแบบระบบแนะนำรายวิชาสำหรับสภาพแวดล้อม MOOCs ชื่อว่า MCR-CG ด้วยแพลตฟอร์มอาปาเช (Apache platform) สำหรับบริหารจัดการกับข้อมูลขนาดใหญ่ และใช้โครงข่ายประสาทเทียมเชิงลึก (Deep Neural Network) ร่วมกับ Long Short-Term Memory (LSTM) กับการทำงานแบบคลัสเตอริ่ง (Clustering) ที่ฝึกสอนด้วยวิธี fit-generator สำหรับการพัฒนาตัวแบบของระบบ MCR-CG ได้นำไปทดสอบกับชุดข้อมูลจริงของ Harvard and MIT published the edX ผลการทดสอบแสดงให้เห็นว่าทั้งในขั้นตอนการฝึกสอนตัวแบบ (Model training) และขั้นตอนการทดสอบตัวแบบ (Model testing) ให้ผลความแม่นยำสูงถึง 75% และมีประสิทธิภาพเชิงเวลาในขั้นตอนการฝึกสอนตัวแบบ (model training) ที่เร็วกว่าถึง 35% เมื่อเทียบกับการทำงานแบบไม่ใช่คลัสเตอริ่ง (non-clustering) ยิ่งไปกว่านั้น MCR-CG สามารถรองรับการปรับขนาดของพื้นที่จัดเก็บข้อมูล (Storage) ในรูปแบบแนวนอน (Scale-out) และรองรับกับข้อมูลที่มีขนาดใหญ่ได้