Wound-Region Segmentation from Image by Using Deep Learning and Various Data Augmentation Methods

Abstract

Chronic wound segmentation is an essential task for evaluating wound and its healing progress. However, accuracy of wound size measurement depends on expertise of the measurer. The measurement result may be significantly different among measurers, and thus, healing progress reports. To solve this issue, deep learning for semantic segmentation is introduced for wound-region segmentation in an image.We can, then, calculate the segmented wound region into its corresponding true size and evaluate the healing progress of the patient. Unfortunately, semantic segmentation in prior work did not produce satisfactory outputs in wound image segmentation, even with a large training dataset.

This work, therefore, rethinks about the challenge and aims at not only improving segmentation accuracy, but also studying the impact of wound tissue types and color on accuracy, these lead to two hypotheses driving this research: (1) a type of wound tissues plays an important role in segmentation accuracy and (2) utilization of better color data can significantly improve the accuracy. To investigate the first hypothesis, multiple neural network models were trained according to wound tissue types: granulation, slough, necrosis and three fissure types combined. For the second hypothesis, color augmentation was utilised during model training and accuracy of models trained with color augmentation was compared with those of models without color augmentation.

The experiments showed that types of wound did not significantly affect accuracy of wound segmentation and indicated that slough was the most challenging tissue in this task, while granulation was the least challenging one. Also, properly increasing color variety of wound images by color augmentation greatly improved segmentation accuracy. Therefore, according to the experiments, colors play an important roles in wound segmentation performance. The accuracy we archived was close to prior work, even though this method employed much smaller training set.

การแบ่งแยกพื้นที่บาดแผลเรื้องรังเป็นสิ่งที่จำเป็นสำหรับการประเมินและดูความก้าวในการฟื้นตัวของสภาพบาดแผล อย่างไรก็ตามความแม่นยำในการวัดขนาดบาดแผลขึ้นอยู่กับความชำนาญของผู้วัดขนาด กล่าวคือผลการวัดอาจเปลี่ยนไปมากเมื่อเปลี่ยนผู้วัดขนาด ทำให้เกิดเป็นความคลาดเคลื่อนและทำให้ประเมินความก้าวหน้าในการรักษาผิดพลาด จากปัญหาเหล่านี้จึงได้มีแนวคิดนำปัญญาประดิษฐ์ที่มีการเรียนรู้เชิงลึกสำหรับการแบ่งแยกเชิงความหมายมาแก้ไขปัญาที่เกิดขึ้น โดยที่ปัญญาประดิษฐ์จะทำหน้าที่แบ่งแยกภาพบาดแผลเพื่อให้ได้พื้นที่บาดแผลจริงออกมา แล้วนำพื้นที่บาดแผลนั้นไปเข้าสู่กระบวนการวัดและประเมินสภาพต่อไปในอนาคต แต่น่าเสียดายที่การแบ่งส่วนเชิงความหมายในงานก่อนหน้าให้ไม่ได้ผลลัพธ์ที่น่าพอใจสำหรับงานด้านการแบ่งแยกภาพบาดแผล ถึงแม้ว่าจะมีชุดข้อมูลการฝึกที่มีขนาดใหญ่ก็ตาม

งานวิจัยนี้จึงคิดทบทวนเกี่ยวกับความท้าทายและมุ่งหวังที่จะไม่เพียงแต่ปรับปรุงความแม่นยำในการแบ่งแยกพื้นที่ภาพบาดแผลแต่ยังศึกษาผลกระทบของประเภทของเนื้อเยื่อบาดแผลและสีที่มีผลต่อความแม่นยำของการวัดพื้นที่บาดแผล นำไปสู่สมมติฐานที่ว่าสีและประเภทของเนื้อเยื่อบาดแผลส่งผลกระทบต่อการแบ่งส่วนบาดแผลอย่างมีนัยสำคัญ เพื่อตอบสมมุติฐานที่เกิดขึ้นในการทดลองทางผู้วิจัยได้มีการเพิ่มความหลากหลายของสีด้วยการขยายข้อมูลด้วยโมเดลรูปแบบสีจำนวน 6 รูปแบบ และนอกจากนี้ยังมีการแบ่งแยกประเภทเนื้อเยื่อบาดแผลออกเป็น 3 ประเภทได้แก่ เนื้อเยื่อแผลเนื้อแดง (granulation) , หนอง (slough) และเนื้อเยื่อแผลเนื้อตาย (necrosis) ทั้งในชุดข้อมูลการฝึกและชุดข้อมูลการทดสอบ

จากผลการทดลองแสดงให้เห็นว่าประเภทของเนื้อเยื่อบาดแผลไม่ส่งผลกระทบต่อการแบ่งแยกพื้นที่บาดแผลอย่างมีนัยสำคัญ และเนื้อเยื่อประเภทหนองเป็นเนื้อเยื่อที่ท้าทายที่สุดที่ในการแบ่งแยกพื้นที่ของภาพบาดแผลส่วนเนื้อประเภทเนื้อแดงเป็นเนื้อเยื่อที่ท้าทายน้อยที่สุด นอกจากนี้การเพิ่มความหลากหลายของสีของภาพแผลช่วยเพิ่มความแม่นยำการแบ่งแยกพื้นที่พื้นที่บาดแผลได้ ทำให้กล่าวได้ว่าสีส่งผลกระทบต่อการแบ่งส่วนบาดแผลอย่างมีนัยสำคัญ และในงานวิจัยนี้มีความแม่นยำการแบ่งแยกพื้นที่บาดแผลใกล้เคียงวิธีการแบบบก่อนหน้าถึงแม้ว่าจะมีชุดข้อมูลการฝึกขนาดเล็กก็ตาม