Accuracy Improvement for Segmentation and Classification of Wound Tissues through Region-Focus Training

Abstract

Segmentation of chronic wound regions from an image aids in following up a wound-healing process without a wound contact. Unlike a wound tracing method, the image-based method imposes no risk of infection. This method is also more accurate than using a scale to assess the wound size. However, there are several wound-tissue types and the proportion of these tissue types is important for selecting a proper wound-treatment method. To that end, our research goal is to increase the accuracy of wound-tissue segmentation and classification in images by training a deep neural network model with more challenging samples. These challenging samples are the selection of sub-areas from high resolution. We separate the wound tissue into 3 types: (1) Granulation, (2) Slough and (3) Necrosis.

To segment wound areas from an image, we divide an input image into sub-images and segment each sub-region. Next, we combine segmentation outputs from sub-images into an image whose size is the same as the original one. From results in original image resolution, the proposed method finds challenging regions and focuses model training on these areas. It creates an error heatmap and produces additional training samples from regions with high segmentation errors. The process of producing additional training sub-images based on the proposed method can create a large number of additional sub-images. However, the ratio of the number of created images and the number of original sub-images has an impact on accuracy. This work also finds a suitable ratio and compares it with a baseline method that does not rely on challenging samples. The results indicated that our proposed method was always more accurate than the traditional one. Accuracy increased the most when adding samples produced by proposed Region-Focus Training by 75% of the original sub-images. This improved F1-scores by 0.0107, 0.0216 and 0.1284 in segmentation of granulation, slough and necrosis tissues, respectively. It improved the accuracy in terms of Intersection over Union (IoU) by 4.2% and Dice Similarity Coefficient (DSC) by 4.11%. Also, it reduced area-measurement errors by 38.01% and 59.12% in tissue and wound segmentations.

การหาพื้นที่บาดแผลเรื้อรังจากภาพถ่ายทำให้ติดตามผลการรักษาได้โดยไม่ต้องสัมผัสกับแผลและไม่สร้างปัญหาเสี่ยงติดเชื้อเมื่อเทียบกับวิธีลอกลาย รวมถึงมีความแม่นยำที่เพิ่มมากขึ้นกว่าการใช้ไม้บรรทัดกะประมาณขนาด อย่างไรก็ตามเนื้อเยื่อแผลมีหลายชนิดและสัดส่วนของเนื้อเยื่อสำคัญต่อการเลือกวิธีรักษา เพื่ออำนวยความสะดวกในการเลือกวิธีรักษา งานวิจัยนี้มีวัตถุประสงค์เพื่อเพิ่มความแม่นยำในการแยกพื้นที่และจำแนกชนิดเนื้อเยื่อแผลจากภาพถ่ายโดยการฝึกตัวแบบรู้จำเชิงลึกกับตัวอย่างที่มีความท้าทายให้มากขึ้น ซึ่งตัวอย่างที่ท้าทายนี้เป็นการคัดเลือกพื้นที่ย่อยภายในออกมาจากความละเอียดสูง เนื้อเยื่อแผลที่ต้องการจำแนกมี 3 ประเภทคือ 1.เนื้อเยื่อเนื้อแดง (Granulation) 2.เนื้อเยื่อหนอง (Slough) และ 3.เนื้อเยื่อเนื้อตาย (Necrosis)

งานวิจัยนี้ใช้วิธีการแบ่งภาพออกเป็นภาพย่อย (Sub-images) และให้ตัวแบบแยกพื้นที่ในภาพย่อย จากนั้นจะรวมข้อมูลการแยกพื้นที่จากภาพย่อยให้มีขนาดสอดคล้องกับภาพต้นฉบับ จากผลการแยกพื้นที่ในความละเอียดของภาพต้นฉบับ วิธีการที่นำเสนอจะค้นหาตัวอย่างที่มีความท้าทายและเน้นฝึกไปในพื้นที่เหล่านี้ (Region-Focus Training) การค้นหาพื้นที่ที่ท้าทายดำเนินการจากแผนที่ความร้อนแสดงความผิดพลาดของการทำนาย (Error Heatmap) ซึ่งกระบวนการสร้างชุดข้อมูลฝึกสอนเพิ่มเติมแบบเน้นตามพื้นที่นี้สามารถสร้างภาพย่อยเพิ่มเติมขึ้นมาได้เป็นจำนวนมาก แต่ทว่าสัดส่วนของภาพที่สร้างขึ้นกับภาพย่อยดั้งเดิมมีผลต่อความแม่นยำ งานวิจัยนี้จึงศึกษาหาสัดส่วนที่เหมาะสมและมีการเปรียบเทียบกับวิธีที่ไม่ได้เพิ่มพื้นที่ภาพแบบเน้นฝึกไปในพื้นที่ ผลการทดลองสรุปได้ว่าการเพิ่มตัวอย่างด้วยวิธีนี้ให้ความแม่นยำที่มากขึ้นกว่าวิธีการดั้งเดิมเสมอ โดยความแม่นยำเพิ่มขึ้นมากที่สุดเมื่อเพิ่มจำนวนตัวอย่างด้วยวิธีเน้นฝึกไปในพื้นที่เป็นจำนวนร้อยละ 75 ของชุดข้อมูลแบบดั้งเดิมและสามารถเพิ่มค่า F1-score ได้ 0.0107, 0.0216 และ 0.1284 ในการทำนายเนื้อเยื่อเนื้อแดง เนื้อเยื่อหนองและเนื้อเยื่อเนื้อตายตามลำดับ นอกจากนี้ยังสามารถเพิ่มความแม่นยำในตัวชี้วัด Intersection over Union (IoU) ได้ 4.2% และในตัวชี้วัด Dice Similarity Coefficient (DSC) ได้ 4.11% อีกทั้งยังสามารถลดค่าความผิดพลาดในการวัดขนาดพื้นที่ได้ 38.01% และ 59.12% สำหรับการแยกพื้นที่แบบระบุเนื้อเยื่อและการแยกพื้นที่บาดแผลโดยไม่ระบุเนื้อเยื่อตามลำดับ