System for detection of blood-vessel obstruction and damage through video-based non-contact vital-sign analysis

Abstract

The objective of this research was to study the ability to perceive blood vessel obstruction status from the non-contact method. Since vessel obstruction is not limited to the facial area. It is well known that the signal intensity from the non-contact method (remote PPG, rPPG) is weaker than the contact method. In additional, the non-facial rPPG signal will be lack of strength, when compared to the facial region. Therefore, an independent component analysis-based model was proposed for detecting vital signs from non-facial areas named ica+. The ICA-based models are not sufficient to isolate the vital signs, since, the non-facial vital signs are weak. A set of time and frequency filters has been added to the calculation. The Savitzky–Golay filter could denoise the signal without deforming it. To further emphasize the frequency of the vital sign’s components, the Auto-correlation (AC) equation was calculated. Since, the results of AC are the correlation between the signal and its delayed copy. The clear pattern signal will magnify, while, the unclear pattern will be buried. The results showed that the average error of our ica+ was 2.24 bpm.

The blood vessel obstruction status including normal, artery obstruction, and vein obstruction was studied. The data were recorded from 83 volunteers, The experiment showed that the ica+ could produce low accuracy in both artery and vein obstruction status. These statistics were used to generate the feature set including Compact-statistic and Time-series feature sets. The compact statistic feature set was learned by the Artificial Neural Network (ANN), while the combination of Convolutional Neural Network and bidirectional long short-term memory (CNN + biLSTM) was trained with the time series feature set. The results show that both models are well classified. The median accuracy of the ANN model was 96.07% and 98.03% for the CNN + biLSTM model

Since the vein obstruction information was captured for 5 minutes. Therefore, the data set was divided into 3 parts; 1. first two minutes of vein obstruction, 2. middle two minutes of vein obstruction, and 3. last two minutes of vein obstruction. It was found that the ANN model was unable to effectively classify the obstruction state, while the CNN + biLSTM model was effectively classified which is 80 – 90% on accuracy. Since, the actual environment of blood vessel obstruction is not possible to determine the exact information size and how long the event has occurred. The whole data including normal, artery obstruction, and vein obstruction was divided into 1-minute intervals which overlapped for 30 seconds. The results displayed that the CNN + biLSTM model was effectively classified the blood vessel obstruction state with a median accuracy of 85.09%

งานวิจัยนี้มีวัตถุประสงค์เพื่อศึกษาความสามารถในการรับรู้สภาวะอุดตันเส้นเลือดจากวิธีการแบบไม่สัมผัส เนื่องจากการอุดตันเส้นเลือดไม่ได้ถูกจำกัดเพียงพื้นที่ใบหน้า เป็นที่ทราบดีว่าสัญญาณจากวิธีการแบบไม่สัมผัสนั้นมีความแข็งแรงที่น้อยกว่าวิธีการแบบสัมผัส รวมถึงเมื่อเป็นสัญญาณจากพื้นที่ที่ไม่ใช่ใบหน้าแล้วจะได้สัญญาณที่มีความแข็งแรงน้อยลงไปอีก ผู้วิจัยจึงเสนอวิธีและหลักการในการตรวจจับสัญญาณชีพจากพื้นที่ที่ไม่ใช่ใบหน้าชื่อว่า ica+ โดยมีพื้นฐานจากการวิเคราะห์องค์ประกอบอิสระ (Independent Component Analysis : ICA) แม้ว่า ICA จะสามารถแยกองค์ประกอบสัญญาณชีพออกจากสัญญาณที่ผสมอยู่ได้ แต่สัญญาณชีพจากพื้นที่ที่ไม่ใช่ใบหน้านั้นมีความแข็งแรงที่น้อย ดังนั้นวิธี ICA เพียงอย่างเดียวจึงไม่เพียงพอต่อการแยกองค์ประกอบสัญญาณชีพเหล่านั้นได้ ชุดตัวกรองทั้งทางเวลาและความถี่ได้ถูกเพิ่มเข้าไปในการคำนวณ ซึ่งต้องคำนึงถึงระดับของตัวกรองที่จะต้องไม่มากจนเกินไป เพราะจะส่งผลต่อสัญญาณชีพได้ ผู้วิจัยจึงเลือกใช้วิธีการกรองแบบ Savitzky–Golay ที่จะกรองสัญญาณโดยไม่ทำลายเอกลักษณ์ของสัญญาณ เพื่อเน้นความถี่ขององค์ประกอบสัญญาณชีพให้โดดเด่นมากขึ้น สมการ Auto-correlation (AC) จึงถูกนำมาคำนวณ เนื่องจากเป็นวิธีที่คำนวณความคล้ายคลึงของสัญญาณต้นฉบับกับสัญญาณที่เหลื่อมทางเวลา (delay) หากสัญญาณชีพนั้นมีองค์ประกอบที่ชัดเจนจะถูกเน้นให้มีความสำคัญมากขึ้น ในทางตรงกันข้าม หากสัญญาณนั้นมีลักษณะรูปแบบที่ไม่ชัดเจน จะถูกลดระดับความสำคัญลงไป โดยมีค่าเฉลี่ยความผิดพลาดอยู่ที่ 2.24 bpm

ข้อมูลการอุดตันเส้นเลือดประกอบด้วยข้อมูลสภาวะปกติ, สภาวะอุดตันเส้นเลือดแดง, และสภาวะอุดตันเส้นเลือดดำ ข้อมูลเหล่านี้ถูกบันทึกจากอาสาสมัคร 83 คน จากการทดลองพบว่าวิธี ica+ สามารถวัดอัตราการเต้นของหัวใจในสภาวะปกติได้ดีกว่าสภาวะอื่น ความแตกต่างเหล่านี้จะถูกนำไปคำนวณค่าสถิติเพื่อใช้ในการฝึกสอนโมเดล โดยแบ่งออกเป็น 2 ลักษณะ คือ 1. ฟีเจอร์ชุด Compact statistic ซึ่งวิเคราะห์ด้วยโมเดล ANN และ 2. ฟีเจอร์ชุด Time series ซึ่งวิเคราะห์ด้วยโมเดล CNN + biLSTM พบว่าโมเดลทั้ง 2 สามารถจำแนกข้อมูลในแต่ละสภาวะได้เป็นอย่างดี โดยมีค่าความแม่นยำมัธยฐานที่ 96.07% สำหรับโมเดล ANN และ 98.03% สำหรับโมเดล CNN + biLSTM

เนื่องจากข้อมูลสภาวะอุดตันเส้นเลือดดำนั้นถูกบันทึกที่เวลา 5 นาที ต่างจากข้อมูลสภาวะอื่นที่ถูกบันทึกเป็นเวลา 2 นาที จึงทดลองแบ่งชุดข้อมูลออกเป็น 3 ส่วน คือ 2 นาทีต้น, 2 นาทีกลาง, และ 2 นาทีท้าย พบว่าโมเดล ANN ที่เรียนรู้ด้วยฟีเจอร์ชุด Compact statistic นั้นไม่สามารถจำแนกข้อมูลสภาวะอุดตันได้อย่างมีประสิทธิภาพ ในขณะที่โมเดล CNN + biLSTM นั้นสามารถวิเคราะห์ข้อมูลได้อย่างดี โดยมีความแม่นยำอยู่ประมาณ 80 – 90 % นอกจากนี้ผู้วิจัยจัดแบ่งข้อมูลเพิ่มเติม โดยทำการแบ่งข้อมูลออกเป็นช่วง 1 นาที โดยที่แต่ละช่วงจะซ้อนทับกัน 30 วินาที เนื่องจากหากพิจารณาการใช้งานในสภาพแวดล้อมจริง พบว่าไม่สามารถสามารถกำหนดได้แน่ชัดว่าข้อมูลนั้นจะถูกบันทึกมาเป็นระยะเวลาเท่าใด และไม่อาจทราบได้ว่าเกิดสภาวะอุดตันมาแล้วนานเท่าใด พบว่าโมเดล CNN + biLSTM นั้นสามารถจำแนกสภาวะดังกล่าวได้อย่างดี โดยมีความแม่นยำมัธยฐานที่ 85.09%