Performance comparisons of LASSO methods for parameter estimation in high dimensional linear regression

Abstract

Penalized linear regression analysis is one of the widely used methods to estimate the parameters in high-dimensional data. The differences of parameters estimation in penalized linear regression are based on the penalty functions. The purpose of this research aim to compare the performances of L1 and L2 penalized estimation methods in high-dimensional linear regression models including ridge regression, LASSO, adaptive LASSO and relaxed LASSO under four different regression models such as partial orthogonal sparse model, non-orthogonal sparse model, grouping structure sparse model and non-orthogonal and non-sparse model. The simulation study is conducted by R programming using 500 replications for each situation setting. The performances of penalized regression estimators are compared by three criterions, median of the prediction mean square error, median of the estimation mean square error and the incorrect variable selection in models.

The results of this study are following: 1) In cases of partial orthogonal sparse model, non-orthogonal sparse model, grouping structure sparse model, relaxed LASSO has the highest prediction and estimation accuracy but ridge regression performs worst. In addition, the performance of adaptive LASSO estimation is better than LASSO when predictors are high correlate and sample size is large. 2) For non-orthogonal and non-sparse model, the highest performance penalized estimation method is ridge regression and the secondary is LASSO. Comparing next two methods, adaptive LASSO has better performance than relaxed LASSO when predictors are high correlate.

การวิเคราะห์การถดถอยเชิงเส้นพหุคูณแบบพีนอลไลซ์เป็นวิธีหนึ่งที่นิยมใช้กันอย่างแพร่หลายในการประมาณค่าพารามิเตอร์เมื่อข้อมูลมีมิติสูง ซึ่งการกำหนดฟังก์ชันพีนอลตี้ต่างกัน เป็นผลให้ตัวประมาณแบบพีนอลไลซ์แตกต่างกัน งานวิจัยนี้มีวัตถุประสงค์เพื่อเปรียบเทียบประสิทธิภาพของตัวประมาณสัมประสิทธิ์การถดถอยเชิงเส้นพหุคูณพีนอลไลซ์ชนิด L1 และ L2 ในกรณีข้อมูลมีมิติสูง 4 วิธี ได้แก่ วิธีริดจ์, LASSO, Adaptive LASSO และ Relaxed LASSO ภายใต้ตัวแบบถดถอยพหุคูณ 4 กรณี ได้แก่ ตัวแบบถดถอยบางเบาที่เมทริกซ์สหสัมพันธ์ของตัวแปรอิสระเป็นเชิงตั้งฉากบางส่วน, ตัวแบบถดถอยบางเบาที่เมทริกซ์สหสัมพันธ์ของตัวแปรอิสระไม่เป็นเชิงตั้งฉาก, ตัวแบบถดถอยบางเบาที่ความสัมพันธ์ของตัวแปรอิสระมีโครงสร้างแบบแบ่งกลุ่ม และตัวแบบถดถอยไม่บางเบาและเมทริกซ์สหสัมพันธ์ของตัวแปรอิสระไม่เป็นเชิงตั้งฉาก งานวิจัยเป็นการศึกษาการจำลองด้วยโปรแกรม R ในแต่ละสถานการณ์ ทำซ้ำ 500 รอบ เกณฑ์ที่ใช้ในการเปรียบเทียบ คือ ค่ามัธยฐานของค่าคลาดเคลื่อนกำลังสองเฉลี่ยของค่าพยากรณ์, ค่ามัธยฐานของค่าคลาดเคลื่อนกำลังสองเฉลี่ยของตัวประมาณสัมประสิทธิ์การถดถอย และความผิดพลาดของการคัดเลือกตัวประมาณ

ผลการวิจัย พบว่า 1) ในกรณีตัวแบบถดถอยบางเบาและเมทริกซ์สหสัมพันธ์ของตัวแปรอิสระเป็นเชิงตั้งฉากบางส่วน ไม่เป็นเชิงตั้งฉาก และโครงสร้างแบบแบ่งกลุ่ม วิธี Relaxed LASSO มีประสิทธิภาพของการพยากรณ์และประสิทธิภาพของการประมาณสูงที่สุด และวิธี Ridge regression มีประสิทธิภาพต่ำที่สุด และวิธี Adaptive LASSO มีประสิทธิภาพสูงกว่าวิธี LASSO เมื่อตัวแปรอิสระมีความสัมพันธ์กันสูงและขนาดตัวอย่างขนาดใหญ่ 2) ในกรณีตัวแบบถดถอยไม่บางเบาเบาและเมทริกซ์สหสัมพันธ์ของตัวแปรอิสระไม่เป็นเชิงตั้งฉาก วิธี Ridge regression มีประสิทธิภาพของการพยากรณ์และประสิทธิภาพของการประมาณสูงที่สุด รองลงมาคือวิธี LASSO เมื่อเปรียบเทียบวิธี Adaptive LASSO และ Relaxed LASSO พบว่า วิธี Adaptive LASSO มีประสิทธิภาพสูงกว่าวิธี Relaxed LASSO เมื่อตัวแปรอิสระมีความสัมพันธ์กันสูง