Efficient Comparison of Inference Methods in Logistic Regression Model

Abstract

Logistic regression model is used to explain the relationship between explanatory variables and categorical response variable in many research fields. The maximum likelihood (ML) was generally used to estimate parameters, but the ML shows very poor results in the case of separate data. Exact Logistic Regression (ELR) and Markov chain monte carlo (MCMC) exact inference are the logical alternative to the ML. This research offers a comparison of the property of three methods for estimation. The study found that;

In case of one continuous explanatory variable, when the percentage of the overlapping ​​is less than or equal to 4, the three estimation methods have low efficient in parameter estimation. When the percentage of overlapping ​​is higher than 4, the ML and ELR are equally efficient but the MCMC has the lowest efficiency.

In case of two discrete explanatory variables, when percentage of responses is less than 50, the ML and ELR poorly perform in parameter estimation. However, when the percentage of response is equal to 50 at sample size less than or equal to 28, the ELR is more effective than the ML, but at sample size greater than or equal to 48, both methods are similarly effective.

In interval estimation of two cases the results showed that, when the probability estimation coverage does not differ from the confidence level, the least confidence interval width estimation is ML. The ELR and MCMC methods commondly provided the infinite width of the confidence interval on average.

ตัวแบบการถดถอยลอจิสติกได้นำมาใช้อย่างกว้างขวางในงานวิจัยหลายแขนง เพื่ออธิบายความเกี่ยวพันระหว่างตัวแปรอธิบายและตัวแปรตอบสนอง ในกรณีที่ตัวแปรตอบสนองเป็นตัวแปรจำแนกประเภท โดยทั่วไปวิธีการประมาณค่าพารามิเตอร์ในตัวแบบการถดถอยลอจิสติกที่นิยมใช้ คือ วิธีภาวะน่าจะเป็นสูงสุด (ML) แต่จากการศึกษาพบว่าวิธีดังกล่าวไม่สามารถใช้ในการประมาณค่าพารามิเตอร์ในกรณีข้อมูลเป็นแบบแบ่งแยกสมบูรณ์ และข้อมูลแบบแบ่งแยกกึ่งสมบูรณ์ งานวิจัยนี้ศึกษาวิธีการประมาณค่าพารามิเตอร์วิธีอื่นที่สามารถแก้ไขข้อบกพร่องของวิธีภาวะน่าจะเป็นสูงสุด ได้แก่ วิธีการถดถอยลอจิสติกแบบแม่นตรง (ELR) และวิธีลูกโซ่มาร์คอฟมอนติคาร์โล (MCMC) สำหรับการถดถอยลอจิสติกแบบแม่นตรง จากนั้นทำการเปรียบเทียบประสิทธิภาพของวิธีการประมาณค่าพารามิเตอร์ทั้งสามวิธี เมื่อข้อมูลมีจำนวนค่าสังเกตทับซ้อนต่างกัน และกรณีที่ข้อมูลมีร้อยละของค่าตอบสนองต่างกัน จากการศึกษาพบว่า

กรณีตัวแปรอธิบายแบบต่อเนื่อง 1 ตัวแปร: สำหรับทุกร้อยละของค่าตอบสนอง เมื่อร้อยละของจำนวนค่าสังเกตทับซ้อนมีค่าต่ำกว่าหรือเท่ากับ 4 วิธีการประมาณค่าพารามิเตอร์ทั้ง 3 วิธี ยังมีประสิทธิภาพในการประมาณค่าพารามิเตอร์ต่ำ เมื่อร้อยละของจำนวนค่าสังเกตทับซ้อนมีค่าสูงกว่า 4 วิธี ML และวิธี ELR มีประสิทธิภาพใกล้เคียงกัน ส่วนวิธี MCMC มีประสิทธิภาพต่ำสุด

กรณีตัวแปรอธิบายแบบไม่ต่อเนื่องทั้ง 2 ตัวแปร: เมื่อค่าประมาณร้อยละของค่าตอบสนองต่ำกว่า 50 วิธี ML และ ELR ยังมีประสิทธิภาพต่ำในการประมาณค่าพารามิเตอร์ เมื่อค่าประมาณร้อยละของค่าตอบสนองเท่ากับ 50 ที่ขนาดตัวอย่างน้อยกว่าหรือเท่ากับ 28 วิธี ELR มีประสิทธิภาพสูงกว่าวิธี ML ส่วนที่ขนาดตัวอย่างมากกว่าหรือเท่ากับ 48 ทั้งสองวิธีมีประสิทธิภาพใกล้เคียงกัน

การประมาณค่าพารามิเตอร์แบบช่วงของทั้ง 2 กรณี พบว่า วิธีที่ให้ค่าประมาณค่าความน่าจะเป็นครอบคลุมไม่แตกต่างจากระดับความเชื่อมั่นที่กำหนดและให้ค่าประมาณความกว้างเฉลี่ยของช่วงความเชื่อมั่นน้อยที่สุด คือวิธี ML เนื่องจากวิธี ELR และวิธี MCMC โดยส่วนใหญ่ให้ค่าประมาณความกว้างเฉลี่ยของช่วงความเชื่อมั่นเป็นอนันต์