Development of a University English Proficiency Test

Abstract

Universities in Thailand currently require their students to take English proficiency test before graduation. If the universities construct a standardized university English proficiency test to assess their students’ English proficiency, the test results will be reliable and this can also help save the students’ expense in test-taking. Two main objectives of this research were 1) to construct and develop a university English proficiency test to be a standardized one with three specified characteristics: test usefulness was at a specified level, item analysis indexes and reliability were at a specified level, and there was high concurrent validity when compared the scored with a standardized test, and 2) to study the stake holders’ satisfaction towards the test. The sample consisted of 45 Bachelor’s degree students studying in the second semester of 2019 academic year at Thaksin University, Songkhla Campus. Basic statistics, item analysis and reliability coefficients, and Pearson’s product moment correlation coefficients were computed to analyze the data. It was found that:

1) overall, test usefulness of UEPT was at a good level ( = 4.26, S.D. = .175), and 7 individual qualities could be put in this order: Fairness ( = 4.66, S.D. = .491), Construct Validity ( = 4.24, S.D. = .121), Impact ( = 4.24, S.D. = .164), Authenticity ( = 4.20, S.D. = .084), Reliability ( = 4.19, S.D. = .143), Interactiveness ( = 4.18, S.D. = .109), and Practicality ( = 4.14, S.D. = .113)

2) 150 objective test items had moderate difficulty index (P = .55), their discrimination was at a good level (R = .49), and the reliability coefficient (KR20) was at .83; 122 test items (81.33%) were collected for future use and 28 items (18.67%) needed improvement or reconstruction. 5 subjective test items also had moderate difficulty index (P = .55), their discrimination was at a good level (R = .38), and the reliability coefficient (Cronbach Alpha) was at .80 and all items were collected.

3) overall, the concurrent validity of UEPT was higher than the set value (rxy = .90) and the concurrent validity of each test section could be put in this order: Writing and Speaking (rxy = .95), Listening (rxy = .93), Reading (rxy = .87), and Language Use (rxy = .76).

Some recommendations for this research is that there should have a further study to improve some test items to have good qualities and the test should be tried out with a large group of sample within Thaksin University and in other universities.

มหาวิทยาลัยต่าง ๆ ในประเทศไทยเริ่มกำหนดให้นักศึกษาสอบวัดความสามารถภาษาอังกฤษก่อนจบการศึกษา หากมหาวิทยาลัยสร้างแบบทดสอบวัดความสามารถภาษาอังกฤษระดับมหาวิทยาลัยที่ได้มาตรฐานเพื่อใช้วัดความสามารถภาษาอังกฤษของนักศึกษา ผลการสอบจะมีความน่าเชื่อเถือและยังช่วยประหยัดค่าใช้จ่ายในการสอบของนักศึกษาอีกด้วย การวิจัยนี้มีวัตถุประสงค์หลัก 2 ข้อ คือ 1) เพื่อสร้างและพัฒนาแบบทดสอบวัดความสามารถภาษาอังกฤษระดับมหาวิทยาลัยให้เป็นแบบทดสอบมาตรฐานที่มีลักษณะเฉพาะคือ คุณประโยชน์ของแบบทดสอบเป็นไปตามเกณฑ์ที่กำหนด คุณภาพรายข้อและความเชื่อมั่นเป็นไปตามเกณฑ์ที่กำหนด และ ความตรงร่วมสมัย (Concurrent Validity) สูง เมื่อเทียบกับแบบทดสอบมาตรฐาน และ 2) เพื่อศึกษาความพึงพอใจของผู้เกี่ยวข้องต่อแบบทดสอบที่สร้างขึ้น กลุ่มตัวอย่างได้แก่อาสาสมัครที่เป็นนิสิตระดับปริญญาตรี มหาวิทยาลัยทักษิณ วิทยาเขตสงขลา ซึ่งกำลังศึกษาอยู่ในภาคเรียนที่ 2 ปีการศึกษา 2561 จำนวน 45 คน วิเคราะห์ข้อมูลโดยใช้สถิติพื้นฐาน การวิเคราะห์คุณภาพรายข้อและความเชื่อมั่น และการหาความตรงร่วมสมัยโดยใช้ Pearson’s Product-Moment Correlation Coefficients ผลการวิจัยพบว่า

1) แบบทดสอบวัดความสามารถภาษาอังกฤษระดับมหาวิทยาลัยมีคุณประโยชน์โดยรวมอยู่ในระดับดี ( = 4.26, S.D. = .175) และมีคุณประโยชน์รายด้าน 7 ด้าน เรียงตามลำดับ คือ ด้านความเป็นธรรม (Fairness) ( = 4.66, S.D. = .491) ด้านความตรงเชิงโครงสร้าง (Construct Validity) ( = 4.24, S.D. = .121) ด้านผลกระทบ (Impact) ( = 4.24, S.D. = .164) ด้านความสมจริง (Authenticity) ( = 4.20, S.D. = .084) ด้านความเชื่อมั่น (Reliability) ( = 4.19, S.D. = .143) ด้านการมีปฏิสัมพันธ์ (Interactiveness) ( = 4.18, S.D. = .109) และด้านความสะดวกใช้ (Practicality) ( = 4.14, S.D. = .113)

2) แบบทดสอบปรนัย 150 ข้อ มีค่าความยากง่ายระดับปานกลาง (P = .55) ค่าอำนาจจำแนกอยู่ในระดับจำแนกได้ดี (R = .49) และค่าความเชื่อมั่น (KR20) เท่ากับ .83 ได้ข้อคำถามคุณภาพดี 122 ข้อ คิดเป็น 81.33 % และข้อคำถามที่ควรปรับปรุง 28 ข้อ คิดเป็น 18.67 % และแบบทดสอบอัตนัย 5 ข้อ ค่าความยากง่ายคุณภาพดีมาก (P = .55) ค่าอำนาจจำแนกอยู่ในระดับจำแนกได้ดี (R = .38) และค่าสัมประสิทธิ์ความเชื่อมั่นแอลฟาของครอนบาค (Coefficient Alpha) เท่ากับ .80 และเป็นข้อคำถามคุณภาพดีทั้ง 5 ข้อ คิดเป็น 100 %

3) ในภาพรวม แบบทดสอบทั้งฉบับมีค่าความตรงร่วมสมัย (Concurrent Validity) สูงกว่าเกณฑ์ (rxy = .90) และมีความตรงร่วมสมัย (Concurrent Validity) ของแต่ละทักษะ เรียงตามลำดับ คือ ทักษะการเขียนและการพูด (rxy = .95) การฟัง (rxy = .93) การอ่าน (rxy = .87) และการใช้ภาษา (rxy = .76)

4) ในภาพรวม ผู้มีส่วนเกี่ยวข้องพึงพอใจแบบทดสอบวัดความสามารถภาษาอังกฤษระดับมหาวิทยาลัยอยู่ในระดับมาก ( = 4.27, S.D. = 0.770) และมีความพึงพอใจด้านต่าง ๆ เรียงตามลำดับ คือ 1) ด้านประโยชน์ของแบบทดสอบ ( = 4.40, S.D. = 0.687) 2) ด้านคำสั่งของแบบทดสอบ ( = 4.36, S.D. = 0.708) 3) ด้านการจัดการสอบ ( = 4.32, S.D. = 0.842) 4) ด้านการตรวจให้คะแนน ( = 4.25, S.D. = 0.784) 5) ด้านรูปแบบและการจัดลำดับความ ( = 4.22, S.D. = 0.813) และ 6) ด้านเนื้อหาสาระของแบบทดสอบ ( = 4.19, S.D. = 0.786)

ข้อเสนอแนะสำหรับการวิจัยครั้งนี้ คือ ควรมีการศึกษาเพิ่มเติมเพื่อการปรับปรุงข้อคำถามบางส่วนให้มีคุณภาพตามเกณฑ์ และนำไปใช้กับกลุ่มตัวอย่างขนาดใหญ่ทั้งภายในมหาวิทยาลัยทักษิณและมหาวิทยาลัยอื่น ๆ