تحلیل نمرات خام پذیرفته شدگان آزمون ورودی دانشگاه های ایران در دروس عمومی، اختصاصی و زبان انگلیسی

 

Abstract

This paper is aimed at analyzing the raw scores of university applicants admitted based on the university entrance exam in 2015. The aim of this research was to identify weaknesses of the test. The research method was of the applied, descriptive type and the statistical sample included all the applicants admitted to university programs (Total Numbers: 278686).To analyze data, the statistical measures such as mean, item difficulty, and item variance were applied.

The results of this research showed that the mean, average level of difficulty and variance of the items of the general test were 0.24.5%, 0.25 and 0.18 respectively. The same measures of the items in the discipline -specific test were 14.35% and 0.12 respectively. According to the Classical Test Theory (CTT), the acceptable levels of these measures are as follows:

1) The average level of difficulties for items, is equal to 0.50

2) Items difficulties should be in the range of 0.30 to 0.70

3) Items variances should be in the range of 0.21 to 0.25

The gap between the results and the acceptable levels suggests that the discrimination power of the tests was far less than optimal. The paper makes some suggestion for change to impove

The quality of the tests.

Key Words: achievement test, academic failure, performance, the Iranian university entrance exam

 

 

 

 

مقدمه

آزمون سراسری ورود به دانشگاه‌ها و مؤسسات آموزش عالی کشور به منظور فراهم ساختن بستر رقابت عادلانه¹ و منصفانه‌ داوطلبان ورود به دانشگاه و گزینش افراد مستعد و توزیع آنان در رشته‌های مختلف، همه ساله از سوی سازمان سنجش آموزش کشور در پنج گروه آزمایشی علوم ریاضی، علوم تجربی، علوم انسانی، هنر و گروه زبان‌های خارجی برگزار می‌گردد.

در آزمون سراسری سال 1394 کشور، از میان 1072813 متقاضی که 918387 نفر از آنان در جلسه آزمون حاضر بوده‌اند، تعداد 278686 نفر (قریب30 درصد) از طریق آزمون پذیرفته شده و به دانشگاه راه یافتند. جدول شماره (1) آمار و وضعیت ‌کلی داوطلبان آزمون سراسری سال 1394 را نشان می‌‌دهد.

 

 

 سؤالات داوطلبان آزمون سراسری به دو بخش «سؤالات عمومی و سؤالات اختصاصی» تقسیم می‌شود. در بخش عمومی، تمامی داوطلبان می‌بایست به 100 سؤال (شامل سؤالات دروس زبان و ادبیات فارسی، زبان عربی، فرهنگ و معارف اسلامی و زبان خارجی) در مدت 75 دقیقه پاسخ دهند و در بخش آزمون اختصاصی، داوطلبان هر گروه آزمایشی، به سؤال‌های دروس مرتبط با رشته تحصیلی خود در وقت مقرر پاسخ می‌دهند (به جدول شماره 4 مراجعه کنید). هدف از اجرای این پژوهش در حوزه نمره‌ آزمون، توصیف و تحلیل نمره‌های خام درصدی پذیرفته‌شدگان آزمون سراسری سال 1394، ارزشیابی کمّـی این آزمون با استفاده از داده‌های واقعی و مقایسه وضعیت موجود با وضعیت مطلوب طراحی و اجرا گردید. هدف غایی این پژوهش نیز، شناسایی کاستی‌های احتمالی آزمون سراسری و پیشنهاد راهکارهایی جهت افزایش دقت ²و کاهش خطای اندازه‌گیری³ است. همچنین، گروه‌های مخاطب این مطالعه از یک طرف، داوطلبان آزمون‌ سراسری و از طرف دیگر، برنامه‌ریزان‌ آموزش‌وپرورش، معلمان، طراحان سؤال و سازمان سنجش آموزش کشور هستند تا بدین‌وسیله میزان و مسیر تلاش خود را هر چه بهتر و بیشتر تقویت و اصلاح نمایند.

 

 

بیان مسئله

بی‌گمان، نقش آزمون سراسری به عنوان یک آزمون سرنوشت‌ساز⁴، عبارت است از اندازه‌گیری دقیق و رتبه‌بندی علمی داوطلبان آزمون. آزمون سرنوشت‌ساز آزمونی است که در مقیاس گسترده اجرا شده و بر اساس نتایج آن تصمیماتی خطیر درباره افراد اتخاذ می‌گردد به‌طوری‌که این تصمیمات دارای تبعات مهم شخصی، اجتماعی و سیاسی برای افراد هستند (ریت⁵، 2016؛ پاپهام⁶، 2005). بدیهی است، چنانچه اندازه‌گیری با دقت و ثبات⁷ کافی انجام نپذیرد، دست‌کم، بخشی از پذیرفته‌شدگان آزمون سراسری وارد آن‌ دسته از رشته‌هایی خواهند شد که یا انگیزه و علاقه کافی برای تلاش ندارند و یا توانایی پیشرفت تحصیلی مناسب در آن رشته‌ها را نخواهند داشت. به این ترتیب، نخستین خسارت ناشی از انگیزه پایین و یا کم توانی در تحصیل عبارت است از افت تحصیلی، ترک تحصیل و یا اخراج دانشجویان از دانشگاه (پروند، 1381، جانزاده، 1389).

به اعتقاد متخصصان اندازه‌گیری، قوی‌ترین اتهام وارده به آزمون و سنجش و به طریق اولی، مهم‌ترین مسئله برای آزمودنی‌ و جامعه، سنجش عادلانه و منصفانه است (همبلتون⁸ و همکاران، 1991). بی‌تردید، عادلانه‌بودن برای آزمون‌های سرنوشت‌ساز به عنوان آزمون‌هایی که به منظور تصمیم‌گیری برای آینده آزمودنی‌ها به کار می‌روند از اهمیت بیشتری برخوردار است (پاپهام، 2005). به قول استوکینگ⁹ و لوئیس¹⁰ (2000)، مسائل مرتبط با طرح سؤال، ساخت آزمون و به‌طور کلی سنجش، مشابه بادکنکی است که وقتی یک طرف آن را می‌فشاریم، سمت دیگر آن متورم می‌شود. یعنی، هنگامی‌که به یک جنبه آزمون و سنجش توجه می‌شود از سایر جنبه‌های آن غفلت می‌شود.

همان‌طور که آشکار است، هدف کلی آزمون‌های هنجارـ‌مرجع¹¹ همانند آزمون سراسری، شامل توصیف تفاوت‌های فردی، جداسازی آزمودنی‌ها از یکدیگر و رتبه‌بندی منصفانه و عادلانه‌ آن‌هاست. در واقع، مهم‌ترین ویژگی‌ این آزمون‌ها این است که میان آزمودنی‌ها تفکیک ایجاد کند و تفاوت‌های آن‌ها را در حوزه مورد اندازه‌گیری، تا حد ممکن به‌طور دقیق وکامل نشان دهد. واضح است، چنانچه شرکت‌کنندگان در یک آزمون، نمره صفر، یا نمره کامل و یا نمره برابر و یکسانی کسب کرده باشند، یعنی واریانس نمرات آنها صفر و یا نزدیک به صفر باشد، هیچ هدف سودمندی برای آزمون‌ساز نخواهد داشت (فرگوسن¹² و تاکانه¹³، 1989). لذا، آزمون‌ساز در فرآیند ساخت آزمون تلاش می‌کند سؤالاتی را در آزمون بگنجاند که واریانس نسبتاً بالایی داشته باشند. به این ترتیب، واریانس کل آزمون که از واریانس تک‌تک سؤالات و همبستگی میان آن‌ها تشکیل می‌شود، بالا خواهد بود (مگنوسون¹⁴، 1967).

چنانچه یک آزمون، واریانس زیادی تولید کند، در واقع، چنین آزمونی توانسته تغییرات بیشتری را نشان دهد و در این صورت، بهتر می‌تواند افراد را از یکدیگر تفکیک کند. آشکار است که ایجاد واریانس مطلوب در یک آزمون، وابسته به انتخاب سؤالات مناسب و توانمند است. مطابق نظریه کلاسیک آزمون¹⁵، سؤال مناسب چندین قاعده وضابطه دارد که از جمله مهم‌ترین آن‌ها این است که سطح ضریب دشواری¹⁶ سؤال حدود 0/50 باشد (گالیکسن¹⁷، 1987). زمانی‌که دشواری یک سؤال برابر با 0/50 باشد، واریانس سؤال به بیشینه مقدار ممکن که برابر با 0/25 است، می‌رسد (کروکر¹⁸و آلجینا¹⁹، 2008). به این ترتیب، آزمون‌سازان کارکشته پیشنهاد می‌کنند فقط سؤال‌هایی در آزمون قرار گیرند که «متوسط دشواری» آن‌ها فاصله و انحراف زیادی از 0/50 نداشته باشند. بنابراین، ضرورت دارد و انتظار می‌رود با اصلاح ساختار آزمون سراسری و بهبود پارامترهای فنی و روان‌سنجی سؤالات، بتوان رتبه‌بندی²⁰ داوطلبان را به نفع افراد شایسته‌تر تغییر داد. بنا به گفته اوسترلیند²¹ (2002)، یکی از مهم‌ترین جنبه‌های ارزیابی آزمون‌، همواره، توصیف و تحلیل نمرات آزمودنی‌ها است. بنابراین، در این گفتار تلاش خواهیم کرد به بررسی و مطالعه‌ نمرات خام دروس عمومی و دروس اختصاصی پذیرفته‌شدگان آزمون سراسری سال 1394‌ کشور بپردازیم.

 

 

 

سؤال‌های پژوهش

به اذعان برنامه‌ریزان آموزش‌وپرورش، اندازه‌گیری، مهم‌ترین بخش فرآیند آموزش محسوب می‌شود به‌طوری‌که گرونلند²³ و واف²³(2013) عقیده دارند، سنجش پیشرفت تحصیلی یادگیرنده، نقشی برجسته‌ و بی‌بدیل در آموزش‌ ایفا می‌کند. نتایج سنجش حاوی اطلاعات ارزشمندی است که می‌تواند در مراحل مختلف آموزش مورد استفاده قرارگیرد (کوئین²⁴، 2010). نمرات آزمون به منظور اتخاذ تصمیمات دقیق،آگاهانه و عالمانه، اطلاعاتی سازنده‌ در اختیار فراگیران، آموزشیاران، آزمون‌سازان و سیاست‌گذاران قرار می‌دهد. بدیهی است برای دستیابی به این اطلاعات سازنده، داده‌های مربوط به نمرات آزمون باید به‌طور مناسب، تحلیل و تفسیر شوند (کوکی‌نووا²⁵، 2004). صاحب‌نظران اندازه‌گیری از قبیل هالادینا²⁶(2004) اعتقاد دارند، به کار بستن اصول ساخت آزمون، منجر به تفسیر بهتر و استفاده بیشتر از نمرات آزمون می‌گردد. بدیهی است، عدم به‌کارگیری قواعد ساخت و اصول تحلیل سؤال و آزمون، موجب می‌شود که آزمون‌ها در مقام عمل، مؤلفه‌ای جز خطا را اندازه‌گیری نکنند. از این‌رو، متخصصان ساخت آزمون، شاخص‌های مختلفی را برای تحلیل آزمون ارائه می‌کنند از جمله دامنه مطلوب دشواری را برای آزمون‌های نرم مرجع همانند آزمون ورودی دانشگاه (با در نظرگرفتن نرخ پذیرش)، بین مقادیر 0/30 تا 0/70 می‌دانند (گرونلند، 1977؛ شولتز²⁷و ویتنی²⁸، 2005). بنا به اعتقاد آلن²⁹ و ین³⁰(2001)، چنانچه حداکثر تشخیص تمام سطوح عملکرد آزمودنی‌ها خواسته آزمون‌ساز باشد، بهترین دامنه دشواری سؤال‌ها در دامنه 0/30 تا 0/70 قرار می‌گیرد.

مطابق گزارش‌های فنی سازمان سنجش آموزش کشور (به‌عنوان مثال، به کارنامه‌ آماری آزمون سراسری سال 1394 مراجعه کنید)، و اظهارات برخی از متخصصان تعلیم‌وتربیت و اندازه‌گیری آموزشی، به نظر می‌رسد شاخص‌های روان‌سنجی آزمون سراسری از استانداردهای لازم فاصله یافته است. لذا این پژوهش به منظور توصیف و ارزیابی ویژگی‌های آماری و سنجشی نمرات خام دروس عمومی و دروس اختصاصی پذیرفته‌شدگان آزمون سال 1394 طراحی گردید تا به سؤال‌های زیر پاسخ دهد:

1. آیا متوسط عملکرد پذیرفته‌شدگان در آزمون عمومی و آزمون اختصاصی از 30 درصد کمتر است؟

2. آیا متوسط واریانس سؤالات عمومی و اختصاصی پذیرفته‌شدگان، خارج از دامنه‌ بهینه 0/21 تا 0/25 است؟

3. آیا متوسط ضریب دشواری سؤالات عمومی و اختصاصی آزمون سراسری سال 1394، از 0/30 کمتر است؟

4. آیا نسبت پاسخ « نادرست و سفید» پذیرفته‌شدگان به سؤالات عمومی و اختصاصی ازمعیار قابل‌قبول (50 درصد) بیشتر است؟

 

 

روش پژوهش

در این پژوهش، جامعه آماری شامل تمامی پذیرفته‌شدگان آزمون سراسری سال 1394 در پنج گروه آزمایشی است که از طریق شرکت در آزمون، پذیرش و به دانشگاه معرفی شده‌اند.‌ حجم این جامعه‌ برابر با 278686 نفر است. در این مطالعه، نمرات آزمون کلیه اعضای جامعه مورد بررسی قرار گرفت و فرآیند نمونه‌گیری طی نگردید. جدول شماره (2)، تعداد حاضرین و تعداد پذیرفته‌شدگان آزمون را به تفکیک گروه‌ آزمایشی نشان می‌دهد. همچنین ابزار جمع‌آوری داده‌ها، آزمون سراسری سال 1394 در پنج گروه آزمایشی است. شیوه جمع‌آوری داده‌ها نیز مراجعه به نمرات استخراج شده از برگه‌های پاسخنامه‌ پذیرفته‌شدگان است. روش این پژوهش از لحاظ هدف، کاربردی و از حیث گردآوری داده‌ها، توصیفی‌ـ‌پیمایشی است.

 

 

 

یافته‌های پژوهش

الف. بخش آزمون عمومی

جدول شماره (3)، میانگین نمرات خام پذیرفته‌شدگان آزمون سراسری سال 1394 را در آزمون عمومی و به تفکیک پنج گروه‌ آزمایشی نشان می‌دهد. بدیهی است مقادیر درون جدول، بیانگر میانگین پاسخ‌های درست پذیرفته‌شدگان هر رشته در هر یک از مواد امتحانی است. همچنین، مقادیر کناری جدول که در انتهای هر سطر آورده شده است، میانگین دروس عمومی هر یک از گروه‌های آزمایشی را به‌ صورت کلی و اعداد خارج از جدول‌که در انتهای پایین هر ستون آمده، میانگین یک درس واحد را در تمام گروه‌های آزمایشی و به‌صورت یکجا ارائه می‌کند.

 

نمره خام دروس آزمون سراسری به‌صورت درصدی با دامنه تغییرات بین 33/33- و 100 محاسبه می‌شود³¹. به‌عنوان مثال، مطابق داده‌های جدول فوق، میانگین نمره درس فرهنگ و معارف اسلامی پذیرفته‌شدگان گروه آزمایشی علوم تجربی، برابر با نمره 41 است. به این معنی‌که، پذیرفته‌شدگان گروه آزمایشی علوم تجربی در آزمون سراسری سال 1394، به‌طور متوسط به 41 درصد سؤالات فرهنگ و معارف اسلامی (پس از اعمال قاعده نمره منفی) پاسخ درست داده‌اند. همچنین در ماده امتحانی زبان عربی، نمره 18 نشان می‌دهد، میانگین پذیرفته‌شدگان پنج گروه آزمایشی آزمون سال 1394 در درس زبان عربی برابر با 18 درصد است. به این ترتیب، می‌توان اظهار داشت: به‌طور متوسط، این افراد به 18 درصد سؤال‌های درس عربی (4/5 سؤال از 25 سؤال آزمون) پاسخ درست داده‌اند. نمودار شماره

1، تصویر«میانگین‌های‌کل» را نشان می‌دهد.

 

 

از داده‌های جدول شماره (3) و نمودار (1)، چند جمع‌بندی قابل استخراج و بیان است که عبارت‌اند از:

1. میانگین مجموع نمره‌های 4 درس عمومی پذیرفته‌شدگان آزمون سراسری، برابر با 24/50 درصد است به این معنی که پذیرفته‌شدگان آزمون، به‌طور متوسط، به حدود 25% سؤالات پاسخ درست و به 75‌% سؤالات، پاسخ سفید و یا پاسخ نادرست داده‌اند. بنابراین، متوسط دشواری سؤال‌ها برابر با 0/25 و متوسط واریانس سؤال‌ها مساوی با 0/18 است.

2. میانگین کل چهار درس عمومی پذیرفته‌شدگان آزمون 1394 در دامنه 18 تا 34 درصد قرار می‌گیرد.

3. قوی‌ترین گروه آزمایشی در دروس عمومی، گروه آزمایشی زبان با میانگین 36/24 درصد است. (باید توجه داشت که داوطلبان گروه آزمایشی زبان عمدتاً از داوطلبان قوی‌تر سایرگروه‌ها تشکیل می‌گردد. به عبارت دیگر، داوطلبان با انگیزه‌ و قوی‌ترگروه‌های آزمایشی مختلف علاوه برگروه اصلی خود، متقاضی‌گروه زبان نیز می‌شوند. لذا این نتیجه‌گیری، منطقی است).

4. ضعیف‌ترین گروه آزمایشی در دروس عمومی، گروه آزمایشی علوم انسانی با میانگین 13/59 درصد است.

5. بین میانگین کل گروه آزمایشی علوم ریاضی و گروه آزمایشی علوم تجربی در دروس عمومی، تفاوت محسوسی وجود ندارد، هر چند که میانگین گروه علوم تجربی، اندکی بیشتر است.

6. ساده‌ترین ماده امتحانی در میان دروس عمومی برای پذیرفته‌شدگان سال 1394، درس فرهنگ و معارف اسلامی با میانگین 34 درصد، و دشوارترین ماده امتحانی در میان این دروس، درس زبان عربی با میانگین 18 درصد است.

7. از مهم‌ترین نکات قابل توجه اینکه، عملکرد پذیرفته‌شدگان آزمون سال 1394، در درس «زبان خارجی» بهتر از عملکرد آن‌ها در درس«زبان و ادبیات فارسی» بوده است.

 

ب. بخش آزمون اختصاصی

بخش دوم سؤالات آزمون سراسری سؤالات اختصاصی است. در این بخش بر خلاف بخش اول آزمون، تعداد سؤال، تعداد مواد امتحانی و مدت پاسخگویی پنج گروه آزمایشی با یکدیگر متفاوت است. جدول شماره (4) تفاوت این پارامترها را به تفکیک گروه آزمایشی نشان می‌دهد.

 

جداول شماره (5) تا شماره (9)، میانگین دروس اختصاصی آزمون سراسری را ( به صورت درصد) نشان می‌دهد :

 

بررسی داده‌های جداول بالا نشان می‌دهد که میانگین مجموع نمره‌های دروس اختصاصی پذیرفته‌شدگان پنج گروه آزمایشی روی هم، برابر با 14/35 درصد است. همچنین، متوسط ضریب دشواری سؤال‌ها برابر با 0/14 و متوسط واریانس سؤال‌ها مساوی با 0/12 است. نمودار شماره (2) میانگین اختصاصی 5 گروه‌ آزمایشی را به صورت تصویری نشان می‌دهد.

 

 

سایر یافته‌ها به تفکیک گروه آزمایشی به شرح زیر است:

الف) گروه آزمایشی علوم ریاضی و علوم تجربی

1. همان‌طور که از داده‌های جدول شماره 5 و 6 بر می‌آید، میانگین دروس اختصاصی قبول‌شدگان در علوم ریاضی برابر با 10/11 و در علوم تجربی نیز برابر با 10/11 است. به عبارت دیگر، پذیرفته‌شدگان این دو رشته به طور متوسط، تقریباً به 10 درصد سؤالات اختصاصی پاسخ درست و به 90 درصد سؤالات، پاسخ غلط و یا پاسخ سفید داده‌اند. (خواننده توجه دارد که میانگین دروس عمومی این دو گروه آزمایشی نیز تقریباً برابر یکدیگر است).

2. پذیرفته‌شدگان گروه آزمایشی علوم ریاضی از میان دروس اختصاصی، در درس فیزیک (با میانگین 14/40 درصد) عملکرد بهتری داشته‌اند، درحالی‌که پذیرفته‌شدگان علوم تجربی از میان دروس اختصاصی، در درس شیمی (با میانگین 15/31) وضعیت مناسب‌تری دارند.

3. عملکرد قبول‌شدگان علوم ریاضی و علوم تجربی در دروس عمومی بهتر از دروس اختصاصی است.

 

ب) گروه آزمایشی علوم انسانی

1. همان‌طور که در جدول شماره 7 مشاهده می‌شود، میانگین دروس اختصاصی داوطلبان پذیرفته‌شده علوم انسانی برابر با 12/05 است. به بیان دیگر، این افراد حدود 12 درصد سؤالات اختصاصی را به‌طور درست و 88 درصد سؤالات را نادرست و یا سفید پاسخ داده‌اند. در این گروه آزمایشی، کمترین میانگین مربوط به درس ریاضی با مقدار 1/92 درصد است. به این معنی‌که پذیرفته‌شدگان این گروه آزمایشی از میان 20 سؤال ریاضی، به‌طور متوسط به کمتر از یک سؤال پاسخ درست داده‌اند!

2. پس از ریاضی، دشوارترین ماده امتحانی، فلسفه و منطق با میانگین 3/9 است. از طرف دیگر، روان‌شناسی با میانگین 24/29، به‌طور نسبی، ساده‌ترین ماده امتحانی این مجموعه محسوب می‌شود.

3. عملکرد پذیرفته‌شدگان علوم انسانی در دروس عمومی و دروس اختصاصی تقریباً یکسان و برابر است.

 

ج) گروه آزمایشی هنـر

1. میانگین پذیرفته‌شدگان گروه آزمایشی هنر از 7 ماده امتحانی، برابر با 9/8 است. به سخن دیگر، این افراد به‌طور متوسط، به حدود 10 درصد سؤالات پاسخ درست و به 90 درصد سؤالات پاسخ غلط و یا پاسخ سفید داده‌اند.

2. در گروه آزمایشی هنر، کمترین نمره مربوط به درس خواص مواد با میانگین 1/78 درصد و بیشترین نمره نیز مربوط به درس خلاقیت تصویری با مقدار 27/56 درصد است. بنابراین، خواص مواد دشوارترین درس و خلاقیت تصویری ساده‌ترین ماده امتحانی است.

3. عملکرد پذیرفته‌شدگان گروه هنر در دروس اختصاصی، ضعیف‌تر از عملکرد آن‌ها در دروس عمومی است.

 

د) گروه آزمایشی زبـان

1. میانگین اختصاصی پذیرفته‌شدگان گروه آزمایشی زبان انگلیسی برابر با 29/7 است.

2. در میان میانگین نمرات اختصاصی پنج گروه آزمایشی، بزرگ‌ترین میانگین متعلق به گروه زبان است. ناگفته پیداست که این گروه آزمایشی دارای تنها یک ماده امتحانی اختصاصی است و همانند سایر گروه‌ها دارای دروس امتحانی متعددی نیست. لذا، در این گروه آزمایشی دست‌یابی به عملکرد تحصیلی مناسب و بالا‌تر ساده‌تر است. از سوی دیگر، داوطلبان این گروه آزمایشی در مقایسه با داوطلبان سایر گروه‌های آزمایشی، دارای تجانس بیشتری هستند به این دلیل که داوطلبان گروه زبان عمدتاً از داوطلبان قوی‌تر سایر گروه‌ها تشکیل می‌شوند. بنابراین، بدیهی است که انتظار داشته باشیم میانگین این گروه در مقایسه با سایر گروه‌ها از مقدار بیشتری برخوردار باشد.

 

 

 

نتیجه گیری و پیشنهادها

 در این بخش، نتیجه‌گیری از این مطالعه را با بررسی چهار سؤال مطروحه پژوهش ادامه می‌دهیم :

 

1) سؤال پژوهشی نخست

 «میانگین کل» نمرات خام پذیرفته‌شدگان آزمون سراسری سال 1394 در دروس عمومی، برابر با 24/50 درصد است، به این معنی که این آزمودنی‌ها به‌طور متوسط، تقریباً به 25 درصد سؤال‌ها، پاسخ درست و به 75 درصد سؤالات، پاسخ نادرست و یا سفید داده‌اند. آشکار است که پذیرفته‌شدگان از هر 4 سؤال، به یک سؤال پاسخ درست و به 3 سؤال، پاسخ نادرست و یا سفید داده‌اند. به سخن دیگر، به‌طور متوسط، 25 درصد آزمودنی‌ها به هر یک از سؤالات عمومی، پاسخ درست داده‌اند. از سوی دیگر، «میانگین کل» نمرات خام پذیرفته‌شدگان در دروس اختصاصی برابر با 14/35 درصد است. لذا، می‌توان گفت که این پذیرفته‌شدگان به‌طور متوسط، تقریباً به 14 درصد سؤال‌ها، پاسخ درست و به 86 درصد مابقی، پاسخ نادرست و یا سفید داده‌اند. به بیان دیگر، قبول‌شدگان آزمون سراسری، از هر 7 سؤال اختصاصی، به 1 سؤال پاسخ درست داده‌اند. بنابراین می‌توان گفت متوسط عملکرد پذیرفته‌شدگان در آزمون عمومی و آزمون اختصاصی کمتر از 30 درصد است. لذا، پاسخ سؤال نخست، مثبت است.

 

2) سؤال پژوهشی دوم

متوسط واریانس سؤالات آزمون عمومی برابر با 0/18 و متوسط واریانس سؤالات آزمون اختصاصی مساوی با 0/12 است. بنابراین واریانس سؤالات آزمون عمومی و آزمون اختصاصی خارج از دامنه بهینه 0/21 تا 0/25 قرار می‌گیرد، لذا پاسخ سؤال دوم پژوهش مبنی بر اینکه آیا متوسط واریانس سؤالات عمومی و اختصاصی پذیرفته‌شدگان، خارج از دامنه بهینه قرار دارد، مثبت است.

 

3) سؤال پژوهشی سوم

متوسط ضریب دشواری سؤالات آزمون عمومی پذیرفته‌شدگان سال 1394 برابر با 0/25 و متوسط دشواری سؤالات آزمون اختصاصی مساوی با 14/0 است. لذا، ضریب دشواری هر دو آزمون عمومی و آزمون اختصاصی پذیرفته‌شدگان از 0/30 کمتر است. این نتایج حاکی از دشواری بسیار زیاد سؤالات آزمون سال 1394 و عدم تناسب و همخوانی بین سطح دشواری سؤالات و سطح توانایی آزمودنی‌هاست. بنابراین، پاسخ سؤال سوم پژوهش دال بر اینکه آیا متوسط دشواری سؤالات عمومی و اختصاصی پذیرفته‌شدگان آزمون سراسری سال 1394 از 0/30 پایین‌تر است، مثبت است.

 

4) سؤال پژوهشی چهارم

همان‌طور که گفته شد، در بخش آزمون عمومی، میانگین پذیرفته‌شدگان تقریباً برابر با 25 درصد است، به این معنی‌که آزمودنی‌ها به‌طور متوسط، به 25 درصد سؤال‌ها پاسخ درست و به 75 درصد سؤال‌ها، پاسخ نادرست و یا سفید داده‌اند. همچنین، در بخش آزمون اختصاصی، میانگین پذیرفته‌شدگان مساوی با 0/14 است. به این ترتیب، آزمودنی‌ها به 14 درصد سؤالات پاسخ درست و به 86 درصد، پاسخ نادرست و یا سفید داده‌اند. لذا، پاسخ سؤال چهارم پژوهش نیز مثبت است.

تحلیل داده‌ها نشان می‌دهد که میان شاخص‌های حاصل از این پژوهش (وضع موجود) با مقادیر مورد انتظار (وضع مطلوب) که پیش‌تر بدان اشاره شد، تفاوت زیادی وجود دارد. بررسی جدول شماره (10) نشان می‌دهد که این مقادیر برای آزمون ورودی سال 1394 دانشگاه که یک آزمون کشوری هنجاری با نرخ پذیرش 30 درصد محسوب می‌شود، دارای یک درجه استاندارد اطمینان‌‌بخش به این منظور که گفته شود «آزمون حداکثر قدرت تشخیص در تمام سطوح عملکرد آزمودنی‌ها را دارا می‌باشد»، نیست. در صورتی‌که مطابق چارچوب نظریه کلاسیک آزمون (CTT)، ضرورت دارد متوسط ضریب دشواری سؤالات آزمون حدود 0/50، دشواری سؤالات در دامنه 0/30 تا 0/70 و نیز واریانس سؤالات در دامنه 0/21 تا 0/25 قرار گیرد. (خواننده نکته‌بین توجه دارد چنانچه این شاخص‌ها در جامعه‌ شرکت‌کنندگان آزمون سراسری و نه فقط قبول‌شدگان محاسبه و بررسی‌گردد، سطح میانگین نمرات و نیز سایر مقادیر، ضعیف‌تر و پایین‌تر خواهد بود).

 

علاوه بر چارچوب نظریه، به منظور این‌که شاخص و ملاکی عملی به دست آوریم تا بتوانیم داده‌های آزمون سال 1394 را با آن مقایسه کنیم، داده‌های آزمون سراسری سال 1382 به عنوان نمونه در جدول (10) آورده شده تا امکان تحلیل و قضاوت بهتر فراهم گردد.

 

بنابراین، نقش آزمون سراسری به عنوان یک آزمون سرنوشت‌ساز، عبارت است از اندازه‌گیری دقیق و رتبه‌بندی علمی تمامی داوطلبان آزمون. آزمون سرنوشت‌ساز، آزمونی است که بر اساس نتایج آن تصمیماتی پرخطر درباره افراد اتخاذ می‌گردد به‌طوری‌که این تصمیمات دارای پیامدهای مهم شخصی، اجتماعی و سیاسی برای افراد هستند. بدیهی است، چنانچه اندازه‌گیری با دقت و ثبات کافی انجام نپذیرد، دست‌کم، بخشی از پذیرفته‌شدگان آزمون سراسری وارد آن‌ دسته از رشته‌هایی خواهند شد که یا انگیزه و علاقه کافی برای تلاش ندارند و یا توانایی پیشرفت تحصیلی مناسب در آن رشته‌ها را نخواهند داشت و به این ترتیب، بخشی از سرمایه‌های مادی و انسانی جامعه تلف خواهد شد.

با توجه به تحلیل داده‌های ارائه شده و در راستای ارتقای کیفیت آزمون‌های ملی به منظور بهبود دقت اندازه‌گیری پیشرفت تحصیلی داوطلبان آزمون سراسری، سلسله اقدامات زیر پیشنهاد می‌گردد:

1. منطبق ساختن سطح دشواری سؤال‌ها با متوسط توانایی داوطلبان

 در این بخش، بحث را با طرح یک سؤال ساده دنبال می‌کنیم: «فرض کنید تمام یا تعداد بسیاری از آزمودنی‌های یک آزمون   به صورت کاملاً تصادفی به سؤال‌های آزمون پاسخ دهند. در این وضعیت، واریانس نمره‌های آزمون چگونه خواهد شد؟»

بدیهی است، در چنین شرایطی با وجود پاسخ‌های تصادفی، انتظار می‌رود ضریب دشواری سؤال‌ها برابر با صفر و یا نزدیک به صفر و همبستگی بین سؤال‌ها نیز صفر و یا نزدیک به صفر باشد. بنابراین، واریانس آزمون نیز، صفر و یا نزدیک به صفر خواهد بود (فرگوسن و تاکانه، 1989). واضح و روشن است که این نوع کیفیت آزمون، مورد قبول و پذیرش آزمون‌ساز نیست.

با در نظر گرفتن این مقدمه، چنانچه ضریب دشواری سؤالات آزمون سراسری بسیار فراتر از متوسط توانایی داوطلبان آزمون باشد، دست‌کم، انتخاب پاسخ‌ بخشی از سؤال‌ها، از حالت انتخاب عالمانه³² به سمت پاسخ تصادفی و انتخاب کورکورانه³³ (یا پاسخ سفید) سوق می‌یابد. در این شرایط، واریانس سؤال‌های آزمون کاهش یافته و مسئله تفکیک داوطلبان از یکدیگر به بدترین وضعیت ممکن دچار می‌گردد. در واقع «یک آزمون، زمانی دقیق‌ترین اندازه‌گیری را از توانایی آزمودنی فراهم می‌آورد که دشواری آزمون منطبق بر سطح توانایی آزمودنی باشد» (همبلتون و همکاران،1991، ص 145، ترجمه فلسفی‌نژاد، 1389، ص 185). لذا، متخصصان اندازه‌گیری همواره توصیه می‌کنند تا حد امکان، سطح دشواری آزمون با متوسط توانایی آزمودنی‌ها منطبق گردد.

 

2. کاهش تعداد سؤال‌های‌ آزمون عمومی

 در حال حاضر، هر دو بخش «عمومی و اختصاصی» آزمون سراسری در یک نشست نیم‌روزه برگزار می‌گردد. لذا با در نظر گرفتن محدودیت زمانی، آزمون‌ساز ناگزیر است آزمون را با ملاحظات و محدودیت زمان تنظیم کند. همان‌طور که گفته شد، آزمون عمومی از 100 سؤال تشکیل می‌شود که آزمودنی باید در مدت 75 دقیقه به آن‌ها پاسخ دهد که به‌ نظر می‌رسد تعداد 100 سؤال نسبتاً قدرتمند با مدت پاسخگویی 75 دقیقه برای بخش آزمون عمومی، بسیار سختگیرانه است. بنابراین، نخستین قدم در ارتقای دقت اندازه‌گیری و بهبود ضریب دشواری و واریانس سؤال‌های آزمون سراسری با در نظر گرفتن پارامتر زمان، کاستن از تعداد سؤال‌های آزمون عمومی و آزمون اختصاصی تا رسیدن به یک نقطه بهینه است. پژوهش‌های انجام یافته (ازجمله ایبل³⁴، 1969 و آسموس³⁵، 1981) در خصوص ارتباط میان تعداد سؤال و ضریب پایایی آزمون، نشان می‌دهد که پایایی آزمون‌های عینی چهار گزینه‌ای در مرز 140 سؤال می‌تواند به نقطه بهینه 0/90 برسد. لذا، کاهش تعداد سؤالات بخش عمومی آزمون از 100 سؤال فعلی به 60 تا 75 سؤال با حفظ مدت پاسخگویی 75 دقیقه، اقدامی منطقی و عاقلانه خواهد بود.

 برخلاف آزمون سرعت که در آن سرعت‌عمل بالای آزمودنی اهمیت دارد، آزمون ورودی دانشگاه به عنوان یک آزمون پیشرفت تحصیلی، یک آزمون قدرت‌ـ‌زمان‌دار³⁶، محسوب می‌شود (نانالی³⁷ و برنشتاین³⁸، 1994). در آزمون‌ قدرت زمان‌دار، سرعت عمل آزمودنی اولویت ندارد و فرض بر این است عمدتاً آزمودنی‌ها فرصت کافی در اختیار داشته باشند و تمامی سؤال‌ها را مرورکرده تا هر داوطلب با اتکا به میزان توانایی خود بتواند به تمام یا بخشی از سؤال‌ها، پاسخ درست بدهد (اگرچه ضرورت دارد آزمون‌ساز سؤالات را از لحاظ دشواری به‌گونه‌ای تنظیم ‌نماید تا هیچ فردی به کف³⁹ نمره و یا سقف⁴⁰ نمره آزمون دست نیابد). در واقع، بایستی فرصت کافی در اختیار داوطلبان قرار گیرد تا بتوانند حداکثر تفاوت‌های فردی خود را بروز دهند. بدیهی است، چنانچه زمان مناسب برای بروز و معرفی تفاوت‌های فردی موجود نباشد، عملکرد داوطلبان نزدیک به یکدیگر بوده و به این ترتیب، واریانس آزمون، کاهش و خطای اندازه‌گیری افزایش یافته، و به دنبال آن، رتبه‌بندی داوطلبان غیرپایا⁴¹ و غیردقیق⁴² گردیده و هدف آزمون‌ساز که همانا تفکیک مطلوب آزمودنی‌ها از یکدیگر است محقق نخواهد شد.

 

3. کاهش تعداد سؤال‌های آزمون اختصاصی

به استثنای گروه آزمایشی زبان که تعداد سؤال‌های اختصاصی فعلی آن منطقی به‌نظر می‌رسد، تعداد سؤال‌های اختصاصی گروه‌های آزمایشی علوم ریاضی، علوم تجربی، علوم انسانی و هنر بسیار زیاد بوده و کاهش تعداد آن‌ها اقدامی اجتناب‌ناپذیر می‌نماید. جدول شماره (11) تعداد سؤال و مدت پاسخگویی پیشنهادی برای هر ماده امتحانی را به تفکیک در 4 گروه آزمایشی و بر اساس اهمیت دروس و میزان محتوا نشان می‌دهد.

 

4. کاهش تعداد دروس امتحانی

اگرچه تعداد دروس امتحانی گروه‌های آزمایشی علوم ریاضی و زبان‌های خارجی، منطقی و منصفانه به‌نظر می‌رسد، لیکن تعداد مواد امتحانی گروه‌های علوم تجربی، علوم انسانی وگروه هنر دارای تنوع زیاد و بسیار متعدد است. جدول شماره 12 تعداد دروس امتحانی را به تفکیک گروه آزمایشی نشان می‌دهند. به عنوان مثال، درگروه علوم انسانی، 4 درس عمومی به علاوه 8 درس اختصاصی، مجموعاً 12 درس آزمون را تشکیل می‌دهد. در این گروه، برخی مواد امتحانی همانند درس «زبان و ادبیات فارسی» و یا درس « زبان عربی» هم در بخش آزمون عمومی و هم در بخش آزمون اختصاصی وجود دارد که می‌توان دو درس را به یک درس کاهش داد.

 

 

 

 

منابع فارسی

پروند، محمد حسن. (1381). مقدمات برنامه‌ریزی آموزشی و درسی. تهران: دنیای پژوهش.

جانزاده، علیرضا (1389). بررسی عوامل اثرگذار بر افت تحصیلی دانشجویان دانشگاه‌های دولتی. آموزش عالی ایران. سال سوم، شماره سوم.

دفتر طرح و آمار سازمان سنجش آموزش کشور (1395). کارنامه آماری آزمون سراسری سال 1394. تهران: انتشارات سازمان سنجش آموزش کشور.

دفتر طرح و آمار سازمان سنجش آموزش کشور (1383). کارنامه آماری آزمون سراسری سال 1382. تهران: انتشارات سازمان سنجش آموزش کشور.

همبلتون، رونالد. و سوامیناتان، هاریهاران. و راجرز، جین (1991). مبانی نظریه پرسش-پاسخ. ترجمه: محمدرضا فلسفی‌نژاد (1389). تهران: انتشارات دانشگاه علامه طباطبایی.

 

منابع انگلیسی

Allen, M. J., & Yen, W. M. (2001). Introduction to measurement theory. Monterey, CA: Brooks.

Asmus, E. P. (1981). The Effect of Altering the Number of Choices per Item on Test Statistics: Is Three Better than Five? Bulletin of the Council for Research in Music Education. 65, pp 1-15.

Croker, L. M., & Algina, J. (2008). Introduction to classical and modern test theory. Belmont, CA: Wadsworth.

Ebel, R.L. (1969). Expected reliability as a function of choices per item. Educational and Psychological Measurement. 29, p565. 

Ferguson, G. A., & Takane, Y. (1989). Statistical analysis in psychology and education. New York: McGraw-Hill.      

Gronlund, N.E. (1977). Constructing achievement tests. Englewood Cliffs, New Jersey: Prentice-Hall. Inc.

Gronlund, N.E., & Waugh, C.K. (2013). Assessment of student achievement. Upper saddle River, NJ:  Pearson Education.  

Gulliksen, H. (1987). Theory of mental tests. New York: John Wiley & Sons.

Haladyna, T.M. (2004). Developing and validating multiple-choice test items. Mahwah, NJ: Lawrence Erlbaum Association.    

Hambleton, R.K; Swaminathan, H. & Rogers, H.J. (1991). Fundamentals of item response theory. Newbury    Park, CA: sage. 

Kokinova, M. (2004). Psychometric analysis of student's performance on basic medical science tests. Kent: Kent State University.  

Magnusson, D. (1967). Test theory. Addison-Wesley Publishing Company, Inc.  Reading, Mass. 

Nunnally, J. C; & Bernstein, I.H. (1994). Psychometric theory. New York: McGraw-Hill.

Ritt, M. (2016). The impact of high-stakes testing on the learning environment. Master of social work clinical research papers. Paper 658.

Shultz, K.S; Whitney, D.J. (2005). Measurement theory in action. Thousand Oaks, CA: sage.

Stocking, M. L. & Lewis, C. (2000). Methods of controlling the exposure of items in CAT. In W. J. Van der     Linden & C. A. W. Glas (Eds.), Computerized adaptive testing: Theory and practice. Netherlands: Kluwer Academic Publishers.     

Osterlind, S. J. (2002). Constructing test items: Multiple-choice, constructed-response, performance, and      other formats. Boston: Kluwer.            

Popham,W.J.(2005). High-stakes tests: harmful, permanent, fixable. American Educational Research. 6, p85.

Quinn, G.W. (2010). Improving test scores in five easy steps. Rowman & Littlefield Education.

 

پی‌نوشت‌ها

1. Fair

2. Accuracy

3 Measurement error    

4 High-stakes test

5. Ritt

6. Popham

7. Stability

8. Hambleton

9. Stocking

10. Lewis

11. Norm- referenced

12. Ferguson

13. Takane

14. Magnusson

15. Classical test theory

16. Difficulty

17. Gulliksen

18. Crocker

19. Algina

20. Ranking

21. Osterlind

22. Gronlund

23. Waugh

24. Quinn

25. Kokinova

26. Haladyna

27. Shultz

28. Whitney

29. Allen

30. Yen

31.  در آزمون سراسری به هر پاسخ درست آزمودنی، 3 نمره مثبت و به هر پاسخ نادرست، 1 نمره منفی تعلق می‌گیرد. بنابراین، چنانچه داوطلب به تمام سوالات یک درس پاسخ درست بدهد، نمره خام درصدی وی در آن درس برابر با 100 و چنانچه به تمام سوالات یک درس پاسخ نادرست بدهد، نمره وی در آن درس مساوی با 33/33- خواهد شد و مابقی احتمالات در این دامنه قرار می‌گیرد.

32. Wisely

33. Blind

34. Ebel

35. Asmus

36. Timed- power test

37. Nunnally

38. Bernstein

39. Floor

40. Ceiling

41. Unreliable

42. Inaccurate