Өгүүллийн PDF-ийг татах
The purpose of item analysis is to identify and reduce the sources of error in measurement. We analyzed 150 test items for theoretical final examination and performance evaluating 8 cases for OSCE stations. Those test items and cases evaluated through Kuder-Richardson 20 reliability coefficient, discrimination index, p-value, level of content and correlation coefficient between theoretical and practical exams. Results: The reliability coefficient were 0.91 for theoretical and 0.48 for practical exams. The discrimination index for MCQs varies from -0.39 to 0.7 and mean was 0.24 + 0.013 and for OSCE cases from 0.14 to 0.23 and mean was 0.19 + 0.01. The mean of easiness or p-value was 83.7 + 0.1 % for MCQs and 84.85 + 0.038 %for OSCE cases. There is direct and low correlation between theoretical and practical exams.
Conclusions: Test items for theoretical and practical exams meet requirements and there is need to revise.
distractors of 40 MCQs and IV, VI station' s cases Correlation between theoretical and practical exams are direct and low, so significance of psychomotor skill training is same as knowledge acquiring. Key words: item analysis, reliability coefficient, discrimination index, OSCE-objective structured clinical examination, MCQs-multiple choice questions
Судалгааны ажлын үндэслэл
АУИС-ийн Анагаахын ангийн төгсөлтийн шалгалтыг 1998 оноос онолын ба дадлагын гэсэн хэлбэрээр зохион байгуулж, онолын шалгалтыг олон сонголтот сорилоор, дадлагын шалгалтыг төлөвлөгдсөн зорилгот эмнэлзүйн шалгалтын хэлбэрээр авах болсон билээ. Оюутны мэдлэг, чадвар, хандлагыг бодитой үнэлэх, төгсөлтийн шалгалтын чанарыг сайжруулах зорилгоор шалгалтын сорилд үнэлгээ өгч, түүнийг боловсруулах, нэгдсэн сан үүсгэн байгуулан байнга боловсронгуй болгох асуудал анагаах ухааны боловсрол судлалд нэн чухлаар тавигдаж байна.
Судалгааны ажлын зорилго
АУИС-ийн Анагаахын салбарын төгсөгчдийн мэдлэг, чадварыг үнэлэх төгсөлтийн шалгалтыг боловсронгуй болгох Судалгааны ажлын зорилт
1. АУИС-ийн Анагаахын салбарын 2002 оны төгсөлтийн шалгалтын сорилд үнэлгээ өгөх
2. Төгсөлтийн онолын болон дадлагын шалгалтын хоорондын хамаарлыг судлан тогтоох
Судалгааны арга зүй
АУИС-ийн Анагаахын салбарын 2002 оны төгсөлтийн шалгалтыг өгсөн 204 оюутны сорилын хариултын хуудас, 195 оюутны дадлагын шалгалтын шалгах хуудсыг ашиглан 150 олон сонголтот сорил, 8 өртөөний тохиолдолд үнэлгээ хийв. Төгсөлтийн шалгалтын сорилын үнэлгээг сорилын найдвартай байдал, хүнд хөнгөний зэрэг, ялгах индекс, түвшин гэсэн шалгуур үзүүлэлтүүдээр гаргалаа. Сорилын найдвартай байдлыг Кудер-Ричардсон 20 томъёогоор тодорхойлж(4), А.Остерхофын ангиллаар (5) сорилын түвшинг тогтоов. Судалгааны статистик боловсруулалтыг компыотерийн SPSS, EXCEL программуудыг ашиглан гүйцэтгэсэн.
Судалгааны үр дүн
Судалгааг 2002 оны 1 сараас 12 cap хүртэлх хугацаанд АУИС-д явууллаа. АУИС-ийн Анагаахын Салбарын 2002 оны төгсөлтийн онолын шалгалтанд орсон оюутны дээд дүн 98 %, доод дүн 31.3 %, дундаж дүн 83.210.79 , мода нь 92.6 %, голч нь 86.6 % байв. Сорилын найдвартай байдлын коэффициент 0.91, хүнд хөнгөний зэргийн хэлбэлзэл 5.9-97.5 %, түүний дундаж 83.7 + 0.1 % байсан бөгөөд нийт сорилыг хүнд хөнгөний зэргээр ангилбал 1.3% нь хүнд, 59.3% нь дунд, 39.3% нь хөнгөн сорил байлаа. Төгсөлтийн онолын шалгалтын үнэлгээний хэвийн тархалтын муруй сөрөг налалттай байгаа нь (negatively skewed) сорил хөнгөн, чадварлаг оюутнуудын мэдлэгийг сорих асуулт хангалтгүй байгааг харуулж байна.
Сорилуудын ялгах индекс 0.39-өөс 0.70 хүртэл, дундаж нь 0.24 + 0.013, зургаан сорилын ялгах индекс сөрөг тэмдэгтэй, 1 сорилын ялгах индекс тэгтэй тэнцүү гарсан. Шалгалтанд сөрөг болон тэгтэй тэнцүү ялгах индекстэй сорилыг хэрэглэхийг хориглодог бөгөөд энэ нь тухайн сорил оюутныг мэдлэгээр ялгаж чадахгүй буюу бүр урвуу үнэлэх нөхцөлийг хангах өгч байна гэсэн үг юм. Нийт сорилын 58% нь эргэн санах түвшингийн, 42 % нь хэрэглээний түвшингийн мэдлэгийг шалгахад зориулагдсан. Мэдлэгийн хэрэглээний түвшинг шалгахаар зохиогдсон сорилын хүнд хөнгөний зэрэг 82.5 %, эргэн санах түвшнийх 84.6 % байна. Өөрөөр хэлбэл мэдлэг эзэмшилтийн өндөр түвшнийг сорихоор зохиогдсон сорил илүү хүнд байдаг зүй тогтол харагдлаа. Сорилын хүнд хөнгөний зэрэг ба ялгах индексийн хооронд урвуу, дунд зэргийн (- 0.3; t=3.1; р>0.002) хамаарал ажиглагдав. Сорилын будилуулах хариултыг сонгосон байдлаар нь авч үзэхэд 40 сорилын ганц хариултыг сонгосон байгаа бөгөөд энэ нь тэдгээр сорилуудын будилуулах хариулт үнэмшилгүй байгааг нотолсон нотолгоо юм.
Хүснэгт 1
АУИС-ийн Анагаахын салбарын 2002 оны төгсөлтийндадлагын шалгалтын өртөөнүүдийн үзүүлэлт:
1 Тухайн өртөөг хассан тохиолдол дахь шалгалтын найдвартай байдлын коэффициент
Төлөвлөгдсөн зорилгот эмнэлзүйн шалгалтанд орсон 194 оюутны дээд дүн 96.8 %, доод дүн 69.4 %, дундаж дүн 84.8 ± 0.39 % , голч нь 85.1 % , мода нь 85.3 % найдвартай байдлын коэффициент 0.482 байв
Зураг 1. АУИС-ийн Анагаахын салбарын 2002 оны төгсөлтийн онолын болон дадлагын шалгалтын үнэлгээг оюутан тус бүрээр харьцуулсан нь
Төгсөлтийн дадлагын шалгалтын
өртөөнүүдийн хооронд шууд сул хамаарал байсан бөгөөд харин 4 ба 1; 4 ба 2-р өртөөний хооронд хамаарал ажиглагдсангүй. АУИС-ийн Анагаахын салбарын 2002 оны төгсөлтийн онолын болон дадлагын шалгалтын хооронд шууд сул хамаарал байна. Онолын шалгалтаар өндөр үнэлгээтэй шалгагдсан оюутан гардан үйлдлийн шалгалтанд тэр болгон өндөр дүн үзүүлж чадахгүй байна. Үр дүнгийн хэлцэмж
Сорилын найдвартай байдлын коэффициент онолын шалгалтын хувьд 0.91, дадлагын шалгалтын хувьд 0. 48 гарсан нь бусад судлаачдынхтай ойролцоо байна. Тухайлбал манай онолын шалгалт нь 3 цаг, дадлагын шалгалт нь 1 цаг үргэлжилж байгаа бөгөөд ийм хугацаагаар үргэлжилдэг онолын шалгалтын найдвартай байдал 0.93, дадлагынх 0.43.байсан тухай судлаач Newble ба Swanson (1988), Norcini ба бусдынхтай (1985) төстэй байна. Гэхдээ шалгалтын найдвартай байдлын коэффициент 0.80-аас дээш байх ёстой (6) гэсэн шалгуураар үзвэл цаашид өртөөний тоог нэмэх, одоо байгаа өртөөний чанарыг сайжруулах асуудал тавигдаж байгаа юм. Түүнчлэн ялгах индекс дунджаар 0.24 байгаа нь дундаж үзүүлэлт юм. Хүнд хөнгөний зэрэг харьцангуй дээгүүр байгаа нь хөнгөн сорилын тоо олон, хүнд сорилын тоо цөөн байгаатай холбоотой байж болох юм. Гэхдээ хүнд хөнгөний зэрэг бол тухайн шалгуулагчдаас хамааралтай үзүүлэлт бөгөөд тэдний мэдлэгийн түвшин сайн, сургалт сайн явагдсан үед ч ийм үзүүлэлт гарч болно. Эргэн санах болон хэрэглээний түвшний хүнд хөнгөний зэрэг хэдийгээр ялгаатай байгаа ч төдийлөн их бус байна. Онолын болон дадлагын шалгалтын хоорондын хамаарал сул байгаа нь мэдлэг, ур чадварын зөв тэнцвэрийг хадгалахын чухлыг харуулж байна. Дэлхийн Анагаах Ухааны Боловсролын Холбооны зөвлөмжид ч энэ асуудлыг хамгийн түрүүнд дурьдсан байдаг.
Дүгнэлт
1. АУИС-ийн Анагаахын Салбарын 2002 оны төгсөлтийн шалгалт сорилд тавигдах шаардлагыг үндсэндээ хангаж байна. Харин сорилын будилуулах хариултууд үнэмшилгүй байх (40 сорил), зарим сорин ялгах индекс сөрөг гарсан, дадлагын шалгалтын найдвартай байдал доогуур (0.482), IV эсвэл VI өртөөг хассан байхад сорилын найдвартай байдалд нөлөөлөхгүй байгаа нь дээрх сорилууд болон өртөөний даалгаврыг дахин нягтлах сайжруулах хэрэгтэйг харуулж байна.
2. өгсөлтийн онолын болон дадлагын шалгалтын хооронд хамаарал сул байна. Энэ нь мэдлэгтэй хүн гардан үйлдлийг тэр болгон сайн хийж чадцаггүй гэдгийг нотолж байна. Иймээс анагаах ухааны боловсрол олгох сургалтандмэдлэг , ур чадварын зөв тэнцвэрийг хадгалах нь зайлшгүй чухлыг харуулж байна.
2. Орлов.Ю.М, Данилин.Е.Н, Каган.В.И. (1980). Методическая разработка для слушателей ФПК и аспирантов по теме: Тестовая методика контроля качества знаний в процессе обучения. Москва. Стр 17.
3. Case S.M, Swanson D.B. (1996) Constructing Written Test Questions for the Basic and Clinical Sciences. National Board of Medical Examiners. Philadelphia. P 115
4. Fitz-Gibbon C.T., Morris L.L., (1987) How to Analyze Data. SAGE Publications. Newbury Park, California, p 114-118
5. Oosterhof A. (1999) Developing and Using Classroom Assessments. II edition. New Jersy. p 233
6. Verwijnen M, Van der Vleuten C and Imbos T (1990) A comparison of an Innovative Medical School with Traditional Schools: An Analysis in the Cognitive Domain. Innovation in medical education: an evaluation of its present status. Springer Series on Medical Education. Springer Publishing Company, Inc. p 40-49
- сорилын үнэлгээ
- найдвартай байдлын коэффициент
- ялгах индекс
- төлөвлөгдсөн зорилгот эмнэлзүйн шалгалт
- олон сонголтот сорил
