Soru Analizi

Yazılı sınavdaki her sorunun (ölçme dilinde "madde"nin) ne kadar zor olduğunu ve iyi öğrenciyle zayıf öğrenciyi ne ölçüde ayırdığını bu araçla hesaplarsın. Soruları ve puanlarını tanımlar, öğrenci puanlarını Excel'den yapıştırırsın. Araç her soru için tam puan, kısmi puan, sıfır ve boş sayılarını, madde güçlük indeksini (p) ve ayırt edicilik indeksini (D) çıkarır, her indeksin yanına da yaygın kullanılan yorumunu yazar. Açık uçlu ve çoktan seçmeli sorular aynı sınavda birlikte analiz edilebilir. Sonuçlar A4 rapora "Madde güçlük ve ayırt edicilik indeksleri" tablosu olarak eklenir; raporu PDF, Word ya da CSV olarak indirebilirsin.

Araç, sınav analizi aracıyla aynı motoru kullanır. Fark açılış görünümünde: burada soru tablosu önce gelir. Ortaya çıkan rapor resmî bir form sayılmaz, formüller de mevzuatta tanımlı değildir. Kullanılan hesaplar ölçme ve değerlendirme literatüründeki klasik madde analizi yöntemleridir. Sayfayı, yazılısının sorularını değerlendirmek isteyen öğretmenler kadar madde analizini ÖABT'ye hazırlanırken çalışan öğretmen adayları için de örnek çözümlü bir kaynak olsun diye yazdım.

Soru analizi nasıl yapılır?

1. Soruları tanımla. Soru sayısını seçip her sorunun puanını ve türünü (açık uçlu ya da çoktan seçmeli) gir. Kazanım yazmak isteğe bağlıdır ama yazarsan kazanım tablosu da oluşur.
2. Çoktan seçmelide cevap anahtarını gir. Her soru için doğru şıkkı (A-E) seç. Öğrencinin işaretlediği şıkkı girersen araç doğru/yanlış kararını anahtara göre verir.
3. Puanları yapıştır. Excel tablonu (satır öğrenci, sütun soru) kopyalayıp yapıştır. Açık uçlu soruda puan, çoktan seçmelide D/Y/B ya da şık yazılır. Boş soru için hücreyi boş bırak ya da "b" yaz. Sınava girmeyen öğrenciye G, kopya çeken öğrenciye K durumu ver; bu öğrenciler hesaba girmez.
4. Soru tablosunu oku. Analiz sekmesinde her sorunun p ve D değeri, yorumu ve çubuk grafiği görünür.
5. Raporu al. Rapor sekmesinde madde indeksleri tablosu, sınav analizi raporunun içine ayrı bir bölüm olarak eklenir.

Madde güçlük indeksi (p)

Madde güçlük indeksi, sorunun sınıf tarafından ne oranda çözüldüğünü gösterir. Adı "güçlük" olsa da değer büyüdükçe soru kolaylaşır: p = 0,90, sınıfın neredeyse tamamının soruyu yaptığı anlamına gelir.

Araç p'yi bütün sınıf üzerinden hesaplar:

• Doğru/yanlış (iki puanlı) maddede: p = doğru cevaplayan öğrenci sayısı ÷ N
• Çok puanlı (açık uçlu) maddede: p = sorudan alınan ortalama puan ÷ soru puanı

Literatürde p'nin üst ve alt gruplardan hesaplanan bir biçimi de geçer. İki puanlı maddede p = (DÜ + DA) ÷ 2n, çok puanlı maddede p = (ΣÜ + ΣA) ÷ (2 · n · Xmaks). Burada DÜ ve DA üst ve alt gruptaki doğru sayısı, ΣÜ ve ΣA gruplardaki öğrencilerin sorudan aldığı puanların toplamı, n bir gruptaki öğrenci sayısı, Xmaks de sorunun puanıdır. Bu biçim ortadaki öğrencileri dışarıda bıraktığı için bütün sınıf üzerinden hesaplanan değerden biraz farklı çıkabilir. Ders kitabındaki bir soruyu çözerken hangi formülün istendiğine dikkat et.

p nasıl yorumlanır?

Beş kategorili yorum (Muğla Sıtkı Koçman Üniversitesi Tıp Fakültesi madde analizi kılavuzu):

Üç kategorili kullanım da yaygın (Erciyes Üniversitesi): 0,00-0,39 zor, 0,40-0,60 orta, 0,61-1,00 kolay. Bir testte maddelerin çoğunun 0,20-0,80 arasında (başka bir ölçüte göre 0,10-0,90 arasında) olması ve testin ortalama güçlüğünün 0,50 civarında kalması önerilir. Bu bir test geliştirme ölçütüdür. Okul yazılısında çok kolay bir sorunun bulunması kendi başına hata sayılmaz; temel kazanımı yokladığın bir soruyu bilerek kolay yazmış olabilirsin.

Ayırt edicilik indeksi (D)

Ayırt edicilik, sorunun sınavda genel olarak başarılı olan öğrencilerle başarısız olanları ne kadar iyi ayırdığını gösterir. Araç Kelley'nin (1939) üst-alt %27 yöntemini kullanır:

1. Öğrenciler toplam puanlarına göre büyükten küçüğe dizilir.
2. Grup büyüklüğü n = 0,27 × N hesaplanır ve en yakın tam sayıya yuvarlanır.
3. En yüksek puanlı n öğrenci üst grup, en düşük puanlı n öğrenci alt gruptur. Ortadakiler D hesabına girmez.
4. İki puanlı maddede D = (DÜ − DA) ÷ n.
5. Çok puanlı maddede D = (ΣÜ − ΣA) ÷ (n × Xmaks).

D, −1 ile +1 arasında değişir. Toplam puanı eşit olan öğrencilerde araç giriş sırasını esas alır. Gruplar yalnız hesapta kullanılır, ekranda ya da raporda listelenmez. Öğrencileri puana göre sıralayan bir liste üretmemek bilinçli bir tercih: Yazılı ve Uygulamalı Sınavlar Yönergesi m.5/r, ortak yazılı sınav sonuçlarına göre öğrenci toplu listesi yayımlanmasını yasaklar.

D nasıl yorumlanır?

En çok kullanılan ölçüt Ebel ve Frisbie'nin (1991) sınıflamasıdır:

Negatif D gördüğünde önce cevap anahtarına bak. Çoktan seçmelide en sık sebep anahtarın yanlış girilmesidir: anahtar yanlışsa doğru şıkkı işaretleyen iyi öğrenciler yanlış sayılır ve D eksiye düşer. Anahtar doğruysa soru kökünü oku. İki doğru cevabı olan, iyi öğrencinin fazla düşünüp yanlış yorumladığı ya da derste farklı anlatılmış bir konuyu yoklayan sorularda da negatif D çıkar. Açık uçlu soruda puanlama anahtarının (rubriğin) kâğıtlar arasında tutarlı uygulanıp uygulanmadığını kontrol et.

Örnek sınıf: dört sorunun p ve D hesabı

4 soruluk bir yazılı düşün: 1. soru 20, 2. soru 30, 3. soru 40, 4. soru 10 puan. Sınava 10 öğrenci girmiş (bir öğrenci G). Toplam puanlar büyükten küçüğe 100, 90, 80, 70, 60, 55, 45, 30, 20, 10.

Önce grupları kur. n = 0,27 × 10 = 2,7, yuvarlanınca 3. Üst grup Ö1, Ö2, Ö3 (100, 90, 80); alt grup Ö8, Ö9, Ö10 (30, 20, 10). Ö4-Ö7 D hesabına girmez.

1. soru (20 puan): sınıfın toplamı 110, ortalama 11; p = 11 ÷ 20 = 0,55. Üst grubun toplamı 20 + 20 + 20 = 60, alt grubun toplamı 0 + 0 + 0 = 0 (Ö9'un boşu 0 sayılır). D = (60 − 0) ÷ (3 × 20) = 1,00. Bu soruda 4 tam puan, 3 kısmi puan, 2 sıfır ve 1 boş var.

1. soru (30 puan): toplam 170, ortalama 17; p = 17 ÷ 30 ≈ 0,57. Üst 30 + 30 + 20 = 80, alt 10 + 10 + 0 = 20. D = 60 ÷ 90 ≈ 0,67.

1. soru (40 puan): toplam 220, ortalama 22; p = 0,55. Üst 40 + 30 + 30 = 100, alt 20 + 10 + 10 = 40. D = 60 ÷ 120 = 0,50.

1. soru (10 puan): toplam 60, ortalama 6; p = 0,60. Üst 30, alt 0. D = 30 ÷ 30 = 1,00.

Karşılaştırmak için 1. sorunun p'sini üst-alt formülüyle hesaplayınca (60 + 0) ÷ (2 × 3 × 20) = 0,50 çıkar. Bütün sınıf üzerinden bulunan 0,55'ten farkı, ortadaki dört öğrencinin hesaba girmemesinden geliyor. Örnekteki D değerlerinin bu kadar yüksek çıkması da sınıfın küçük olmasıyla ve puanların geniş bir aralığa yayılmasıyla ilgili; kalabalık bir sınıfta 1,00 görmek çok nadirdir.

Çoktan seçmeli sorularda

Çoktan seçmeli sorunun puanı ya tamdır ya sıfır. Hücreye üç biçimde giriş yapabilirsin: D (doğru), Y (yanlış), B (boş) ya da öğrencinin işaretlediği şık (A-E). Şık girmek daha fazla bilgi verir. Araç anahtara göre doğru/yanlış kararını verir, hangi öğrencinin hangi şıkkı işaretlediği de tabloda kalır; çeldiricileri incelemek istediğinde bu bilgi işine yarar. Negatif D çıkan bir soruda önce girdiğin anahtarı kontrol et, yanlış girilmişse düzeltip analize yeniden bak.

Mevzuat da cevap anahtarını önemser. İlköğretim Kurumları Yönetmeliği m.22/1-a'ya göre sınav sorularıyla birlikte cevap anahtarı hazırlanır ve sınav kâğıtlarıyla birlikte saklanır; anahtarda her soruya verilecek puan ayrıntılı belirtilir. Lise için aynı yükümlülük Ortaöğretim Kurumları Yönetmeliği m.45/1-e'de yer alır.

Küçük sınıflarda dikkat

Araç D'yi en az 10 öğrenciyle hesaplar. Daha az öğrencide üst ve alt gruplar iki üç kişiye iner ve tek bir öğrencinin cevabı D'yi 0,30-0,50 oynatır. Bu yüzden 10'dan az öğrencide araç D hesaplamaz, p'yi ise yine hesaplar. 10-15 öğrencilik sınıflarda bile indeksleri kesin hüküm gibi okuma; soruyu yeniden okumak için bir işaret olarak kullan. Aynı soruyu birden fazla şubede sorduysan her şubeyi ayrı analiz et; araç şubeleri birleştiren ya da karşılaştıran bir çıktı üretmez.

Öğretmen adayları ve ÖABT için not

ÖABT'de madde analizi soruları genellikle küçük bir tablo verir ve p, D ya da ikisinin yorumunu sorar. Sık karıştırılan noktalar şunlar: p büyüdükçe madde kolaylaşır; D formülünde payda grup büyüklüğüdür (iki grubun toplamı değil); çok puanlı maddede paydaya soru puanı da girer; p'nin üst-alt formülünde payda 2n'dir. Bu sayfadaki örnek sınıfı araçta kendin girip kâğıt üzerindeki çözümünü kontrol edebilirsin. Ders kitaplarında farklı yorum tabloları kullanılabildiği için sınavda verilen tabloyu esas al.

Soru analizinde kişisel veriler

Araç taslağı kaydeder, sayfaya döndüğünde analizi yeniden kurman gerekmez. Öğretmen profili ve kayıtlı sınıf listeleri diğer öğretmen araçlarıyla ortaktır ve JSON yedekle başka cihaza taşınabilir.

Sık sorulan sorular

Madde güçlüğü ile soru başarı yüzdesi aynı şey mi?

Bütün sınıf üzerinden hesaplandığında evet: p = 0,55 ile başarı yüzdesi %55 aynı bilgidir. Fark yazımda; p 0-1 arasında, yüzde 0-100 arasında verilir.

Neden %27?

Kelley'nin gösterdiği gibi, normal dağılıma yakın puanlarda %27'lik uç gruplar iki şeyi dengeler: grupların birbirinden farklı olmasını ve yeterince kalabalık kalmasını. Literatürde %25 ya da %33 kullanan kaynaklar da var; araç %27 kullanır.

D = 0 ne demek?

Üst ve alt grup sorudan aynı puanı almış demektir. Soru herkes için çok kolay ya da herkes için çok zor olabilir; hangisi olduğunu p'ye bakarak anlarsın.

Boş bırakılan soru D'yi etkiler mi?

Boş 0 puan sayılır, bu yüzden etkiler. Araç boşları ayrıca saydığı için boş sayısı yüksek bir soruyu hemen fark edersin.

Kısmi puan verdiğim soruda hangi formül kullanılır?

Çok puanlı formül: D = (ΣÜ − ΣA) ÷ (n × Xmaks). Kısmi puanlar toplamlara olduğu gibi girer.

Düşük D'li soruyu hemen silmeli miyim?

Hayır. Önce anahtarı ve soru kökünü kontrol et, sınıf küçükse sonucu temkinli oku. Yazılıdan sonra bir sorunun iptal edilmesi ayrı bir işlemdir; puanın yeniden dağıtımı için yazılı sınav puan dağılımı aracına bak.

Kaynaklar: Kelley, T. L. (1939), "The selection of upper and lower groups for the validation of test items", Journal of Educational Psychology; Ebel, R. L. ve Frisbie, D. A. (1991), Essentials of Educational Measurement; Muğla Sıtkı Koçman Üniversitesi Tıp Fakültesi madde analizi kılavuzu; Erciyes Üniversitesi ve Hacettepe Üniversitesi ölçme ve değerlendirme ders notları; MEB Yazılı ve Uygulamalı Sınavlar Yönergesi (11.10.2023) m.5/r; Okul Öncesi Eğitim ve İlköğretim Kurumları Yönetmeliği m.22/1-a; Ortaöğretim Kurumları Yönetmeliği m.45/1-e.

Sınıf ortalaması, puan dağılımı ve rapor için sınav analizi, kazanım bazında sonuçlar için kazanım analizi aracına bakabilirsin. Öğrencilerin dönem puanı için e-Okul not hesaplama aracı var.