Using Generalizability Theory to Examine Different Concept Map Scoring Methods

Content Provider	Semantic Scholar
Author	Çetin, Bayram Guler, Nese Sarıca, Rabia
Copyright Year	2016
Abstract	Problem Durumu: 1970’lerde ortaya konan kavram haritalari, bilginin hiyerarsik bir duzen icerisinde sematize edilerek gorsellestirilmesini saglayan grafiksel araclardir.Kavram haritalari egitimde bir konudaki kavramlar arasindaki iliskinin daha acik, anlamli ogrenilmesini saglamaya yardimci olabilecek araclardir. Novak (2001), kavram haritalarinin ogretim amacli kullanilabildigi gibi degerlendirme amacli da kullanilabilecegini, coktan secmeli testlerin kullanilmasinin bir zorunluluk olmadigini ve hatta zamanla ulusal basari sinavlarinda bu araclarin etkili bir degerlendirme araci olarak kullanilabilecegini belirtmistir (Akt: Kaya ve Kilic, 2004). Kavram haritalarinin egitimde degerlendirme amacli olarak kullanilmasi, ogrencilerin konuyu anlayip anlamadiklarini gostermesi ve ogrenme ile ilgili eksiklerini ortaya cikarmasi acisindan cok onemlidir. Kavram haritalari, ogrencinin bilgi yapisini, konuyla ilgili yanilgilarini ve yanlis anlamalarini belirlemede oldukca fonksiyonel bir isleve sahiptir (Şahin, 2002). Kavram haritalarinin degerlendirme araci olarak kullanilmasi bunlarin puanlanmasi konusunu gundeme getirmistir. Bu yontemin degerlendirme amacli olarak kullanilabilmesi icin ogretmenler tarafindan puanlama yontemlerinin cok iyi bilinmesi gerekmektedir. Farkli sekilde olusturulan ve kullanilan haritalar farkli yontemlerle puanlanabilmektedir. Bu yontemlerden iki tanesi butuncul ve iliskisel puanlama metotlaridir. Butuncul puanlama yonteminde kavram haritalari bir butun olarak ele alinir, ogrencilerin kavramlarla ilgili ogrenmelerini haritaya yansitabilmeleri ve ilgili kavramlarin haritada yer almasi goz onunde tutularak 1-10 arasinda bir puanla degerlendirilir. Iliskisel puanlama yontemi onermelerin ayri ayri puanlanmasi temeline dayanmaktadir. Onerme iki kavram arasindaki iliskinin etiketlenmis bir ok araciligiyla gosterilmesi olarak tanimlanir. Haritanin toplam puani, ayri onermelerin her birine verilen puanlarin toplanmasiyla bulunmaktadir ve her bir onerme dogru olup olmadiklarina gore 0-3 arasinda bir puan almaktadir (McClure, Sonak ve Suen,1999). Kavram haritasi, degerlendirme araci olarak kullanildiginda teknik ozellikleri kritik hale gelmesine ragmen, elde edilen puanlarin guvenirlik ve gecerliliginin nasil degerlendirilecegi her zaman net degildir (Yin ve Shavelson, 2008). Genellenebilirlik (G) kurami, temeli varyans analizine (ANOVA) dayanan guvenirligin degerlendirilmesini saglayan, Cronbach ve arkadaslari (1972) tarafindan gelistirilen, guvenirlik kavramina farkli bir bakis acisi getiren istatistiksel bir kuramdir (Shavelson ve Webb, 1991 Akt; Deliceoglu, 2009). Ogrencilerden birinin aldigi puan kavram haritasi puanlarinin evreninden bir ornek olarak dusunulurse (degisen butun kosullar altinda ornegin; gorev, cevap formati ve puanlama metotlari vb.) kavram haritalarinin puanlanmasi G kurami kapsaminda incelenebilir. Ruiz-Primo ve Shavelson, (1996) kavram haritasi puanlamasinin; kavramlar, onermeler, gorev tipi, cevaplama formatlari, durumlar, puanlayicilar ve puanlama yontemleri gibi farkli hata kaynaklari icerdiginden, bu tur arastirmalarda G kuraminin kullanilmasinin bilhassa uygun oldugunu belirtmistir (Akt: Yin ve Shavelson, 2008). Arastirmanin Amaci: Bu calismada, farkli ogretmenler tarafindan puanlamasi yapilan ogrencilerin olusturdugu kavram haritalarinin puanlarinin guvenirlikleri G kurami acisindan ele alinacaktir. Bu arastirma kapsaminda kavram haritasi puanlama yontemlerinden ikisi kullanilmistir. Bunlar; butunsel (holistik) puanlama ve iliskisel puanlama yontemleridir. Kavram haritalarinin puanlanmasinda sadece bu iki yontemin kullanilabilmis olmasi arastirmanin sinirliliklarindan biri olarak gorulebilir. Arastirmanin Yontemi: Arastirma, Osmaniye ili Merkez Ataturk Ilkogretim okulunda 7.sinifta ogrenim gormekte olan 15’i kiz, 21’i erkek olmak uzere 36 ogrenci ile gerceklestirilmistir. Arastirma 2010-2011 egitim-ogretim yili guz donemi Aralik-Ocak aylari icerisinde gerceklestirilmistir. Arastirma kapsaminda ogrencilerin yapmis oldugu kavram haritalarini uc farkli ogretmen puanlamislardir. Veriler, veri toplama araci olarak kullanilan dort farkli kavram haritasindan elde edilmistir. Bu calismada kullanilan haritalar Kuvvet ve Hareket unitesiyle ilgilidir. Arastirmanin Bulgulari: Calismada 36 ogrencinin dort kavram haritasi olusturabilme duzeyleri iki farkli puanlama yontemiyle uc puanlayici tarafindan puanlanmistir. Her bir puanlama yontemine gore elde edilen puanlar G kuramina gore ayri ayri analiz edilmis ve elde edilen sonuclar yorumlanmistir. Butunsel puanlamada, calismada yer alan ogrenciler (s) olcmenin objesi olup, diger degiskenlik kaynaklari olan kavram haritalari gorevleri (t) ve puanlayicilar (r) da calismanin yuzey (facet)lerini olusturmaktadir. Bu calismada tum ogrenciler tum kavram haritalarini olusturmakla sorumlu olduklarindan ve tum puanlayicilar tarafindan butunsel puanlama yontemiyle puanlandiklari icin calisma tumuyle caprazlanmis (s x t x r) desenden olusmaktadir. Genellenebilirlik analiziyle elde edilen varyans bilesenlerine iliskin sonuclara gore,en buyuk degiskenlik kaynaklarindan birinin ogrenciler oldugu gorulmustur (gercek varyans). Diger ana etkiler olan gorev, toplam varyansi aciklayan en buyuk bilesenlerden biri olurken (yaklasik %14), puanlayici bileseni toplam varyansin aciklanmasina nerdeyse hic bir katkida bulunmamaktadir (%001). Etkilesimlere baktigimizda ogrenci-gorev bileseni toplam varyansin yaklasik %35’ini aciklarken, gorev-puanlayici etkilesimi toplam varyansin cok kucuk bir kismini aciklamaktadir (%034). Uclu etkilesimin, bir baska deyisle artik etkisinin, toplam varyansdaki payi ise %24’tur. G kuramina gore, artik etkisine iliskin varyans degerinin olabildigince kucuk olmasi istenir. Bu deger, puanlardaki degisimin calismada yer almayan farkli degiskenlik kaynaklarina bagli ortaya cikmis olabileceginin sinyalini vermektedir. G kuraminda, klasik test kuramindaki guvenirlik katsayisina karsilik gelebilecek G katsayisi hesaplanmaktadir. G kuraminda, klasik test kuramindan farkli olarak bir de mutlak degerlendirmenin soz konusu oldugu durumlar icin ayrica Phi katsayisi (reliability coefficient) da hesaplanabilmektedir. Yukaridaki esitliklere dayali olarak, calismada yer alan dort gorev ve uc puanlayici uzerinden hesaplanan G ve Φ katsayisilari sirasiyla .63 ve .57 olarak bulunmustur. Iliskisel puanlama yonteminde de ayni desen kullanilmis ve yine en buyuk degiskenlik kaynaklarindan birinin ogrenciler oldugu gorulmustur (%10). Gorev ana etki bileseni, toplam varyansi aciklayan en buyuk bilesen olurken (yaklasik %56), puanlayici bilesenin toplam varyansin aciklanmada bir payi bulunmamaktadir (%000). Diger taraftan ikili etkilesimlere bakildiginda ogrenci-gorev, ogrenci-puanlayici ve gorev-puanlayici etkilesimleri sirasiyla yaklasik %20, %0 ve %03 olarak elde edilmistir. Buradan anlasilacagi uzere, kavram haritalarinda yer alan gorevlerin zorluk duzeyleri ogrenciler icin farklilik gosterirken, ogrencilerin ve gorevlerin puanlanmasi puanlayicidan puanlayiciya farklilik gostermemektedir. Uclu etkilesimler artik etki olarak isimlendirilir ve eger calismada, olcme sonuclari guvenilir ise artiklara ait olan bu degerin olabildigince kucuk olmasi istenir. Iliskisel puanlama yonteminin kullanilarak elde edilen puanlar uzerinden bulunan artik etki varyansi toplam varyansin %10’unu aciklamaktadir. Elde edilen bu varyans degeri, puanlardaki degisimin calismada yer almayan farkli degiskenlik kaynaklarina bagli ortaya cikmis olabileceginin sinyalini vermektedir. Calismada yer alan dort gorev ve uc puanlayici uzerinden iliskisel puanlama yontemi icin hesaplanan G ve Φ katsayisilari sirasiyla .63 ve .34 olarak bulunmustur. Arastirmanin Sonuc ve Onerileri: Elde edilen sonuclara gore, her ik puanlama yontemi icin G katsayisi ayni bulunmusken, Phi katsayisi butunsel puanlama yonteminin kullanildigi kavram haritasi calismasinda daha yuksek bir degere sahiptir. Bu sonuclara dayanarak mutlak kararklarin alinmasi amacalanan kavram haritasi calismalarinda, butunsel puanlama yontemini kullanmak onerilebilir. Iliskisel puanlama yonteminin kullanilacagi durumlarda ise ogrencilerin kavram haritalarini olusturmada daha fazla pratik yapmasi ve puanlayicilara puanlama konusunda daha fazla aciklama yapilmasi ve puanlama olcutlerinin daha ayrintili verilmesi onerilebilir. Ayrica, her iki puanlama yontemiyle elde edilen sonuclara gore, artik varyansin yuksek cikmasina dayali olarak, ogrencilerin kavram haritasi olusturulmasinda hata kaynagi olabilecek diger dis etkenlerin (ortam, olcme araci vb.) de dikkatlice kontrol altina alinmasi gerektigi onerilmektedir.
Starting Page	211
Ending Page	228
Page Count	18
File Format	PDF HTM / HTML
DOI	10.14689/ejer.2016.66.12
Volume Number	16
Alternate Webpage(s)	https://files.eric.ed.gov/fulltext/EJ1149045.pdf
Alternate Webpage(s)	https://doi.org/10.14689/ejer.2016.66.12
Language	English
Access Restriction	Open
Content Type	Text
Resource Type	Article