przejście do zawartości
Zespół Pomiaru Dydaktycznego
Narzędzia użytkownika
Zaloguj
Narzędzia witryny
Narzędzia
Pokaż stronę
Poprzednie wersje
Odnośniki
Menadżer multimediów
Zaloguj
Menadżer multimediów
Ślad:
ewdproceduryskalowanie
Ta strona jest tylko do odczytu. Możesz wyświetlić źródła tej strony ale nie możesz ich zmienić.
=====V. Skalowanie egzaminów===== Automatyzację całego procesu skalowania, który bardziej szczegółowo opisany jest niżej, zapewniają funkcje //wysokiego poziomu//, zawarte w pakiecie [[ewdpakiety#ewdskale|EWDskale]]: * //skaluj_spr()//; * //skaluj_egz_gimn()//; * //skaluj_egz_gimn_rasch()//; * //skaluj_matura()// * //skaluj_matura_rasch()//. Przy tym //stricte// skalowanie, będące tylko jednym z etapów tego procesu, realizowane jest przy pomocy pakietu [[ewdpakiety#ewdskalowanie|EWDskalowanie]]. ====Struktura w repozytorium==== Proces skalowania przeprowadzany jest w ramach repozytorium //skalowanieEgzaminow//, w którym przechowywane są zarówno wyniki surowe, jak też pliki powstające w procesie skalowania (pliki .inp i .out Mplusa) i zawierające zapisane wyniki skalowania. - Wyniki surowe (wraz z danymi kontekstowymi) przechowywane są w katalogu //dane surowe// - p. [ewdprocedurypobieraniesurowych|pobieranie wyników surowych i danych o uczniach]]. - Pliki związane z samym skalowaniem przechowywane są w katalogu //skalowanie//. - Dla każdego egzaminu, w każdym roku (nie chodzi tu o rok przeprowadzenia egzaminu, lecz rok dokonania skalowania, które co do zasady obejmuje również doliczenie oszacowań dla egzaminów przeprowadzonych w latach wcześniejszych) tworzony jest w ramach katalogu //skalowanie// oddzielny katalog o nazwie zgodnej ze schematem <code>'rodzaj egzaminu [Rasch] rok'</code> - W ramach takiego katalogu tworzony jest plik .Rmd o nazwie zgodnej ze schematem:<code>'rok skalowanie [Rasch] nazwa egzaminu.rmd'</code>Zawiera on trzy bloki kodu: - Skalowanie (ten blok oznaczony jest jako nie wykonywany przy kompilacji pliku .Rmd): w pętli po zadanych latach przeprowadzenia egzaminu uruchamiana jest odpowiednia funkcja //skaluj_rodzaj_egzaminu()// z pakietu [[ewdpakiety#ewdskale|EWDskale]], która przeprowadza skalowanie i zapisuje jego wyniki do plików .RData (p. niżej). - Sprawdzanie wyników skalowania: tworzona jest lista zapisanych plików .RData z wynikami skalowania, a następnie dla każdego z nich wywoływana jest funkcja //sprawdz_wyniki_skalowania()// z pakietu [[ewdpakiety#ewdskale|EWDskale]]. - Zapis wyników skalowania do bazy (ten blok oznaczony jest jako nie wykonywany przy kompilacji pliku .Rmd): tworzona jest lista zapisanych plików .RData z wynikami skalowania, a następnie dla każdego z nich wywoływana jest funkcja //zapisz_skalowanie()// z pakietu [[ewdpakiety#zpdzapis|ZPDzapis]], zapewniająca wczytanie wyników skalowania do bazy. - Oprócz wspomnianego pliku .Rmd w katalogu przechowywane są również: - Pliki .inp i .out Mplusa oraz pliki .csv z zapisanymi oszacowaniami umiejętności utworzone przez funkcję //skaluj()//. - Pliki .RData zawierające zapisane wyniki skalowania. Ich nazwy tworzone są według schematu:<code>'prefiksRRRRSkalowanie.RData'</code>Gdzie //prefiks// to litera kodująca rodzaj egzaminu ('s' - sprawdzian, 'g' - egzamin gimnazjalny, 'm' - matura), a //RRRR// to rok przeprowadzenia egzaminu. ====Kolejność działań==== - Utworzenie katalogu na skalowanie danego rodzaju egzaminu w danym roku. - Utworzenie w nim pliku .Rmd (w praktyce: skopiowanie go z wcześniejszych skalowań i modyfikacja treści). - Uruchomienie bloku pliku .Rmd odpowiadającego za skalowanie (ręcznie). - Kompilacja raportu z pliku .Rmd, w ramach której przeprowadzona zostanie diagnostyka wyników skalowania. Powstały raport będzie zawierał wyniki tej diagnostyki, przeprowadzonej przez funkcję //sprawdz_wyniki_skalowania()//. - Uruchomienie bloku pliku .Rmd odpowiadającego za zapis wyników do bazy (ręcznie). ====Procedura skalowania==== Skalowanie realizowane jest za pomocą funkcji //wysokiego poziomu//, zawartych w pakiecie [[ewdpakiety#ewdskale|EWDskale]]: * skaluj_spr(), * skaluj_egz_gimn(), * skaluj_egz_gimn_rasch(), * skaluj_matura(), * skaluj_matura_rasch(). ===Funkcje te automatyzują cały złożony proces obejmujący:=== - Przygotowanie danych do skalowania. * W przypadku matury: utworzenie zmiennych opisujących wybór przedmiotów i tematów wypracowań. * W przypadku matury: utworzenie zmiennych opisujących grupowanie dla wielogrupowego modelu skalowania. * Wyodrębnienie //wzorcowej// grupy zdających, na której przeprowadzane jest skalowanie mające na celu ustalenie parametrów modelu. - Sprawdzenie, czy w bazie istnieją już zapisane parametry odpowiedniego modelu skalowania (oznaczone jako //do_przentacji//). - Jeśli nie ma takich zapisanych parametrów, przeprowadzenie skalowania na //wzorcowej// grupy zdających. * Z wykorzystaniem pakietu [[ewdpakiety#ewdskalowanie|EWDskalowanie]] w ogólności, a funkcji //procedura_1k_1w()// i //skaluj()// w szczególności. * Procedura ta może łączyć się z usuwaniem ze skali zadań o słabych własnościach pomiarowych. - Wyliczenie rzetelności empirycznych (w ramach grup), a w przypadku matury również parametrów standaryzacji oszacowań. - W przypadku modeli Rascha: przygotowanie mapowania sum punktów na oszacowania. - Przeprowadzenia skalowania na wszystkich zdających, z wykorzystaniem wartości parametrów wyestymowanych na grupie //wzorcowej//. - Przygotowanie danych do zapisu w bazie. * Tworzony obiekt jest listą zawierającą data frame'y, których struktura odpowiada strukturze tablic w bazie danych: * //skalowania// (informacje o przeprowadzonym skalowaniu umiejętności), * //skalowania_grupy// (informacje o grupach w modelu skalowania), * //skalowania_elementy// (wartości parametrów modelu skalowania oraz dodatkowych parametrów, opisujących własności oszacowań - por. [[ewdproceduryskalowanie#skala_zapisywanych_oszacowan_umiejetnosci|Skala zapisywanych oszacowań umiejętności]]), * //skalowania_obserwacje// (oszacowania umiejętności). * Lista takich list, obejmująca wszystkie wskaźniki powiązane z danym egzaminem (i modelem skalowania: 2PL/SGR vs. Rasch), zapisywana jest w pliku o nazwie postaci //prefiksRRRRSkalowanie.RData//. ===Sposób definiowania wzorcowej grupy zdających=== * Sprawdzian: uzupełnić. * Egzamin gimnazjalny: uzupełnić. * Matura: uzupełnić. ===Reguły usuwania zadań=== Uzupełnić. ===Przygotowywanie mapowania sum punktów na oszacowania w modelach Rascha=== Uzupełnić. ===Problemy specyficzne dla matury 2015=== Uzupełnić. ====Zapis oszacowań do bazy==== Oszacowania parametrów modelu jak też innych informacji dotyczących skalowania (zawartość tablic //skalowania// i //skalowania_grupy//) realizowana jest przy pomocy funkcji //zapisz_skalowanie()// z pakietu [[ewdpakiety#zpdzapis|ZPDzapis]]. Jeśli w procesie skalowania usunięte zostały jakieś zadania o złych własnościach psychometrycznych, funkcja //zapisz_skalowanie()// dokona też odpowiedniej modyfikacji skali (usunie z niej odpowiednie kryteria/pseudokryteria oceny). Funkcja //zapisz_skalowanie()// nominalnie może zapisywać oszacowania umiejętności bezpośrednio do bazy, ale jest to dramatycznie nieefektywne (długotrwałe). W związku z tym domyślnie zapisuje ona lokalnie na dysku pliki, które należy wczytać do bazy zgodnie z [[zpd_oszacowania_obserwacji#za_pomoca_polecenia_copy_i_programu_psql|procedurą dodawanie do bazy oszacowań umiejętności obserwacji]]. ===Skala zapisywanych oszacowań umiejętności=== Oszacowania przygotowane do zapisu w bazie są wystandaryzowane w ten sposób, że dla danego typu szkół (gimnazja, LO, technika) mają w grupie //wzorcowej// średnią 0 i odchylenie standardowe 1. W szczególności: * W przypadku jednogrupowych modeli skalowania (egzamin gimnazjalny, sprawdzian) oszacowania EAP zostają przemnożone przez odwrotność pierwiastka //rzetelności empirycznej//. * W przypadku wielogrupowych modeli skalowania (matura), oszacowania EAP standaryzowane są do średniej 0 i odchylenia standardowego 1 oddzielnie w ramach każdego typu szkół (LO, techników). Oznacza to, że w przypadku matury oszacowania przygotowane do zapisu (i przechowywane później w bazie) **są bezpośrednio porównywalne tylko w ramach szkół tego samego typu (LO/technika)**. Przeliczenie oszacowań na jedną skalę, wspólną dla LO i techników, jest możliwe poprzez wykonanie na nich (oddzielnie w ramach każdego typu szkół) operacji odwrotnej do standaryzacji, z wykorzystaniem parametrów powiązanych z danym skalowaniem i zapisanych w bazie. Są to parametry typu //std_mean// i //std_sd//. * Wyjątek od powyższej reguły stanowią wskaźniki osiągnięć maturalnych z 2015 r. w zakresie języka polskiego i w zakresie przedmiotów humanistycznych. Ponieważ uczniowie LO i techników pisali różne wersje egzaminu (//nowa formuła// vs. //stara formuła//), pomiędzy którymi brak było zadań kotwiczących, nie da się tak przekształcić oszacowań, aby były one porównywalne pomiędzy LO a technikami. * W przypadku wskaźników osiągnięć maturalnych z 2015 r. w zakresie matematyki i w zakresie przedmiotów matematyczno-przyrodniczych kotwiczenie występuje, ale należy mieć na uwadze, że jest ono słabe, bowiem obejmuje jedynie 5 zadań z matematyki na poziomie podstawowym. ====Czynności końcowe==== Po zapisaniu oszacowań (i parametrów modeli skalowania) do bazy należy jeszcze zaktualizować zmaterializowany widok //widoki.skalowania_obserwacje_eap_pv//, wykonując polecenie: <code>refresh materialized view widoki.skalowania_obserwacje_eap_pv;</code> Jeśli tego nie zrobimy, funkcja //pobierz_skale()// pakietu [[r_zpd|ZPD]] nie będzie wiedzieć, że nasze skale/skalowania mają już zapisane w bazie oszacowania!
ewdproceduryskalowanie.txt
· ostatnio zmienione: 2016/11/03 12:09 przez
t.zoltak
Narzędzia strony
Pokaż stronę
Poprzednie wersje
Odnośniki
Do góry