To jest stara wersja strony!
V. Skalowanie egzaminów
Automatyzację całego procesu skalowania, który bardziej szczegółowo opisany jest niżej, zapewniają funkcje wysokiego poziomu, zawarte w pakiecie EWDskale:
skaluj_spr();
skaluj_egz_gimn();
skaluj_egz_gimn_rasch();
skaluj_matura()
skaluj_matura_rasch().
Przy tym stricte skalowanie, będące tylko jednym z etapów tego procesu, realizowane jest przy pomocy pakietu EWDskalowanie.
Struktura w repozytorium
Proces skalowania przeprowadzany jest w ramach repozytorium skalowanieEgzaminow, w którym przechowywane są zarówno wyniki surowe, jak też pliki powstające w procesie skalowania (pliki .inp i .out Mplusa) i zawierające zapisane wyniki skalowania.
Wyniki surowe (wraz z danymi kontekstowymi) przechowywane są w katalogu dane surowe - p. [ewdprocedurypobieraniesurowych|pobieranie wyników surowych i danych o uczniach]].
Pliki związane z samym skalowaniem przechowywane są w katalogu skalowanie.
Dla każdego egzaminu, w każdym roku (nie chodzi tu o rok przeprowadzenia egzaminu, lecz rok dokonania skalowania, które co do zasady obejmuje również doliczenie oszacowań dla egzaminów przeprowadzonych w latach wcześniejszych) tworzony jest w ramach katalogu
skalowanie oddzielny katalog o nazwie zgodnej ze schematem
'rodzaj egzaminu [Rasch] rok'
W ramach takiego katalogu tworzony jest plik .Rmd o nazwie zgodnej ze schematem:
'rok skalowanie [Rasch] nazwa egzaminu.rmd'
Zawiera on trzy bloki kodu:
Skalowanie (ten blok oznaczony jest jako nie wykonywany przy kompilacji pliku .Rmd): w pętli po zadanych latach przeprowadzenia egzaminu uruchamiana jest odpowiednia funkcja skaluj_rodzaj_egzaminu() z pakietu EWDskale, która przeprowadza skalowanie i zapisuje jego wyniki do plików .RData (p. niżej).
Sprawdzanie wyników skalowania: tworzona jest lista zapisanych plików .RData z wynikami skalowania, a następnie dla każdego z nich wywoływana jest funkcja sprawdz_wyniki_skalowania() z pakietu EWDskale.
Zapis wyników skalowania do bazy (ten blok oznaczony jest jako nie wykonywany przy kompilacji pliku .Rmd): tworzona jest lista zapisanych plików .RData z wynikami skalowania, a następnie dla każdego z nich wywoływana jest funkcja
zapisz_skalowanie() z pakietu
ZPDzapis, zapewniająca wczytanie wyników skalowania do bazy.
Oprócz wspomnianego pliku .Rmd w katalogu przechowywane są również:
Pliki .inp i .out Mplusa oraz pliki .csv z zapisanymi oszacowaniami umiejętności utworzone przez funkcję skaluj().
Pliki .RData zawierające zapisane wyniki skalowania. Ich nazwy tworzone są według schematu:
'prefiksRRRRSkalowanie.RData'
Gdzie prefiks to litera kodująca rodzaj egzaminu ('s' - sprawdzian, 'g' - egzamin gimnazjalny, 'm' - matura), a RRRR to rok przeprowadzenia egzaminu.
Kolejność działań
Utworzenie katalogu na skalowanie danego rodzaju egzaminu w danym roku.
Utworzenie w nim pliku .Rmd (w praktyce: skopiowanie go z wcześniejszych skalowań i modyfikacja treści).
Uruchomienie bloku pliku .Rmd odpowiadającego za skalowanie (ręcznie).
Kompilacja raportu z pliku .Rmd, w ramach której przeprowadzona zostanie diagnostyka wyników skalowania. Powstały raport będzie zawierał wyniki tej diagnostyki, przeprowadzonej przez funkcję sprawdz_wyniki_skalowania().
Uruchomienie bloku pliku .Rmd odpowiadającego za zapis wyników do bazy (ręcznie).
Procedura skalowania
Skalowanie realizowane jest za pomocą funkcji wysokiego poziomu, zawartych w pakiecie EWDskale:
skaluj_spr(),
skaluj_egz_gimn(),
skaluj_egz_gimn_rasch(),
skaluj_matura(),
skaluj_matura_rasch().
Funkcje te automatyzują cały złożony proces obejmujący:
Przygotowanie danych do skalowania.
W przypadku matury: utworzenie zmiennych opisujących wybór przedmiotów i tematów wypracowań.
W przypadku matury: utworzenie zmiennych opisujących grupowanie dla wielogrupowego modelu skalowania.
Wyodrębnienie wzorcowej grupy zdających, na której przeprowadzane jest skalowanie mające na celu ustalenie parametrów modelu.
Sprawdzenie, czy w bazie istnieją już zapisane parametry odpowiedniego modelu skalowania (oznaczone jako do_przentacji).
Jeśli nie ma takich zapisanych parametrów, przeprowadzenie skalowania na wzorcowej grupy zdających.
Z wykorzystaniem pakietu EWDskalowanie w ogólności, a funkcji procedura_1k_1w() i skaluj() w szczególności.
Procedura ta może łączyć się z usuwaniem ze skali zadań o słabych własnościach pomiarowych.
Wyliczenie rzetelności empirycznych (w ramach grup), a w przypadku matury również parametrów standaryzacji oszacowań.
W przypadku modeli Rascha: przygotowanie mapowania sum punktów na oszacowania.
Przeprowadzenia skalowania na wszystkich zdających, z wykorzystaniem wartości parametrów wyestymowanych na grupie wzorcowej.
Przygotowanie danych do zapisu w bazie.
Tworzony obiekt jest listą zawierającą data frame'y, których struktura odpowiada strukturze tablic w bazie danych:
skalowania (informacje o przeprowadzonym skalowaniu umiejętności),
skalowania_grupy (informacje o grupach w modelu skalowania),
-
skalowania_obserwacje (oszacowania umiejętności).
Lista takich list, obejmująca wszystkie wskaźniki powiązane z danym egzaminem (i modelem skalowania: 2PL/SGR vs. Rasch), zapisywana jest w pliku o nazwie postaci prefiksRRRRSkalowanie.RData.
Sposób definiowania wzorcowej grupy zdających
Reguły usuwania zadań
Przygotowywanie mapowania sum punktów na oszacowania w modelach Rascha
Problemy specyficzne dla matury 2015
Zapis oszacowań do bazy
Oszacowania parametrów modelu jak też innych informacji dotyczących skalowania (zawartość tablic skalowania i skalowania_grupy) realizowana jest przy pomocy funkcji zapisz_skalowanie() z pakietu ZPDzapis. Jeśli w procesie skalowania usunięte zostały jakieś zadania o złych własnościach psychometrycznych, funkcja zapisz_skalowanie() dokona też odpowiedniej modyfikacji skali (usunie z niej odpowiednie kryteria/pseudokryteria oceny).
Funkcja zapisz_skalowanie() nominalnie może zapisywać oszacowania umiejętności bezpośrednio do bazy, ale jest to dramatycznie nieefektywne (długotrwałe). W związku z tym domyślnie zapisuje ona lokalnie na dysku pliki, które należy wczytać do bazy zgodnie z
procedurą dodawanie do bazy oszacowań umiejętności obserwacji.
Skala zapisywanych oszacowań umiejętności
Oszacowania przygotowane do zapisu w bazie są wystandaryzowane w ten sposób, że dla danego typu szkół (gimnazja, LO, technika) mają w grupie wzorcowej średnią 0 i odchylenie standardowe 1. W szczególności:
W przypadku jednogrupowych modeli skalowania (egzamin gimnazjalny, sprawdzian) oszacowania EAP zostają przemnożone przez odwrotność pierwiastka rzetelności empirycznej.
W przypadku wielogrupowych modeli skalowania (matura), oszacowania EAP standaryzowane są do średniej 0 i odchylenia standardowego 1 oddzielnie w ramach każdego typu szkół (LO, techników).
Oznacza to, że w przypadku matury oszacowania przygotowane do zapisu (i przechowywane później w bazie) są bezpośrednio porównywalne tylko w ramach szkół tego samego typu (LO/technika). Przeliczenie oszacowań na jedną skalę, wspólną dla LO i techników, jest możliwe poprzez wykonanie na nich (oddzielnie w ramach każdego typu szkół) operacji odwrotnej do standaryzacji, z wykorzystaniem parametrów powiązanych z danym skalowaniem i zapisanych w bazie. Są to parametry typu std_mean i std_sd.
Wyjątek od powyższej reguły stanowią wskaźniki osiągnięć maturalnych z 2015 r. w zakresie języka polskiego i w zakresie przedmiotów humanistycznych. Ponieważ uczniowie LO i techników pisali różne wersje egzaminu (nowa formuła vs. stara formuła), pomiędzy którymi brak było zadań kotwiczących, nie da się tak przekształcić oszacowań, aby były one porównywalne pomiędzy LO a technikami.
W przypadku wskaźników osiągnięć maturalnych z 2015 r. w zakresie matematyki i w zakresie przedmiotów matematyczno-przyrodniczych kotwiczenie występuje, ale należy mieć na uwadze, że jest ono słabe, bowiem obejmuje jedynie 5 zadań z matematyki na poziomie podstawowym.