To jest stara wersja strony!
V. Skalowanie egzaminów
Automatyzację całego procesu skalowania, który bardziej szczegółowo opisany jest niżej, zapewniają funkcje wysokiego poziomu, zawarte w pakiecie EWDskale:
skaluj_spr();
skaluj_egz_gimn();
skaluj_egz_gimn_rasch();
skaluj_matura()
skaluj_matura_rasch().
Przy tym stricte skalowanie, będące tylko jednym z etapów tego procesu, realizowane jest przy pomocy pakietu EWDskalowanie.
Struktura w repozytorium
Proces skalowania przeprowadzany jest w ramach repozytorium skalowanieEgzaminow, w którym przechowywane są zarówno wyniki surowe, jak też pliki powstające w procesie skalowania (pliki .inp i .out Mplusa) i zawierające zapisane wyniki skalowania.
Wyniki surowe (wraz z danymi kontekstowymi) przechowywane są w katalogu dane surowe - p. [ewdprocedurypobieraniesurowych|pobieranie wyników surowych i danych o uczniach]].
Pliki związane z samym skalowaniem przechowywane są w katalogu skalowanie.
Dla każdego egzaminu, w każdym roku (nie chodzi tu o rok przeprowadzenia egzaminu, lecz rok dokonania skalowania, które co do zasady obejmuje również doliczenie oszacowań dla egzaminów przeprowadzonych w latach wcześniejszych) tworzony jest w ramach katalogu
skalowanie oddzielny katalog o nazwie zgodnej ze schematem
'rodzaj egzaminu [Rasch] rok'
W ramach takiego katalogu tworzony jest plik .Rmd o nazwie zgodnej ze schematem:
'rok skalowanie [Rasch] nazwa egzaminu.rmd'
Zawiera on trzy bloki kodu:
Skalowanie (ten blok oznaczony jest jako nie wykonywany przy kompilacji pliku .Rmd): w pętli po zadanych latach przeprowadzenia egzaminu uruchamiana jest odpowiednia funkcja skaluj_rodzaj_egzaminu() z pakietu EWDskale, która przeprowadza skalowanie i zapisuje jego wyniki do plików .RData (p. niżej).
Sprawdzanie wyników skalowania: tworzona jest lista zapisanych plików .RData z wynikami skalowania, a następnie dla każdego z nich wywoływana jest funkcja sprawdz_wyniki_skalowania() z pakietu EWDskale.
Zapis wyników skalowania do bazy (ten blok oznaczony jest jako nie wykonywany przy kompilacji pliku .Rmd): tworzona jest lista zapisanych plików .RData z wynikami skalowania, a następnie dla każdego z nich wywoływana jest funkcja zapisz_skalowanie() z pakietu ZPDzapis, zapewniająca wczytanie wyników skalowania do bazy.
Oprócz wspomnianego pliku .Rmd w katalogu przechowywane są również:
Pliki .inp i .out Mplusa oraz pliki .csv z zapisanymi oszacowaniami umiejętności utworzone przez funkcję skaluj().
Pliki .RData zawierające zapisane wyniki skalowania. Ich nazwy tworzone są według schematu:
'prefiksRRRRSkalowanie.RData'
Gdzie prefiks to litera kodująca rodzaj egzaminu ('s' - sprawdzian, 'g' - egzamin gimnazjalny, 'm' - matura), a RRRR to rok przeprowadzenia egzaminu.
Kolejność działań
Utworzenie katalogu na skalowanie danego rodzaju egzaminu w danym roku.
Utworzenie w nim pliku .Rmd (w praktyce: skopiowanie go z wcześniejszych skalowań i modyfikacja treści).
Uruchomienie bloku pliku .Rmd odpowiadającego za skalowanie (ręcznie).
Kompilacja raportu z pliku .Rmd, w ramach której przeprowadzona zostanie diagnostyka wyników skalowania. Powstały raport będzie zawierał wyniki tej diagnostyki, przeprowadzonej przez funkcję sprawdz_wyniki_skalowania().
Uruchomienie bloku pliku .Rmd odpowiadającego za zapis wyników do bazy (ręcznie).
Procedura skalowania
Skalowanie realizowane jest za pomocą funkcji wysokiego poziomu, zawartych w pakiecie EWDskale:
skaluj_spr(),
skaluj_egz_gimn(),
skaluj_egz_gimn_rasch(),
skaluj_matura(),
skaluj_matura_rasch().
Funkcje te automatyzują cały złożony proces obejmujący:
Przygotowanie danych do skalowania.
W przypadku matury: utworzenie zmiennych opisujących wybór przedmiotów i tematów wypracowań.
W przypadku matury: utworzenie zmiennych opisujących grupowanie dla wielogrupowego modelu skalowania.
Wyodrębnienie wzorcowej grupy zdających, na której przeprowadzane jest skalowanie mające na celu ustalenie parametrów modelu.
Przeprowadzenie skalowania na wzorcowej grupy zdających.
Wyliczenie rzetelności empirycznych (w ramach grup), a w przypadku matury również parametrów standaryzacji oszacowań.
W przypadku modeli Rascha: przygotowanie mapowania sum punktów na oszacowania.
Przeprowadzenia skalowania na wszystkich zdających, z wykorzystaniem wartości parametrów wyestymowanych na grupie wzorcowej.
Przygotowanie danych do zapisu w bazie.
Tworzony obiekt jest listą zawierającą data frame'y, których struktura odpowiada strukturze tablic w bazie danych:
skalowania,
skalowania_grupy,
skalowania_elementy,
skalowania_obserwacje.
Lista takich list, obejmująca wszystkie wskaźniki powiązane z danym egzaminem (i modelem skalowania: 2PL/SGR vs. Rasch), zapisywana jest w pliku o nazwie postaci prefiksRRRRSkalowanie.RData.
Zapis oszacowań do bazy
Zapis oszacowań parametrów modelu
Oszacowania parametrów modelu jak też innych informacji dotyczących skalowania (zawartość tablic )
Zapis oszacowań umiejętności
Oszacowania przygotowane do zapisu w bazie są wystandaryzowane w ten sposób, że dla danego typu szkół (gimnazja, LO, technika) mają w grupie wzorcowej średnią 0 i odchylenie standardowe 1. W szczególności:
W przypadku jednogrupowych modeli skalowania (egzamin gimnazjalny, sprawdzian) oszacowania EAP zostają przemnożone przez odwrotność pierwiastka rzetelności empirycznej.
W przypadku wielogrupowych modeli skalowania (matura), oszacowania EAP standaryzowane są do średniej 0 i odchylenia standardowego 1 oddzielnie w ramach każdego typu szkół (LO, techników).
Oznacza to, że w przypadku matury oszacowania przygotowane do zapisu (i przechowywane później w bazie) są bezpośrednio porównywalne tylko w ramach szkół tego samego typu (LO/technika). Przeliczenie oszacowań na jedną skalę, wspólną dla LO i techników, jest możliwe poprzez wykonanie na nich (oddzielnie w ramach każdego typu szkół) operacji odwrotnej do standaryzacji, z wykorzystaniem parametrów powiązanych z danym skalowaniem i zapisanych w bazie. Są to parametry typu std_mean i std_sd.
Wyjątek od powyższej reguły stanowią wskaźniki osiągnięć maturalnych z 2015 r. w zakresie języka polskiego i w zakresie przedmiotów humanistycznych. Ponieważ uczniowie LO i techników pisali różne wersje egzaminu (nowa formuła vs. stara formuła), pomiędzy którymi brak było zadań kotwiczących, nie da się tak przekształcić oszacowań, aby były one porównywalne pomiędzy LO a technikami.
W przypadku wskaźników osiągnięć maturalnych z 2015 r. w zakresie matematyki i w zakresie przedmiotów matematyczno-przyrodniczych kotwiczenie występuje, ale należy mieć na uwadze, że jest ono słabe, bowiem obejmuje jedynie 5 zadań z matematyki na poziomie podstawowym.
Dodawanie do bazy oszacowań umiejętności obserwacji.