Zespół Pomiaru Dydaktycznego

Automatyzację całego procesu skalowania, który bardziej szczegółowo opisany jest niżej, zapewniają funkcje wysokiego poziomu, zawarte w pakiecie EWDskale:

• skaluj_spr();
• skaluj_egz_gimn();
• skaluj_egz_gimn_rasch();
• skaluj_matura()
• skaluj_matura_rasch().

Przy tym stricte skalowanie, będące tylko jednym z etapów tego procesu, realizowane jest przy pomocy pakietu EWDskalowanie.

Proces skalowania przeprowadzany jest w ramach repozytorium skalowanieEgzaminow, w którym przechowywane są zarówno wyniki surowe, jak też pliki powstające w procesie skalowania (pliki .inp i .out Mplusa) i zawierające zapisane wyniki skalowania.

1. Wyniki surowe (wraz z danymi kontekstowymi) przechowywane są w katalogu dane surowe - p. [ewdprocedurypobieraniesurowych|pobieranie wyników surowych i danych o⁠ uczniach]].
2. Pliki związane z samym skalowaniem przechowywane są w katalogu skalowanie.
   1. Dla każdego egzaminu, w każdym roku (nie chodzi tu o rok przeprowadzenia egzaminu, lecz rok dokonania skalowania, które co do zasady obejmuje również doliczenie oszacowań dla egzaminów przeprowadzonych w latach wcześniejszych) tworzony jest w ramach katalogu skalowanie oddzielny katalog o nazwie zgodnej ze schematem

      'rodzaj egzaminu [Rasch] rok'

   2. W ramach takiego katalogu tworzony jest plik .Rmd o nazwie zgodnej ze schematem:

      'rok skalowanie [Rasch] nazwa egzaminu.rmd'

      Zawiera on trzy bloki kodu:

      1. Skalowanie (ten blok oznaczony jest jako nie wykonywany przy kompilacji pliku .Rmd): w pętli po zadanych latach przeprowadzenia egzaminu uruchamiana jest odpowiednia funkcja skaluj_rodzaj_egzaminu() z pakietu EWDskale, która przeprowadza skalowanie i zapisuje jego wyniki do plików .RData (p. niżej).
      2. Sprawdzanie wyników skalowania: tworzona jest lista zapisanych plików .RData z wynikami skalowania, a następnie dla każdego z nich wywoływana jest funkcja sprawdz_wyniki_skalowania() z pakietu EWDskale.
      3. Zapis wyników skalowania do bazy (ten blok oznaczony jest jako nie wykonywany przy kompilacji pliku .Rmd): tworzona jest lista zapisanych plików .RData z wynikami skalowania, a następnie dla każdego z nich wywoływana jest funkcja zapisz_skalowanie() z pakietu ZPDzapis, zapewniająca wczytanie wyników skalowania do bazy.
   3. Oprócz wspomnianego pliku .Rmd w katalogu przechowywane są również:
      1. Pliki .inp i .out Mplusa oraz pliki .csv z zapisanymi oszacowaniami umiejętności utworzone przez funkcję skaluj().
      2. Pliki .RData zawierające zapisane wyniki skalowania. Ich nazwy tworzone są według schematu:

         'prefiksRRRRSkalowanie.RData'

         Gdzie prefiks to litera kodująca rodzaj egzaminu ('s' - sprawdzian, 'g' - egzamin gimnazjalny, 'm' - matura), a RRRR to rok przeprowadzenia egzaminu.

1. Utworzenie katalogu na skalowanie danego rodzaju egzaminu w danym roku.
2. Utworzenie w nim pliku .Rmd (w praktyce: skopiowanie go z wcześniejszych skalowań i modyfikacja treści).
3. Uruchomienie bloku pliku .Rmd odpowiadającego za skalowanie (ręcznie).
4. Kompilacja raportu z pliku .Rmd, w ramach której przeprowadzona zostanie diagnostyka wyników skalowania. Powstały raport będzie zawierał wyniki tej diagnostyki, przeprowadzonej przez funkcję sprawdz_wyniki_skalowania().
5. Uruchomienie bloku pliku .Rmd odpowiadającego za zapis wyników do bazy (ręcznie).

Skalowanie realizowane jest za pomocą funkcji wysokiego poziomu, zawartych w pakiecie EWDskale:

• skaluj_spr(),
• skaluj_egz_gimn(),
• skaluj_egz_gimn_rasch(),
• skaluj_matura(),
• skaluj_matura_rasch().

1. Przygotowanie danych do skalowania.
   • W przypadku matury: utworzenie zmiennych opisujących wybór przedmiotów i tematów wypracowań.
   • W przypadku matury: utworzenie zmiennych opisujących grupowanie dla wielogrupowego modelu skalowania.
   • Wyodrębnienie wzorcowej grupy zdających, na której przeprowadzane jest skalowanie mające na celu ustalenie parametrów modelu.
2. Sprawdzenie, czy w bazie istnieją już zapisane parametry odpowiedniego modelu skalowania (oznaczone jako do_przentacji).
3. Jeśli nie ma takich zapisanych parametrów, przeprowadzenie skalowania na wzorcowej grupy zdających.
   • Z wykorzystaniem pakietu EWDskalowanie w ogólności, a funkcji procedura_1k_1w() i skaluj() w szczególności.
   • Procedura ta może łączyć się z usuwaniem ze skali zadań o słabych własnościach pomiarowych.
4. Wyliczenie rzetelności empirycznych (w ramach grup), a w przypadku matury również parametrów standaryzacji oszacowań.
5. W przypadku modeli Rascha: przygotowanie mapowania sum punktów na oszacowania.
6. Przeprowadzenia skalowania na wszystkich zdających, z wykorzystaniem wartości parametrów wyestymowanych na grupie wzorcowej.
7. Przygotowanie danych do zapisu w bazie.
   • Tworzony obiekt jest listą zawierającą data frame'y, których struktura odpowiada strukturze tablic w bazie danych:
     • skalowania (informacje o przeprowadzonym skalowaniu umiejętności),
     • skalowania_grupy (informacje o grupach w modelu skalowania),
     • skalowania_elementy (wartości parametrów modelu skalowania oraz dodatkowych parametrów, opisujących własności oszacowań - por. Skala zapisywanych oszacowań umiejętności),
     • skalowania_obserwacje (oszacowania umiejętności).
   • Lista takich list, obejmująca wszystkie wskaźniki powiązane z danym egzaminem (i modelem skalowania: 2PL/SGR vs. Rasch), zapisywana jest w pliku o nazwie postaci prefiksRRRRSkalowanie.RData.

• Sprawdzian: uzupełnić.
• Egzamin gimnazjalny: uzupełnić.
• Matura: uzupełnić.

Uzupełnić.

Uzupełnić.

Uzupełnić.

Oszacowania parametrów modelu jak też innych informacji dotyczących skalowania (zawartość tablic skalowania i skalowania_grupy) realizowana jest przy pomocy funkcji zapisz_skalowanie() z pakietu ZPDzapis. Jeśli w procesie skalowania usunięte zostały jakieś zadania o złych własnościach psychometrycznych, funkcja zapisz_skalowanie() dokona też odpowiedniej modyfikacji skali (usunie z niej odpowiednie kryteria/pseudokryteria oceny).

Funkcja zapisz_skalowanie() nominalnie może zapisywać oszacowania umiejętności bezpośrednio do bazy, ale jest to dramatycznie nieefektywne (długotrwałe). W związku z tym domyślnie zapisuje ona lokalnie na dysku pliki, które należy wczytać do bazy zgodnie z procedurą dodawanie do bazy oszacowań umiejętności obserwacji.

Oszacowania przygotowane do zapisu w bazie są wystandaryzowane w ten sposób, że dla danego typu szkół (gimnazja, LO, technika) mają w grupie wzorcowej średnią 0 i odchylenie standardowe 1. W szczególności:

• W przypadku jednogrupowych modeli skalowania (egzamin gimnazjalny, sprawdzian) oszacowania EAP zostają przemnożone przez odwrotność pierwiastka rzetelności empirycznej.
• W przypadku wielogrupowych modeli skalowania (matura), oszacowania EAP standaryzowane są do średniej 0 i odchylenia standardowego 1 oddzielnie w ramach każdego typu szkół (LO, techników).

Oznacza to, że w przypadku matury oszacowania przygotowane do zapisu (i przechowywane później w bazie) są bezpośrednio porównywalne tylko w ramach szkół tego samego typu (LO/technika). Przeliczenie oszacowań na jedną skalę, wspólną dla LO i techników, jest możliwe poprzez wykonanie na nich (oddzielnie w ramach każdego typu szkół) operacji odwrotnej do standaryzacji, z wykorzystaniem parametrów powiązanych z danym skalowaniem i zapisanych w bazie. Są to parametry typu std_mean i std_sd.

• Wyjątek od powyższej reguły stanowią wskaźniki osiągnięć maturalnych z 2015 r. w zakresie języka polskiego i w zakresie przedmiotów humanistycznych. Ponieważ uczniowie LO i techników pisali różne wersje egzaminu (nowa formuła vs. stara formuła), pomiędzy którymi brak było zadań kotwiczących, nie da się tak przekształcić oszacowań, aby były one porównywalne pomiędzy LO a technikami.
• W przypadku wskaźników osiągnięć maturalnych z 2015 r. w zakresie matematyki i w zakresie przedmiotów matematyczno-przyrodniczych kotwiczenie występuje, ale należy mieć na uwadze, że jest ono słabe, bowiem obejmuje jedynie 5 zadań z matematyki na poziomie podstawowym.