Narzędzia użytkownika

Narzędzia witryny


ewdproceduryskalowanie

V. Skalowanie egzaminów

Automatyzację całego procesu skalowania, który bardziej szczegółowo opisany jest niżej, zapewniają funkcje wysokiego poziomu, zawarte w pakiecie EWDskale:

  • skaluj_spr();
  • skaluj_egz_gimn();
  • skaluj_egz_gimn_rasch();
  • skaluj_matura()
  • skaluj_matura_rasch().

Przy tym stricte skalowanie, będące tylko jednym z etapów tego procesu, realizowane jest przy pomocy pakietu EWDskalowanie.

Struktura w repozytorium

Proces skalowania przeprowadzany jest w ramach repozytorium skalowanieEgzaminow, w którym przechowywane są zarówno wyniki surowe, jak też pliki powstające w procesie skalowania (pliki .inp i .out Mplusa) i zawierające zapisane wyniki skalowania.

  1. Wyniki surowe (wraz z danymi kontekstowymi) przechowywane są w katalogu dane surowe - p. [ewdprocedurypobieraniesurowych|pobieranie wyników surowych i danych o⁠ uczniach]].
  2. Pliki związane z samym skalowaniem przechowywane są w katalogu skalowanie.
    1. Dla każdego egzaminu, w każdym roku (nie chodzi tu o rok przeprowadzenia egzaminu, lecz rok dokonania skalowania, które co do zasady obejmuje również doliczenie oszacowań dla egzaminów przeprowadzonych w latach wcześniejszych) tworzony jest w ramach katalogu skalowanie oddzielny katalog o nazwie zgodnej ze schematem
      'rodzaj egzaminu [Rasch] rok'
    2. W ramach takiego katalogu tworzony jest plik .Rmd o nazwie zgodnej ze schematem:
      'rok skalowanie [Rasch] nazwa egzaminu.rmd'

      Zawiera on trzy bloki kodu:

      1. Skalowanie (ten blok oznaczony jest jako nie wykonywany przy kompilacji pliku .Rmd): w pętli po zadanych latach przeprowadzenia egzaminu uruchamiana jest odpowiednia funkcja skaluj_rodzaj_egzaminu() z pakietu EWDskale, która przeprowadza skalowanie i zapisuje jego wyniki do plików .RData (p. niżej).
      2. Sprawdzanie wyników skalowania: tworzona jest lista zapisanych plików .RData z wynikami skalowania, a następnie dla każdego z nich wywoływana jest funkcja sprawdz_wyniki_skalowania() z pakietu EWDskale.
      3. Zapis wyników skalowania do bazy (ten blok oznaczony jest jako nie wykonywany przy kompilacji pliku .Rmd): tworzona jest lista zapisanych plików .RData z wynikami skalowania, a następnie dla każdego z nich wywoływana jest funkcja zapisz_skalowanie() z pakietu ZPDzapis, zapewniająca wczytanie wyników skalowania do bazy.
    3. Oprócz wspomnianego pliku .Rmd w katalogu przechowywane są również:
      1. Pliki .inp i .out Mplusa oraz pliki .csv z zapisanymi oszacowaniami umiejętności utworzone przez funkcję skaluj().
      2. Pliki .RData zawierające zapisane wyniki skalowania. Ich nazwy tworzone są według schematu:
        'prefiksRRRRSkalowanie.RData'

        Gdzie prefiks to litera kodująca rodzaj egzaminu ('s' - sprawdzian, 'g' - egzamin gimnazjalny, 'm' - matura), a RRRR to rok przeprowadzenia egzaminu.

Kolejność działań

  1. Utworzenie katalogu na skalowanie danego rodzaju egzaminu w danym roku.
  2. Utworzenie w nim pliku .Rmd (w praktyce: skopiowanie go z wcześniejszych skalowań i modyfikacja treści).
  3. Uruchomienie bloku pliku .Rmd odpowiadającego za skalowanie (ręcznie).
  4. Kompilacja raportu z pliku .Rmd, w ramach której przeprowadzona zostanie diagnostyka wyników skalowania. Powstały raport będzie zawierał wyniki tej diagnostyki, przeprowadzonej przez funkcję sprawdz_wyniki_skalowania().
  5. Uruchomienie bloku pliku .Rmd odpowiadającego za zapis wyników do bazy (ręcznie).

Procedura skalowania

Skalowanie realizowane jest za pomocą funkcji wysokiego poziomu, zawartych w pakiecie EWDskale:

  • skaluj_spr(),
  • skaluj_egz_gimn(),
  • skaluj_egz_gimn_rasch(),
  • skaluj_matura(),
  • skaluj_matura_rasch().

Funkcje te automatyzują cały złożony proces obejmujący:

  1. Przygotowanie danych do skalowania.
    • W przypadku matury: utworzenie zmiennych opisujących wybór przedmiotów i tematów wypracowań.
    • W przypadku matury: utworzenie zmiennych opisujących grupowanie dla wielogrupowego modelu skalowania.
    • Wyodrębnienie wzorcowej grupy zdających, na której przeprowadzane jest skalowanie mające na celu ustalenie parametrów modelu.
  2. Sprawdzenie, czy w bazie istnieją już zapisane parametry odpowiedniego modelu skalowania (oznaczone jako do_przentacji).
  3. Jeśli nie ma takich zapisanych parametrów, przeprowadzenie skalowania na wzorcowej grupy zdających.
    • Z wykorzystaniem pakietu EWDskalowanie w ogólności, a funkcji procedura_1k_1w() i skaluj() w szczególności.
    • Procedura ta może łączyć się z usuwaniem ze skali zadań o słabych własnościach pomiarowych.
  4. Wyliczenie rzetelności empirycznych (w ramach grup), a w przypadku matury również parametrów standaryzacji oszacowań.
  5. W przypadku modeli Rascha: przygotowanie mapowania sum punktów na oszacowania.
  6. Przeprowadzenia skalowania na wszystkich zdających, z wykorzystaniem wartości parametrów wyestymowanych na grupie wzorcowej.
  7. Przygotowanie danych do zapisu w bazie.
    • Tworzony obiekt jest listą zawierającą data frame'y, których struktura odpowiada strukturze tablic w bazie danych:
      • skalowania (informacje o przeprowadzonym skalowaniu umiejętności),
      • skalowania_grupy (informacje o grupach w modelu skalowania),
      • skalowania_elementy (wartości parametrów modelu skalowania oraz dodatkowych parametrów, opisujących własności oszacowań - por. Skala zapisywanych oszacowań umiejętności),
      • skalowania_obserwacje (oszacowania umiejętności).
    • Lista takich list, obejmująca wszystkie wskaźniki powiązane z danym egzaminem (i modelem skalowania: 2PL/SGR vs. Rasch), zapisywana jest w pliku o nazwie postaci prefiksRRRRSkalowanie.RData.

Sposób definiowania wzorcowej grupy zdających

  • Sprawdzian: uzupełnić.
  • Egzamin gimnazjalny: uzupełnić.
  • Matura: uzupełnić.

Reguły usuwania zadań

Uzupełnić.

Przygotowywanie mapowania sum punktów na oszacowania w modelach Rascha

Uzupełnić.

Problemy specyficzne dla matury 2015

Uzupełnić.

Zapis oszacowań do bazy

Oszacowania parametrów modelu jak też innych informacji dotyczących skalowania (zawartość tablic skalowania i skalowania_grupy) realizowana jest przy pomocy funkcji zapisz_skalowanie() z pakietu ZPDzapis. Jeśli w procesie skalowania usunięte zostały jakieś zadania o złych własnościach psychometrycznych, funkcja zapisz_skalowanie() dokona też odpowiedniej modyfikacji skali (usunie z niej odpowiednie kryteria/pseudokryteria oceny).

Funkcja zapisz_skalowanie() nominalnie może zapisywać oszacowania umiejętności bezpośrednio do bazy, ale jest to dramatycznie nieefektywne (długotrwałe). W związku z tym domyślnie zapisuje ona lokalnie na dysku pliki, które należy wczytać do bazy zgodnie z procedurą dodawanie do bazy oszacowań umiejętności obserwacji.

Skala zapisywanych oszacowań umiejętności

Oszacowania przygotowane do zapisu w bazie są wystandaryzowane w ten sposób, że dla danego typu szkół (gimnazja, LO, technika) mają w grupie wzorcowej średnią 0 i odchylenie standardowe 1. W szczególności:

  • W przypadku jednogrupowych modeli skalowania (egzamin gimnazjalny, sprawdzian) oszacowania EAP zostają przemnożone przez odwrotność pierwiastka rzetelności empirycznej.
  • W przypadku wielogrupowych modeli skalowania (matura), oszacowania EAP standaryzowane są do średniej 0 i odchylenia standardowego 1 oddzielnie w ramach każdego typu szkół (LO, techników).

Oznacza to, że w przypadku matury oszacowania przygotowane do zapisu (i przechowywane później w bazie) są bezpośrednio porównywalne tylko w ramach szkół tego samego typu (LO/technika). Przeliczenie oszacowań na jedną skalę, wspólną dla LO i techników, jest możliwe poprzez wykonanie na nich (oddzielnie w ramach każdego typu szkół) operacji odwrotnej do standaryzacji, z wykorzystaniem parametrów powiązanych z danym skalowaniem i zapisanych w bazie. Są to parametry typu std_mean i std_sd.

  • Wyjątek od powyższej reguły stanowią wskaźniki osiągnięć maturalnych z 2015 r. w zakresie języka polskiego i w zakresie przedmiotów humanistycznych. Ponieważ uczniowie LO i techników pisali różne wersje egzaminu (nowa formuła vs. stara formuła), pomiędzy którymi brak było zadań kotwiczących, nie da się tak przekształcić oszacowań, aby były one porównywalne pomiędzy LO a technikami.
  • W przypadku wskaźników osiągnięć maturalnych z 2015 r. w zakresie matematyki i w zakresie przedmiotów matematyczno-przyrodniczych kotwiczenie występuje, ale należy mieć na uwadze, że jest ono słabe, bowiem obejmuje jedynie 5 zadań z matematyki na poziomie podstawowym.

Czynności końcowe

Po zapisaniu oszacowań (i parametrów modeli skalowania) do bazy należy jeszcze zaktualizować zmaterializowany widok widoki.skalowania_obserwacje_eap_pv, wykonując polecenie:

refresh materialized view widoki.skalowania_obserwacje_eap_pv;

Jeśli tego nie zrobimy, funkcja pobierz_skale() pakietu ZPD nie będzie wiedzieć, że nasze skale/skalowania mają już zapisane w bazie oszacowania!

ewdproceduryskalowanie.txt · ostatnio zmienione: 2016/11/03 12:09 przez t.zoltak