Zespół Pomiaru Dydaktycznego

Ta strona jest tylko do odczytu. Możesz wyświetlić źródła tej strony ale nie możesz ich zmienić.
=====V. Skalowanie egzaminów=====

Automatyzację całego procesu skalowania, który bardziej szczegółowo opisany jest niżej, zapewniają funkcje //wysokiego poziomu//, zawarte w pakiecie [[ewdpakiety#ewdskale|EWDskale]]:
  * //skaluj_spr()//;
  * //skaluj_egz_gimn()//;
  * //skaluj_egz_gimn_rasch()//;
  * //skaluj_matura()//
  * //skaluj_matura_rasch()//.

Przy tym //stricte// skalowanie, będące tylko jednym z etapów tego procesu, realizowane jest przy pomocy pakietu [[ewdpakiety#ewdskalowanie|EWDskalowanie]].

====Struktura w repozytorium====

Proces skalowania przeprowadzany jest w ramach repozytorium //skalowanieEgzaminow//, w którym przechowywane są zarówno wyniki surowe, jak też pliki powstające w procesie skalowania (pliki .inp i .out Mplusa) i zawierające zapisane wyniki skalowania.

  - Wyniki surowe (wraz z danymi kontekstowymi) przechowywane są w katalogu //dane surowe// - p. [ewdprocedurypobieraniesurowych|pobieranie wyników surowych i danych o⁠ uczniach]].
  - Pliki związane z samym skalowaniem przechowywane są w katalogu //skalowanie//.
    - Dla każdego egzaminu, w każdym roku (nie chodzi tu o rok przeprowadzenia egzaminu, lecz rok dokonania skalowania, które co do zasady obejmuje również doliczenie oszacowań dla egzaminów przeprowadzonych w latach wcześniejszych) tworzony jest w ramach katalogu //skalowanie// oddzielny katalog o nazwie zgodnej ze schematem <code>'rodzaj egzaminu [Rasch] rok'</code>
    - W ramach takiego katalogu tworzony jest plik .Rmd o nazwie zgodnej ze schematem:<code>'rok skalowanie [Rasch] nazwa egzaminu.rmd'</code>Zawiera on trzy bloki kodu:
      - Skalowanie (ten blok oznaczony jest jako nie wykonywany przy kompilacji pliku .Rmd): w pętli po zadanych latach przeprowadzenia egzaminu uruchamiana jest odpowiednia funkcja //skaluj_rodzaj_egzaminu()// z pakietu [[ewdpakiety#ewdskale|EWDskale]], która przeprowadza skalowanie i zapisuje jego wyniki do plików .RData (p. niżej).
      - Sprawdzanie wyników skalowania: tworzona jest lista zapisanych plików .RData z wynikami skalowania, a następnie dla każdego z nich wywoływana jest funkcja //sprawdz_wyniki_skalowania()// z pakietu [[ewdpakiety#ewdskale|EWDskale]].
      - Zapis wyników skalowania do bazy (ten blok oznaczony jest jako nie wykonywany przy kompilacji pliku .Rmd): tworzona jest lista zapisanych plików .RData z wynikami skalowania, a następnie dla każdego z nich wywoływana jest funkcja //zapisz_skalowanie()// z pakietu [[ewdpakiety#zpdzapis|ZPDzapis]], zapewniająca wczytanie wyników skalowania do bazy.
    - Oprócz wspomnianego pliku .Rmd w katalogu przechowywane są również:
      - Pliki .inp i .out Mplusa oraz pliki .csv z zapisanymi oszacowaniami umiejętności utworzone przez funkcję //skaluj()//.
      - Pliki .RData zawierające zapisane wyniki skalowania. Ich nazwy tworzone są według schematu:<code>'prefiksRRRRSkalowanie.RData'</code>Gdzie //prefiks// to litera kodująca rodzaj egzaminu ('s' - sprawdzian, 'g' - egzamin gimnazjalny, 'm' - matura), a //RRRR// to rok przeprowadzenia egzaminu.

====Kolejność działań====

  - Utworzenie katalogu na skalowanie danego rodzaju egzaminu w danym roku.
  - Utworzenie w nim pliku .Rmd (w praktyce: skopiowanie go z wcześniejszych skalowań i modyfikacja treści).
  - Uruchomienie bloku pliku .Rmd odpowiadającego za skalowanie (ręcznie).
  - Kompilacja raportu z pliku .Rmd, w ramach której przeprowadzona zostanie diagnostyka wyników skalowania. Powstały raport będzie zawierał wyniki tej diagnostyki, przeprowadzonej przez funkcję //sprawdz_wyniki_skalowania()//.
  - Uruchomienie bloku pliku .Rmd odpowiadającego za zapis wyników do bazy (ręcznie).

====Procedura skalowania====

Skalowanie realizowane jest za pomocą funkcji //wysokiego poziomu//, zawartych w pakiecie [[ewdpakiety#ewdskale|EWDskale]]:

  * skaluj_spr(),
  * skaluj_egz_gimn(),
  * skaluj_egz_gimn_rasch(),
  * skaluj_matura(),
  * skaluj_matura_rasch().

===Funkcje te automatyzują cały złożony proces obejmujący:===

  - Przygotowanie danych do skalowania.
    * W przypadku matury: utworzenie zmiennych opisujących wybór przedmiotów i tematów wypracowań.
    * W przypadku matury: utworzenie zmiennych opisujących grupowanie dla wielogrupowego modelu skalowania.
    * Wyodrębnienie //wzorcowej// grupy zdających, na której przeprowadzane jest skalowanie mające na celu ustalenie parametrów modelu.
  - Sprawdzenie, czy w bazie istnieją już zapisane parametry odpowiedniego modelu skalowania (oznaczone jako //do_przentacji//).
  - Jeśli nie ma takich zapisanych parametrów, przeprowadzenie skalowania na //wzorcowej// grupy zdających.
    * Z wykorzystaniem pakietu [[ewdpakiety#ewdskalowanie|EWDskalowanie]] w ogólności, a funkcji //procedura_1k_1w()// i //skaluj()// w szczególności.
    * Procedura ta może łączyć się z usuwaniem ze skali zadań o słabych własnościach pomiarowych.
  - Wyliczenie rzetelności empirycznych (w ramach grup), a w przypadku matury również parametrów standaryzacji oszacowań.
  - W przypadku modeli Rascha: przygotowanie mapowania sum punktów na oszacowania.
  - Przeprowadzenia skalowania na wszystkich zdających, z wykorzystaniem wartości parametrów wyestymowanych na grupie //wzorcowej//.
  - Przygotowanie danych do zapisu w bazie.
    * Tworzony obiekt jest listą zawierającą data frame'y, których struktura odpowiada strukturze tablic w bazie danych:
      * //skalowania// (informacje o przeprowadzonym skalowaniu umiejętności),
      * //skalowania_grupy// (informacje o grupach w modelu skalowania),
      * //skalowania_elementy// (wartości parametrów modelu skalowania oraz dodatkowych parametrów, opisujących własności oszacowań - por. [[ewdproceduryskalowanie#skala_zapisywanych_oszacowan_umiejetnosci|Skala zapisywanych oszacowań umiejętności]]),
      * //skalowania_obserwacje// (oszacowania umiejętności).
    * Lista takich list, obejmująca wszystkie wskaźniki powiązane z danym egzaminem (i modelem skalowania: 2PL/SGR vs. Rasch), zapisywana jest w pliku o nazwie postaci //prefiksRRRRSkalowanie.RData//.

===Sposób definiowania wzorcowej grupy zdających===

  * Sprawdzian: uzupełnić.
  * Egzamin gimnazjalny: uzupełnić.
  * Matura: uzupełnić.

===Reguły usuwania zadań===

Uzupełnić.

===Przygotowywanie mapowania sum punktów na oszacowania w modelach Rascha===

Uzupełnić.

===Problemy specyficzne dla matury 2015===

Uzupełnić.
====Zapis oszacowań do bazy====

Oszacowania parametrów modelu jak też innych informacji dotyczących skalowania (zawartość tablic //skalowania// i //skalowania_grupy//) realizowana jest przy pomocy funkcji //zapisz_skalowanie()// z pakietu [[ewdpakiety#zpdzapis|ZPDzapis]]. Jeśli w procesie skalowania usunięte zostały jakieś zadania o złych własnościach psychometrycznych, funkcja //zapisz_skalowanie()// dokona też odpowiedniej modyfikacji skali (usunie z niej odpowiednie kryteria/pseudokryteria oceny).

Funkcja //zapisz_skalowanie()// nominalnie może zapisywać oszacowania umiejętności bezpośrednio do bazy, ale jest to dramatycznie nieefektywne (długotrwałe). W związku z tym domyślnie zapisuje ona lokalnie na dysku pliki, które należy wczytać do bazy zgodnie z 
[[zpd_oszacowania_obserwacji#za_pomoca_polecenia_copy_i_programu_psql|procedurą dodawanie do bazy oszacowań umiejętności obserwacji]].

===Skala zapisywanych oszacowań umiejętności===

Oszacowania przygotowane do zapisu w bazie są wystandaryzowane w ten sposób, że dla danego typu szkół (gimnazja, LO, technika) mają w grupie //wzorcowej// średnią 0 i odchylenie standardowe 1. W szczególności:

  * W przypadku jednogrupowych modeli skalowania (egzamin gimnazjalny, sprawdzian) oszacowania EAP zostają przemnożone przez odwrotność pierwiastka //rzetelności empirycznej//.
  * W przypadku wielogrupowych modeli skalowania (matura), oszacowania EAP standaryzowane są do średniej 0 i odchylenia standardowego 1 oddzielnie w ramach każdego typu szkół (LO, techników).

Oznacza to, że w przypadku matury oszacowania przygotowane do zapisu (i przechowywane później w bazie) **są bezpośrednio porównywalne tylko w ramach szkół tego samego typu (LO/technika)**. Przeliczenie oszacowań na jedną skalę, wspólną dla LO i techników, jest możliwe poprzez wykonanie na nich (oddzielnie w ramach każdego typu szkół) operacji odwrotnej do standaryzacji, z wykorzystaniem parametrów powiązanych z danym skalowaniem i zapisanych w bazie. Są to parametry typu //std_mean// i //std_sd//.

  * Wyjątek od powyższej reguły stanowią wskaźniki osiągnięć maturalnych z 2015 r. w zakresie języka polskiego i w zakresie przedmiotów humanistycznych. Ponieważ uczniowie LO i techników pisali różne wersje egzaminu (//nowa formuła// vs. //stara formuła//), pomiędzy którymi brak było zadań kotwiczących, nie da się tak przekształcić oszacowań, aby były one porównywalne pomiędzy LO a technikami.
  * W przypadku wskaźników osiągnięć maturalnych z 2015 r. w zakresie matematyki i w zakresie przedmiotów matematyczno-przyrodniczych kotwiczenie występuje, ale należy mieć na uwadze, że jest ono słabe, bowiem obejmuje jedynie 5 zadań z matematyki na poziomie podstawowym.

====Czynności końcowe====

Po zapisaniu oszacowań (i parametrów modeli skalowania) do bazy należy jeszcze zaktualizować zmaterializowany widok //widoki.skalowania_obserwacje_eap_pv//, wykonując polecenie:

<code>refresh materialized view widoki.skalowania_obserwacje_eap_pv;</code>

Jeśli tego nie zrobimy, funkcja //pobierz_skale()// pakietu [[r_zpd|ZPD]] nie będzie wiedzieć, że nasze skale/skalowania mają już zapisane w bazie oszacowania!
Zespół Pomiaru Dydaktycznego

Narzędzia użytkownika

Narzędzia witryny

Narzędzia strony
