Narzędzia użytkownika

Narzędzia witryny


ewdproceduryskalowanie

Różnice

Różnice między wybraną wersją a wersją aktualną.

Odnośnik do tego porównania

Both sides previous revision Poprzednia wersja
Nowa wersja
Poprzednia wersja
ewdproceduryskalowanie [2015/12/18 21:32]
t.zoltak [Zapis oszacowań do bazy]
ewdproceduryskalowanie [2016/11/03 12:09] (aktualna)
t.zoltak [Czynności końcowe]
Linia 1: Linia 1:
 =====V. Skalowanie egzaminów===== =====V. Skalowanie egzaminów=====
  
-Automatyzację całego procesu skalowania, który bardziej szczegółowo opisany jest niżej, zapewniają funkcje //wysokiego poziomu//, zawarte w pakiecie ​//EWDskale//:+Automatyzację całego procesu skalowania, który bardziej szczegółowo opisany jest niżej, zapewniają funkcje //wysokiego poziomu//, zawarte w pakiecie ​[[ewdpakiety#​ewdskale|EWDskale]]:
   * //​skaluj_spr()//;​   * //​skaluj_spr()//;​
   * //​skaluj_egz_gimn()//;​   * //​skaluj_egz_gimn()//;​
Linia 8: Linia 8:
   * //​skaluj_matura_rasch()//​.   * //​skaluj_matura_rasch()//​.
  
-Przy tym //stricte// skalowanie, będące tylko jednym z etapów tego procesu, realizowane jest przy pomocy pakietu ​//EWDskalowanie//.+Przy tym //stricte// skalowanie, będące tylko jednym z etapów tego procesu, realizowane jest przy pomocy pakietu ​[[ewdpakiety#​ewdskalowanie|EWDskalowanie]].
  
 ====Struktura w repozytorium==== ====Struktura w repozytorium====
Linia 18: Linia 18:
     - Dla każdego egzaminu, w każdym roku (nie chodzi tu o rok przeprowadzenia egzaminu, lecz rok dokonania skalowania, które co do zasady obejmuje również doliczenie oszacowań dla egzaminów przeprowadzonych w latach wcześniejszych) tworzony jest w ramach katalogu //​skalowanie//​ oddzielny katalog o nazwie zgodnej ze schematem <​code>'​rodzaj egzaminu [Rasch] rok'</​code>​     - Dla każdego egzaminu, w każdym roku (nie chodzi tu o rok przeprowadzenia egzaminu, lecz rok dokonania skalowania, które co do zasady obejmuje również doliczenie oszacowań dla egzaminów przeprowadzonych w latach wcześniejszych) tworzony jest w ramach katalogu //​skalowanie//​ oddzielny katalog o nazwie zgodnej ze schematem <​code>'​rodzaj egzaminu [Rasch] rok'</​code>​
     - W ramach takiego katalogu tworzony jest plik .Rmd o nazwie zgodnej ze schematem:<​code>'​rok skalowanie [Rasch] nazwa egzaminu.rmd'</​code>​Zawiera on trzy bloki kodu:     - W ramach takiego katalogu tworzony jest plik .Rmd o nazwie zgodnej ze schematem:<​code>'​rok skalowanie [Rasch] nazwa egzaminu.rmd'</​code>​Zawiera on trzy bloki kodu:
-      - Skalowanie (ten blok oznaczony jest jako nie wykonywany przy kompilacji pliku .Rmd): w pętli po zadanych latach przeprowadzenia egzaminu uruchamiana jest odpowiednia funkcja //​skaluj_rodzaj_egzaminu()//​ z pakietu ​//EWDskale//, która przeprowadza skalowanie i zapisuje jego wyniki do plików .RData (p. niżej). +      - Skalowanie (ten blok oznaczony jest jako nie wykonywany przy kompilacji pliku .Rmd): w pętli po zadanych latach przeprowadzenia egzaminu uruchamiana jest odpowiednia funkcja //​skaluj_rodzaj_egzaminu()//​ z pakietu ​[[ewdpakiety#​ewdskale|EWDskale]], która przeprowadza skalowanie i zapisuje jego wyniki do plików .RData (p. niżej). 
-      - Sprawdzanie wyników skalowania: tworzona jest lista zapisanych plików .RData z wynikami skalowania, a następnie dla każdego z nich wywoływana jest funkcja //​sprawdz_wyniki_skalowania()//​ z pakietu ​//EWDskale//+      - Sprawdzanie wyników skalowania: tworzona jest lista zapisanych plików .RData z wynikami skalowania, a następnie dla każdego z nich wywoływana jest funkcja //​sprawdz_wyniki_skalowania()//​ z pakietu ​[[ewdpakiety#​ewdskale|EWDskale]]
-      - Zapis wyników skalowania do bazy (ten blok oznaczony jest jako nie wykonywany przy kompilacji pliku .Rmd): tworzona jest lista zapisanych plików .RData z wynikami skalowania, a następnie dla każdego z nich wywoływana jest funkcja //​zapisz_skalowanie()//​ z pakietu ​//ZPDzapis//, zapewniająca wczytanie wyników skalowania do bazy.+      - Zapis wyników skalowania do bazy (ten blok oznaczony jest jako nie wykonywany przy kompilacji pliku .Rmd): tworzona jest lista zapisanych plików .RData z wynikami skalowania, a następnie dla każdego z nich wywoływana jest funkcja //​zapisz_skalowanie()//​ z pakietu ​[[ewdpakiety#​zpdzapis|ZPDzapis]], zapewniająca wczytanie wyników skalowania do bazy.
     - Oprócz wspomnianego pliku .Rmd w katalogu przechowywane są również:     - Oprócz wspomnianego pliku .Rmd w katalogu przechowywane są również:
       - Pliki .inp i .out Mplusa oraz pliki .csv z zapisanymi oszacowaniami umiejętności utworzone przez funkcję //​skaluj()//​.       - Pliki .inp i .out Mplusa oraz pliki .csv z zapisanymi oszacowaniami umiejętności utworzone przez funkcję //​skaluj()//​.
Linia 35: Linia 35:
 ====Procedura skalowania==== ====Procedura skalowania====
  
-Skalowanie realizowane jest za pomocą funkcji //wysokiego poziomu//, zawartych w pakiecie ​//EWDskale//:+Skalowanie realizowane jest za pomocą funkcji //wysokiego poziomu//, zawartych w pakiecie ​[[ewdpakiety#​ewdskale|EWDskale]]:
  
   * skaluj_spr(),​   * skaluj_spr(),​
Linia 49: Linia 49:
     * W przypadku matury: utworzenie zmiennych opisujących grupowanie dla wielogrupowego modelu skalowania.     * W przypadku matury: utworzenie zmiennych opisujących grupowanie dla wielogrupowego modelu skalowania.
     * Wyodrębnienie //​wzorcowej//​ grupy zdających, na której przeprowadzane jest skalowanie mające na celu ustalenie parametrów modelu.     * Wyodrębnienie //​wzorcowej//​ grupy zdających, na której przeprowadzane jest skalowanie mające na celu ustalenie parametrów modelu.
-  - Przeprowadzenie ​skalowania na //​wzorcowej//​ grupy zdających. +  - Sprawdzenie,​ czy w bazie istnieją już zapisane parametry odpowiedniego modelu skalowania (oznaczone jako //​do_przentacji//​). 
-    * Z wykorzystaniem pakietu ​//EWDskalowanie// w ogólności,​ a funkcji //​procedura_1k_1w()//​ i //​skaluj()//​ w szczególności.+  - Jeśli nie ma takich zapisanych parametrów,​ przeprowadzenie ​skalowania na //​wzorcowej//​ grupy zdających. 
 +    * Z wykorzystaniem pakietu ​[[ewdpakiety#​ewdskalowanie|EWDskalowanie]] w ogólności,​ a funkcji //​procedura_1k_1w()//​ i //​skaluj()//​ w szczególności
 +    * Procedura ta może łączyć się z usuwaniem ze skali zadań o słabych własnościach pomiarowych.
   - Wyliczenie rzetelności empirycznych (w ramach grup), a w przypadku matury również parametrów standaryzacji oszacowań.   - Wyliczenie rzetelności empirycznych (w ramach grup), a w przypadku matury również parametrów standaryzacji oszacowań.
   - W przypadku modeli Rascha: przygotowanie mapowania sum punktów na oszacowania.   - W przypadku modeli Rascha: przygotowanie mapowania sum punktów na oszacowania.
Linia 56: Linia 58:
   - Przygotowanie danych do zapisu w bazie.   - Przygotowanie danych do zapisu w bazie.
     * Tworzony obiekt jest listą zawierającą data frame'​y,​ których struktura odpowiada strukturze tablic w bazie danych:     * Tworzony obiekt jest listą zawierającą data frame'​y,​ których struktura odpowiada strukturze tablic w bazie danych:
-      * //​skalowania//,​ +      * //​skalowania// ​(informacje o przeprowadzonym skalowaniu umiejętności)
-      * //​skalowania_grupy//,​ +      * //​skalowania_grupy// ​(informacje o grupach w modelu skalowania)
-      * //​skalowania_elementy//,​ +      * //​skalowania_elementy// ​(wartości parametrów modelu skalowania oraz dodatkowych parametrów,​ opisujących własności oszacowań - por. [[ewdproceduryskalowanie#​skala_zapisywanych_oszacowan_umiejetnosci|Skala zapisywanych oszacowań umiejętności]])
-      * //​skalowania_obserwacje//​.+      * //​skalowania_obserwacje// ​(oszacowania umiejętności).
     * Lista takich list, obejmująca wszystkie wskaźniki powiązane z danym egzaminem (i modelem skalowania: 2PL/SGR vs. Rasch), zapisywana jest w pliku o nazwie postaci //​prefiksRRRRSkalowanie.RData//​.     * Lista takich list, obejmująca wszystkie wskaźniki powiązane z danym egzaminem (i modelem skalowania: 2PL/SGR vs. Rasch), zapisywana jest w pliku o nazwie postaci //​prefiksRRRRSkalowanie.RData//​.
 +
 +===Sposób definiowania wzorcowej grupy zdających===
 +
 +  * Sprawdzian: uzupełnić.
 +  * Egzamin gimnazjalny:​ uzupełnić.
 +  * Matura: uzupełnić.
 +
 +===Reguły usuwania zadań===
 +
 +Uzupełnić.
 +
 +===Przygotowywanie mapowania sum punktów na oszacowania w modelach Rascha===
 +
 +Uzupełnić.
 +
 +===Problemy specyficzne dla matury 2015===
 +
 +Uzupełnić.
 ====Zapis oszacowań do bazy==== ====Zapis oszacowań do bazy====
  
-===Zapis oszacowań ​parametrów modelu===+Oszacowania ​parametrów modelu ​jak też innych informacji dotyczących skalowania (zawartość tablic //​skalowania//​ i //​skalowania_grupy//​) realizowana jest przy pomocy funkcji //​zapisz_skalowanie()//​ z pakietu [[ewdpakiety#​zpdzapis|ZPDzapis]]. Jeśli w procesie skalowania usunięte zostały jakieś zadania o złych własnościach psychometrycznych,​ funkcja //​zapisz_skalowanie()//​ dokona też odpowiedniej modyfikacji skali (usunie z niej odpowiednie kryteria/​pseudokryteria oceny).
  
-Oszacowania parametrów modelu jak też innych informacji dotyczących skalowania (zawartość tablic ​//skalowania// i //​skalowania_grupy//​) realizowana ​jest przy pomocy funkcji //​zapisz_skalowanie()// pakietu //​ZPDzapis//​.+Funkcja ​//zapisz_skalowanie()// nominalnie może zapisywać oszacowania umiejętności bezpośrednio do bazy, ale jest to dramatycznie nieefektywne ​(długotrwałe). W związku ​tym domyślnie zapisuje ona lokalnie na dysku pliki, które należy wczytać do bazy zgodnie z  
 +[[zpd_oszacowania_obserwacji#​za_pomoca_polecenia_copy_i_programu_psql|procedurą dodawanie do bazy oszacowań umiejętności obserwacji]].
  
-===Zapis oszacowań umiejętności===+===Skala zapisywanych ​oszacowań umiejętności===
  
 Oszacowania przygotowane do zapisu w bazie są wystandaryzowane w ten sposób, że dla danego typu szkół (gimnazja, LO, technika) mają w grupie //​wzorcowej//​ średnią 0 i odchylenie standardowe 1. W szczególności:​ Oszacowania przygotowane do zapisu w bazie są wystandaryzowane w ten sposób, że dla danego typu szkół (gimnazja, LO, technika) mają w grupie //​wzorcowej//​ średnią 0 i odchylenie standardowe 1. W szczególności:​
Linia 79: Linia 100:
   * W przypadku wskaźników osiągnięć maturalnych z 2015 r. w zakresie matematyki i w zakresie przedmiotów matematyczno-przyrodniczych kotwiczenie występuje, ale należy mieć na uwadze, że jest ono słabe, bowiem obejmuje jedynie 5 zadań z matematyki na poziomie podstawowym.   * W przypadku wskaźników osiągnięć maturalnych z 2015 r. w zakresie matematyki i w zakresie przedmiotów matematyczno-przyrodniczych kotwiczenie występuje, ale należy mieć na uwadze, że jest ono słabe, bowiem obejmuje jedynie 5 zadań z matematyki na poziomie podstawowym.
  
-Funkcja //​zapisz_skalowanie()// z pakietu ​//ZPDzapis// nominalnie może zapisywać oszacowania umiejętności bezpośrednio do bazyale jest to dramatycznie nieefektywne ​(długotrwałe). W związku z tym domyślnie zapisuje ona lokalnie na dysku pliki, które należy wczytać do bazy zgodnie z  +====Czynności końcowe==== 
-[[zpd_oszacowania_obserwacji#​za_pomoca_polecenia_copy_i_programu_psql|procedurą dodawanie do bazy oszacowań umiejętności obserwacji]].+ 
 +Po zapisaniu oszacowań ​(i parametrów modeli skalowaniado bazy należy jeszcze zaktualizować zmaterializowany widok //widoki.skalowania_obserwacje_eap_pv//, wykonując polecenie:​ 
 + 
 +<​code>​refresh materialized view widoki.skalowania_obserwacje_eap_pv;<​/code> 
 + 
 +Jeśli tego nie zrobimyfunkcja //​pobierz_skale()// pakietu ​[[r_zpd|ZPD]] nie będzie wiedzieć, że nasze skale/​skalowania mają już zapisane w bazie oszacowania!
ewdproceduryskalowanie.1450470752.txt.gz · ostatnio zmienione: 2015/12/18 21:32 przez t.zoltak