Różnice między wybraną wersją a wersją aktualną.
Both sides previous revision Poprzednia wersja Nowa wersja | Poprzednia wersja | ||
ewdproceduryskalowanie [2015/12/18 21:28] t.zoltak [Zapis oszacowań do bazy] |
ewdproceduryskalowanie [2016/11/03 12:09] t.zoltak [Czynności końcowe] |
||
---|---|---|---|
Linia 1: | Linia 1: | ||
=====V. Skalowanie egzaminów===== | =====V. Skalowanie egzaminów===== | ||
- | Automatyzację całego procesu skalowania, który bardziej szczegółowo opisany jest niżej, zapewniają funkcje //wysokiego poziomu//, zawarte w pakiecie //EWDskale//: | + | Automatyzację całego procesu skalowania, który bardziej szczegółowo opisany jest niżej, zapewniają funkcje //wysokiego poziomu//, zawarte w pakiecie [[ewdpakiety#ewdskale|EWDskale]]: |
* //skaluj_spr()//; | * //skaluj_spr()//; | ||
* //skaluj_egz_gimn()//; | * //skaluj_egz_gimn()//; | ||
Linia 8: | Linia 8: | ||
* //skaluj_matura_rasch()//. | * //skaluj_matura_rasch()//. | ||
- | Przy tym //stricte// skalowanie, będące tylko jednym z etapów tego procesu, realizowane jest przy pomocy pakietu //EWDskalowanie//. | + | Przy tym //stricte// skalowanie, będące tylko jednym z etapów tego procesu, realizowane jest przy pomocy pakietu [[ewdpakiety#ewdskalowanie|EWDskalowanie]]. |
====Struktura w repozytorium==== | ====Struktura w repozytorium==== | ||
Linia 18: | Linia 18: | ||
- Dla każdego egzaminu, w każdym roku (nie chodzi tu o rok przeprowadzenia egzaminu, lecz rok dokonania skalowania, które co do zasady obejmuje również doliczenie oszacowań dla egzaminów przeprowadzonych w latach wcześniejszych) tworzony jest w ramach katalogu //skalowanie// oddzielny katalog o nazwie zgodnej ze schematem <code>'rodzaj egzaminu [Rasch] rok'</code> | - Dla każdego egzaminu, w każdym roku (nie chodzi tu o rok przeprowadzenia egzaminu, lecz rok dokonania skalowania, które co do zasady obejmuje również doliczenie oszacowań dla egzaminów przeprowadzonych w latach wcześniejszych) tworzony jest w ramach katalogu //skalowanie// oddzielny katalog o nazwie zgodnej ze schematem <code>'rodzaj egzaminu [Rasch] rok'</code> | ||
- W ramach takiego katalogu tworzony jest plik .Rmd o nazwie zgodnej ze schematem:<code>'rok skalowanie [Rasch] nazwa egzaminu.rmd'</code>Zawiera on trzy bloki kodu: | - W ramach takiego katalogu tworzony jest plik .Rmd o nazwie zgodnej ze schematem:<code>'rok skalowanie [Rasch] nazwa egzaminu.rmd'</code>Zawiera on trzy bloki kodu: | ||
- | - Skalowanie (ten blok oznaczony jest jako nie wykonywany przy kompilacji pliku .Rmd): w pętli po zadanych latach przeprowadzenia egzaminu uruchamiana jest odpowiednia funkcja //skaluj_rodzaj_egzaminu()// z pakietu //EWDskale//, która przeprowadza skalowanie i zapisuje jego wyniki do plików .RData (p. niżej). | + | - Skalowanie (ten blok oznaczony jest jako nie wykonywany przy kompilacji pliku .Rmd): w pętli po zadanych latach przeprowadzenia egzaminu uruchamiana jest odpowiednia funkcja //skaluj_rodzaj_egzaminu()// z pakietu [[ewdpakiety#ewdskale|EWDskale]], która przeprowadza skalowanie i zapisuje jego wyniki do plików .RData (p. niżej). |
- | - Sprawdzanie wyników skalowania: tworzona jest lista zapisanych plików .RData z wynikami skalowania, a następnie dla każdego z nich wywoływana jest funkcja //sprawdz_wyniki_skalowania()// z pakietu //EWDskale//. | + | - Sprawdzanie wyników skalowania: tworzona jest lista zapisanych plików .RData z wynikami skalowania, a następnie dla każdego z nich wywoływana jest funkcja //sprawdz_wyniki_skalowania()// z pakietu [[ewdpakiety#ewdskale|EWDskale]]. |
- | - Zapis wyników skalowania do bazy (ten blok oznaczony jest jako nie wykonywany przy kompilacji pliku .Rmd): tworzona jest lista zapisanych plików .RData z wynikami skalowania, a następnie dla każdego z nich wywoływana jest funkcja //zapisz_skalowanie()// z pakietu //ZPDzapis//, zapewniająca wczytanie wyników skalowania do bazy. | + | - Zapis wyników skalowania do bazy (ten blok oznaczony jest jako nie wykonywany przy kompilacji pliku .Rmd): tworzona jest lista zapisanych plików .RData z wynikami skalowania, a następnie dla każdego z nich wywoływana jest funkcja //zapisz_skalowanie()// z pakietu [[ewdpakiety#zpdzapis|ZPDzapis]], zapewniająca wczytanie wyników skalowania do bazy. |
- Oprócz wspomnianego pliku .Rmd w katalogu przechowywane są również: | - Oprócz wspomnianego pliku .Rmd w katalogu przechowywane są również: | ||
- Pliki .inp i .out Mplusa oraz pliki .csv z zapisanymi oszacowaniami umiejętności utworzone przez funkcję //skaluj()//. | - Pliki .inp i .out Mplusa oraz pliki .csv z zapisanymi oszacowaniami umiejętności utworzone przez funkcję //skaluj()//. | ||
Linia 35: | Linia 35: | ||
====Procedura skalowania==== | ====Procedura skalowania==== | ||
- | Skalowanie realizowane jest za pomocą funkcji //wysokiego poziomu//, zawartych w pakiecie //EWDskale//: | + | Skalowanie realizowane jest za pomocą funkcji //wysokiego poziomu//, zawartych w pakiecie [[ewdpakiety#ewdskale|EWDskale]]: |
* skaluj_spr(), | * skaluj_spr(), | ||
Linia 49: | Linia 49: | ||
* W przypadku matury: utworzenie zmiennych opisujących grupowanie dla wielogrupowego modelu skalowania. | * W przypadku matury: utworzenie zmiennych opisujących grupowanie dla wielogrupowego modelu skalowania. | ||
* Wyodrębnienie //wzorcowej// grupy zdających, na której przeprowadzane jest skalowanie mające na celu ustalenie parametrów modelu. | * Wyodrębnienie //wzorcowej// grupy zdających, na której przeprowadzane jest skalowanie mające na celu ustalenie parametrów modelu. | ||
- | - Przeprowadzenie skalowania na //wzorcowej// grupy zdających. | + | - Sprawdzenie, czy w bazie istnieją już zapisane parametry odpowiedniego modelu skalowania (oznaczone jako //do_przentacji//). |
- | * Z wykorzystaniem pakietu //EWDskalowanie// w ogólności, a funkcji //procedura_1k_1w()// i //skaluj()// w szczególności. | + | - Jeśli nie ma takich zapisanych parametrów, przeprowadzenie skalowania na //wzorcowej// grupy zdających. |
+ | * Z wykorzystaniem pakietu [[ewdpakiety#ewdskalowanie|EWDskalowanie]] w ogólności, a funkcji //procedura_1k_1w()// i //skaluj()// w szczególności. | ||
+ | * Procedura ta może łączyć się z usuwaniem ze skali zadań o słabych własnościach pomiarowych. | ||
- Wyliczenie rzetelności empirycznych (w ramach grup), a w przypadku matury również parametrów standaryzacji oszacowań. | - Wyliczenie rzetelności empirycznych (w ramach grup), a w przypadku matury również parametrów standaryzacji oszacowań. | ||
- W przypadku modeli Rascha: przygotowanie mapowania sum punktów na oszacowania. | - W przypadku modeli Rascha: przygotowanie mapowania sum punktów na oszacowania. | ||
Linia 56: | Linia 58: | ||
- Przygotowanie danych do zapisu w bazie. | - Przygotowanie danych do zapisu w bazie. | ||
* Tworzony obiekt jest listą zawierającą data frame'y, których struktura odpowiada strukturze tablic w bazie danych: | * Tworzony obiekt jest listą zawierającą data frame'y, których struktura odpowiada strukturze tablic w bazie danych: | ||
- | * //skalowania//, | + | * //skalowania// (informacje o przeprowadzonym skalowaniu umiejętności), |
- | * //skalowania_grupy//, | + | * //skalowania_grupy// (informacje o grupach w modelu skalowania), |
- | * //skalowania_elementy//, | + | * //skalowania_elementy// (wartości parametrów modelu skalowania oraz dodatkowych parametrów, opisujących własności oszacowań - por. [[ewdproceduryskalowanie#skala_zapisywanych_oszacowan_umiejetnosci|Skala zapisywanych oszacowań umiejętności]]), |
- | * //skalowania_obserwacje//. | + | * //skalowania_obserwacje// (oszacowania umiejętności). |
* Lista takich list, obejmująca wszystkie wskaźniki powiązane z danym egzaminem (i modelem skalowania: 2PL/SGR vs. Rasch), zapisywana jest w pliku o nazwie postaci //prefiksRRRRSkalowanie.RData//. | * Lista takich list, obejmująca wszystkie wskaźniki powiązane z danym egzaminem (i modelem skalowania: 2PL/SGR vs. Rasch), zapisywana jest w pliku o nazwie postaci //prefiksRRRRSkalowanie.RData//. | ||
+ | |||
+ | ===Sposób definiowania wzorcowej grupy zdających=== | ||
+ | |||
+ | * Sprawdzian: uzupełnić. | ||
+ | * Egzamin gimnazjalny: uzupełnić. | ||
+ | * Matura: uzupełnić. | ||
+ | |||
+ | ===Reguły usuwania zadań=== | ||
+ | |||
+ | Uzupełnić. | ||
+ | |||
+ | ===Przygotowywanie mapowania sum punktów na oszacowania w modelach Rascha=== | ||
+ | |||
+ | Uzupełnić. | ||
+ | |||
+ | ===Problemy specyficzne dla matury 2015=== | ||
+ | |||
+ | Uzupełnić. | ||
====Zapis oszacowań do bazy==== | ====Zapis oszacowań do bazy==== | ||
- | ===Zapis oszacowań parametrów modelu=== | + | Oszacowania parametrów modelu jak też innych informacji dotyczących skalowania (zawartość tablic //skalowania// i //skalowania_grupy//) realizowana jest przy pomocy funkcji //zapisz_skalowanie()// z pakietu [[ewdpakiety#zpdzapis|ZPDzapis]]. Jeśli w procesie skalowania usunięte zostały jakieś zadania o złych własnościach psychometrycznych, funkcja //zapisz_skalowanie()// dokona też odpowiedniej modyfikacji skali (usunie z niej odpowiednie kryteria/pseudokryteria oceny). |
- | Oszacowania parametrów modelu jak też innych informacji dotyczących skalowania (zawartość tablic ) | + | Funkcja //zapisz_skalowanie()// nominalnie może zapisywać oszacowania umiejętności bezpośrednio do bazy, ale jest to dramatycznie nieefektywne (długotrwałe). W związku z tym domyślnie zapisuje ona lokalnie na dysku pliki, które należy wczytać do bazy zgodnie z |
+ | [[zpd_oszacowania_obserwacji#za_pomoca_polecenia_copy_i_programu_psql|procedurą dodawanie do bazy oszacowań umiejętności obserwacji]]. | ||
- | ===Zapis oszacowań umiejętności=== | + | ===Skala zapisywanych oszacowań umiejętności=== |
Oszacowania przygotowane do zapisu w bazie są wystandaryzowane w ten sposób, że dla danego typu szkół (gimnazja, LO, technika) mają w grupie //wzorcowej// średnią 0 i odchylenie standardowe 1. W szczególności: | Oszacowania przygotowane do zapisu w bazie są wystandaryzowane w ten sposób, że dla danego typu szkół (gimnazja, LO, technika) mają w grupie //wzorcowej// średnią 0 i odchylenie standardowe 1. W szczególności: | ||
Linia 79: | Linia 100: | ||
* W przypadku wskaźników osiągnięć maturalnych z 2015 r. w zakresie matematyki i w zakresie przedmiotów matematyczno-przyrodniczych kotwiczenie występuje, ale należy mieć na uwadze, że jest ono słabe, bowiem obejmuje jedynie 5 zadań z matematyki na poziomie podstawowym. | * W przypadku wskaźników osiągnięć maturalnych z 2015 r. w zakresie matematyki i w zakresie przedmiotów matematyczno-przyrodniczych kotwiczenie występuje, ale należy mieć na uwadze, że jest ono słabe, bowiem obejmuje jedynie 5 zadań z matematyki na poziomie podstawowym. | ||
- | [[zpd_oszacowania_obserwacji#za_pomoca_polecenia_copy_i_programu_psql|Dodawanie do bazy oszacowań umiejętności obserwacji]]. | + | ====Czynności końcowe==== |
+ | |||
+ | Po zapisaniu oszacowań (i parametrów modeli skalowania) do bazy należy jeszcze zaktualizować zmaterializowany widok //widoki.skalowania_obserwacje_eap_pv//, wykonując polecenie: | ||
+ | |||
+ | <code>refresh materialized view widoki.skalowania_obserwacje_eap_pv;</code> | ||
+ | |||
+ | Jeśli tego nie zrobimy, funkcja //pobierz_skale()// pakietu [[r_zpd|ZPD]] nie będzie wiedzieć, że nasze skale/skalowania mają już zapisane w bazie oszacowania! |