Narzędzia użytkownika

Narzędzia witryny


ewdprocedurywczytywaniedanych

To jest stara wersja strony!


II. Wczytywanie do bazy danych egzaminacyjnych

Struktura katalogów

Dane przed importem przechowywane i przetwarzane są w następującej strukturze katalogów:

  • ewd_paou
    • g
      • [rok] - dane z danego roku oraz [opcjonalnie] skrypt wyczysc.R, który je czyści
        • ewd - źródłowe dane EWD w postaci plików SPSS
        • paou - źródłowe dane CKE w postaci plików CSV
    • m
      • [rok] - dane z danego roku
        • ewd - źródłowe dane EWD w postaci plików SPSS
        • paou - źródłowe dane CKE w postaci plików CSV
  • tmp_ewd - katalog, z którego wczytuje dane skrypt import_egzaminy.php

b) Dane gimnazjalne

  1. Ujednolicenie nazw zmiennych w zbiorach źródłowych zgodnie z przyjętą konwencją.
  2. [jeśli id_cke dostępne w danym roczniku i sprawia wrażenie poprawnego] Dołączenie z danych CKE uczniów, którzy nie występują w danych OKE za pomocą skryptu ewd_paou/g/scalanie_g.R.
  3. Weryfikacja danych skryptem import_egzaminy.php.
    1. Sprawdzenie i ew. korekta wykrytych błędów (np. odrotowanie pytań w wersji B arkusza, wartości poza zakresem, nieznane kody specjalne, niepokojąco wysoki odsetek duplikatów, usunięć z bazy itp.)
    2. Ponowna weryfikacja i tak aż do usunięcia wszystkich niepokojących błędów.
    3. W wyniku tych poprawek powstaje kod R ewd_paou/g/[rok]/wyczysc.R (patrz opis struktury katalogów).
  4. Import danych skryptem import_egzaminy.php.
  5. Aktualizacja dat urodzenia oraz płci uczniów, którzy znajdowali się w bazie przed importem danych gimnazjalnych, ale nie posiadali tych informacji (bo np. zostali dodani do bazy z danych sprawdzianu z CKE, itp.).

c) Dane maturalne

  1. Ujednolicenie nazw zmiennych w zbiorach źródłowych zgodnie z przyjętą konwencją.
  2. Złączenie w jeden zbiór danych gimnazjalnych i sprawdzianu ze wszystkich typów szkół i lat pisania egzaminu gimnazjalnego (skrypt ewd_paou/m/scalanie_matury.R, etap 2.).
    1. Powoduje wytworzenie pliku ewd_paou/m/[rok]/matura_[rok].csv.
  3. Dołączenie do danych maturalnych z OKE niewystępujących w nich wyników maturalnych z danych CKE (skrypt ewd_paou/m/scalanie_matury.R, etap 3.).
    1. Powoduje wytworzenie plików ewd_paou/m/[rok]/[przedmiot]_[poziom]_[rok].csv.
  4. Połączenie wyników maturalnych i gimnazjalnych wraz ze sprawdzianem (skrypt ewd_paou/m/scalanie_matury.R, etap 4.).
    1. Powoduje wytworzenie plików ewd_paou/m/[przedmiot]_[poziom]_[rok].csv.
  5. Wytworzenie identyfikatorów egzaminacyjnych uczniów za pomocą skryptu zbuforuj_identyfikatory.php.
  6. Weryfikacja danych za pomocą skryptu import_egzaminy.php.
    1. Sprawdzenie wyników weryfikacji i ew. korekty w skryptach R przygotowujących dane wywoływanych przez skrypt ewd_paou/m/scalanie_matury.R.
    2. Ponowna weryfikacja aż do usunięcia błędów
  7. Import wyników maturalnych za pomocą skryptu import_egzaminy.php.
  8. Przygotowanie wyników gimnazjalnych i sprawdzianu, które są w połączonych danych maturalnych, a nie ma ich w bazie za pomocą skryptu ewd_paou/m/brakujące_gimnajalne.R.
  9. Import brakujących wyników gimnazjalnych i sprawdzianu za pomocą skryptu import_egzaminy.php.
  10. Aktualizacja dat urodzenia oraz płci uczniów, którzy znajdowali się w bazie przed importem danych maturalnych, ale nie posiadali tych informacji (bo np. zostali dodani do bazy z danych dla EWD gimnazjalnego sprzed 2008 roku, itp.) - skrypt uzupelnij_daty_ur.R.
ewdprocedurywczytywaniedanych.1432667764.txt.gz · ostatnio zmienione: 2015/05/26 21:16 przez t.zoltak