Narzędzia użytkownika

Narzędzia witryny


ewdprocedurybazaszkol

To jest stara wersja strony!


I. Aktualizacja bazy szkół

Opisane działania należy przeprowadzić oddzielnie dla gimnazjów, LO i⁠ T.

  1. Wyeksportowanie bazy szkół do plików arkusza kalkulacyjnego.
    • Obecnie realizowane przez:
      skrypt D:/Prace/EWD/dane/bazy szkół/pobieranie danych z bazy.r
    • Docelowa implementacja:
      Utworzenie funkcji pobierz_baze_szkol() w ramach biblioteki EWDdane.
  2. Ręczna aktualizacja przeprowadzana na plikach arkusza kalkulacyjnego przez Annę.
  3. Weryfikacja spójności bazy po poprawkach:
    • Zadanie obejmuje:
      1. szukanie duplikatów kodów OKE (ze względu na nasze id), w⁠ tym w różnych latach;
      2. oględne sprawdzenie, czy 1)⁠ nazwa szkoły nie zawiera pełnego adresu (nie ma po co go tam duplikować), 2)⁠ czy w kolumnie ulica nie występuje aby nazwa miejscowości, 3)⁠ czy kody PNA przystają do wzorca dd-ddd;
      3. przyrównanie bazy po zmianach do zrzutu sprzed aktualizacji (z⁠ 1.).
    • Obecnie realizowane przez:
      skrypty D:/Prace/EWD/dane/bazy szkół/weryfikacja (gimn|LO|T).r
    • Docelowa implementacja:
      Utworzenie funkcji weryfikuj_baze_szkol() w ramach biblioteki EWDdane.
    • Uwagi:
      Jeśli zaszły zmiany w⁠ przypisaniu id OKE do naszego id w⁠ latach ubiegłych (skrypty zwracają listę takich zmian, które wykryją), naniesienie takich zmian w⁠ bazie SQL będzie raczej wymagało ręcznej roboty (która musi być przeprowadzona bardzo uważnie i⁠ z⁠ rozmysłem!).
    • [pkt 2.-3. powtarzać w⁠ kółko do osiągnięcia zadowalających rezultatów]
  4. Przyłączenie do bazy informacji z RSPO.
    • Obecnie realizowane przez:
      obecnie nierealizowane;
    • Docelowa implementacja:
      Do pobierania RSPO - pakiet EWDrspo, pisany obecnie przez Grześka.
      Samo łączenie - ???.
    • Uwagi:
      Sposób zrealizowania tego punktu procedury będzie rzutował na następny punkt - jeśli szkołom będzie się udawało przyłączyć dane z RSPO, TERYTy będą wiarygodne.
  5. Weryfikacja informacji o kodzie TERYT gminy, w⁠ której znajduje się szkoła.
    • Obecnie realizowane przez:
      Przepuszczenie przez skrypt PHP używany przez Mateusza do weryfikacji danych teleadresowych szkół z zamówień na arkusze egzaminacyjne. Skrypt ten:
      1. Upewnia się, że w kodzie OKE szkoły nie ma grubych błędów (kod musi mieć 12 znaków długości, w tym pierwsze 6 liczbowych, a potem myślnik, a 9 znak musi być poprawnym kodem typu szkoły).
      2. Próbuje dopasować TERYT:
        1. Na podstawie OKE szkoły:
          1. pobiera z kodu OKE szkoły pierwsze 6 znaków, które powinny być TERYT-em;
          2. stosuje na nich znane aktualizacje (czasem OKE utrzymywały nieaktualny człon TERYT-owy w kodzie OKE szkoły)
          3. sprawdza, czy taki TERYT ma w danym roku sens (czy istnieje taka gmina), jeśli tak, to zapamiętuje
        2. Na podstawie adresu:
          1. sprawdza, czy kod pocztowy wyznacza TERYT, jeśli tak, to zapamiętuje, jeśli nie, sprawdza dalej
          2. sprawdza, czy kod pocztowy i miejscowość wyznaczają TERYT, jeśli tak, to zapamiętuje, jeśli nie, sprawdza dalej
          3. sprawdza, czy kod pocztowy, miejscowość, ulica i numer domu wyznaczają TERYT, jeśli tak, to zapamiętuje, jeśli nie, sprawdza dalej
          4. sprawdza czy dopasowany TERYT (jeśli został dopasowany) jest sensowny w dany roku (istnieje taka gmina), jeśli nie, to go odrzuca, jeśtli tak, to zapamiętuje
        3. Na podstawie danych z innych lat:
          1. odnajduje w bazie dane szkoły (szkół) o takim samym kodzie OKE szkoły w innych latach (w praktyce w latach ubiegłych, w ogólności nie ma to znaczenia)
          2. zapamiętuje ten TERYT, który pochodzi z jak najwcześniejszych danych późniejszych niż aktualnie przetwarzane, a jeśli takiego nie ma, to z jak najpóźniejszych danych wcześniejszych.
        4. Dokonuje wyboru najbardziej wiarygodnego kodu TERYT
          1. wiarygodność jest taka sama, jak kolejność metod dopasowywania wymienionych powyżej
          2. odnotowywane są statystyki zgodności kodów TERYT dopasowanych różnymi metodami
        5. Zapisuje do pliku CSV macierz z wynikami dopasowania.
      • Docelowa implementacja:
        ???
  6. Przypisanie szkołom informacji o⁠ wielkości miejscowości, w⁠ której znajduje się szkoła.
    • Obecnie realizowane przez:
      obecnie nierealizowane;
      rozwiązanie stosowane kiedyś, bazujące nie na informacjach z plików egzaminacyjnych, ale na podłączaniu informacji z BDLu na podstawie TERYTu gminy i⁠ ew. nazwy miejscowości: D:/Prace/EWD/dane/gimnazjum/źródła/lokalizacja.r
    • Docelowa implementacja:
      ???
  7. Zapis zaktualizowanych informacji do bazy.
    • Obecnie realizowane przez:
      Wpisanie do pliku Excela z bazą szkół formuły generującej polecenia INSERT / UPDATE, powielenie na wszystkie wierszy i wykonanie na bazie.
    • Docelowa implementacja:
      ???
    • Uwagi:
      Jeśli w pkt 3. wykryto zmiany w⁠ przypisaniu id OKE do naszego id w⁠ latach ubiegłych (skrypty zwracają listę takich zmian, które wykryją), naniesienie takich zmian w⁠ bazie SQL będzie raczej wymagało ręcznej roboty (która musi być przeprowadzona bardzo uważnie i⁠ z⁠ rozmysłem!).
ewdprocedurybazaszkol.1398508820.txt.gz · ostatnio zmienione: 2014/04/26 12:40 przez t.zoltak