Standardy narzędzi

Koncepcja, założenia teoretyczne oraz struktura narzędzi została opracowywana przez polskich naukowców posiadających wiedzę i doświadczenie w projektowaniu narzędzi pomiarowych oraz znaczący dorobek badawczy.

Pozycje kwestionariuszy są oryginalne (stworzone od podstaw) i sprawdzane w toku badań walidacyjnych na terenie całego kraju.

Narzędzia pod względem językowym, zawartości treściowej, ich formy, tworzonych norm i formułowanych wniosków interpretacyjnych są osadzone w polskiej specyfice kulturowej.

Pierwsza i druga tura badań pilotażowych przeprowadzona została na losowo dobranej próbie szkół zlokalizowanych w Polsce południowej (województwo małopolskie oraz śląskie). Objęły one uczniów klas 4–8, po 500–600 osób na każdy kwestionariusz.

Badania zasadnicze (normalizacyjne) zostały przeprowadzone na ogólnopolskiej, reprezentatywnej próbie uczniów szkół podstawowych. Operatem losowania była baza z ewidencji placówek oświatowych (SIO). Dane zbierane były we wszystkich 16-tu województwach Polski. Próba miała charakter losowo-warstwowy, uwzględniający trzy typy miejscowości: miasto wojewódzkie, miasto średnie (do 199 tys. mieszkańców) oraz miasto małe lub wieś (miejscowość do 10 tys. mieszkańców). W każdej ze szkół prowadzono badania w klasach od 4 do 8.

Duże, losowe, reprezentatywne próby standaryzacyjne pozwoliły nam na przygotowanie norm dla klas IV-VIII, w podziale ze względu na płeć i dwie kategorie wieku (9-12,5 oraz 12,5-16). Normy te uwzględniane są przy obliczaniu wyników diagnozy z wykorzystaniem metod IRT.

Były to: Eksploracyjną Analizę Grafów (ang. EGA) oraz Teorię Odpowiedzi na Pozycje Testowe (ang. IRT), ale rzadko wykorzystywane w Polsce - dzięki czemu w adekwatny sposób uwzględniliśmy porządkowy charakter zmiennych opisujących odpowiedzi udzielane przez uczniów na skali Likerta. W analizach - eksploracyjnej i konfirmacyjnej wykorzystaliśmy modele wielowymiarowe, a w części narzędzi też tzw. modele z czynnikiem wyższego rzędu pozwalające adekwatnie opisać hierarchiczną strukturę badanych cech.

Nie tylko do diagnozy własności pomiarowych narzędzi, ale również do obliczania wyników diagnozy indywidualnej. Umożliwia to uwzględnienie zróżnicowanej ważności poszczególnych pozycji kwestionariusza przy pomiarze poszczególnych cech, a przez to wydatnie zwiększa trafność i precyzję pomiaru.
Choć wykorzystana metoda wymaga wykonania zaawansowanych obliczeń, to dzięki implementacji narzędzi w formie aplikacji komputerowej są one wykonywane automatycznie - określenie wyników nie wymaga żadnych obliczeń ze strony diagnosty.

• doboru założeń teoretycznych do badanego zjawiska oraz ich aktualność,
• adekwatności języka do poziomu rozwojowego ucznia,
• trafności wyboru ram pomiarowych i celowość ich zastosowania,
  
• jakości przeprowadzonych analiz (tj. zastosowanych technik statystycznych).