CYKL EWALUACJA SZKOLEŃ · CZĘŚĆ 2 Z 3

Ewaluacja szkoleń: budowa ankiety ewaluacyjnej – praktyczne wskazówki

ŹRÓDŁO: PERSONEL I ZARZĄDZANIE · MAJ 2013 · STR. 2-6

Gotowy wzór ankiety może być użyteczny tylko wtedy, gdy odpowiada temu, co organizacja rzeczywiście chce zmierzyć. Autorzy przedstawiają zasady budowy logicznego, rzetelnego i przyjaznego respondentom narzędzia.

Struktura ankiety i kolejność pytań

Struktura ankiety wpływa na motywację respondentów i jakość odpowiedzi. Autorzy zalecają zaczynanie od pytań łatwych, porządkowanie tematów w logiczne bloki, ostrożność przy pytaniach otwartych oraz umieszczanie pytań ogólnych i danych o respondencie na końcu.

Optymalna długość nie oznacza automatycznie jednej strony. Przy nowym lub dużym programie rozwojowym potrzebne może być bardziej rozbudowane narzędzie. Dopiero po zebraniu danych można je skracać bez utraty ważnych informacji.

Rzetelność zamiast pozornej prostoty

Pojedyncze pytanie o ogólną satysfakcję jest podatne na przypadkowe wpływy. Kilka pytań dotyczących tego samego obszaru może zapewnić bardziej precyzyjny pomiar, jeśli ich łączenie ma uzasadnienie psychometryczne.

Ankieta powinna być projektowana tak, aby wyniki można było porównywać, agregować i analizować. Zbyt różne skale oraz przypadkowa konstrukcja pytań ograniczają późniejszą interpretację.

Jak formułować pytania?

Język musi być dostosowany do respondentów, prosty i jednoznaczny. Pojęcia specjalistyczne powinny być zdefiniowane. Należy unikać pytań łączących dwa problemy, pytań sugerujących, hipotetycznych i takich, które wymagają od respondentów wskazania przyczyn, których nie znają.

Pytania powinny odnosić się do bezpośredniego doświadczenia uczestnika. Zamiast pytać o osobowość prowadzącego, lepiej opisać obserwowalne zachowania. Zamiast pytać jednocześnie o treść i sposób prowadzenia, należy rozdzielić te elementy.

Skale odpowiedzi mają znaczenie

Świat opinii i postaw nie jest czarno-biały, dlatego odpowiedzi typu tak lub nie często są zbyt mało precyzyjne. Skala powinna umożliwiać pokazanie stopnia oceny, a jej konstrukcja musi pasować do rodzaju mierzonej informacji.

Dobrze zaprojektowane pytania pozwalają później badać relacje: na przykład sprawdzić, które elementy pracy trenera lub programu są najsilniej związane z ogólną oceną szkolenia.

Przykład: jedno pytanie, dwa różne problemy

Uzupełnienie Instytutu Gaussa — przykład hipotetyczny. Poniższe pytania służą pokazaniu zasad konstrukcji ankiety. Nie tworzą gotowego, zwalidowanego narzędzia ani nie pochodzą z badania klienta.

Po szkoleniu z delegowania pada pytanie: „Jak oceniasz przydatność i zrozumiałość ćwiczeń?” Uczestnik uważa, że ćwiczenia odpowiadały jego pracy, ale instrukcje były niejasne. Jedna odpowiedź nie pokaże, który z tych elementów wymaga poprawy.

• Pytanie o dopasowanie: „W jakim stopniu ćwiczenie z delegowania odpowiadało sytuacjom w Twojej pracy?”.
• Pytanie o instrukcję: „W jakim stopniu instrukcja do ćwiczenia z delegowania była dla Ciebie zrozumiała?”.

Przykładowe odpowiedzi na każde z tych pytań: wcale; w małym stopniu; w umiarkowanym stopniu; w dużym stopniu; w bardzo dużym stopniu. Osobno warto przewidzieć odpowiedź „Nie uczestniczyłem/am w tym ćwiczeniu”, jeśli taka sytuacja była możliwa. Nie należy traktować jej jak najniższej oceny.

Gdy instrukcja otrzyma niskie oceny, pomocne może być pytanie uzupełniające: „Który fragment instrukcji wymaga doprecyzowania?”. Kieruje uwagę na konkretny element do poprawy, a nie na ogólną ocenę osoby prowadzącej.

Jak sprawdzić pytania przed wysłaniem ankiety?

1. Poproś o wyjaśnienie pytania własnymi słowami. Sprawdź z kilkoma osobami z grupy docelowej, czy rozumieją je zgodnie z zamiarem autora.
2. Sprawdź możliwość udzielenia odpowiedzi. Uczestnik powinien mieć doświadczenie, do którego odnosi się pytanie, a skala powinna umożliwiać opisanie tego doświadczenia.
3. Ustal sposób analizy. Zaplanuj, jak pokażesz rozkład ocen i potraktujesz brak odpowiedzi lub brak udziału w ćwiczeniu.
4. Powiąż pytanie z decyzją. Jeżeli nie wiadomo, co zrobić z wynikiem, doprecyzuj cel pytania albo z niego zrezygnuj.

Granica zastosowania: Sprawdzenie zrozumiałości w małym pilotażu nie potwierdza jeszcze rzetelności ani trafności skali. Nie sumuj dowolnych pytań o trenera, materiały i organizację szkolenia w jeden wskaźnik bez uzasadnienia. Porównywanie wyników wymaga też zachowania porównywalnych pytań, skal i warunków pomiaru.

Przy projektowaniu szkoleń menedżerskich dla firm warto od początku ustalić, jak informacja od uczestników pomoże poprawiać program i sprawdzać jego zastosowanie w pracy.

Wniosek dla organizacji

Skuteczna ankieta nie powstaje przez zebranie kilku intuicyjnych pytań. Jest narzędziem pomiarowym, którego struktura, język, skale i kolejność pytań powinny wynikać z planu analizy i decyzji biznesowych.