CYKL EWALUACJA SZKOLEŃ · CZĘŚĆ 3 Z 3

Ewaluacja szkoleń: jak zamienić dane z ankiety w informację biznesową?

ŹRÓDŁO: PERSONEL I ZARZĄDZANIE · CZERWIEC 2013 · STR. 2-6

Dobra ankieta nie wystarczy, jeśli dane są zbierane niespójnie albo analizowane wyłącznie za pomocą prostych średnich. Trzecia część cyklu pokazuje, jak przekształcić wyniki ewaluacji w rekomendacje wspierające decyzje biznesowe.

Najpierw jakość zbierania danych

Termin i warunki wypełniania ankiety mogą znacząco zmienić oceny. Dlatego organizacja potrzebuje krótkiej procedury opisującej, kto podlega badaniu, kiedy i jak zbierane są odpowiedzi, jakich narzędzi się używa oraz kto otrzymuje dane.

Standaryzacja procesu zwiększa porównywalność wyników między szkoleniami, trenerami i grupami uczestników. Bez niej różnice mogą wynikać z warunków badania, a nie z jakości programu.

Czyszczenie danych przed analizą

Przed liczeniem wyników trzeba wykryć błędy wprowadzania danych, wartości spoza skali i nietypowe braki odpowiedzi. Nawet pojedyncza błędnie zakodowana wartość może zniekształcić średnią i prowadzić do nieprawidłowych wniosków.

Jakość materiału wejściowego bezpośrednio wpływa na wiarygodność raportu. Czyszczenie danych nie jest dodatkiem technicznym, lecz częścią kontroli jakości ewaluacji.

Od średniej do wyjaśnienia wyniku

Statystyki opisowe pokazują rozkłady odpowiedzi, średnie i zróżnicowanie ocen. Są potrzebne, ale zwykle nie odpowiadają na pytanie, dlaczego uczestnicy ocenili szkolenie w określony sposób.

Analizy korelacji, regresji, wariancji lub analizy czynnikowej pozwalają badać relacje, różnice między grupami i strukturę mierzonego zjawiska. Trzeba jednak pamiętać, że korelacja nie dowodzi związku przyczynowego.

Agregowanie pytań i badanie zmian

Kilka podobnych pytań może tworzyć rzetelniejszy indeks niż pojedyncza ocena, jeśli potwierdza to analiza statystyczna. Można w ten sposób dokładniej mierzyć organizację szkolenia, pracę prowadzącego lub praktyczność programu.

Powtarzanie porównywalnych pomiarów pozwala obserwować zmiany w badanych obszarach. Wzrost wiedzy wymaga jej sprawdzenia, a ocenę kompetencji lub stosowania umiejętności trzeba oprzeć na odpowiednich zadaniach, obserwacji albo materiale z pracy. Trend w samoocenie nie zastępuje takiego pomiaru.

Komunikacja wyników i rekomendacje

Raport dla klienta powinien przedstawiać zrozumiałe wyniki, możliwe wyjaśnienia, ograniczenia badania i rekomendacje. Szczegóły analiz warto umieścić w osobnym raporcie technicznym, aby zachować możliwość weryfikacji.

Autorzy zalecają omawianie wyników podczas warsztatu. Dyskusja pomaga sprawdzić interpretacje, uzupełnić kontekst i przełożyć dane na działania. Najważniejszym sprawdzianem ewaluacji jest stopień wykorzystania rekomendacji przez organizację.

Przykład liczbowy: jak nie przecenić wyniku ankiety

Uzupełnienie Instytutu Gaussa — dane hipotetyczne. Liczby poniżej służą wyłącznie objaśnieniu interpretacji. Nie są wynikiem projektu klienta ani badania opisanego w publikacji.

Wyobraźmy sobie grupę 20 menedżerów po szkoleniu z delegowania. Cztery tygodnie później zaproszono wszystkich do ankiety, na którą odpowiedziało 15 osób. Oto trzy różne informacje:

• 15 z 20 osób odpowiedziało — 75% zaproszonych. Nie znamy odpowiedzi pozostałych 5 osób. Nie zakładamy, że oceniłyby szkolenie tak samo.
• 12 z 15 respondentów oceniło przydatność szkolenia na 4 lub 5 w skali 1–5 — 80% odpowiadających. To wynik dotyczący oceny przydatności w tej grupie, nie dowód wzrostu kompetencji wszystkich uczestników.
• 10 z 15 respondentów zadeklarowało okazję do delegowania; 6 z tych 10 zadeklarowało zastosowanie nowych zasad — 60% osób deklarujących taką okazję. To deklaracja zachowania, a nie jego niezależna obserwacja. Pozostałych 5 respondentów bez okazji do zastosowania nie należy automatycznie oceniać jako nieskutecznie przeszkolonych.

W raporcie trzeba więc podać nie tylko procent, ale również pytanie, liczebność grupy i podstawę obliczenia. Zdanie „80% uczestników poprawiło delegowanie” byłoby w tym przykładzie nieuprawnione: ankieta tego nie wykazała.

Jak przejść od wyniku do decyzji?

1. Ustalenie: Część respondentów nie miała okazji zastosować nowych zasad, a część deklarujących taką okazję nie skorzystała z nich.
2. Hipotezy do sprawdzenia: Brak zadań do delegowania, niejasne uprawnienia, zbyt mało praktyki albo przeszkody w organizacji pracy. Sama ankieta nie rozstrzyga, która przyczyna jest najważniejsza.
3. Następne działanie: Osoba odpowiedzialna za rozwój uzgadnia z przełożonymi, jak sprawdzić bariery i warunki stosowania umiejętności. Warto uzupełnić deklaracje o próbkę rzeczywistych ustaleń dotyczących zadań.
4. Kolejny pomiar: Po uzgodnionym okresie sprawdzamy te same, jasno opisane zachowania i odnotowujemy zmiany warunków pracy. Dopiero wtedy oceniamy, czy potrzebne jest dalsze ćwiczenie, czy zmiana zasad działania.

Czego nie wolno wywnioskować z tych liczb?

Wysoka ocena przydatności nie jest pomiarem wzrostu kompetencji. Zastosowanie umiejętności nie dowodzi jeszcze poprawy wyniku biznesowego. Do obliczenia zwrotu z inwestycji potrzebne są wiarygodnie oszacowane korzyści przypisane szkoleniu oraz jego pełne koszty — sama ankieta tego nie zapewnia.

Przy niewielkiej grupie pokaż liczby i ograniczenia, zamiast tworzyć pozornie precyzyjny ranking trenerów czy działów. Zanim połączysz wyniki różnych szkoleń, sprawdź porównywalność celów, uczestników, pytań i czasu pomiaru.

Taki sposób oceny pomaga powiązać szkolenia menedżerskie z konkretną zmianą zachowania w pracy. Wyniki służą wtedy wyborowi dalszych działań, a nie wyłącznie wystawieniu oceny prowadzącemu.

Wniosek dla organizacji

Wartość ewaluacji nie wynika z liczby zebranych ankiet, lecz z jakości pomiaru, analizy i decyzji podjętych na podstawie wyników. Dane stają się informacją biznesową dopiero wtedy, gdy prowadzą do trafnych rekomendacji i mierzalnych usprawnień.