PUBLIKACJA · PERSONEL PLUS · KULTURA ORGANIZACYJNA

Kultura organizacyjna w Polsce a zarządzanie, czyli na co zwracać szczególną uwagę

ŹRÓDŁO: PERSONEL PLUS · PAŹDZIERNIK 2016 · STR. 62–66

Kultura organizacyjna wpływa na sposób komunikowania się, współpracę, podejmowanie decyzji i styl przywództwa. Piotr Konopka i dr Victor Wekselberg analizują cechy polskiego środowiska pracy, które mogą obniżać sprawność zarządzania, oraz pokazują, dlaczego zmiana powinna zaczynać się od rzetelnej diagnozy.

Kultura narodowa a kultura organizacyjna

Kultura narodowa obejmuje historycznie ukształtowane normy, wartości i sposoby działania. Kultura organizacyjna jest bardziej bezpośrednio związana z codziennymi zasadami pracy oraz zachowaniami osób zarządzających. Organizacja czerpie wzorce z otoczenia społecznego, ale nie jest na nie skazana: może świadomie projektować procesy, normy współdziałania i standardy przywództwa.

Autorzy wskazują cztery obszary szczególnie ważne w polskich warunkach: komunikację, współpracę, podejmowanie decyzji i przywództwo. Problemy w jednym z nich zwykle oddziałują na pozostałe, dlatego nie warto traktować ich jako niezależnych zjawisk.

Komunikacja: hierarchia, bariery i zaufanie

Polskie organizacje często preferują przekaz bezpośredni i formalny, ale jednocześnie opierają przepływ informacji na strukturze hierarchicznej. Komunikacja kaskadowa może prowadzić do deformowania wiadomości, wzrostu liczby domysłów i plotek oraz utraty ważnego kontekstu. Gdy pracownicy nie otrzymują pełnych informacji albo nie mają możliwości zgłaszania opinii, spada zaufanie i pogarsza się jakość decyzji.

Sprawny przepływ informacji wymaga aktywnego udziału zarówno nadawcy, jak i odbiorcy. Sama poprawa treści komunikatów nie wystarcza, jeśli kultura organizacyjna nie wspiera pytań, informacji zwrotnej i bezpiecznego zgłaszania wątpliwości.

Współpraca jako warunek efektywności

Współpraca jest nierozerwalnie związana z komunikacją. Autorzy zwracają uwagę, że indywidualizm, wysoki dystans władzy i silna hierarchizacja mogą sprzyjać bardziej autorytatywnemu niż partycypacyjnemu sposobowi zarządzania. W takim środowisku trudniej wykorzystywać różnorodne perspektywy, rozwiązywać konflikty i rozwijać innowacje.

Badania przywołane w publikacji łączą jakość współpracy z przewagą konkurencyjną, innowacyjnością i skutecznością działania. Oznacza to, że współpraca nie jest wyłącznie kwestią atmosfery. Jest elementem systemu organizacyjnego, który wpływa na jakość rezultatów.

Podejmowanie decyzji: autorytet czy dowody?

Hierarchiczna kultura może wzmacniać decyzje oparte na pozycji menedżera zamiast na danych. Wysokie unikanie niepewności sprzyja utrzymywaniu znanych procedur nawet wtedy, gdy przestają być skuteczne. To ogranicza gotowość do testowania nowych rozwiązań i utrudnia budowanie kultury evidence-based.

Decyzje oparte na dowodach wymagają rzetelnych danych o procesach, zachowaniach i rezultatach. Wymagają również gotowości do zmiany wcześniejszych założeń, gdy wyniki diagnozy nie potwierdzają intuicji lub opinii osób o najwyższej pozycji.

Kultura organizacyjna nie zmienia się przez deklaracje. Zmienia się wtedy, gdy organizacja diagnozuje rzeczywiste mechanizmy działania i konsekwentnie modyfikuje procesy, zachowania oraz sposób podejmowania decyzji.

Przywództwo i koszty destruktywnego zarządzania

Styl przywództwa wpływa nie tylko na wykonanie zadań, lecz także na zdrowie i samopoczucie pracowników. Autorzy przywołują badania pokazujące znaczenie wrogości, rywalizacji, orientacji na indywidualny sukces i ograniczonej orientacji na pracowników. Destruktywne zachowania menedżerskie generują realne koszty psychologiczne i organizacyjne.

Ważnym ryzykiem jest powierzanie odpowiedzialności zarządczej osobom wybranym głównie na podstawie kompetencji specjalistycznych lub językowych, bez sprawdzenia umiejętności potrzebnych do prowadzenia ludzi. Awans nie powinien zastępować diagnozy kompetencji menedżerskich.

Jak rozpocząć zmianę?

• Zbadać organizację jako system. Employee survey powinien dostarczać danych o komunikacji, współpracy, przywództwie i procesach decyzyjnych.
• Rozróżnić problemy lokalne i ogólnofirmowe. Trudności jednego działu nie muszą występować w całej organizacji.
• Łączyć dane z kontekstem. Wyniki liczbowe warto interpretować razem z informacjami o strukturze, procesach i sposobie wykonywania pracy.
• Projektować interwencję na podstawie diagnozy. Nie istnieje jedno uniwersalne rozwiązanie odpowiednie dla każdej firmy.
• Sprawdzać rezultaty. Zmiana powinna prowadzić do mierzalnej poprawy przepływu informacji, współpracy i jakości decyzji.

Wnioski dla psychologii organizacji

• Kulturę organizacyjną można świadomie kształtować, ale wymaga to pracy nad realnymi zachowaniami i procesami.
• Problemy komunikacyjne często wynikają ze struktury władzy i braku zaufania, a nie z niewłaściwie napisanych komunikatów.
• Współpraca wymaga warunków umożliwiających udział pracowników w wymianie informacji i decyzjach.
• Przywództwo powinno być oceniane przez wpływ na ludzi, procesy i wyniki, nie tylko przez pozycję lub doświadczenie specjalistyczne.
• Najbezpieczniejszym początkiem zmiany jest rzetelna diagnoza organizacyjna.

PUBLIKACJA · PERSONEL PLUS · MODELE KOMPETENCYJNE

Budowa modelu kompetencyjnego z zastosowaniem podejścia evidence-based

ŹRÓDŁO: PERSONEL PLUS · MARZEC 2016 · STR. 16–20

Model kompetencyjny jest użyteczny wtedy, gdy opisuje zachowania ważne dla konkretnej organizacji i został zweryfikowany na podstawie danych. Dr Victor Wekselberg pokazuje, dlaczego gotowe katalogi kompetencji oraz modele budowane wyłącznie podczas dyskusji warsztatowej często nie spełniają swojej funkcji.

Autor publikacji źródłowej: dr Victor Wekselberg. Poniżej przedstawiamy omówienie artykułu z „Personel Plus” oraz oznaczone uzupełnienie praktyczne Instytutu Gaussa. Pełny tekst publikacji można pobrać w PDF na końcu wpisu.

W skrócie

• Kompetencje powinny być definiowane jako zachowania możliwe do obserwacji i oceny.
• Model musi wynikać ze strategii, kultury, procesów i specyfiki danej organizacji.
• Decyzje podczas budowy modelu warto opierać na danych, a nie wyłącznie na sile przekonywania uczestników warsztatu.
• Empiryczna weryfikacja pomaga sprawdzić, czy poziomy i zachowania są zrozumiałe oraz rozłączne.
• Model powinien być spójny z procesami HR, w których będzie stosowany: na przykład rekrutacją, oceną i rozwojem pracowników.

Dlaczego gotowy model kompetencyjny nie wystarcza?

Organizacje różnią się strategią, kulturą, sposobem podejmowania decyzji, przepływem informacji i charakterem wykonywanych zadań. Ta sama nazwa kompetencji może więc oznaczać inne zachowania w firmie produkcyjnej, usługowej albo sprzedażowej. Model zaczerpnięty z katalogu nie uwzględnia tych różnic i może okazać się zbyt ogólny, zbyt skomplikowany lub niezrozumiały dla pracowników.

Autor proponuje behawioralne rozumienie kompetencji: jako umiejętności widocznych w działaniu. Dzięki temu można je obserwować w Assessment Center, rozmowach rozwojowych, systemach ocen i innych procesach organizacyjnych. Tak zdefiniowane kompetencje można również sprawdzać empirycznie.

Pięć kroków podejścia evidence-based

1. Zdefiniowanie celów i potrzeb informacyjnych. Określenie, do czego model będzie wykorzystywany oraz jakie dane o strategii, kulturze i procesach są potrzebne.
2. Zbieranie dowodów. Rejestrowanie decyzji uczestników warsztatów i gromadzenie danych także poza samą dyskusją.
3. Analiza danych. Sprawdzanie zgodności ocen, rozłączności kompetencji oraz tego, czy zachowania zostały przypisane do właściwych poziomów.
4. Prezentowanie informacji. Pokazywanie wyników w sposób, który umożliwia zespołowi szybkie i świadome decyzje.
5. Podejmowanie decyzji opartych na dowodach. Wybór kompetencji, poziomów i zachowań na podstawie zebranych informacji, a nie intuicji lub pozycji uczestników.

Model kompetencyjny nie powinien być zbiorem dobrze brzmiących haseł. Jego jakość zależy od tego, czy opisane zachowania są zrozumiałe, obserwowalne i potwierdzone danymi z organizacji.

Wniosek redakcyjny Instytutu Gaussa

Najważniejsze założenia dobrego modelu

• Każda organizacja potrzebuje własnej, lokalnie dopasowanej definicji kompetencji.
• Wybór kompetencji wynika ze strategii, wartości i rodzaju działalności.
• Zarząd powinien uczestniczyć w budowie i wdrażaniu modelu.
• Opisy muszą być proste, zapamiętywalne i możliwe do wykorzystania w codziennej pracy.
• Elementy modelu wymagają weryfikacji empirycznej.
• W pracach powinny uczestniczyć osoby z różnych szczebli i części organizacji.
• Model musi być łatwy i bezpieczny w użyciu.
• Powinien stanowić podstawę rekrutacji, rozwoju, oceny i innych procesów HR.

Co organizacja zyskuje dzięki weryfikacji?

Analiza danych pozwala wychwycić niejasne opisy, nadmiernie podobne kompetencje oraz różnice w interpretacji zachowań między działami. Autor opisuje przykład kompetencji „innowacyjność”, której poziomy były inaczej rozumiane w księgowości i redakcji. Taka informacja jest ważnym sygnałem: jedna ogólnofirmowa definicja nie zawsze będzie rzetelnie opisywać oczekiwania wobec wszystkich pracowników.

Włączenie szerokiej grupy interesariuszy zwiększa zrozumienie modelu i ułatwia jego wdrożenie. Sprawdzone empirycznie poziomy kompetencji mogą następnie wspierać rozmowy rozwojowe, selekcję, ocenę pracowników i projektowanie narzędzi HR.

Przykład praktyczny: od hasła do obserwowalnego zachowania

Uzupełnienie Instytutu Gaussa — przykład hipotetyczny. Poniższy przykład ilustruje sposób pracy z opisem kompetencji. Nie jest opisem projektu klienta, cytatem z publikacji ani gotową, zwalidowaną skalą oceny.

Załóżmy, że w rozwijającej się firmie zadania często wracają z kolejnego działu do poprawy. W modelu kompetencyjnym zapisano jedynie: „Dobrze współpracuje z innymi”. Taki opis pozostawia oceniającym dużą swobodę: jedna osoba pomyśli o uprzejmości, druga o szybkości odpowiedzi, a trzecia o jakości przekazanej pracy.

• Problem w pracy: Osoba przekazująca zadanie i jego odbiorca inaczej oceniają, kiedy wynik nadaje się do wykorzystania.
• Przykładowy wskaźnik zachowania: „Przed przekazaniem zadania do kolejnego działu uzgadnia z odbiorcą kryteria przyjęcia wyniku”.
• Materiał do oceny: Konkretne sytuacje przekazywania pracy oraz ustalenia dotyczące wyniku — nie ogólne wrażenie, że ktoś jest pomocny.
• Warunki organizacyjne: Zgodne cele obu działów, wskazany odbiorca zadania i uprawnienia do uzgadniania kryteriów. Brak tych warunków nie jest automatycznie brakiem kompetencji pracownika.

Taki opis jest punktem wyjścia do sprawdzenia, a nie gotowym rozwiązaniem. Trzeba ustalić, czy zachowanie jest ważne dla danej roli, czy pracownik ma możliwość je stosować i czy różni oceniający podobnie interpretują ten sam przykład. Pojedynczy wskaźnik nie wystarcza do oceny całej kompetencji.

Jak sprawdzić model kompetencyjny przed wdrożeniem?

Jako praktyczne rozwinięcie podejścia opisanego w publikacji proponujemy cztery pytania do pilotażu modelu:

1. Czy opis odnosi się do rzeczywistej pracy? Zbierz przykłady sytuacji, w których dane zachowanie jest potrzebne. Sprawdź, jaki problem pomaga rozwiązać.
2. Czy oceniający rozumieją go podobnie? Poproś ich o niezależną ocenę tych samych sytuacji, a następnie przeanalizuj rozbieżności i popraw niejasne sformułowania.
3. Czy poziomy rzeczywiście różnią się zachowaniem? Opisz, co pracownik robi inaczej na każdym poziomie. Sama zmiana słów „dobrze” na „bardzo dobrze” nie wyjaśnia różnicy.
4. Czy wynik pomaga podjąć decyzję? Sprawdź, czy na jego podstawie można wskazać konkretne działanie rozwojowe, wymaganie wobec roli albo zmianę warunków pracy.

Granica wnioskowania: Zgodność ocen nie dowodzi jeszcze, że model przewiduje wyniki pracy lub poprawia efekty biznesowe. Takie zastosowania wymagają odrębnego sprawdzenia na odpowiednich danych. Pilotaż pomaga wykryć problemy, ale nie zastępuje pełnej walidacji narzędzia.

Wnioski dla psychologii organizacji

• Najpierw kontekst, potem kompetencje. Model powinien wynikać z realnego sposobu działania organizacji.
• Warsztat nie zastępuje pomiaru. Dyskusja pomaga tworzyć rozwiązania, ale dane pozwalają ocenić ich jakość.
• Prostota jest warunkiem użyteczności. Pracownicy muszą rozumieć, jakie zachowania są oczekiwane.
• Model jest elementem systemu. Jego wartość rośnie, gdy porządkuje różne procesy zarządzania ludźmi.
• Dowody pomagają ograniczać ryzyko błędów. Pozwalają poprawić model przed jego wdrożeniem na dużą skalę.

Potrzebujesz modelu kompetencyjnego dopasowanego do organizacji?

Instytut Gaussa projektuje i weryfikuje modele kompetencyjne z wykorzystaniem psychologii organizacji, danych oraz doświadczenia osób znających daną organizację. Jeśli potrzebujesz nowego modelu lub chcesz sprawdzić istniejący, zobacz, jak przebiega budowanie modeli kompetencyjnych i jaki rezultat ustalamy z firmą.

Szczegóły publikacji

• Tytuł źródłowy: Budowa modelu kompetencyjnego z zastosowaniem podejścia evidence-based
• Autor: dr Victor Wekselberg
• Medium: Personel Plus
• Data publikacji: marzec 2016 r.
• Zakres: strony 16–20
• Tematy: modele kompetencyjne, evidence-based HR, kompetencje behawioralne, psychologia organizacji, zarządzanie zasobami ludzkimi
• Opis materiału: opracowanie redakcyjne na podstawie publikacji drukowanej, uzupełnione o oznaczony przykład hipotetyczny i pytania do pilotażu przygotowane przez Instytut Gaussa; pełny tekst źródłowy dostępny w pliku PDF.
• Ilustracja: reprodukcja pierwszej strony publikacji Personel Plus.

CYKL EWALUACJA SZKOLEŃ · CZĘŚĆ 3 Z 3

Ewaluacja szkoleń: jak zamienić dane z ankiety w informację biznesową?

ŹRÓDŁO: PERSONEL I ZARZĄDZANIE · CZERWIEC 2013 · STR. 2-6

Dobra ankieta nie wystarczy, jeśli dane są zbierane niespójnie albo analizowane wyłącznie za pomocą prostych średnich. Trzecia część cyklu pokazuje, jak przekształcić wyniki ewaluacji w rekomendacje wspierające decyzje biznesowe.

Najpierw jakość zbierania danych

Termin i warunki wypełniania ankiety mogą znacząco zmienić oceny. Dlatego organizacja potrzebuje krótkiej procedury opisującej, kto podlega badaniu, kiedy i jak zbierane są odpowiedzi, jakich narzędzi się używa oraz kto otrzymuje dane.

Standaryzacja procesu zwiększa porównywalność wyników między szkoleniami, trenerami i grupami uczestników. Bez niej różnice mogą wynikać z warunków badania, a nie z jakości programu.

Czyszczenie danych przed analizą

Przed liczeniem wyników trzeba wykryć błędy wprowadzania danych, wartości spoza skali i nietypowe braki odpowiedzi. Nawet pojedyncza błędnie zakodowana wartość może zniekształcić średnią i prowadzić do nieprawidłowych wniosków.

Jakość materiału wejściowego bezpośrednio wpływa na wiarygodność raportu. Czyszczenie danych nie jest dodatkiem technicznym, lecz częścią kontroli jakości ewaluacji.

Od średniej do wyjaśnienia wyniku

Statystyki opisowe pokazują rozkłady odpowiedzi, średnie i zróżnicowanie ocen. Są potrzebne, ale zwykle nie odpowiadają na pytanie, dlaczego uczestnicy ocenili szkolenie w określony sposób.

Analizy korelacji, regresji, wariancji lub analizy czynnikowej pozwalają badać relacje, różnice między grupami i strukturę mierzonego zjawiska. Trzeba jednak pamiętać, że korelacja nie dowodzi związku przyczynowego.

Agregowanie pytań i badanie zmian

Kilka podobnych pytań może tworzyć rzetelniejszy indeks niż pojedyncza ocena, jeśli potwierdza to analiza statystyczna. Można w ten sposób dokładniej mierzyć organizację szkolenia, pracę prowadzącego lub praktyczność programu.

Powtarzanie porównywalnych pomiarów pozwala obserwować zmiany w badanych obszarach. Wzrost wiedzy wymaga jej sprawdzenia, a ocenę kompetencji lub stosowania umiejętności trzeba oprzeć na odpowiednich zadaniach, obserwacji albo materiale z pracy. Trend w samoocenie nie zastępuje takiego pomiaru.

Komunikacja wyników i rekomendacje

Raport dla klienta powinien przedstawiać zrozumiałe wyniki, możliwe wyjaśnienia, ograniczenia badania i rekomendacje. Szczegóły analiz warto umieścić w osobnym raporcie technicznym, aby zachować możliwość weryfikacji.

Autorzy zalecają omawianie wyników podczas warsztatu. Dyskusja pomaga sprawdzić interpretacje, uzupełnić kontekst i przełożyć dane na działania. Najważniejszym sprawdzianem ewaluacji jest stopień wykorzystania rekomendacji przez organizację.

Przykład liczbowy: jak nie przecenić wyniku ankiety

Uzupełnienie Instytutu Gaussa — dane hipotetyczne. Liczby poniżej służą wyłącznie objaśnieniu interpretacji. Nie są wynikiem projektu klienta ani badania opisanego w publikacji.

Wyobraźmy sobie grupę 20 menedżerów po szkoleniu z delegowania. Cztery tygodnie później zaproszono wszystkich do ankiety, na którą odpowiedziało 15 osób. Oto trzy różne informacje:

• 15 z 20 osób odpowiedziało — 75% zaproszonych. Nie znamy odpowiedzi pozostałych 5 osób. Nie zakładamy, że oceniłyby szkolenie tak samo.
• 12 z 15 respondentów oceniło przydatność szkolenia na 4 lub 5 w skali 1–5 — 80% odpowiadających. To wynik dotyczący oceny przydatności w tej grupie, nie dowód wzrostu kompetencji wszystkich uczestników.
• 10 z 15 respondentów zadeklarowało okazję do delegowania; 6 z tych 10 zadeklarowało zastosowanie nowych zasad — 60% osób deklarujących taką okazję. To deklaracja zachowania, a nie jego niezależna obserwacja. Pozostałych 5 respondentów bez okazji do zastosowania nie należy automatycznie oceniać jako nieskutecznie przeszkolonych.

W raporcie trzeba więc podać nie tylko procent, ale również pytanie, liczebność grupy i podstawę obliczenia. Zdanie „80% uczestników poprawiło delegowanie” byłoby w tym przykładzie nieuprawnione: ankieta tego nie wykazała.

Jak przejść od wyniku do decyzji?

1. Ustalenie: Część respondentów nie miała okazji zastosować nowych zasad, a część deklarujących taką okazję nie skorzystała z nich.
2. Hipotezy do sprawdzenia: Brak zadań do delegowania, niejasne uprawnienia, zbyt mało praktyki albo przeszkody w organizacji pracy. Sama ankieta nie rozstrzyga, która przyczyna jest najważniejsza.
3. Następne działanie: Osoba odpowiedzialna za rozwój uzgadnia z przełożonymi, jak sprawdzić bariery i warunki stosowania umiejętności. Warto uzupełnić deklaracje o próbkę rzeczywistych ustaleń dotyczących zadań.
4. Kolejny pomiar: Po uzgodnionym okresie sprawdzamy te same, jasno opisane zachowania i odnotowujemy zmiany warunków pracy. Dopiero wtedy oceniamy, czy potrzebne jest dalsze ćwiczenie, czy zmiana zasad działania.

Czego nie wolno wywnioskować z tych liczb?

Wysoka ocena przydatności nie jest pomiarem wzrostu kompetencji. Zastosowanie umiejętności nie dowodzi jeszcze poprawy wyniku biznesowego. Do obliczenia zwrotu z inwestycji potrzebne są wiarygodnie oszacowane korzyści przypisane szkoleniu oraz jego pełne koszty — sama ankieta tego nie zapewnia.

Przy niewielkiej grupie pokaż liczby i ograniczenia, zamiast tworzyć pozornie precyzyjny ranking trenerów czy działów. Zanim połączysz wyniki różnych szkoleń, sprawdź porównywalność celów, uczestników, pytań i czasu pomiaru.

Taki sposób oceny pomaga powiązać szkolenia menedżerskie z konkretną zmianą zachowania w pracy. Wyniki służą wtedy wyborowi dalszych działań, a nie wyłącznie wystawieniu oceny prowadzącemu.

Wniosek dla organizacji

Wartość ewaluacji nie wynika z liczby zebranych ankiet, lecz z jakości pomiaru, analizy i decyzji podjętych na podstawie wyników. Dane stają się informacją biznesową dopiero wtedy, gdy prowadzą do trafnych rekomendacji i mierzalnych usprawnień.

CYKL EWALUACJA SZKOLEŃ · CZĘŚĆ 2 Z 3

Ewaluacja szkoleń: budowa ankiety ewaluacyjnej – praktyczne wskazówki

ŹRÓDŁO: PERSONEL I ZARZĄDZANIE · MAJ 2013 · STR. 2-6

Gotowy wzór ankiety może być użyteczny tylko wtedy, gdy odpowiada temu, co organizacja rzeczywiście chce zmierzyć. Autorzy przedstawiają zasady budowy logicznego, rzetelnego i przyjaznego respondentom narzędzia.

Struktura ankiety i kolejność pytań

Struktura ankiety wpływa na motywację respondentów i jakość odpowiedzi. Autorzy zalecają zaczynanie od pytań łatwych, porządkowanie tematów w logiczne bloki, ostrożność przy pytaniach otwartych oraz umieszczanie pytań ogólnych i danych o respondencie na końcu.

Optymalna długość nie oznacza automatycznie jednej strony. Przy nowym lub dużym programie rozwojowym potrzebne może być bardziej rozbudowane narzędzie. Dopiero po zebraniu danych można je skracać bez utraty ważnych informacji.

Rzetelność zamiast pozornej prostoty

Pojedyncze pytanie o ogólną satysfakcję jest podatne na przypadkowe wpływy. Kilka pytań dotyczących tego samego obszaru może zapewnić bardziej precyzyjny pomiar, jeśli ich łączenie ma uzasadnienie psychometryczne.

Ankieta powinna być projektowana tak, aby wyniki można było porównywać, agregować i analizować. Zbyt różne skale oraz przypadkowa konstrukcja pytań ograniczają późniejszą interpretację.

Jak formułować pytania?

Język musi być dostosowany do respondentów, prosty i jednoznaczny. Pojęcia specjalistyczne powinny być zdefiniowane. Należy unikać pytań łączących dwa problemy, pytań sugerujących, hipotetycznych i takich, które wymagają od respondentów wskazania przyczyn, których nie znają.

Pytania powinny odnosić się do bezpośredniego doświadczenia uczestnika. Zamiast pytać o osobowość prowadzącego, lepiej opisać obserwowalne zachowania. Zamiast pytać jednocześnie o treść i sposób prowadzenia, należy rozdzielić te elementy.

Skale odpowiedzi mają znaczenie

Świat opinii i postaw nie jest czarno-biały, dlatego odpowiedzi typu tak lub nie często są zbyt mało precyzyjne. Skala powinna umożliwiać pokazanie stopnia oceny, a jej konstrukcja musi pasować do rodzaju mierzonej informacji.

Dobrze zaprojektowane pytania pozwalają później badać relacje: na przykład sprawdzić, które elementy pracy trenera lub programu są najsilniej związane z ogólną oceną szkolenia.

Przykład: jedno pytanie, dwa różne problemy

Uzupełnienie Instytutu Gaussa — przykład hipotetyczny. Poniższe pytania służą pokazaniu zasad konstrukcji ankiety. Nie tworzą gotowego, zwalidowanego narzędzia ani nie pochodzą z badania klienta.

Po szkoleniu z delegowania pada pytanie: „Jak oceniasz przydatność i zrozumiałość ćwiczeń?” Uczestnik uważa, że ćwiczenia odpowiadały jego pracy, ale instrukcje były niejasne. Jedna odpowiedź nie pokaże, który z tych elementów wymaga poprawy.

• Pytanie o dopasowanie: „W jakim stopniu ćwiczenie z delegowania odpowiadało sytuacjom w Twojej pracy?”.
• Pytanie o instrukcję: „W jakim stopniu instrukcja do ćwiczenia z delegowania była dla Ciebie zrozumiała?”.

Przykładowe odpowiedzi na każde z tych pytań: wcale; w małym stopniu; w umiarkowanym stopniu; w dużym stopniu; w bardzo dużym stopniu. Osobno warto przewidzieć odpowiedź „Nie uczestniczyłem/am w tym ćwiczeniu”, jeśli taka sytuacja była możliwa. Nie należy traktować jej jak najniższej oceny.

Gdy instrukcja otrzyma niskie oceny, pomocne może być pytanie uzupełniające: „Który fragment instrukcji wymaga doprecyzowania?”. Kieruje uwagę na konkretny element do poprawy, a nie na ogólną ocenę osoby prowadzącej.

Jak sprawdzić pytania przed wysłaniem ankiety?

1. Poproś o wyjaśnienie pytania własnymi słowami. Sprawdź z kilkoma osobami z grupy docelowej, czy rozumieją je zgodnie z zamiarem autora.
2. Sprawdź możliwość udzielenia odpowiedzi. Uczestnik powinien mieć doświadczenie, do którego odnosi się pytanie, a skala powinna umożliwiać opisanie tego doświadczenia.
3. Ustal sposób analizy. Zaplanuj, jak pokażesz rozkład ocen i potraktujesz brak odpowiedzi lub brak udziału w ćwiczeniu.
4. Powiąż pytanie z decyzją. Jeżeli nie wiadomo, co zrobić z wynikiem, doprecyzuj cel pytania albo z niego zrezygnuj.

Granica zastosowania: Sprawdzenie zrozumiałości w małym pilotażu nie potwierdza jeszcze rzetelności ani trafności skali. Nie sumuj dowolnych pytań o trenera, materiały i organizację szkolenia w jeden wskaźnik bez uzasadnienia. Porównywanie wyników wymaga też zachowania porównywalnych pytań, skal i warunków pomiaru.

Przy projektowaniu szkoleń menedżerskich dla firm warto od początku ustalić, jak informacja od uczestników pomoże poprawiać program i sprawdzać jego zastosowanie w pracy.

Wniosek dla organizacji

Skuteczna ankieta nie powstaje przez zebranie kilku intuicyjnych pytań. Jest narzędziem pomiarowym, którego struktura, język, skale i kolejność pytań powinny wynikać z planu analizy i decyzji biznesowych.

CYKL EWALUACJA SZKOLEŃ · CZĘŚĆ 1 Z 3

Ewaluacja szkoleń: co można zmierzyć za pomocą ankiety ewaluacyjnej?

ŹRÓDŁO: PERSONEL I ZARZĄDZANIE · KWIECIEŃ 2013 · STR. 92-95

Ankieta poszkoleniowa może dostarczać znacznie więcej niż ogólną ocenę trenera. Dobrze zaprojektowany proces ewaluacji pozwala rozróżnić opinie, postawy i wiedzę oraz szybciej podejmować decyzje usprawniające szkolenia.

Ewaluacja to proces, nie pojedynczy formularz

Autorzy pokazują Ogólny Model Procesu Ewaluacji: od wyboru metody, przez zaprojektowanie narzędzia i zebranie danych, po analizę, wnioski oraz rekomendacje. Ta kolejność ma znaczenie. Ankieta przygotowana bez jasno określonego celu może dostarczyć wielu odpowiedzi, ale niewiele informacji przydatnych organizacji.

Moment pomiaru również wpływa na interpretację. Bezpośrednio po szkoleniu można pytać o doświadczenia uczestnika, a po kilku tygodniach także o zastosowanie wiedzy w pracy. Samo przesunięcie terminu ankiety nie zmienia jednak tego, co mierzą pytania — muszą odpowiadać celowi badania.

Opinie, postawy i wiedza – trzy różne obszary

Opinia opisuje przede wszystkim to, co uczestnik myśli o szkoleniu. Postawa zawiera wyraźny komponent oceny i emocji. Wiedza dotyczy informacji zapamiętanych i rozpoznawanych przez uczestnika. Każdy z tych obszarów wymaga innego sposobu formułowania pytań oraz właściwej skali odpowiedzi.

Rozróżnienie tych kategorii ogranicza częsty błąd: traktowanie każdej wysokiej oceny jako dowodu skuteczności szkolenia. Satysfakcja uczestnika, zmiana wiedzy i zastosowanie umiejętności w pracy nie są tym samym rezultatem.

Co warto badać po szkoleniu?

Ankieta może obejmować realizację celów, odbiór treści, ocenę materiałów, wykorzystane metody, organizację szkolenia oraz zachowania prowadzącego możliwe do bezpośredniego zaobserwowania. Warto również zebrać dane pozwalające porównać grupy uczestników, jeśli nie prowadzą do identyfikacji konkretnych osób.

Ogólna ocena szkolenia jest pomocna jako punkt odniesienia dla analiz statystycznych. Sama nie mówi jednak, które elementy programu wpłynęły na wynik ani co należy zmienić.

Czego ankieta nie zmierzy rzetelnie?

Uczestnicy zwykle nie mają podstaw do fachowej oceny kompetencji trenera ani do przewidywania przyszłych wyników biznesowych. Ryzykowne są także pytania o samoocenę wzrostu kompetencji, rekomendowanie szkolenia bez wskazania podstaw tej rekomendacji oraz bardzo ogólne pytania otwarte.

Lepsze pytania odnoszą się do bezpośredniego doświadczenia: konkretnych treści, zachowań, materiałów i warunków szkolenia. Dzięki temu odpowiedzi można przełożyć na działania.

Przykład: zadowolenie ze szkolenia to nie dowód zmiany w pracy

Uzupełnienie Instytutu Gaussa — przykład hipotetyczny. Poniższa sytuacja nie opisuje projektu klienta ani wyników badań z publikacji. Pokazuje, jak zaplanować ocenę szkolenia z delegowania zadań.

Firma chce ograniczyć liczbę zadań wracających do menedżera z powodu niejasnych ustaleń. Uczestnicy wysoko oceniają warsztat. Zanim uznamy go za skuteczny, rozdzielmy trzy pytania:

1. Jak uczestnicy ocenili szkolenie? Pytanie o przydatność ćwiczeń mówi o ich ocenie programu. Nie sprawdza jeszcze, czy potrafią samodzielnie delegować zadania.
2. Czego się nauczyli? Krótki test wiedzy lub zadanie sytuacyjne z określonymi kryteriami oceny pozwala sprawdzić odpowiedzi i sposób rozwiązania problemu. Deklaracja „teraz umiem delegować” pozostaje samooceną. Aby mówić o zmianie, potrzebny jest porównywalny pomiar przed szkoleniem i po nim.
3. Co zastosowali w pracy? Po ustalonym czasie, na przykład czterech tygodniach, można sprawdzić próbkę rzeczywistych ustaleń dotyczących zadań: czy określono oczekiwany rezultat i termin. Ankieta o stosowaniu nowych zachowań daje deklaracje; warto zestawić je z obserwacją lub materiałem z pracy.

Przed interpretacją trzeba sprawdzić, czy uczestnik miał okazję wykorzystać nową umiejętność i uprawnienia do delegowania. Jeśli wszystko nadal wymaga zgody właściciela, problem może dotyczyć zasad podejmowania decyzji, a nie jakości szkolenia.

Co ustalić, zanim wyślesz ankietę?

• Decyzję: Czy poprawiamy ćwiczenia, sprawdzamy wiedzę, czy zmieniamy warunki stosowania umiejętności?
• Miary: Co dokładnie będziemy oceniać i jakie dane są do tego potrzebne? Nie łączmy satysfakcji i zachowania w jeden niejasny „wynik skuteczności”.
• Termin i odpowiedzialność: Kiedy zbieramy dane, kto je analizuje i kto zdecyduje o dalszych działaniach?

Ważne ograniczenie: Nawet poprawa wyniku przed szkoleniem i po nim nie dowodzi sama w sobie, że spowodowało ją szkolenie. Mogły zmienić się także zadania, skład zespołu lub sposób zarządzania. Ocena wpływu wymaga projektu badania uwzględniającego takie wyjaśnienia.

Takie rozróżnienie pomaga zaplanować szkolenia menedżerskie powiązane z realnymi wyzwaniami firmy i ustalić, po czym poznamy zmianę — zamiast kończyć ocenę na zadowoleniu uczestników.

Wniosek dla organizacji

Ankieta ewaluacyjna może być szybkim i ekonomicznym źródłem danych, jeśli została osadzona w metodologii badania. Najpierw trzeba określić decyzje, które mają być wsparte wynikami, a dopiero później projektować pytania.