PUBLIKACJA · PERSONEL I ZARZĄDZANIE · CZĘŚĆ 3 Z 3

Benchmarki w testach wiedzy, czyli jak wyznaczyć próg zaliczenia testu

Cykl: Badanie wiedzy w organizacji.
Autorzy publikacji źródłowej: Dariusz Ambroziak i Krzysztof Fronczyk.

Próg zaliczenia testu wiedzy powinien wynikać z wymagań, a nie z przyzwyczajenia do określonego procentu. W trzeciej części cyklu Dariusz Ambroziak i Krzysztof Fronczyk pokazują, jak uzasadnić minimum wiedzy metodami eksperckimi oraz jak sprawdzać je w odniesieniu do kryteriów związanych z pracą.

Dlaczego wynik procentowy nie wystarcza?

Uszeregowanie osób od najwyższego do najniższego wyniku nie odpowiada jeszcze na pytanie, kto osiągnął wymagany poziom wiedzy. Do takiej decyzji potrzebny jest punkt odniesienia. Ma on znaczenie przy ocenie efektów szkolenia, potwierdzaniu przygotowania do zadań lub certyfikacji.

Autorzy nazywają tę granicę punktem odcięcia albo benchmarkiem. W tym kontekście benchmark nie oznacza średniej rynkowej. Oznacza próg, według którego interpretujemy wynik konkretnego testu dla określonego zastosowania.

Metoda Angoffa: wiedza minimalnie wystarczająca

Eksperci analizują każde pytanie z perspektywy osoby mającej minimalny, ale wystarczający poziom wiedzy. Szacują, jaka część takich osób udzieliłaby prawidłowej odpowiedzi. Artykuł proponuje wyobrażenie sobie grupy 100 osób, co ułatwia wyrażanie ocen jako proporcji.

Punktem wyjścia jest więc opis wymaganego minimum, a nie wynik najlepszego pracownika. Warto też pamiętać, że oceny eksperckie są oszacowaniami. Dobór ekspertów i uzgodnienie tego, co oznacza wystarczająca wiedza, mają znaczenie dla rezultatu.

Metoda Ebela: trudność i znaczenie pytania

W opisanej metodzie eksperci klasyfikują pytania według dwóch kryteriów: trudności oraz związku z mierzonym zakresem wiedzy. Trzy poziomy trudności i cztery kategorie znaczenia tworzą łącznie 12 kategorii. Następnie eksperci szacują oczekiwany odsetek poprawnych odpowiedzi w każdej z nich.

1. Przyporządkuj pytania do kategorii trudności i znaczenia.
2. Oszacuj odsetek poprawnych odpowiedzi oczekiwany od osób spełniających minimalne wymagania.
3. Pomnóż ten odsetek przez liczbę pytań w danej kategorii.
4. Zsumuj oczekiwane wyniki kategorii, aby otrzymać punkt odcięcia.

Kryterium zewnętrzne: z czym porównać wynik?

Gdy dostępne są wyniki testowe, można sprawdzić ich związek z innym, uzasadnionym pomiarem. W artykule przykładami są wskaźnik efektywności pracy oraz ocena zachowania podczas wykonywania zadań. Takie kryterium powinno mieć związek z praktycznym wykorzystaniem badanego zakresu wiedzy.

Autorzy pokazują cztery możliwe zestawienia: wysoki lub niski wynik testu połączony z osiąganiem albo nieosiąganiem przyjętego kryterium. Analiza tych sytuacji pomaga ocenić konsekwencje ustawienia progu. Nie należy natomiast sprowadzać całej oceny pracownika do jednego wyniku wiedzy ani traktować ilustracyjnego wykresu z publikacji jako dowodu dotyczącego każdej firmy.

Jaki próg zaliczenia testu wiedzy wybrać?

Nie ma jednej wartości pasującej do wszystkich testów. W publikacji decyzję powiązano z celem zastosowania, przyjętym kryterium i konsekwencjami błędnej klasyfikacji. Metody można łączyć: wstępny próg ekspercki poddać późniejszej weryfikacji z wykorzystaniem danych.

• Opisz, do czego wynik będzie używany.
• Uzasadnij wymagany poziom wiedzy w odniesieniu do zadań.
• Zapisz metodę wyznaczenia progu i regułę zaliczenia.
• Sprawdź jakość testu oraz dostępnych kryteriów.
• Przeanalizuj przypadki, w których wynik testu i pozostałe informacje prowadzą do różnych wniosków.

Trzy części, jeden proces badania wiedzy

Bank pytań określa, co badamy. Ocena rzetelności pomaga sprawdzić dokładność pomiaru. Próg zaliczenia nadaje wynikowi znaczenie w konkretnej decyzji. Pominięcie jednego z tych etapów utrudnia sensowne wykorzystanie testu w organizacji.

Jeżeli chcesz powiązać badanie z rozwojem zespołu, zobacz podejście do szkoleń i ewaluacji lub porozmawiajmy o celu pomiaru w Twojej organizacji.

PUBLIKACJA · PERSONEL I ZARZĄDZANIE · CZĘŚĆ 2 Z 3

Jak rozpoznać rzetelność testów wiedzy

Cykl: Badanie wiedzy w organizacji.
Autorzy publikacji źródłowej: Dariusz Ambroziak i Krzysztof Fronczyk.

Rzetelność testów wiedzy dotyczy dokładności pomiaru. Wynik powinien dostarczać informacji o wiedzy, a nie zależeć głównie od przypadkowego zestawu pytań. W drugiej części cyklu Dariusz Ambroziak i Krzysztof Fronczyk wyjaśniają sposoby oceny rzetelności oraz czynniki, które trzeba uwzględnić przy interpretacji wskaźników.

Dlaczego podobny wynik nie zawsze oznacza to samo?

Test przygotowany bez sprawdzenia jego właściwości może dawać wyniki trudne do wykorzystania. Pracownik raz uzyskuje wysoki rezultat, a innym razem niski, choć badany zakres jest podobny. Przed wyciągnięciem wniosków o osobie warto więc przyjrzeć się narzędziu i warunkom pomiaru.

Autorzy opisują rzetelność za pomocą porównania do dokładności linijki. Istotne jest jednak także to, do jakiej decyzji wykorzystamy pomiar. Czym innym jest porządkowanie wyników w grupie, a czym innym rozstrzyganie, czy ktoś osiągnął wymagane minimum wiedzy.

Trzy podejścia do oceny rzetelności

• Powtórny pomiar tym samym testem. Porównuje się wyniki tej samej grupy po upływie czasu. Trzeba uwzględnić uczenie się, zapominanie, szkolenia i zapamiętanie pytań.
• Metody połówkowe. Sprawdza się zgodność wyników dwóch odpowiednio dobranych części testu. Połówki powinny być porównywalne pod względem treści i trudności.
• Analiza całego testu. Artykuł omawia alfę Cronbacha jako wskaźnik związany z powiązaniami odpowiedzi na pytania. Jej interpretacja wymaga uwzględnienia budowy narzędzia i badanej grupy.

Dlaczego nie dzielić testu mechanicznie na pół?

Jeśli pierwsze pytania są łatwe, a ostatnie trudne, taki podział daje dwie nierównoważne części. Podobny problem pojawia się wtedy, gdy każda połowa obejmuje inny temat. Różnica wyników może wynikać z konstrukcji testu, a nie z przypadkowości odpowiedzi.

Publikacja opisuje dobór losowy oraz ekspercki jako sposoby tworzenia porównywalnych połówek. Nie oznacza to jednak, że każdy losowy podział automatycznie rozwiązuje problem. Trzeba sprawdzić, czy istotne obszary wiedzy są reprezentowane w obu częściach.

Co wpływa na rzetelność testów wiedzy?

• Badana grupa. Wyniki i ich zróżnicowanie mogą być inne wśród doświadczonych pracowników jednego zespołu niż wśród kandydatów o odmiennym doświadczeniu. Wskaźnika nie należy odrywać od informacji o próbie.
• Klucz odpowiedzi. Prawidłowość odpowiedzi oraz punktacja muszą być uzasadnione. W pytaniach sytuacyjnych szczególnie ważny jest opis kontekstu.
• Liczba i jakość pytań. Dodatkowe pytania mogą poprawić pomiar, jeżeli pasują do jego zakresu i są dobrze skonstruowane. Samo wydłużenie testu nie daje takiej gwarancji.
• Trudność. Gdy prawie wszyscy odpowiadają poprawnie albo prawie wszyscy błędnie, test ma ograniczoną możliwość rozróżniania poziomów wiedzy w tej grupie.

O co zapytać przed wykorzystaniem wyniku?

• Na jakiej grupie i w jakich warunkach oszacowano rzetelność?
• Jaką metodę zastosowano i dlaczego odpowiada ona konstrukcji testu?
• Czy sprawdzono pytania oraz klucz odpowiedzi?
• Czy wynik służy porównywaniu osób, planowaniu nauki czy decyzji o osiągnięciu minimum?

Ostatnie pytanie prowadzi do trzeciej części cyklu. Nawet dokładny pomiar wymaga uzasadnionego punktu odniesienia. Sam wynik procentowy nie wyznacza jeszcze granicy wystarczającej wiedzy.

Jak połączyć pomiar z rozwojem?

Wynik testu warto wykorzystać do rozmowy o konkretnych lukach i potrzebnych działaniach, a nie tylko do etykietowania pracowników. Zobacz szkolenia i ocenę ich skuteczności oraz publikację „Lepiej poprawić testy, niż zwolnić trenerów”. Jeśli chcesz omówić jakość stosowanego narzędzia, skontaktuj się z nami.

PUBLIKACJA · PERSONEL I ZARZĄDZANIE · CZĘŚĆ 1 Z 3

Jak tworzyć bank pytań do testu wiedzy?

Cykl: Badanie wiedzy w organizacji.
Autorzy publikacji źródłowej: Dariusz Ambroziak i Krzysztof Fronczyk.

Dobry bank pytań do testu wiedzy zaczyna się od określenia, co pracownik powinien wiedzieć w swojej roli. Dopiero potem powstają pytania, odpowiedzi i zasady budowy testu. W pierwszej części cyklu Dariusz Ambroziak i Krzysztof Fronczyk pokazują, jak przejść od ogólnego pomysłu „sprawdźmy wiedzę” do uporządkowanego narzędzia pomiaru.

Od jakiej decyzji zacząć badanie wiedzy?

Wiedzę można badać przy wdrażaniu pracowników, przygotowaniu zespołu do sprzedaży produktu lub ocenie tego, czego uczestnicy nauczyli się podczas szkolenia. Każdy z tych celów wymaga sprecyzowania zakresu. Innych wiadomości potrzebuje osoba prezentująca ofertę klientowi, a innych osoba odpowiadająca za techniczną obsługę produktu.

Autorzy zwracają uwagę, że napisanie kilku pytań nie oznacza jeszcze skonstruowania dobrego testu. Bank pytań ma obejmować istotne obszary wiedzy i umożliwiać tworzenie zestawów zgodnych z założonym celem. Sama platforma internetowa może ułatwić losowanie pytań oraz kolejności odpowiedzi, ale nie zastąpi pracy nad treścią.

Trzy sposoby uporządkowania zakresu wiedzy

• Struktura hierarchiczna. Podział od obszarów ogólnych do szczegółowych. W przykładzie dotyczącym oprogramowania autorzy wyróżniają m.in. funkcjonalności, różnice między wersjami i obsługę, a następnie bardziej szczegółowe zagadnienia.
• Struktura wielowymiarowa. Łączenie dwóch lub większej liczby wymiarów, aby pytania obejmowały ich istotne kombinacje. W publikacji ilustruje to zestawienie typu klienta z elementami procesu sprzedaży.
• Taksonomia Blooma. Rozróżnienie zapamiętywania, rozumienia, zastosowania, analizy, oceny i tworzenia. Pomaga zauważyć, że pytanie o definicję nie sprawdza tego samego co zadanie wymagające wykorzystania wiedzy.

Te podejścia są sposobami planowania treści testu, a nie gotowymi normami dla każdej organizacji. Zakres trzeba powiązać z rzeczywistymi wymaganiami stanowiska. Przykładowe podziały z artykułu nie powinny być bezrefleksyjnie przenoszone do innej branży.

Jak powstaje bank pytań do testu wiedzy?

1. Ustal obszary i ich granice. Zdefiniuj, co należy do poszczególnych tematów, oraz sprawdź, czy razem pokrywają wymagany zakres.
2. Zaangażuj ekspertów dziedzinowych. Niech przygotują pytania, prawidłowe odpowiedzi i uzasadnienia zgodne z wiedzą potrzebną w pracy.
3. Przypisz pytania do obszarów. Oceń powtórzenia i sposób wyboru pytań do konkretnego testu. Losowanie powinno być zgodne z zaplanowaną strukturą.
4. Sprawdź język i logikę. Usuń niejasności. Po zmianach poproś ekspertów o ponowną ocenę merytoryczną.
5. Sprawdź, jak pytania odczytują uczestnicy. Rozmowy i próbne rozwiązanie testu mogą ujawnić błędy wynikające ze sformułowania pytania, a nie z braku wiedzy.

Jakich błędów unikać w pytaniach?

Artykuł wskazuje m.in. nieprecyzyjne określenia czasu, odpowiedzi nakładające się na siebie, pytanie o kilka różnych kwestii jednocześnie oraz odpowiedzi, które łatwo odgadnąć bez znajomości tematu. Ostrzega też przed pytaniami banalnymi, które słabo pomagają rozpoznać rzeczywiste różnice w wiedzy.

Czy gotowy bank pytań wystarczy?

Nie. Po weryfikacji treści mamy zbiór pytań nadających się do dalszych prac, ale nadal trzeba empirycznie sprawdzić właściwości testu. Autorzy wyraźnie oddzielają konstrukcję banku od oceny trudności, rzetelności i trafności. Właśnie dlatego kolejne części cyklu dotyczą dokładności pomiaru i interpretacji wyniku.

Od lektury do praktyki

Jeżeli planujesz pomiar po szkoleniu, zobacz również podejście do szkoleń i ich ewaluacji. Szerszy kontekst błędów pomiaru znajdziesz w publikacji „Lepiej poprawić testy, niż zwolnić trenerów”. O zakresie badania dopasowanego do Twojej organizacji możesz porozmawiać z Instytutem Gaussa.