PUBLIKACJA · PERSONEL I ZARZĄDZANIE · CZĘŚĆ 3 Z 3
Benchmarki w testach wiedzy, czyli jak wyznaczyć próg zaliczenia testu
Cykl: Badanie wiedzy w organizacji.
Autorzy publikacji źródłowej: Dariusz Ambroziak i Krzysztof Fronczyk.
Próg zaliczenia testu wiedzy powinien wynikać z wymagań, a nie z przyzwyczajenia do określonego procentu. W trzeciej części cyklu Dariusz Ambroziak i Krzysztof Fronczyk pokazują, jak uzasadnić minimum wiedzy metodami eksperckimi oraz jak sprawdzać je w odniesieniu do kryteriów związanych z pracą.
Przeczytaj cały cykl
- Część 1: Bank pytań
- Część 2: Rzetelność testu
- Część 3: Próg zaliczenia — czytasz teraz
Dlaczego wynik procentowy nie wystarcza?
Uszeregowanie osób od najwyższego do najniższego wyniku nie odpowiada jeszcze na pytanie, kto osiągnął wymagany poziom wiedzy. Do takiej decyzji potrzebny jest punkt odniesienia. Ma on znaczenie przy ocenie efektów szkolenia, potwierdzaniu przygotowania do zadań lub certyfikacji.
Autorzy nazywają tę granicę punktem odcięcia albo benchmarkiem. W tym kontekście benchmark nie oznacza średniej rynkowej. Oznacza próg, według którego interpretujemy wynik konkretnego testu dla określonego zastosowania.
Metoda Angoffa: wiedza minimalnie wystarczająca
Eksperci analizują każde pytanie z perspektywy osoby mającej minimalny, ale wystarczający poziom wiedzy. Szacują, jaka część takich osób udzieliłaby prawidłowej odpowiedzi. Artykuł proponuje wyobrażenie sobie grupy 100 osób, co ułatwia wyrażanie ocen jako proporcji.
Punktem wyjścia jest więc opis wymaganego minimum, a nie wynik najlepszego pracownika. Warto też pamiętać, że oceny eksperckie są oszacowaniami. Dobór ekspertów i uzgodnienie tego, co oznacza wystarczająca wiedza, mają znaczenie dla rezultatu.
Metoda Ebela: trudność i znaczenie pytania
W opisanej metodzie eksperci klasyfikują pytania według dwóch kryteriów: trudności oraz związku z mierzonym zakresem wiedzy. Trzy poziomy trudności i cztery kategorie znaczenia tworzą łącznie 12 kategorii. Następnie eksperci szacują oczekiwany odsetek poprawnych odpowiedzi w każdej z nich.
- Przyporządkuj pytania do kategorii trudności i znaczenia.
- Oszacuj odsetek poprawnych odpowiedzi oczekiwany od osób spełniających minimalne wymagania.
- Pomnóż ten odsetek przez liczbę pytań w danej kategorii.
- Zsumuj oczekiwane wyniki kategorii, aby otrzymać punkt odcięcia.
Przykład z artykułu: 17,6 punktu na 25
W publikacji przedstawiono test z 25 pytaniami. Dla kategorii liczącej 4 pytania i oczekiwanych 95% poprawnych odpowiedzi wkład do wyniku wynosi 4 × 0,95 = 3,8 punktu. Po zsumowaniu wszystkich kategorii autorzy otrzymują 17,6 punktu, czyli 70,4% maksymalnego wyniku.
To przykład obliczeniowy metody, a nie rekomendowany próg dla każdej organizacji. Liczba 17,6 wynika z konkretnych ocen ekspertów i struktury przykładowego testu. Przy wyniku wyrażonym w całych punktach trzeba dodatkowo ustalić i opisać regułę decyzji.
Kryterium zewnętrzne: z czym porównać wynik?
Gdy dostępne są wyniki testowe, można sprawdzić ich związek z innym, uzasadnionym pomiarem. W artykule przykładami są wskaźnik efektywności pracy oraz ocena zachowania podczas wykonywania zadań. Takie kryterium powinno mieć związek z praktycznym wykorzystaniem badanego zakresu wiedzy.
Autorzy pokazują cztery możliwe zestawienia: wysoki lub niski wynik testu połączony z osiąganiem albo nieosiąganiem przyjętego kryterium. Analiza tych sytuacji pomaga ocenić konsekwencje ustawienia progu. Nie należy natomiast sprowadzać całej oceny pracownika do jednego wyniku wiedzy ani traktować ilustracyjnego wykresu z publikacji jako dowodu dotyczącego każdej firmy.
Jaki próg zaliczenia testu wiedzy wybrać?
Nie ma jednej wartości pasującej do wszystkich testów. W publikacji decyzję powiązano z celem zastosowania, przyjętym kryterium i konsekwencjami błędnej klasyfikacji. Metody można łączyć: wstępny próg ekspercki poddać późniejszej weryfikacji z wykorzystaniem danych.
- Opisz, do czego wynik będzie używany.
- Uzasadnij wymagany poziom wiedzy w odniesieniu do zadań.
- Zapisz metodę wyznaczenia progu i regułę zaliczenia.
- Sprawdź jakość testu oraz dostępnych kryteriów.
- Przeanalizuj przypadki, w których wynik testu i pozostałe informacje prowadzą do różnych wniosków.
Trzy części, jeden proces badania wiedzy
Bank pytań określa, co badamy. Ocena rzetelności pomaga sprawdzić dokładność pomiaru. Próg zaliczenia nadaje wynikowi znaczenie w konkretnej decyzji. Pominięcie jednego z tych etapów utrudnia sensowne wykorzystanie testu w organizacji.
Jeżeli chcesz powiązać badanie z rozwojem zespołu, zobacz podejście do szkoleń i ewaluacji lub porozmawiajmy o celu pomiaru w Twojej organizacji.
Szczegóły publikacji
- Tytuł źródłowy: „Test wiedzy 3. Benchmarki w testach wiedzy, czyli jak wyznaczyć próg zaliczenia testu”.
- Autorzy: Dariusz Ambroziak, Krzysztof Fronczyk.
- Medium: „Personel i Zarządzanie”, dział „Narzędzia HRM”, cykl „Pomiar wiedzy pracowników”.
- Publikacja: grudzień 2011, s. 77–80.
- Materiał: część 3 trzyczęściowego cyklu o konstruowaniu i wykorzystaniu testów wiedzy.
Wpis jest omówieniem archiwalnej publikacji. Pełna treść, przykłady i schematy autorów znajdują się w PDF-ie. Źródło podaje miesiąc, ale nie dzień publikacji. Do uporządkowania archiwum przyjęto technicznie pierwszy dzień wskazanego miesiąca.
