Problemy z ewaluacją

W środowisku pozarządowym zainicjowałaś dyskusję na temat jakości badań ewaluacyjnych. Skąd pomysł?

W ostatnim czasie – jako CRIS – braliśmy udział w kilku badaniach ewaluacyjnych dotyczących Programu Operacyjnego Kapitał Ludzki. Domyślam się, że wnioski z tych badań są powodem wprowadzania określonych zmian w sposobie realizacji funduszy europejskich w Polsce. Dlatego ważne, by były przeprowadzone w sposób świadomy i rzetelny. Tymczasem wystarczy zapoznać się z konstrukcją kwestionariuszy, by zauważyć, że zostały one opracowane przez osoby nieposiadające podstawowej wiedzy w zakresie, którego dotyczy badanie. Na bazie takich narzędzi powstają raporty i analizy, które nie mają żadnej wartości. To niepokojące.

Jakie dostrzegasz problemy związane z ewaluacją w ramach Programu Operacyjnego Kapitał Ludzki?

Podstawowym problemem jest widoczny brak wiedzy osób opracowujących założenia metodologiczne i narzędzia. Odnosi się to do kilku aspektów. Po pierwsze: do samego Programu Operacyjnego Kapitał Ludzki i zasad jego wdrażania. Po drugie: do tematu, którego badanie dotyczy. Kolejną istotną kwestią są błędy metodologiczne. Bardzo często kwestionariusze są niepoprawnie zbudowane – zawierają zamkniętą kafeterię odpowiedzi, niewyczerpującą tematu. Techniczna konstrukcja formularza wymaga natomiast udzielenia odpowiedzi przed przejściem do następnego pytania. Osoba przeprowadzająca wywiad sugeruje więc wybranie którejś z odpowiedzi, aby możliwe było dokończenie badania. Nagminne są też sytuacje, kiedy kwestionariusz nie przystaje do specyfiki projektu, którego dotyczy badanie.

Czy na niepoprawnie zbudowane kwestionariuszach kończą się problemy?

Niestety nie. Zdarzają się też – jakkolwiek dziwnie to brzmi – badania, które mają potwierdzić przyjęte wcześniej założenia. Ostatnio ankietowano nas pod kątem jednego z tzw. „centralnych” priorytetów POKL. Powodem wyboru naszej instytucji był fakt, że realizujemy jeden projekt pośrednio związany z szeroko rozumianym zakresem tematycznym priorytetu stanowiącego przedmiot badania. Założenie ewaluatorów było następujące: skoro realizujemy ów jeden projekt, to chcielibyśmy także zajmować się drugim priorytetem, ale nie robimy tego ze względu na trudności w komunikacji z Instytucją Pośredniczącą właściwą dla tego priorytetu. Założenia te znamy, gdyż osoba przeprowadzająca wywiad dzieliła się swoimi wnioskami. Przekonywaliśmy, że są one nieuzasadnione, że nie aplikujemy do omawianego priorytetu, gdyż nie jest to obszar naszej działalności. Niestety nasze argumenty nie zostały w żaden sposób odnotowane – nie pozwalała na to konstrukcja kwestionariusza. Możemy tylko przypuszczać, jakie wnioski zostaną przedstawione w raporcie z ewaluacji.

A co z przygotowaniem osób przeprowadzających badania?

Braliśmy udział w wywiadzie telefonicznym, podczas którego osoba przeprowadzająca wywiad komentowała przebieg badania. Po usłyszeniu jednej z naszych odpowiedzi podzieliła się swoimi wnioskami w sposób następujący: „Muszę Pani powiedzieć, że większość badanych zupełnie inaczej odpowiedziało na to pytanie. Państwa odpowiedz się tu wyróżnia”. Innym razem osoba przeprowadzająca wywiad nie potrafiła poruszać się po formularzu i sprawiała wrażenie, że nie została zaznajomiona z tematyką badania nawet w stopniu podstawowym – nie potrafiła na przykład wymówić nazw dokumentów. Z kolei podczas wywiadu fokusowego moderator nie wykazywał się znajomością specyfiki priorytetu. Bez tego trudno efektywnie kierować pracą badanej grupy, a fokus przeradza się w standardową listę pytań typową dla wywiadu.

Dlaczego środowisko pozarządowe powinno zainteresować się jakością badań ewaluacyjnych?

To jest ważne nie tylko dla środowiska pozarządowego, ale dla wszystkich podmiotów realizujących projekty w ramach POKL. Na bazie wniosków z ewaluacji wprowadzane są zmiany w sposobie realizacji funduszy europejskich w Polsce. Zmiany, które w rzeczywistości niekoniecznie są uzasadnione. Dlatego zachęcam wszystkich zainteresowanych tematem do podzielenia się własnymi doświadczeniami i podjęcia dyskusji na temat jakości prowadzonych badań ewaluacyjnych.

Katarzyna Weideman – socjolog z wykształcenia. Z trzecim sektorem związana od 2003 r. Z CRIS od 2008 r. Zajmuje się rozliczaniem dotacji, a także szkoleniami, doradztwem dla organizacji, pisaniem projektów i ich ewaluacją.