Ewaluacja programu

Ewaluacja programu to systematyczna metoda zbierania, analizowania i wykorzystywania informacji w celu udzielenia odpowiedzi na pytania dotyczące projektów, polityk i programów , w szczególności ich skuteczności i wydajności. Osoby, które regularnie wykorzystują umiejętności i techniki oceny programu w pracy, są ogólnie znane jako Analityk Programu , podczas gdy osoby, których stanowiska łączą obowiązki asystenta administracyjnego lub sekretarki z oceną programu, są ogólnie znane jako Asystent Programu lub Współpracownik Programu stanowiska, które dodatkowo dodają obowiązki zarządzania projektami niższego szczebla zajmują tytułowy Koordynator Programu . Zarówno w sektorze publicznym , jak i prywatnym , a także w sektorze wolontariatu , interesariusze często chcą wiedzieć, czy programy, które finansują, wdrażają, za którymi głosują, otrzymują lub którym się sprzeciwiają, przynoszą zamierzony skutek. Podczas oceny programu najpierw skupia się na tej definicji, ważne kwestie często dotyczą tego, ile kosztuje program na uczestnika, jak można ulepszyć program, czy program jest warty zachodu, czy istnieją lepsze alternatywy, czy są niezamierzone wyniki i czy cele programu są odpowiednie i przydatne. Ewaluatorzy pomagają odpowiedzieć na te pytania, ale najlepszym sposobem na udzielenie odpowiedzi jest przeprowadzenie ewaluacji jako wspólnego projektu ewaluatorów i interesariuszy.

Proces ewaluacji uważany jest za zjawisko stosunkowo nowe. Jednak planowana ocena społeczna została udokumentowana jako datowana już na 2200 pne. Ewaluacja stała się szczególnie istotna w Stanach Zjednoczonych w latach 60. XX wieku, w okresie Wielkiego Społeczeństwa związanych z administracją Kennedy'ego i Johnsona . W programy społeczne zainwestowano nadzwyczajne sumy, ale wpływ tych inwestycji był w dużej mierze nieznany.

Ewaluacje programów mogą obejmować zarówno ilościowe , jak i jakościowe metody badań społecznych . Osoby zajmujące się ewaluacją programów pochodzą z wielu różnych środowisk, takich jak socjologia , psychologia , ekonomia , praca socjalna , a także z dziedzin politologii, takich jak polityka publiczna i administracja publiczna , które studiowały podobną metodologię znaną jako analiza polityki . Niektóre uniwersytety mają również specjalne programy szkoleniowe, zwłaszcza na podyplomowym w zakresie oceny programów, dla osób, które studiowały przedmiot licencjacki , w którym brakuje umiejętności oceny programu.

Ocena programu Problem ograniczonych zasobów pozostaje nierozwiązany i ma poważne implikacje dla przyszłości wielu programów rządowych. W kontekście wiedzy, w jaki sposób rząd może zmaksymalizować swoje ograniczone zasoby w osiąganiu zaplanowanych celów, opracował technikę znaną jako ewaluacja.

Problem ograniczonych środków pozostaje nierozwiązany i ma poważne implikacje dla przyszłości wielu programów rządowych. W kontekście wiedzy, w jaki sposób rząd może zmaksymalizować swoje ograniczone zasoby w osiąganiu zaplanowanych celów, opracował technikę znaną jako ewaluacja.

Ocena jest integralną częścią procesu administracyjnego. W procesie administracyjnym rozpatrywane są ważne sprawy mające wpływ na organizację. Jak zauważają dwaj amerykańscy autorzy: Podejmowane są decyzje dotyczące polityk i planów, wdrażane są programy zawierające te decyzje, oceniane są osiągnięte wyniki, a następnie na podstawie tych informacji podejmowane są nowe decyzje i cykl się powtarza.

Co więcej, ewaluację można uznać za „metodę określania, jak daleko zaawansowana jest dana czynność i jak daleko należy ją posunąć, aby osiągnąć cele”. Jest to porównanie warunków rzeczywistych z warunkami pożądanymi. Odpowiada na pytanie: „W jakim stopniu robimy to, co próbujemy zrobić?”

Ocena jest również procesem systematycznej oceny. Jako proces służy do określania wartości, wartości lub znaczenia czegoś. Może odnosić się do programu, metody, podejścia lub sytuacji. Na przykład ocena programu nazywana jest oceną programu.

Program to całość działań organizacji, które obejmują plany organizacji dotyczące jej bezpośredniego działania, jak również jej przyszłego rozwoju. Projekt jest częścią programu.

W ewaluacji programu kluczowe pytanie brzmi: „Czy program osiągnął swoje cele?” Aby odnieść sukces, ocena powinna odbywać się na różnych poziomach organizacji. Powinien „być umieszczony w strukturze organizacyjnej na poziomie zgodnym z misją”.

Przeprowadzenie oceny

Ewaluacja programu może być prowadzona na kilku etapach w trakcie trwania programu. Na każdym z tych etapów pojawiają się różne pytania, na które ewaluator musi odpowiedzieć, i potrzebne są odpowiednio różne podejścia do ewaluacji. Rossi, Lipsey i Freeman (2004) proponują następujące rodzaje oceny, które mogą być odpowiednie na różnych etapach:

  • Ocena potrzeby programu
  • Ocena projektu programu i logiki/teorii
  • Ocena, w jaki sposób program jest wdrażany (tj. czy jest wdrażany zgodnie z planem? Czy procesy programu maksymalizują możliwe wyniki?)
  • Ocena rezultatu lub wpływu programu (tj. tego, co faktycznie osiągnięto)
  • Ocena kosztów i efektywności programu

Ocena potrzeb

Ocena potrzeb polega na zbadaniu populacji, do której program ma być skierowany, w celu sprawdzenia, czy potrzeba określona w programie rzeczywiście istnieje w tej populacji; czy faktycznie jest to problem; a jeśli tak, to jak najlepiej sobie z tym poradzić. Obejmuje to identyfikację i diagnozę rzeczywistego problemu, który program próbuje rozwiązać, kogo lub czego dotyczy problem, jak powszechny jest problem i jakie są wymierne skutki, które powoduje problem. Na przykład w przypadku programu mieszkaniowego mającego na celu ograniczenie bezdomności ewaluator programu może chcieć dowiedzieć się, ile osób jest bezdomnych na danym obszarze geograficznym i jakie są ich dane demograficzne. Rossi, Lipsey i Freeman (2004) przestrzegają przed podejmowaniem interwencji bez właściwej oceny jej potrzeby, ponieważ mogłoby to skutkować dużą stratą środków, gdyby taka potrzeba nie istniała lub została błędnie pomyślana.

Ocena potrzeb obejmuje procesy lub metody stosowane przez ewaluatorów do opisywania i diagnozowania potrzeb społecznych. Jest to istotne dla ewaluatorów, ponieważ muszą określić, czy programy są skuteczne, a nie mogą tego zrobić, dopóki nie zidentyfikują problemu/potrzeby. Programy, które nie przeprowadzają oceny potrzeb, mogą mieć złudzenie, że wyeliminowały problem/potrzebę, podczas gdy w rzeczywistości nie było takiej potrzeby. Ocena potrzeb obejmuje badania i regularne konsultacje z interesariuszami ze społeczności oraz z osobami, które odniosą korzyści z projektu, zanim program będzie mógł zostać opracowany i wdrożony. Dlatego powinno to być podejście oddolne. W ten sposób potencjalne problemy mogą zostać zauważone wcześnie, ponieważ proces angażowałby społeczność w identyfikowanie potrzeb, a tym samym dawałby możliwość zidentyfikowania potencjalnych barier.

Ważnym zadaniem ewaluatora programu jest zatem: Po pierwsze, skonstruowanie precyzyjnej definicji problemu. Oceniający muszą najpierw zidentyfikować problem/potrzebę. Jest to najskuteczniej osiągane poprzez współpracę obejmującą wszystkich możliwych interesariuszy, tj. społeczność, na którą ma wpływ potencjalny problem, agentów/aktorów pracujących nad rozwiązaniem problemu, sponsorów itp. Uwzględnienie wpisowego na wczesnym etapie procesu zmniejsza potencjalne odpychanie, nieporozumienia i niekompletne informacje w późniejszym czasie.

Po drugie, oceń skalę problemu. Po jasnym określeniu, na czym polega problem, ewaluatorzy muszą następnie ocenić zakres problemu. Muszą odpowiedzieć na pytania „gdzie” i „jak duże”. Oceniający muszą ustalić, gdzie leży problem i jak duży jest. Wskazywanie, że problem istnieje, jest znacznie łatwiejsze niż konieczność określenia, gdzie się znajduje i jak bardzo jest rozpowszechniony. Rossi, Lipsey i Freeman (2004) podali przykład, że: osoba identyfikująca niektóre maltretowane dzieci może być wystarczającym dowodem, aby przekonać kogoś, że istnieje wykorzystywanie dzieci. Jednak wskazanie, ilu dzieci dotyka i gdzie jest geograficznie i społecznie zlokalizowane, wymagałoby wiedzy o dzieciach krzywdzonych, charakterystyce sprawców i wpływie problemu na całą władzę polityczną.

Może to być trudne, biorąc pod uwagę, że wykorzystywanie dzieci nie jest zachowaniem publicznym, mając również na uwadze, że oszacowanie wskaźników zachowań prywatnych zwykle nie jest możliwe z powodu takich czynników, jak niezgłoszone przypadki. W takim przypadku ewaluatorzy musieliby wykorzystać dane z kilku źródeł i zastosować różne podejścia w celu oszacowania współczynników zapadalności. Istnieją jeszcze dwa pytania, na które należy odpowiedzieć: Ewaluatorzy muszą również odpowiedzieć na pytania „jak” i „co”. Pytanie „jak” wymaga od ewaluatorów określenia, w jaki sposób zostanie zaspokojona potrzeba. Po zidentyfikowaniu potrzeby i zapoznaniu się z ewaluatorami społecznościowymi, ewaluatorzy powinni przeprowadzić analizę działania, aby określić, czy plan zaproponowany w programie rzeczywiście będzie w stanie wyeliminować tę potrzebę. Pytanie „co” wymaga od ewaluatorów przeprowadzenia analizy zadania, aby dowiedzieć się, jaki byłby najlepszy sposób wykonania zadania. Na przykład, czy standardy wydajności pracy są ustalane przez organizację lub czy przy podejmowaniu zadania należy wziąć pod uwagę niektóre przepisy rządowe.

Po trzecie, zdefiniuj i zidentyfikuj cel interwencji i dokładnie opisz charakter potrzeb tej populacji w zakresie usług. Ważne jest, aby wiedzieć, jaka/kim jest/są populacja docelowa – mogą to być jednostki, grupy, społeczności itp. Istnieją trzy jednostki populacji: populacja zagrożona, populacja potrzebująca i populacja poszukiwana

  • Populacja zagrożona: to osoby ze znacznym prawdopodobieństwem wystąpienia ryzyka, np. populacja zagrożona programami kontroli urodzeń to kobiety w wieku rozrodczym.
  • Populacja w potrzebie: czy są to osoby ze schorzeniem, którym program ma się zająć; np. populacją potrzebującą programu mającego na celu dostarczanie leków antyretrowirusowych osobom zakażonym wirusem HIV są osoby zakażone wirusem HIV.
  • Populacja na żądanie: ta część populacji w potrzebie, która zgadza się, że jest taka potrzeba i jest chętna do wzięcia udziału w tym, co program ma do zaoferowania, np. nie wszystkie osoby zakażone wirusem HIV będą skłonne przyjmować leki antyretrowirusowe.

Możliwość określenia, czym/kim jest cel, pomoże w ustaleniu odpowiednich granic, tak aby interwencje mogły być właściwie skierowane do grupy docelowej i możliwe do zastosowania

Przeprowadzenie oceny potrzeb składa się z czterech etapów:

  1. Wykonaj analizy „luk”
    Oceniający muszą porównać obecną sytuację z sytuacją pożądaną lub konieczną. Różnica lub luka między tymi dwiema sytuacjami pomoże zidentyfikować potrzebę, cel i cele programu.
  2. Identyfikacja priorytetów i znaczenia
    W pierwszym kroku powyżej ewaluatorzy określiliby szereg interwencji, które mogłyby potencjalnie zaspokoić potrzebę, np. szkolenie i rozwój, rozwój organizacji itp. Należy je teraz przeanalizować pod kątem ich znaczenia dla celów programu i ograniczeń. Należy to zrobić, biorąc pod uwagę następujące czynniki: efektywność kosztową (uwzględnij budżet programu, oszacuj stosunek kosztów do korzyści), presję wykonawczą (czy najwyższe kierownictwo oczekuje rozwiązania) oraz populację (czy zaangażowanych jest wiele kluczowych osób).
  3. Zidentyfikuj przyczyny problemów z wydajnością i/lub możliwości
    Gdy potrzeby zostaną uszeregowane pod względem ważności, następnym krokiem jest zidentyfikowanie konkretnych obszarów problemowych, którymi należy się zająć. A także ocenić umiejętności osób, które będą przeprowadzać interwencje.
  4. Zidentyfikuj możliwe rozwiązania i możliwości rozwoju
    Porównaj konsekwencje interwencji, jeśli miałyby zostać wdrożone, czy nie.

Analiza potrzeb jest zatem bardzo ważnym krokiem w ewaluacji programów, ponieważ nie można ocenić skuteczności programu, jeśli nie wiemy, na czym polegał problem.

Ocena teorii programu

Teoria programu, zwana także modelem logicznym , mapą wiedzy lub ścieżką wpływu, jest założeniem ukrytym w sposobie projektowania programu, dotyczącym tego, w jaki sposób działania programu mają osiągnąć zamierzone wyniki. Ten „model logiczny” często nie jest określany wprost przez ludzi prowadzących programy, jest po prostu zakładany, więc ewaluator będzie musiał wydobyć od personelu programu, jak dokładnie program ma osiągnąć swoje cele i ocenić, czy ta logika jest wiarygodny. Na przykład w programie profilaktyki HIV można założyć, że edukacja ludzi na temat przenoszenia HIV/AIDS, ryzyka i praktyk związanych z bezpiecznym seksem doprowadzi do praktykowania bezpieczniejszego seksu. Jednak badania w Afryce Południowej coraz częściej pokazują, że pomimo wzrostu edukacji i wiedzy ludzie nadal często nie uprawiają bezpiecznego seksu. Dlatego logika programu, który opiera się na edukacji jako sposobie nakłonienia ludzi do używania prezerwatyw, może być błędna. Dlatego ważne jest, aby przeczytać badania, które zostały wykonane w tej dziedzinie. Wyjaśnienie tej logiki może również ujawnić niezamierzone lub nieprzewidziane konsekwencje programu, zarówno pozytywne, jak i negatywne. Teoria programu napędza hipotezy do testowania pod kątem oceny wpływu. Opracowanie modelu logicznego może również pomóc w budowaniu powszechnego zrozumienia wśród personelu programu i interesariuszy co do tego, co program faktycznie ma robić i jak ma to robić, czego często brakuje (zob. Analiza partycypacyjnych ścieżek wpływu ). Oczywiście możliwe jest również, że w trakcie próby wydobycia modelu logicznego stojącego za programem oceniający mogą odkryć, że taki model jest albo nie w pełni rozwinięty, wewnętrznie sprzeczny, albo (w najgorszych przypadkach) zasadniczo nie istnieje. To zdecydowanie ogranicza skuteczność ewaluacji, choć niekoniecznie ogranicza lub eliminuje program.

Tworzenie modelu logicznego to wspaniały sposób na wizualizację ważnych aspektów programów, zwłaszcza podczas przygotowań do ewaluacji. Oceniający powinien stworzyć model logiczny z danymi wejściowymi od wielu różnych interesariuszy. Modele logiczne składają się z 5 głównych komponentów: zasoby lub dane wejściowe, działania, wyniki, wyniki krótkoterminowe i wyniki długoterminowe Tworzenie modelu logicznego pomaga sformułować problem, zasoby i możliwości, które są obecnie wykorzystywane do rozwiązania problemu, oraz wymierne efekty programu. Przyjrzenie się różnym komponentom programu w odniesieniu do ogólnych celów krótko- i długoterminowych pozwala na naświetlenie potencjalnych rozbieżności. Stworzenie rzeczywistego modelu logicznego jest szczególnie ważne, ponieważ pomaga wyjaśnić wszystkim interesariuszom: definicję problemu, nadrzędne cele oraz możliwości i wyniki programu.

Rossi, Lipsey i Freeman (2004) proponują cztery podejścia i procedury, które można wykorzystać do oceny teorii programu. Podejścia te omówiono poniżej.

  • Ocena w odniesieniu do potrzeb społecznych

Wiąże się to z oceną teorii programu poprzez odniesienie jej do potrzeb grupy docelowej, której program ma służyć. Jeśli teoria programu nie odpowiada potrzebom grupy docelowej, okaże się nieskuteczna, nawet jeśli zostanie dobrze wdrożona.

  • Ocena logiki i wiarygodności

Ta forma oceny polega na poproszeniu panelu recenzentów o dokonanie krytycznej oceny logiki i wiarygodności założeń i oczekiwań związanych z projektem programu. Proces przeglądu jest nieustrukturyzowany i otwarty, aby rozwiązać pewne problemy dotyczące projektu programu. Rutman (1980), Smith (1989) i Wholly (1994) zasugerowali poniższe pytania, aby pomóc w procesie przeglądu.

Czy cele i cele programu są dobrze zdefiniowane?
Czy cele i założenia programu są wykonalne?
Czy zakładany w teorii programu proces zmiany jest możliwy do zrealizowania?
Czy procedury identyfikowania członków grupy docelowej, świadczenia im usług i utrzymywania ich do końca są dobrze zdefiniowane i wystarczające?
Czy elementy składowe, działania i funkcje programu są dobrze zdefiniowane i wystarczające?
Czy środki przeznaczone na program i jego różne działania są odpowiednie?
  • Ocena poprzez porównanie z badaniami i praktyką

Ta forma oceny wymaga uzyskania informacji z literatury naukowej i istniejących praktyk w celu oceny różnych elementów teorii programu. Oceniający może ocenić, czy teoria programu jest zgodna z dowodami badawczymi i praktycznymi doświadczeniami programów o podobnych koncepcjach.

  • Ocena poprzez obserwację wstępną

Podejście to polega na włączeniu obserwacji z pierwszej ręki do procesu oceny, ponieważ zapewnia sprawdzenie zgodności między teorią programu a samym programem. Obserwacje mogą koncentrować się na osiągalności wyników, okolicznościach populacji docelowej oraz wiarygodności działań programu i zasobów wspierających.

Te różne formy oceny teorii programu można przeprowadzić, aby upewnić się, że teoria programu jest solidna.

strukturze teorii . Podejście to, znane jako integracyjna analiza zdań (IPA), opiera się na strumieniach badań, w których stwierdzono, że teorie działały zgodnie z oczekiwaniami, gdy miały lepszą strukturę (dodatkowo znaczenie i dane). IPA obejmuje, po pierwsze, identyfikację twierdzeń (stwierdzeń przyczynowo-skutkowych) i stworzenie wizualnego diagramu tych twierdzeń. Następnie badacz bada liczbę pojęć i związki przyczynowe między nimi (kółka i strzałki na diagramie), aby zmierzyć szerokość i głębokość zrozumienia odzwierciedloną w strukturze teorii. Miara szerokości jest liczbą pojęć. Opiera się to na założeniu, że programy w świecie rzeczywistym obejmują wiele połączonych ze sobą części, dlatego teoria, która pokazuje większą liczbę pojęć, pokazuje większy zakres zrozumienia programu. Głębia to procent koncepcji, które są wynikiem więcej niż jednej innej koncepcji . Opiera się to na założeniu, że w rzeczywistych programach rzeczy mają więcej niż jedną przyczynę. Zatem pojęcie, które jest wynikiem więcej niż jednego innego pojęcia w teorii, świadczy o lepszym zrozumieniu tego pojęcia; teoria z wyższym odsetkiem lepiej zrozumianych pojęć pokazuje większą głębię zrozumienia programu.

Ocena wdrożenia

Analiza procesu wykracza poza teorię tego, co program ma robić, i zamiast tego ocenia, w jaki sposób program jest wdrażany. Ta ocena określa, czy komponenty zidentyfikowane jako krytyczne dla powodzenia programu są wdrażane. Ocena określa, czy dotarto do docelowych populacji, czy ludzie otrzymują zamierzone usługi, czy personel jest odpowiednio wykwalifikowany. Ewaluacja procesu to ciągły proces, w którym można zastosować powtarzalne pomiary, aby ocenić, czy program jest skutecznie wdrażany. Problem ten jest szczególnie istotny, ponieważ wiele innowacji, szczególnie w obszarach takich jak edukacja i polityka publiczna, składa się z dość złożonych łańcuchów działań. Na przykład ocena procesu może być wykorzystana w badaniach zdrowia publicznego. Wiele z tych elementów opiera się na wcześniejszej prawidłowej implementacji innych elementów i zakończy się niepowodzeniem, jeśli wcześniejsza implementacja nie została wykonana poprawnie. Zostało to ostatecznie wykazane przez Gene V. Glass i wielu innych w latach 80. Ponieważ nieprawidłowe lub nieskuteczne wdrożenie przyniesie takie same neutralne lub negatywne rezultaty, jak prawidłowe wdrożenie słabej innowacji, istotne jest, aby badania ewaluacyjne oceniały sam proces wdrażania. W przeciwnym razie dobry innowacyjny pomysł może zostać błędnie uznany za nieskuteczny, podczas gdy w rzeczywistości po prostu nigdy nie został wdrożony zgodnie z założeniami.

Ocena wpływu (skuteczności)

Ewaluacja wpływu określa skutki przyczynowe programu. Obejmuje to próbę zmierzenia, czy program osiągnął zamierzone wyniki, tj. wyniki programu.

Wyniki programu

Rezultatem jest stan populacji docelowej lub warunki społeczne, które program ma zmienić. Rezultaty programu to zaobserwowane cechy populacji docelowej lub warunki społeczne, a nie program. Tak więc koncepcja rezultatu niekoniecznie oznacza, że ​​cele programu rzeczywiście uległy zmianie lub że program spowodował ich zmianę w jakikolwiek sposób.

Istnieją dwa rodzaje wyników, a mianowicie poziom wyniku i zmiana wyniku, również związane z efektem programu.

  • Poziom wyniku odnosi się do statusu wyniku w pewnym momencie.
  • Zmiana wyników odnosi się do różnicy między poziomami wyników w różnych punktach w czasie.
  • Efekt programu odnosi się do tej części zmiany wyniku, którą można przypisać wyłącznie programowi, w przeciwieństwie do wpływu jakiegoś innego czynnika.

Mierzenie wyników programu

Pomiar wyniku polega na przedstawieniu okoliczności określonych jako wynik za pomocą obserwowalnych wskaźników, które zmieniają się systematycznie wraz ze zmianami lub różnicami w tych okolicznościach. Pomiar wyników to systematyczny sposób oceny stopnia, w jakim program osiągnął zamierzone wyniki. Według Moutona (2009) mierzenie wpływu programu oznacza wykazanie lub oszacowanie skumulowanego, zróżnicowanego efektu bezpośredniego i pojawiającego się, z których część może być niezamierzona, a zatem nieprzewidziana.

Pomiar wyników pomaga zrozumieć, czy program jest skuteczny, czy nie. Ponadto pomaga wyjaśnić zrozumienie programu. Ale najważniejszym powodem podjęcia wysiłku jest zrozumienie wpływu pracy na obsługiwanych ludzi. Dzięki zebranym informacjom można określić, które działania należy kontynuować i rozwijać, a które należy zmienić, aby poprawić skuteczność programu.

Może to obejmować zastosowanie zaawansowanych technik statystycznych w celu zmierzenia efektu programu i znalezienia związku przyczynowego między programem a różnymi wynikami.

Ocena efektywności

Wreszcie analiza kosztów i korzyści lub opłacalności ocenia efektywność programu. Oceniający przedstawiają korzyści i koszty programu dla porównania. Skuteczny program ma niższy stosunek kosztów do korzyści. Istnieją dwa rodzaje wydajności, a mianowicie statyczna i dynamiczna. Podczas gdy efektywność statyczna dotyczy osiągania celów przy jak najmniejszych kosztach, efektywność dynamiczna dotyczy ciągłego doskonalenia.

Ustalenie związku przyczynowego

Być może najtrudniejszą częścią ewaluacji jest ustalenie, czy sam program powoduje zmiany obserwowane w populacji, do której był skierowany. Zdarzenia lub procesy poza programem mogą być rzeczywistą przyczyną obserwowanego wyniku (lub rzeczywistego zapobieżenia przewidywanemu wynikowi).

Przyczyna jest trudna do ustalenia. Jednym z głównych powodów tego jest autoselekcji . Ludzie sami wybierają udział w programie. Na przykład w programie szkolenia zawodowego niektóre osoby decydują się na udział, a inne nie. Ci, którzy uczestniczą, mogą różnić się od tych, którzy nie uczestniczą w ważnych aspektach. Mogą być bardziej zdeterminowani, aby znaleźć pracę lub mieć lepsze zasoby wsparcia. Te cechy mogą faktycznie powodować obserwowany skutek zwiększonego zatrudnienia, a nie program szkolenia zawodowego.

Oceny przeprowadzone z losowym przydziałem pozwalają na silniejsze wnioskowanie o związku przyczynowym. Losowe przydzielanie osób do udziału lub nieuczestniczenia w programie zmniejsza lub eliminuje błąd autoselekcji . Zatem grupa osób, które uczestniczą, byłaby prawdopodobnie bardziej porównywalna z grupą, która nie uczestniczyła.

Jednakże, ponieważ większość programów nie może korzystać z losowego przypisania, nie można określić przyczyny. Analiza wpływu może nadal dostarczać przydatnych informacji. Na przykład można opisać wyniki programu. W ten sposób ewaluacja może opisywać, że osoby, które uczestniczyły w programie, miały większe szanse na przeżycie danego rezultatu niż osoby, które nie uczestniczyły.

Jeśli program jest dość duży i jest wystarczająco dużo danych, można zastosować analizę statystyczną, aby uzasadnić program, pokazując na przykład, że inne przyczyny są mało prawdopodobne.

Wiarygodność, trafność i wrażliwość

Ważne jest, aby instrumenty (np. testy, kwestionariusze itp.) stosowane w ewaluacji programu były jak najbardziej wiarygodne, trafne i czułe. Według Rossiego i in. (2004, s. 222), „niewłaściwie wybrany lub źle przemyślany środek może całkowicie podważyć wartość oceny wpływu, generując mylące szacunki. Oceny skutków można uznać za wiarygodne tylko wtedy, gdy miary wyników są ważne, wiarygodne i odpowiednio czułe”.

Niezawodność

Rzetelność przyrządu pomiarowego to „stopień, w jakim środek daje te same wyniki, gdy jest wielokrotnie używany do pomiaru tej samej rzeczy” (Rossi i in., 2004, s. 218). Im bardziej wiarygodna jest miara, tym większa jest jej moc statystyczna i tym bardziej wiarygodne są jej wyniki. Jeśli przyrząd pomiarowy jest zawodny, może rozmyć i zaciemnić rzeczywiste efekty programu, a program „wyda się mniej skuteczny niż jest w rzeczywistości” (Rossi i in., 2004, s. 219). Dlatego ważne jest, aby ocena była jak najbardziej wiarygodna.

Ważność

Trafność narzędzia pomiarowego to „stopień, w jakim mierzy on to, co ma mierzyć” (Rossi i in., 2004, s. 219). Ta koncepcja może być trudna do dokładnego zmierzenia: w powszechnym użyciu w ewaluacjach instrument może zostać uznany za ważny, jeśli zostanie zaakceptowany jako ważny przez interesariuszy (interesariuszami mogą być na przykład fundatorzy, administratorzy programów itp.).

Wrażliwość

Głównym celem procesu ewaluacji jest zmierzenie, czy program ma wpływ na problem społeczny, który ma rozwiązać; w związku z tym instrument pomiarowy musi być wystarczająco czuły, aby dostrzec te potencjalne zmiany (Rossi i in., 2004). Instrument pomiarowy może być niewrażliwy, jeśli zawiera elementy mierzące wyniki, na które program nie mógł wpłynąć, lub jeśli instrument został pierwotnie opracowany do zastosowań dla jednostek (na przykład znormalizowane pomiary psychologiczne), a nie dla otoczenia grupowego (Rossi i in. , 2004). Czynniki te mogą powodować „szum”, który może przesłaniać efekt, jaki program mógł mieć.

Jedynie miary, które odpowiednio osiągają kryteria wiarygodności, trafności i wrażliwości, można uznać za wiarygodne oceny. Obowiązkiem ewaluatorów jest sporządzanie wiarygodnych ewaluacji, ponieważ ich ustalenia mogą mieć dalekosiężne skutki. Kompromitująca ocena, która nie jest w stanie wykazać, że program osiąga swój cel, podczas gdy w rzeczywistości powoduje pozytywne zmiany, może spowodować niezasłużoną utratę finansowania programu. [ niewłaściwa synteza? ]

Etapy programowania ram ewaluacji

Centrum Kontroli Chorób (CDC) określa sześć kroków do pełnej oceny programu. Opisane kroki to: zaangażowanie interesariuszy, opisanie programu, ukierunkowanie projektu ewaluacji, zebranie wiarygodnych dowodów, uzasadnienie wniosków oraz zapewnienie wykorzystania i podzielenia się zdobytymi doświadczeniami. Kroki te mogą odbywać się w ramach cyklu reprezentującego ciągły proces oceny.

Ocena zbiorowego wpływu

Chociaż wymienione tutaj procesy ewaluacji programu są odpowiednie dla większości programów, wysoce złożone nieliniowe inicjatywy, takie jak te wykorzystujące model zbiorowego wpływu (CI), wymagają dynamicznego podejścia do ewaluacji. Zbiorowy wpływ to „zaangażowanie grupy ważnych podmiotów z różnych sektorów we wspólny program rozwiązania określonego problemu społecznego” i zazwyczaj obejmuje trzy etapy, z których każdy ma inne zalecane podejście do oceny:

  • Wczesna faza: uczestnicy CI badają możliwe strategie i opracowują plany działania. Charakteryzuje się niepewnością.

Zalecane podejście do ewaluacji: Ewaluacja rozwojowa, aby pomóc partnerom CI zrozumieć kontekst inicjatywy i jej rozwój: „Ewaluacja rozwojowa obejmuje informacje zwrotne w czasie rzeczywistym na temat tego, co pojawia się w złożonych, dynamicznych systemach, gdy innowatorzy dążą do zmiany systemów”.

  • Faza środkowa: partnerzy CI wdrażają uzgodnione strategie. Niektóre wyniki stają się łatwiejsze do przewidzenia.

Zalecane podejście do ewaluacji: Ewaluacja kształtująca w celu udoskonalenia i poprawy postępów, a także ciągła ewaluacja rozwojowa w celu zbadania nowych elementów w miarę ich pojawiania się. Ocena formatywna obejmuje „dokładne monitorowanie procesów w celu reagowania na pojawiające się właściwości i wszelkie nieoczekiwane wyniki”.

  • Późniejsza faza: Działania osiągają stabilność i nie są już w fazie formacji. Doświadczenie przekazuje wiedzę o tym, które działania mogą być skuteczne.

Zalecane podejście do ewaluacji: Ewaluacja podsumowująca „wykorzystuje zarówno metody ilościowe, jak i jakościowe, aby lepiej zrozumieć, co osiągnięto [w ramach] projektu oraz jak i dlaczego to się stało”.

Planowanie ewaluacji programu

Planowanie ewaluacji programu można podzielić na cztery części: ukierunkowanie ewaluacji, zbieranie informacji, wykorzystywanie informacji i zarządzanie ewaluacją. Ewaluacja programu polega na zastanowieniu się nad pytaniami o cel ewaluacji, jakie pytania należy zadać i co zostanie zrobione z zebranymi informacjami. Krytyczne pytania do rozważenia obejmują:

  • Co mam oceniać?
  • Jaki jest cel tej oceny?
  • Kto skorzysta z tej oceny? Jak go wykorzystają?
  • Na jakie pytania ma odpowiedzieć ta ocena?
  • Jakich informacji potrzebuję, aby odpowiedzieć na pytania?
  • Kiedy potrzebna jest ocena? Jakich zasobów potrzebuję?
  • W jaki sposób będę zbierać potrzebne mi dane?
  • Jak będą analizowane dane?
  • Jaki jest mój harmonogram wdrożenia?

Ograniczenia i wyzwania metodologiczne

Podejście do butów

„Podejście ewaluacyjne skromne” ma na celu pomóc ewaluatorom działającym przy ograniczonym budżecie, ograniczonym dostępie lub dostępności danych i ograniczonym czasie realizacji, w przeprowadzeniu skutecznych ewaluacji, które są metodologicznie rygorystyczne (Bamberger, Rugh, Church & Fort, 2004). Podejście to stanowi odpowiedź na stale rosnące zapotrzebowanie na procesy oceny, które są szybsze i bardziej ekonomiczne w trudnych warunkach budżetowych, ograniczeń czasowych i ograniczonej dostępności danych. Jednak nie zawsze jest możliwe zaprojektowanie ewaluacji w taki sposób, aby osiągnąć najwyższe dostępne standardy. Wiele programów nie zawiera procedury ewaluacji w swoim projekcie lub budżecie. W związku z tym wiele procesów ewaluacji nie rozpoczyna się, dopóki program nie jest już w toku, co może skutkować ograniczeniami czasowymi, budżetowymi lub danymi dla ewaluatorów, co z kolei może wpłynąć na rzetelność, trafność lub wrażliwość ewaluacji. > Podejście skromne pomaga zapewnić osiągnięcie maksymalnego możliwego rygoru metodologicznego przy tych ograniczeniach.

Ograniczenia budżetowe

Często programy napotykają ograniczenia budżetowe, ponieważ większość oryginalnych projektów nie obejmuje budżetu na przeprowadzenie ewaluacji (Bamberger i in., 2004). W związku z tym automatycznie powoduje to przydzielanie ewaluacjom mniejszych budżetów, które są niewystarczające do przeprowadzenia rygorystycznej ewaluacji. Ze względu na ograniczenia budżetowe skuteczne zastosowanie najbardziej odpowiednich instrumentów metodologicznych może być trudne. Ograniczenia te mogą w konsekwencji wpływać na dostępny czas na przeprowadzenie oceny (Bamberger i in., 2004). Ograniczenia budżetowe można rozwiązać, upraszczając projekt ewaluacji, zmieniając wielkość próby, badając ekonomiczne metody gromadzenia danych (takie jak wykorzystywanie ochotników do zbierania danych, skracanie ankiet lub wykorzystywanie grup fokusowych i kluczowych informatorów) lub poszukiwanie wiarygodnych danych wtórnych (Bamberger i in. al., 2004).

Ograniczenia czasowe

Największe ograniczenie czasowe, z jakim może spotkać się ewaluator, ma miejsce wtedy, gdy ewaluator zostaje wezwany do przeprowadzenia ewaluacji, gdy projekt jest już w toku, jeśli ma ograniczony czas na przeprowadzenie ewaluacji w porównaniu z czasem trwania badania lub jeśli nie wystarczająco dużo czasu na odpowiednie zaplanowanie. Ograniczenia czasowe są szczególnie problematyczne, gdy ewaluator nie jest zaznajomiony z obszarem lub krajem, w którym realizowany jest program (Bamberger i in., 2004). Ograniczeniom czasowym można zaradzić za pomocą metod wymienionych powyżej w ramach ograniczeń budżetowych, a także poprzez staranne planowanie w celu zapewnienia skutecznego gromadzenia i analizy danych w ograniczonej przestrzeni czasowej.

Ograniczenia danych

Jeśli ewaluacja zostanie rozpoczęta na późnym etapie programu, przed rozpoczęciem interwencji może nie być dostępnych danych wyjściowych na temat warunków w grupie docelowej (Bamberger i in., 2004). Inną możliwą przyczyną ograniczeń danych jest to, że dane zostały zebrane przez personel programu i zawierają systematyczne błędy sprawozdawcze lub słabe standardy prowadzenia dokumentacji, a następnie są mało przydatne (Bamberger i in., 2004). Inne źródło ograniczeń danych może wynikać z trudności w dotarciu do grupy docelowej w celu zebrania danych – na przykład osób bezdomnych, narkomanów, pracowników migrujących itp. (Bamberger i in., 2004). Ograniczenia danych można rozwiązać, rekonstruując dane podstawowe z danych wtórnych lub stosując wiele metod. Wiele metod, takich jak połączenie danych jakościowych i ilościowych, może zwiększyć ważność poprzez triangulację oraz zaoszczędzić czas i pieniądze. Dodatkowo, ograniczenia te mogą być rozwiązane poprzez staranne planowanie i konsultacje z zainteresowanymi stronami programu. Dzięki jasnemu określeniu i zrozumieniu potrzeb klienta przed oceną, koszty i czas procesu oceny mogą zostać usprawnione i zredukowane, przy jednoczesnym zachowaniu wiarygodności.

Ogólnie rzecz biorąc, ograniczenia czasowe, finansowe i dotyczące danych mogą mieć negatywny wpływ na ważność, wiarygodność i możliwość przenoszenia oceny. Podejście „skromne” zostało stworzone, aby pomóc ewaluatorom w skorygowaniu wskazanych powyżej ograniczeń poprzez określenie sposobów na zmniejszenie kosztów i czasu, zrekonstruowanie danych bazowych i zapewnienie maksymalnej jakości przy istniejących ograniczeniach (Bamberger i in., 2004).

Podejście pięciostopniowe

Pięciopoziomowe podejście do ewaluacji dalej rozwija strategie, na których opiera się podejście „skromne” do ewaluacji. Został pierwotnie opracowany przez Jacobsa (1988) jako alternatywny sposób ewaluacji programów opartych na społeczności i jako taki został zastosowany w ogólnostanowym programie dotyczącym dzieci i rodzin w Massachusetts, USA. dokładnie do charakterystyki samych programów oraz do szczególnych zasobów i ograniczeń nieodłącznie związanych z każdym kontekstem oceny. Innymi słowy, pięciopoziomowe podejście ma na celu dostosowanie ewaluacji do konkretnych potrzeb każdego kontekstu ewaluacji.

Wcześniejsze poziomy (1-3) generują informacje opisowe i zorientowane na proces, podczas gdy późniejsze poziomy (4-5) określają zarówno krótkoterminowe, jak i długoterminowe efekty programu. Pięć poziomów jest zorganizowanych w następujący sposób:

  • Poziom 1: ocena potrzeb (czasami określana jako przedwdrożeniowa)
  • Poziom 2: monitorowanie i odpowiedzialność
  • Poziom 3: przegląd jakości i wyjaśnienie programu (czasami określane jako zrozumienie i udoskonalenie)
  • Poziom 4: osiąganie wyników
  • Poziom 5: ustalanie wpływu

Dla każdego poziomu identyfikuje się cel(e) wraz z odpowiadającymi im zadaniami, które umożliwiają osiągnięcie określonego celu poziomu. Na przykład celem pierwszego poziomu, oceny potrzeb, byłoby udokumentowanie zapotrzebowania na program w społeczności. Zadaniem tego poziomu byłaby ocena potrzeb i zasobów społeczności poprzez współpracę ze wszystkimi zainteresowanymi stronami.

Chociaż poziomy są skonstruowane tak, aby można je było wykorzystywać kolejno po sobie, co oznacza, że ​​informacje zebrane na wcześniejszych poziomach są wymagane do zadań na wyższych poziomach, uznaje się płynną naturę oceny. Dlatego możliwe jest przejście z późniejszych szczebli z powrotem na poprzednie, a nawet praca na dwóch szczeblach jednocześnie. Ewaluatorzy programów powinni jednak pamiętać, że program musi być oceniany na odpowiednim poziomie.

Mówi się, że podejście pięciopoziomowe jest przydatne w programach wsparcia rodzin, które kładą nacisk na wzmocnienie społeczności i uczestników. Dzieje się tak, ponieważ zachęca do podejścia partycypacyjnego obejmującego wszystkie zainteresowane strony i to właśnie poprzez ten proces refleksji osiąga się upodmiotowienie.

Wyzwania metodologiczne stawiane przez język i kulturę

Celem tej sekcji jest zwrócenie uwagi na niektóre wyzwania metodologiczne i dylematy, przed którymi mogą stanąć ewaluatorzy podczas przeprowadzania ewaluacji programu w kraju rozwijającym się. W wielu krajach rozwijających się głównymi sponsorami ewaluacji są agencje darczyńców z krajów rozwiniętych, a agencje te wymagają regularnych raportów z ewaluacji w celu utrzymania odpowiedzialności i kontroli zasobów, a także generowania dowodów na sukces lub porażkę programu. Istnieje jednak wiele przeszkód i wyzwań, przed którymi stają ewaluatorzy, próbując wdrożyć program ewaluacji, który próbuje wykorzystać techniki i systemy, które nie zostały opracowane w kontekście, w którym są stosowane. Niektóre kwestie obejmują różnice w kulturze, postawach, języku i procesie politycznym.

Ebbutt (1998, s. 416) definiuje kulturę jako „konstelację zarówno pisanych, jak i niepisanych oczekiwań, wartości, norm, zasad, praw, artefaktów, rytuałów i zachowań, które przenikają społeczeństwo i wpływają na to, jak ludzie zachowują się społecznie”. Kultura może wpływać na wiele aspektów procesu ewaluacji, w tym na gromadzenie danych, wdrażanie programu ewaluacji oraz analizę i zrozumienie wyników ewaluacji. W szczególności instrumenty tradycyjnie stosowane do gromadzenia danych, takie jak kwestionariusze i częściowo ustrukturyzowane wywiady, muszą być wrażliwe na różnice kulturowe, jeżeli zostały pierwotnie opracowane w innym kontekście kulturowym. Zrozumienie i znaczenie konstruktów, które ewaluator próbuje zmierzyć, może nie być dzielone między ewaluatora i populację próby, a zatem przeniesienie pojęć jest ważnym pojęciem, ponieważ wpłynie to na jakość gromadzenia danych przez ewaluatorów jako jak również analizy i wyniki generowane przez dane.

Ważną rolę w procesie ewaluacji odgrywa również język, ponieważ język jest ściśle powiązany z kulturą. Język może być główną przeszkodą w komunikowaniu koncepcji, do których ewaluator stara się uzyskać dostęp, a tłumaczenie jest często wymagane. Z tłumaczeniem wiąże się wiele problemów, w tym utrata znaczenia, wyolbrzymianie lub wzmacnianie znaczenia przez tłumaczy. Na przykład terminy, które są specyficzne kontekstowo, mogą nie być tłumaczone na inny język z taką samą wagą lub znaczeniem. W szczególności instrumenty gromadzenia danych muszą uwzględniać znaczenie, ponieważ przedmiot może nie zostać uznany za drażliwy w określonym kontekście, może okazać się drażliwy w kontekście, w którym ma miejsce ocena. W związku z tym ewaluatorzy muszą wziąć pod uwagę dwie ważne koncepcje podczas administrowania narzędziami do gromadzenia danych: równoważność leksykalną i równoważność pojęciową. Równoważność leksykalna zadaje pytanie: jak sformułować pytanie w dwóch językach, używając tych samych słów? Jest to trudne zadanie do wykonania, a użycie technik, takich jak tłumaczenie wsteczne, może pomóc oceniającemu, ale może nie skutkować doskonałym przeniesieniem znaczenia. Prowadzi to do następnego punktu, równoważności pojęciowej. Nie jest częstym zjawiskiem jednoznaczne przeniesienie pojęć z jednej kultury do drugiej. Instrumenty do gromadzenia danych, które nie przeszły odpowiednich testów i pilotażu, mogą zatem dawać wyniki, które nie są przydatne, ponieważ pojęcia mierzone przez instrument mogły nabrać innego znaczenia, przez co instrument stał się niewiarygodny i nieważny.

Można zatem zauważyć, że ewaluatorzy muszą wziąć pod uwagę wyzwania metodologiczne wynikające z różnic kulturowych i językowych, kiedy próbują przeprowadzić ewaluację programu w kraju rozwijającym się.

Wyniki użytkowania

Istnieją trzy konwencjonalne zastosowania wyników ewaluacji: wykorzystanie perswazyjne , bezpośrednie (instrumentalne) wykorzystanie i wykorzystanie koncepcyjne .

Przekonujące wykorzystanie

Perswazyjne wykorzystanie to pozyskiwanie wyników ewaluacji w celu przekonania odbiorców do poparcia programu lub do przeciwstawienia się mu. O ile „perswazja” nie jest tą samą osobą, która prowadziła ewaluację, ta forma wykorzystania nie jest szczególnie interesująca ewaluatorów, ponieważ często nie są oni w stanie przewidzieć możliwych przyszłych wysiłków perswazyjnych.

Bezpośrednie (instrumentalne) wykorzystanie

Ewaluatorzy często dostosowują swoje ewaluacje do wyników, które mogą mieć bezpośredni wpływ na poprawę struktury lub procesu programu. Na przykład ocena nowej interwencji edukacyjnej może dać wyniki wskazujące na brak poprawy ocen uczniów. Może to wynikać z tego, że interwencja nie ma solidnych podstaw teoretycznych lub że interwencja nie jest prowadzona zgodnie z pierwotnym zamierzeniem. Miejmy nadzieję, że wyniki ewaluacji skłonią twórców interwencji do powrotu do deski kreślarskiej w celu odtworzenia podstawowej struktury interwencji, a nawet zmiany procesów wdrażania.

Wykorzystanie koncepcyjne

Ale nawet jeśli wyniki ewaluacji nie mają bezpośredniego wpływu na zmianę kształtu programu, nadal mogą być wykorzystywane do uświadomienia ludziom problemów, które program próbuje rozwiązać. Wracając do przykładu ewaluacji nowatorskiej interwencji edukacyjnej, wyniki można również wykorzystać do informowania nauczycieli i uczniów o różnych barierach, które mogą wpływać na trudności uczniów w nauce. Ta nowa informacja może następnie zapoczątkować szereg badań dotyczących tych barier.

Zmienne wpływające na wykorzystanie

Istnieje pięć warunków, które wydają się wpływać na użyteczność wyników ewaluacji, a mianowicie trafność , komunikacja między ewaluatorami a użytkownikami wyników , przetwarzanie informacji przez użytkowników , wiarygodność wyników , a także poziom zaangażowania lub rzecznictwa użytkownicy .

Wytyczne dotyczące maksymalizacji wykorzystania

Cytowane bezpośrednio z Rossi et al. (2004, s. 416):

  • Oceniający muszą rozumieć style poznawcze decydentów
  • Wyniki oceny muszą być terminowe i dostępne w razie potrzeby
  • Oceny muszą respektować zobowiązania programowe interesariuszy
  • Plany wykorzystania i rozpowszechniania powinny być częścią projektu ewaluacji
  • Oceny powinny obejmować ocenę wykorzystania

Wewnętrzni a zewnętrzni ewaluatorzy programu

Wybór ewaluatora wybranego do ewaluacji programu można uznać za równie ważny jak sam proces ewaluacji. Ewaluatorzy mogą być wewnętrzni (osoby związane z programem, który ma być realizowany) lub zewnętrzni (osoby niezwiązane z żadną częścią realizacji/wdrażania programu). (Pion Służb Nadzorczych, 2004). Poniżej przedstawiono krótkie podsumowanie zalet i wad ewaluatorów wewnętrznych i zewnętrznych zaczerpniętych z Działu usług nadzorczych (2004), aby zapoznać się z bardziej wyczerpującą listą zalet i wad ewaluatorów wewnętrznych i zewnętrznych, zob. (Podział usług nadzorczych, 2004 ).

Ewaluatorzy wewnętrzni

Zalety

  • Może mieć lepszą ogólną wiedzę na temat programu i posiadać nieformalną wiedzę o programie
  • Mniej groźny, jak już zaznajomiony z personelem
  • Mniej kosztowny

Niedogodności

  • Może być mniej obiektywny
  • Może być bardziej zajęty innymi działaniami programu i nie poświęcać pełnej uwagi ewaluacji
  • Może nie być odpowiednio przeszkolony jako ewaluator.

Ewaluatorzy zewnętrzni

Zalety

  • Bardziej obiektywny proces, oferuje nowe perspektywy, różne kąty obserwacji i krytyki procesu
  • Może być w stanie poświęcić więcej czasu i uwagi na ocenę
  • Może mieć większą wiedzę i mózg oceny

Niedogodności

  • Może być bardziej kosztowny i wymagać więcej czasu na zawarcie umowy, monitoring, negocjacje itp.
  • Może nie być zaznajomiony z personelem programu i wywoływać niepokój przed oceną
  • Może nie być zaznajomiony z polityką organizacji, pewnymi ograniczeniami wpływającymi na program.

Trzy paradygmaty

Pozytywista

Potter (2006) identyfikuje i opisuje trzy szerokie paradygmaty ewaluacji programów. Pierwszym i prawdopodobnie najbardziej powszechnym jest pozytywistyczne , w którym ocena może mieć miejsce tylko tam, gdzie istnieją „obiektywne”, obserwowalne i mierzalne aspekty programu, wymagające głównie dowodów ilościowych. Podejście pozytywistyczne obejmuje takie wymiary ewaluacji, jak ocena potrzeb, ocena teorii programu, ocena procesu programu, ocena wpływu i ocena efektywności (Rossi, Lipsey i Freeman, 2004). Szczegółowym przykładem podejścia pozytywistycznego jest badanie przeprowadzone przez Public Policy Institute of California, zatytułowane „Evaluating Academic Programs in California's Community Colleges”, w którym ewaluatorzy badają mierzalne działania (tj. dane rekrutacyjne) i przeprowadzają oceny ilościowe, takie jak analiza czynnikowa.

interpretacyjny

Drugim paradygmatem zidentyfikowanym przez Pottera (2006) jest podejście interpretacyjne, w którym uważa się, że istotne jest, aby ewaluator rozwinął zrozumienie perspektywy, doświadczeń i oczekiwań wszystkich interesariuszy. Doprowadziłoby to do lepszego zrozumienia różnych znaczeń i potrzeb posiadanych przez interesariuszy, co jest kluczowe, zanim będzie można dokonać oceny zalet lub wartości programu. Kontakt ewaluatora z programem często trwa przez dłuższy czas i chociaż nie ma wystandaryzowanej metody, powszechnie stosuje się obserwację, wywiady i grupy fokusowe. Raport zlecony przez Bank Światowy wyszczególnia 8 podejść, w których można zintegrować metody jakościowe i ilościowe i być może uzyskać wgląd nieosiągalny za pomocą tylko jednej metody.

Krytyczno-emancypacyjny

Potter (2006) identyfikuje również krytyczno-emancypacyjne podejścia do ewaluacji programów, które w dużej mierze opierają się na badaniach w działaniu na potrzeby transformacji społecznej. Ten typ podejścia jest znacznie bardziej ideologiczny i często wiąże się z większym stopniem społecznego aktywizmu ze strony ewaluatora. Podejście to byłoby odpowiednie dla ocen jakościowych i partycypacyjnych. Potter twierdzi, że ze względu na krytyczne skupienie się na strukturach władzy społecznej oraz nacisk na partycypację i upodmiotowienie, ten rodzaj oceny może być szczególnie przydatny w krajach rozwijających się.

Niezależnie od paradygmatu stosowanego w każdej ewaluacji programu, czy to pozytywistycznej, interpretatywnej czy krytyczno-emancypacyjnej, konieczne jest uznanie, że ewaluacja odbywa się w określonych kontekstach społeczno-politycznych. Ewaluacja nie istnieje w próżni i na wszystkie ewaluacje, czy są tego świadomi, czy nie, wpływają czynniki społeczno-polityczne. Ważne jest, aby rozpoznać oceny, a wnioski wynikające z tego rodzaju procesu oceny można wykorzystać na korzyść lub przeciw określonym programom ideologicznym, społecznym i politycznym (Weiss, 1999). Jest to szczególnie prawdziwe w czasach, gdy zasoby są ograniczone, a organizacje rywalizują o to, by niektóre projekty miały wyższy priorytet niż inne (Louw, 1999).

Ocena upodmiotowienia

Główny artykuł: Ocena upodmiotowienia

Ewaluacja wzmocnienia wykorzystuje koncepcje, techniki i ustalenia ewaluacyjne, aby wspierać doskonalenie i samostanowienie konkretnego programu skierowanego do określonej grupy docelowej/uczestników programu. Ewaluacja uprawnień jest zorientowana na wartość, aby zaangażować uczestników programu we wprowadzanie zmian w programach, do których są skierowani. Jednym z głównych celów ewaluacji upełnomocnienia jest włączenie uczestników programu w prowadzenie procesu ewaluacji. Po tym procesie często następuje swego rodzaju krytyczna refleksja nad programem. W takich przypadkach ewaluator zewnętrzny/outsider pełni rolę konsultanta/trenera/facylitatora dla uczestników programu i stara się zrozumieć program z perspektywy uczestników. Po uzyskaniu jasnego zrozumienia perspektywy uczestników można opracować odpowiednie kroki i strategie (z cennym wkładem uczestników) oraz wdrożyć je w celu osiągnięcia pożądanych rezultatów.

Według Fettermana (2002) ewaluacja wzmocnienia składa się z trzech etapów;

  • Ustanowienie misji
  • Inwentaryzacja
  • Planowanie na przyszłość

Ustanowienie misji

W pierwszym etapie ewaluatorzy proszą uczestników programu i pracowników (programu) o zdefiniowanie misji programu. Oceniający mogą zdecydować się na wykonanie tego kroku, zbierając razem takie strony i prosząc je o wygenerowanie i omówienie misji programu. Logika stojąca za tym podejściem polega na pokazaniu każdej ze stron, że mogą istnieć rozbieżne poglądy na temat tego, czym właściwie jest misja programu.

Inwentaryzacja

Inwentaryzacja jako drugi krok składa się z dwóch ważnych zadań. Pierwsze zadanie polega na wygenerowaniu przez uczestników programu i pracowników programu listy aktualnych kluczowych działań, które są kluczowe dla funkcjonowania programu. Drugie zadanie dotyczy oceny zidentyfikowanych kluczowych działań, zwanej również ustalaniem priorytetów . Na przykład każdy członek drużyny może zostać poproszony o ocenę każdej kluczowej czynności w skali od 1 do 10, gdzie 10 oznacza najważniejszą, a 1 najmniej ważną. Rolą ewaluatora podczas tego zadania jest ułatwienie interaktywnej dyskusji wśród członków w celu ustalenia pewnej linii bazowej wspólnego znaczenia i zrozumienia odnoszących się do kluczowych działań. Ponadto podczas rozważania niektórych kluczowych działań można włączyć do dyskusji odpowiednią dokumentację (taką jak sprawozdania finansowe i informacje o programie nauczania).

Planowanie na przyszłość

Po ustaleniu priorytetów kluczowych działań następnym krokiem jest zaplanowanie przyszłości. Tutaj ewaluator pyta uczestników programu i personel programu, w jaki sposób chcieliby ulepszyć program w odniesieniu do wymienionych kluczowych działań. Celem jest stworzenie nici spójności, dzięki której wygenerowana misja (krok 1) kieruje inwentaryzacją (krok 2), która stanowi podstawę planów na przyszłość (krok 3). W ten sposób w planowaniu na przyszłość konkretne cele są powiązane z odpowiednimi kluczowymi działaniami. Oprócz tego ważne jest również, aby uczestnicy programu i personel programu identyfikowali możliwe formy dowodów (mierzalnych wskaźników), które można wykorzystać do monitorowania postępów w osiąganiu określonych celów. Cele muszą być powiązane z działaniami programu, talentami, zasobami i zakresem możliwości – krótko mówiąc, sformułowane cele muszą być realistyczne.

Te trzy etapy ewaluacji wzmocnienia stwarzają potencjał, aby program działał efektywniej i lepiej odpowiadał potrzebom grupy docelowej. Ewaluacja wzmacniająca jako proces, który jest wspierany przez wykwalifikowanego ewaluatora, wyposaża i wzmacnia uczestników, zapewniając im „nowy” sposób krytycznego myślenia i refleksji nad programami. Ponadto umożliwia uczestnikom programu i personelowi rozpoznanie własnej zdolności do wprowadzenia zmian w programie poprzez wspólne działanie.

Paradygmat transformacyjny

Paradygmat transformacyjny jest integralną częścią włączania sprawiedliwości społecznej do ewaluacji. Donna Mertens, główna badaczka w tej dziedzinie, twierdzi, że paradygmat transformacyjny „skupia się przede wszystkim na punktach widzenia grup zmarginalizowanych i przesłuchiwaniu systemowych struktur władzy metodami mieszanymi w celu zwiększenia sprawiedliwości społecznej i praw człowieka”. Paradygmat transformacyjny powstał po tym, jak marginalizowane grupy, które historycznie były spychane na bok w ewaluacji, zaczęły współpracować z naukowcami, aby bronić sprawiedliwości społecznej i praw człowieka w ewaluacji. Paradygmat transformacyjny wprowadza wiele różnych paradygmatów i soczewek do procesu ewaluacji, co prowadzi do ciągłego kwestionowania procesu ewaluacji.

Zarówno American Evaluation Association, jak i National Association of Social Workers zwracają uwagę na etyczny obowiązek posiadania kompetencji kulturowych przy przeprowadzaniu ocen. Kompetencje kulturowe w ewaluacji można ogólnie zdefiniować jako systemowe badanie odpowiedzi, które aktywnie rozpoznaje, rozumie i docenia kontekst kulturowy, w którym ma miejsce ewaluacja; która tworzy ramy i artykułuje epistemologię przedsięwzięcia ewaluacyjnego; która wykorzystuje kulturowo i kontekstowo odpowiednią metodologię; i który wykorzystuje środki interpretacyjne generowane przez interesariuszy w celu uzyskania wyników i dalszego wykorzystania ustaleń. Wielu liderów ds. zdrowia i ewaluacji zwraca uwagę, że kompetencji kulturowych nie można określić za pomocą prostej listy kontrolnej, ale raczej jest to cecha, która rozwija się w czasie. Podstawą kompetencji kulturowych w ewaluacji jest autentyczny szacunek dla badanych społeczności i otwartość na poszukiwanie głębi w zrozumieniu różnych kulturowych kontekstów, praktyk i paradygmatów myślenia. Obejmuje to bycie kreatywnym i elastycznym w celu uchwycenia różnych kontekstów kulturowych oraz zwiększoną świadomość różnic władzy, które istnieją w kontekście oceny. Do ważnych umiejętności należą: umiejętność budowania relacji pomimo różnic, zdobywania zaufania członków społeczności oraz autorefleksja i rozpoznawanie własnych uprzedzeń.

Paradygmaty

Aksjologia paradygmatów , ontologia , epistemologia i metodologia odzwierciedlają praktykę sprawiedliwości społecznej w ewaluacji. Przykłady te koncentrują się na zwalczaniu nierówności i niesprawiedliwości w społeczeństwie poprzez promowanie włączenia społecznego i równości w zakresie praw człowieka.

Aksjologia (wartości i sądy wartościujące)

Założenie aksjologiczne paradygmatu transformacyjnego opiera się na czterech podstawowych zasadach:

  • Znaczenie okazywania szacunku kulturowego
  • Promocja sprawiedliwości społecznej
  • Wspieranie praw człowieka
  • Rozwiązanie problemu nierówności

Ontologia (rzeczywistość)

Różnice w poglądach na to, co realne, determinowane są przez odmienne wartości i doświadczenia życiowe. Z kolei te wartości i doświadczenia życiowe są często związane z różnicami w dostępie do przywilejów, opartymi na takich cechach, jak niepełnosprawność, płeć, tożsamość seksualna, religia, rasa/pochodzenie etniczne, pochodzenie narodowe, przynależność polityczna, poziom dochodów, wiek, język i imigracja lub status uchodźcy.

Epistemologia (wiedza)

Wiedza jest konstruowana w kontekście władzy i przywilejów, z konsekwencjami związanymi z tym, która wersja wiedzy jest uprzywilejowana. „Wiedza jest społecznie i historycznie umiejscowiona w złożonym kontekście kulturowym”.

Metodologia (badanie systematyczne)

Decyzje metodologiczne mają na celu określenie podejścia, które najlepiej ułatwi wykorzystanie procesu i ustaleń w celu zwiększenia sprawiedliwości społecznej; zidentyfikować siły systemowe, które wspierają status quo i te, które pozwolą na zmianę; oraz uznać potrzebę krytycznej i refleksyjnej relacji między ewaluatorem a zainteresowanymi stronami.

soczewki

Działając w ramach sprawiedliwości społecznej, konieczne jest, aby móc patrzeć na świat przez pryzmat tych, którzy doświadczają niesprawiedliwości. Krytyczna Teoria Rasy, Teoria Feministyczna i Teoria Queer/LGBTQ to ramy dla tego, jak myślimy, że inni powinni myśleć o zapewnianiu sprawiedliwości grupom marginalizowanym. Soczewki te stwarzają możliwość nadania każdej teorii priorytetu w rozwiązywaniu nierówności.

Krytyczna teoria rasy

Krytyczna teoria rasy (CRT) jest rozszerzeniem teorii krytycznej, która koncentruje się na nierównościach opartych na rasie i pochodzeniu etnicznym. Daniel Solorzano opisuje rolę CRT jako dostarczanie ram do badania i uwidaczniania tych systemowych aspektów społeczeństwa, które pozwalają na kontynuację dyskryminującego i opresyjnego status quo rasizmu.

Teoria feministyczna

Istotą teorii feministycznych jest „ujawnianie indywidualnych i instytucjonalnych praktyk, które odmawiają dostępu kobietom i innym uciskanym grupom oraz ignorują lub dewaluują kobiety”

Teoria queer/LGBTQ

Teoretycy queer / LGBTQ kwestionują heteroseksistowskie uprzedzenia, które przenikają społeczeństwo, jeśli chodzi o władzę nad mniejszościami orientacji seksualnej i dyskryminację. Ze względu na delikatność kwestii związanych ze statusem LGBTQ, ewaluatorzy muszą być świadomi bezpiecznych sposobów ochrony tożsamości takich osób i upewnić się, że praktyki dyskryminacyjne zostaną ujawnione, aby stworzyć bardziej sprawiedliwe społeczeństwo.

Wymagania rządowe

Framework for program evaluation in public health
Ramy oceny programów w dziedzinie zdrowia publicznego

Biorąc pod uwagę federalny deficyt budżetowy, administracja Obamy zdecydowała się zastosować „podejście oparte na dowodach” do wydatków rządowych, w tym rygorystyczne metody oceny programów. W budżecie Prezydenta na 2011 rok przewidziano finansowanie 19 ocen programów rządowych dla agencji, takich jak Departament Edukacji i Agencja Stanów Zjednoczonych ds. Rozwoju Międzynarodowego (USAID). Grupa międzyagencyjna realizuje cel, jakim jest zwiększenie przejrzystości i odpowiedzialności poprzez tworzenie skutecznych sieci oceny i czerpanie z najlepszych praktyk. Sześciostopniowe ramy przeprowadzania ewaluacji programów zdrowia publicznego, opublikowane przez Centra Kontroli i Prewencji Chorób (CDC) początkowo zwiększyły nacisk na ocenę programów rządowych w USA. Ramy są następujące:

  1. Zaangażuj interesariuszy
  2. Opisz program.
  3. Skoncentruj się na ocenie.
  4. Zbierz wiarygodne dowody.
  5. Uzasadnij wnioski.
  6. Zapewnij wykorzystanie i podziel się zdobytymi doświadczeniami.

W styczniu 2019 r. Ustawa o podstawach kształtowania polityki opartej na dowodach wprowadziła nowe wymagania dla agencji federalnych, takie jak wyznaczenie Głównego Urzędnika ds. Oceny. Wytyczne opublikowane przez Biuro Zarządzania i Budżetu dotyczące wdrażania tego prawa wymagają od agencji opracowania wieloletniego programu nauczania, który zawiera konkretne pytania, na które agencja chce odpowiedzieć, aby poprawić wyniki strategiczne i operacyjne. Agencje muszą również sporządzić roczny plan ewaluacji podsumowujący konkretne ewaluacje, które agencja planuje przeprowadzić w celu odpowiedzi na pytania zawarte w programie nauczania.

Rodzaje ewaluacji

Istnieje wiele różnych podejść do ewaluacji programu. Każdy służy do innego celu.

  • Ocena zorientowana na wykorzystanie
  • Model ewaluacji CIPP
  • Ocena kształtująca
  • Ocena podsumowująca
  • Ocena rozwojowa
  • Ocena skoncentrowana na zasadach
  • Ocena oparta na teorii
  • Ocena oparta na realistach

Model ewaluacji CIPP

Główny artykuł: model oceny CIPP

Historia modelu CIPP

Model ewaluacji CIPP został opracowany przez Daniela Stufflebeama i jego współpracowników w latach 60. XX wieku. CIPP to akronim słów: kontekst, wkład, proces i produkt. CIPP to model oceny, który wymaga oceny kontekstu , wkładu , procesu i produktu w ocenie wartości programu. CIPP jest podejściem do ewaluacji skoncentrowanym na podejmowaniu decyzji i kładzie nacisk na systematyczne dostarczanie informacji do zarządzania i funkcjonowania programu .

modelu CIPP

Ramy CIPP zostały opracowane jako środek łączący ewaluację z podejmowaniem decyzji programowych . Ma na celu zapewnienie analitycznej i racjonalnej podstawy do podejmowania decyzji programowych, w oparciu o cykl planowania, strukturyzowania, wdrażania oraz przeglądu i rewizji decyzji, z których każda jest badana przez inny aspekt ewaluacji – ocenę kontekstu, danych wejściowych, procesu i produktu.

Model CIPP jest próbą uczynienia ewaluacji bezpośrednio adekwatną do potrzeb decydentów podczas faz i działań programu. Model oceny kontekstu, danych wejściowych , procesu i produktu Stufflebeam (CIPP) jest zalecany jako ramy do systematycznego kierowania koncepcją, projektowaniem, wdrażaniem i oceną projektów uczenia się usług oraz dostarczania informacji zwrotnych i oceny skuteczności projektu w celu ciągłego doskonalenia.

Cztery aspekty oceny CIPP

Tymi aspektami są kontekst, dane wejściowe, proces i produkt. Te cztery aspekty oceny CIPP pomagają decydentowi odpowiedzieć na cztery podstawowe pytania:

  • Co powinniśmy zrobić?

Obejmuje to zbieranie i analizowanie danych dotyczących oceny potrzeb w celu określenia celów, priorytetów i zadań. Na przykład ocena kontekstowa programu alfabetyzacji może obejmować analizę istniejących celów programu alfabetyzacji, wyników testów umiejętności czytania i pisania, obaw personelu (ogólnych i szczegółowych), polityk i planów dotyczących alfabetyzacji oraz obaw, postrzegania lub postaw i potrzeb społeczności.

  • Jak powinniśmy to zrobić?

Wiąże się to z krokami i zasobami potrzebnymi do osiągnięcia nowych celów i celów i może obejmować identyfikację skutecznych zewnętrznych programów i materiałów, a także gromadzenie informacji.

  • Czy robimy to zgodnie z planem?

Daje to decydentom informacje o tym, jak dobrze program jest wdrażany. Dzięki ciągłemu monitorowaniu programu decydenci dowiadują się takich rzeczy, jak przestrzeganie planów i wytycznych, pojawiających się konfliktów, wsparcia i morale personelu, mocnych i słabych stron materiałów, problemów z dostawami i budżetowaniem.

  • Czy program zadziałał?

Mierząc rzeczywiste wyniki i porównując je z oczekiwanymi wynikami, decydenci są w stanie lepiej zdecydować, czy program powinien być kontynuowany, modyfikowany, czy całkowicie porzucony. To jest istota oceny produktu.

Wykorzystanie CIPP na różnych etapach ewaluacji

Jako przewodnik ewaluacji , model CIPP umożliwia ewaluatorom ewaluację programu na różnych etapach, a mianowicie: przed rozpoczęciem programu, pomagając ewaluatorom w ocenie potrzeb i na końcu programu, aby ocenić, czy program odniósł skutek.

Model CIPP umożliwia ewaluatorom zadawanie pytań formatywnych na początku programu, a następnie wspiera ewaluację wpływu programów poprzez zadawanie pytań podsumowujących dotyczących wszystkich aspektów programu.

  • Kontekst : Co należy zrobić? Vs. Czy uwzględniono ważne potrzeby?
  • Wejście : Jak to zrobić? Vs. Czy zastosowano obronny projekt?
  • Proces : Czy to się dzieje? Vs. Czy projekt został dobrze wykonany?
  • Produkt : Czy to się udaje? Vs. Czy wysiłek się powiódł?

Zobacz też

Dalsza lektura

  • Borland, J. i Tseng, YP (2011). Elementarz dotyczący przeprowadzania oceny programów społecznych. Równość, 24(7), 8.
  • Boulmetis, John i Dutwin, Phyllis. ABC oceny (2005)
  • Cook, Thomas D. i Campbell, Donald T. Quasi-Experimentation: Design & Analysis for Field Settings (1979)
  • Chajdukow, Danil; Tasałow, Cyryl; Szepetina, Ekaterina; Chueva, Ekaterina (2016). Doskonalenie podejść metodologicznych do zwiększania efektywności programów państwowych Federacji Rosyjskiej // Konferencja Naukowa Uniwersytetu Moskiewskiego Państwowego Uniwersytetu im. Łomonosowa „Efektywne zarządzanie”, Serwis Poligraf, Moskwa, s. 65–73
  • Preskill, Hallie, Parkhurst, Marcie i Juster, Jennifer Splansky. „Przewodnik po ocenie wpływu zbiorowego” (2014)
  • Przewodnik menedżera programu po ewaluacji, wydanie drugie , Biuro Planowania, Badań i Oceny, Administracja dla Dzieci i Rodzin.* Rivlin, Alice M. Systematyczne myślenie na rzecz działań społecznych (1971)
  • Rossi, Peter H., Freeman, Howard A. i Lipsey, Mark W.. Ocena. Systematyczne podejście (1999)
  • Suchman, Edward A. Badania ewaluacyjne: zasady i praktyka w służbie publicznej i programach działań społecznych (1967)
  • Weiss, Carol H. Badania ewaluacyjne: metody oceny skuteczności programu (1972)
  •   Wholey Joseph S, Hatry Harry P, nowicjusz Kathryn E i in. (2010). Podręcznik praktycznej oceny programu, wydanie trzecie . San Francisco: Jossey-Bass. ISBN 978-0-470-52247-9 .

Linki zewnętrzne

Pobrano z „ https://en.wikipedia.org/w/index.php?title=Program_evaluation&oldid=1142375496 ”