Kontynuuj (projekt)

Follow Through był największym i najdroższym eksperymentalnym projektem edukacyjnym finansowanym przez rząd federalny Stanów Zjednoczonych, jaki kiedykolwiek przeprowadzono. Najobszerniejsza ocena Follow Through obejmuje lata 1968–1977; jednak program nadal otrzymywał fundusze od rządu do 1995 r. Follow Through pierwotnie miał być przedłużeniem federalnego programu Head Start , który zapewniał usługi edukacyjne, zdrowotne i socjalne dzieciom w wieku przedszkolnym i ich rodzinom znajdującym się zazwyczaj w niekorzystnej sytuacji . Funkcją Follow Through było zatem zapewnienie kontynuacji tych usług uczniom we wczesnych latach szkoły podstawowej.

W orędziu stanowym wygłoszonym w 1967 roku przez prezydenta Lyndona B. Johnsona zaproponował on 120 milionów dolarów na program, który miał służyć około 200 000 dzieci ze środowisk defaworyzowanych. Kiedy jednak Kongres Stanów Zjednoczonych zatwierdził finansowanie projektu , zatwierdzono ułamek tej kwoty — zaledwie 15 milionów dolarów. Wymagało to zmiany strategii przez Office of Economic Opportunity (OEO), agencję rządową odpowiedzialną za nadzór nad programem Zamiast tego administratorzy programu podjęli „genialną decyzję… (aby) przekształcić Follow Through z programu usługowego w program badawczy i program rozwojowy”.

Follow Through uważali, że odpowiadają na ważne wyzwanie w edukacji uczniów znajdujących się w niekorzystnej sytuacji. Ogólnie postawiono hipotezę, że samo zapewnienie konkretnego wsparcia w postaci federalnych programów kompensacyjnych — takich jak Head Start i Tytuł I Ustawy o szkolnictwie podstawowym i średnim — skutkowałoby lepszymi wynikami w nauce dzieci znajdujących się w niekorzystnej sytuacji, jeśli byłoby wiernie wdrażane przez zaangażowanych nauczycieli . Jednak badania wykazały, że pomimo sukcesów, ogólnie wszelkie korzyści, jakie dzieci osiągnęły dzięki Head Start (w miarach osiągnięć w nauce) „zanikały” w ciągu pierwszych kilku lat szkoły podstawowej . Dla decydentów i innych osób nie było jasne, czy to samo doświadczenie w szkole podstawowej spowodowało to zjawisko, czy też problemem były określone podejścia do nauczania w szkołach. Follow Through było rozwiązanie problemu poprzez określenie, które podejście całej szkoły do ​​programu nauczania i nauczania sprawdziło się, a które nie. Następnie rząd miał ogłosić skuteczne modele jako wzorce nowatorskich i sprawdzonych metod podnoszenia osiągnięć akademickich studentów historycznie upośledzonych.

Kontekst społeczno-polityczny

Opracowany i wdrożony w środku kampanii prezydenta Johnsona „ Wojna z ubóstwem” w latach 60. XX wieku, Follow Through „wyszedł z większego planu, który miał na celu przedstawienie przyczyn i sposobów leczenia ubóstwa w społeczeństwie amerykańskim w sposób systemowy”. Oprócz przełomowej Ustawy o szkolnictwie podstawowym i średnim z 1965 r. , inne inicjatywy obejmowały politykę gospodarczą mającą na celu utrzymanie wysokiego poziomu zatrudnienia oraz dotowane przez państwo szkolenia zawodowe skierowane specjalnie do osób ze środowisk defaworyzowanych. Programy te były realizowane w burzliwych latach 60. i 70. XX wieku; naznaczone walkami i ostatecznym uwłaszczeniem wielu wcześniej wykluczonych okręgów wyborczych, „w tym Afroamerykanów , feministek , Latynosów , rdzennych Amerykanów i rodziców niepełnosprawnych dzieci”.

Planowana odmiana

W typowych eksperymentach naukowych grupę badaną i grupę kontrolną wybiera się losowo. Ponieważ Follow Through był eksperymentem mającym na celu ocenę skuteczności szeregu interwencji w lokalnych dystryktach, okręgi wybrały interwencje, które chciały wdrożyć w swoich szkołach. Ta metoda wyboru pożądanej interwencji spośród kilku kandydatów nazywana jest planowaną odmianą. Jedna publikacja określa to jako „przypadkową innowację”. Uważano, że planowana zmienność ma przewagę nad losowym przydziałem, ponieważ dawała lokalnym społecznościom (np. członkom społeczności, rodzicom, administratorom i nauczycielom) element lokalnej kontroli nad wdrażaniem ich programu. W rzeczywistości Hill uważał, że programy takie jak Follow Through „mogą być… stałymi źródłami nacisku na rzecznictwo w imieniu celów i beneficjentów programów federalnych”.

Cele

Follow Through , podobnie jak Head Start , miał ogromny zasięg i miał na celu zaradzenie faktowi, że „biedne dzieci mają tendencję do słabych wyników w szkole”. Pomimo cięć w finansowaniu, to jednak służył znaczną liczbę studentów. W szczytowym momencie program rozrósł się do 20 różnych sponsorowanych interwencji i około 352 000 dzieci obserwujących i porównujących w 178 projektach w całym kraju.

Oprócz zidentyfikowania najskuteczniejszych praktyk instruktażowych i rozpowszechnienia ich w szkołach i okręgach, żywiono również nadzieję, że Follow Through pomoże zmniejszyć liczbę potencjalnie sprzecznych federalnych programów interwencyjnych w szkołach, które niektórzy uważali za przynoszące efekt przeciwny do zamierzonego i kosztowny. Co więcej, gdyby można było zidentyfikować modele, które byłyby skuteczne w przypadku potrzebujących dzieci, interwencje te mogłyby być również przeprowadzane w normalnych klasach szkolnych.

Administracja programem

Ponieważ Follow Through powstało z powodu działań wykonawczych, a nie legislacyjnych, ogólna kontrola nad programem spoczywała w Johnson's Office of Economic Opportunity (OEO), które stało na czele polityki Johnsona w zakresie wojny z ubóstwem. Głównym elementem polityki było zaangażowanie społeczności. Program działań społeczności (CAP) miał pełnić tę funkcję poprzez tworzenie lokalnych agencji i programów, które realizowały różne sponsorowane przez federację inicjatywy na rzecz grup znajdujących się w niekorzystnej sytuacji. Jednak WPR (i do pewnego stopnia OEO) zyskała złą sławę wśród ustawodawców i innych osób, ponieważ „doprowadziła do politycznej mobilizacji biednych i osłabienia lokalnych agencji rządowych ”. Follow Through miał być rozszerzeniem programu akcji społeczności Head Start . Ponieważ Head Start był popularny politycznie, program związany z Head Start przywróciłby OEO „z powrotem w łaski Kongresu”. Chociaż Follow Through , podobnie jak Head Start , był początkowo pomyślany jako program działań społecznych, decyzja o przekształceniu Follow Through z programu działań społecznych w eksperyment społeczny nie została odpowiednio zmieniona w ustawodawstwie Kongresu.

Head Start pozostał zaangażowany w projektowanie i wdrażanie Follow Through , chociaż wydawało się, że pracowali na innych końcach niż grupa planowania OEO, która postrzegała Follow Through jako badanie empiryczne. Wiele z tego, co wydarzyło się na etapie planowania - który Egbert opisuje jako „czas pośpiechu i zamieszania” - było próbą zadowolenia wyborców z obu perspektyw.

Debaty na temat celu

W dużej mierze ze względu na kontekst społeczno-kulturowy, w którym narodziło się Follow Through , planiści celowo ustrukturyzowali program, aby zminimalizować zaangażowanie urzędników federalnych w działania związane z wdrażaniem. Im bardziej Follow Through może być postrzegane jako lokalnie kontrolowany wysiłek, tym lepiej. OEO miał nadzieję „idealnie”, że Follow Through może zaspokoić zarówno cele empiryczne, jak i działania społeczne.

Wydaje się wątpliwe, aby jakakolwiek forma eksperymentu mogła realistycznie i wiernie służyć obu celom. Według Hilla prawdziwi ewaluatorzy programów powinni być „bardziej techniczni niż polityczni lub programowi, a ich postawy powinny być sceptyczne i beznamiętne”. Grupa planująca OEO chciała prawdziwego badania empirycznego, które pozwoliłoby określić najskuteczniejsze modele. Z drugiej strony personel CAP i Head Start doradzający planistom Follow Through postrzegał to jako program społeczny. Zatem „żaden zestaw grup składowych nie był w pełni zadowolony z tego rozwiązania”.

Sponsorzy i modele

Oprócz tego, że planiści Follow Through mieli sprzeczne poglądy na temat rzeczywistego celu programu, równie nieprecyzyjny był dobór sponsorów. Sponsorzy Follow Through byli eklektyczną mieszanką osób lub grup prowadzących badania nad metodami nauczania. Niektórzy pochodzili z wyższych uczelni, w tym ze szkół pedagogicznych . Inni byli zaangażowani w prywatne lub grantowe wysiłki badawcze. Metoda selekcji była niejasna. Według Watkinsa „zaproszenia zostały najwyraźniej skierowane do każdej grupy prowadzącej badania nad metodami instruktażowymi”.

Niektórzy ze sponsorów mieli dość dobrze opracowane interwencje oparte na teoriach nauczania. Inni mieli jedynie pomysły na skuteczne interwencje. Sponsorzy różnili się również znacznie co do wyników, jakich oczekiwali w wyniku swoich programów. Niektórzy sponsorzy mieli bardzo konkretne cele, które ich zdaniem doprowadzą do bardzo konkretnych wyników, takich jak poprawa umiejętności czytania i pisania na podstawie wskaźników osiągnięć w czytaniu. Inni mieli bardziej ogólne cele, takie jak zwiększenie poczucia własnej wartości lub większe zaangażowanie rodziców w naukę. Większość programów znajdowała się na bardzo wczesnym etapie rozwoju i nie została gruntownie (ani nawet umiarkowanie) przetestowana w terenie ani pilotażowa. Niektóre programy były tak niejednoznaczne, że Elmore napisał, że „większość twórców programów po prostu nie miała jasności, jak ich programy faktycznie będą wyglądać w pełni operacyjnej formie”. Wielu sponsorów nie potrafiło dokładnie wyjaśnić, które aspekty ich modeli prowadzą do określonych celów modelu.

Pomimo niejasności między wieloma modelami (i drobnych odcieni rozróżnienia między niektórymi modelami) literatura Follow Through sklasyfikowała modele zgodnie ze stopniem oferowanej przez nie struktury i gdzie kładą nacisk na uczenie się.

O „stopieniu struktury” (np. „niski”, „średni” lub „wysoki”) oferowany przez dany model świadczy to, jak ściśle poinstruowano nauczycieli, aby przestrzegali określonych procedur, w tym: sposobów aranżacji klasy i prowadzenia zajęć , stopień interakcji między dorosłymi a dziećmi, poziom zaangażowania rodziców i tak dalej. Poniżej znajdują się krótkie przykłady dwóch modeli reprezentujących skrajności widma.

Model bezpośredniej instrukcji . Opracowane przez Siegfrieda Engelmanna i Wesleya Beckera z University of Oregon bezpośrednie instrukcje są oparte na scenariuszu i dokładnie określają, co mówi nauczyciel i jakie powinny być odpowiedzi uczniów. Co więcej, projektanci programu starannie ułożyli instrukcje w taki sposób, aby uczniowie nie przechodzili do umiejętności wyższego rzędu, dopóki nie opanują wymaganych umiejętności podstawowych. Istnieje wysoki stopień interakcji między nauczycielami a uczniami, więc nauczyciel może otrzymywać ciągłe informacje zwrotne na temat tego, jak dobrze radzą sobie uczniowie, i odpowiednio dostosowuje instrukcje. W programie rozróżnia się zachowanie podczas wykonywania zadania i poza nim: nauczanie jest zorganizowane w taki sposób, aby uczniowie byli w pełni zaangażowani w naukę (poprzez częste sprawdzanie zrozumienia i pochwały ze strony nauczyciela) przez większość czasu. Według sponsorów programu wszystko, czego uczniowie mają się nauczyć, musi najpierw zostać nauczone przez nauczyciela.

Model ulicy Bankowej . Model Bank Street został opracowany przez Elizabeth Gilkerson i Herberta Zimilesa z Bank Street College of Education w Nowym Jorku. W tym modelu uczniowie sami kierują nauką: wybierają, w jakie zadania chcą się zaangażować, samodzielnie lub z rówieśnikami. Nauczyciel organizuje klasę w sposób, który zdaniem sponsorów stworzy warunki do udanej nauki: dzieci mają do dyspozycji różne przedmioty i media, z którymi mogą wchodzić w interakcje, a nauczyciel działa jako facylitator, prowadząc uczniów przez zajęcia. Zdaniem sponsorów programu uczniowie wykorzystują zdobytą wcześniej wiedzę do konstruowania nowej wiedzy. Zdaniem sponsorów, w bezpiecznym i stabilnym środowisku nauka jest procesem zachodzącym w sposób naturalny.

W swojej ocenie aspektów operacyjnych Follow Through Elmore wyraził zaniepokojenie, że odcienie rozróżnienia między modelami pod względem struktury sprawiają, że porównania i ostateczna analiza między modelami są problematyczne. Opisy interwencji pochodzą od samych sponsorów. Nie było innego wiarygodnego źródła, z którego administratorzy programu mogliby uzyskać informacje na ich temat. Gdyby mogli zobaczyć przykłady wdrażanych różnych modeli, być może byliby w stanie zadać pytania wyjaśniające, aby lepiej je rozróżnić – co mogłoby być ważne dla celów oceny.

Modele programów zostały również sklasyfikowane według miejsca, w którym kładą nacisk na uczenie się, zgodnie z trzema orientacjami edukacyjnymi: umiejętności podstawowe, kognitywne umiejętności koncepcyjne i zachowania afektywne/poznawcze (patrz także Załącznik A).

• Modele podstawowych umiejętności - dotyczą głównie nauczania podstawowych umiejętności (np. „Podstawowych umiejętności słownictwa, obliczeń arytmetycznych, ortografii i języka”
• Modele poznawczych umiejętności koncepcyjnych - podkreślały tak zwane „umiejętności myślenia wyższego rzędu” i umiejętności rozwiązywania problemów
• Modele umiejętności afektywnych/poznawczych — skupione na afekcie uczniów (tj. poczuciu własnej wartości), przy założeniu, że poczucie pozytywnej własnej wartości prowadzi do sukcesu w umiejętnościach poznawczych

Pomimo różnic wśród wszystkich sponsorów istniały punkty porozumienia. Sponsorzy zgodzili się, że ich interwencje powinny być odpowiednie pod względem rozwojowym – to znaczy, że modele uwzględniają etapy rozwoju uczniów jako uczniów. Po drugie, wszyscy zgodzili się, że nauczanie i uczenie się powinno odpowiadać potrzebom poszczególnych uczniów. Po trzecie, zgodzili się, że wszyscy uczniowie — nawet ci z najmniej uprzywilejowanych środowisk — mogą uczyć się na poziomie swoich rówieśników, którzy mają więcej szczęścia. Po czwarte, należy podkreślić procedury zarządzania klasą, które tworzą odpowiednie środowisko uczenia się. Po piąte, szkoła powinna być miejscem, w którym uczniowie doświadczają zarówno wysokiej samooceny, jak i sukcesów w nauce. Jak na ironię, ostatni punkt porozumienia — jeśli chodzi o Maccoby'ego i Zellnera — polegał na tym, że wszystkie interwencje powinny mieć bardzo jasne cele dotyczące treści i umiejętności, które uczniowie powinni znać i umieć wykonywać. Na ten ostatni szczegół warto zwrócić uwagę z dwóch powodów. Po pierwsze, cele wyników programu, które zostały dostarczone przez sponsorów, wydawały się stosunkowo szerokie. Na przykład sponsorzy modelu wczesnej edukacji w Tucson wyjaśniają, że „stosunkowo mniejszy nacisk kładzie się na nauczanie przedmiotów i przekazywanie określonych treści, a większy nacisk na„ uczenie się, jak się uczyć ””. Podobnie nauczyciele Cognitive Curriculum opracowują własne podejście do nauczania (w tym określanie celów uczenia się), z pomocą sponsorów i innych pracowników. akademickich lub opanowanie podstawowych i wyższych umiejętności myślenia, w literaturze brakuje dokładnego sposobu, w jaki uczniowie demonstrują te umiejętności . Podczas spotkań sponsorów było kilka gorących sporów między niektórymi sponsorami na temat stopnia szczegółowości, w jakim powinni łączyć aspekty swoich modeli z wynikami lub zachowaniami uczniów. Follow Through nie mogli dokładniej zbadać modeli ze względu na ograniczony czas; rzeczywiście tylko osiem miesięcy dzieliło wybór sponsorowanego podejścia modelowego od rozpoczęcia eksperymentu. Ponieważ Kongres już zredukował budżet programu, wśród planistów istniały uzasadnione obawy, że opóźnienie we wdrażaniu może mieć katastrofalne skutki dla programu. Inną rzeczywistością był po prostu brak alternatywnych interwencji. Ponieważ nigdy wcześniej nie przeprowadzono eksperymentu na tak dużą skalę w edukacji, Biuro Edukacji nie miało arsenału interwencji do wypróbowania.

Wybór wspólnot

Wybór miejsc wdrożenia Follow Through przebiegał w zgodzie z wyborem modeli. Z pomocą różnych stanowych i federalnych agencji edukacyjnych zaproszono 100 społeczności do ubiegania się o udział w programie, w oparciu o kryteria ustalone przez OEO. Według Egberta zgłosiło się 90 okręgów, z których 30 zostało wybranych do udziału w Follow Through . Jednak pod wpływem nacisków wpływowych polityków dodano później dodatkowe strony. Nieprzypadkowo włączenie kilku dodatkowych dzielnic wydaje się być próbą zadowolenia wielu lokalnych polityków poprzez włączenie ich społeczności do programu.

Podczas gdy Elmore lamentuje, że miejsca mogły zostać wybrane z większym rygorem naukowym (np. warstwowy losowy dobór próby), było to niemożliwe z co najmniej dwóch powodów. Po pierwsze, Follow Through mieli obowiązek wybrać minimalną liczbę witryn z programami Head Start , ponieważ rzekomym celem Follow Through było uzupełnienie Head Start . Po drugie – poza naciskami politycznymi – społeczności musiały być chętnymi uczestnikami procesu (pozornie) do zachowania wierności wdrożeń. W tej kwestii Elmore jest skłonny się zgodzić.

Przyrządy pomiarowe

Ze względu na różnorodność modeli wybrano szeroką gamę instrumentów i metod analitycznych w celu zmierzenia docelowych wyników podstawowych umiejętności, zachowań afektywnych i poznawczych. Adams i Engelmann napisali: „chociaż krytycy narzekali na dobór testów i zwykle sugerowali więcej testów, wysiłek związany z oceną w tym badaniu znacznie wykraczał poza jakiekolwiek inne badanie edukacyjne przeprowadzone wcześniej lub później”. W sumie wybrano 14 instrumentów i administrowano nimi w różnym czasie podczas udziału ucznia w programie Follow Through . Trzy grupy uczniów, znane jako Kohorty (tj. Kohorty I, II i III), były śledzone wzdłużnie od czasu, gdy weszły do ​​programu Follow Through (np. Przedszkole lub klasa 1), aż do opuszczenia programu (klasa 3). Podczas gdy autorzy Follow Through ocenili instrumenty jako wysoce niezawodne, niektórzy sponsorzy kwestionowali ważność instrumentów w pomiarze różnych orientacji modeli. Inni krytycy, tacy jak House i in. w finansowanej i szeroko rozpowszechnianej analizie Fundacji Forda , również skrytykował instrumenty. Jednak oceniający uznali, że bateria instrumentu stanowi „najlepszy kompromis”, biorąc pod uwagę gamę modeli. Pomimo stosunkowo dużej liczby studentów, którzy wzięli udział w Follow Through , ewaluatorzy narzucili rygorystyczne ograniczenia próbie, która faktycznie znalazła się w analizie statystycznej. Grupa porównawcza – uczniowie ze społeczności zidentyfikowanej jako nieuczestniczący w Follow Through – nie podlegała dokładnie takim samym ograniczeniom jak grupa kontrolna, o ile wchodziła i opuszczała szkołę w tych samych dzielnicach i w tym samym czasie co uczniowie Follow Through .

Metody analityczne

Ze względu na liczbę miejsc interwencji i zakres instrumentów analiza była złożona i obszerna. Według Watkinsa było ponad 2000 porównań między grupami Follow Through i nie- Follow Through . W 1968 roku Stanford Research Institute (SRI) otrzymał kontrakt na ocenę Follow Through . Jednak z powodu różnych czynników - w tym być może niedoszacowania przez SRI złożoności takiej kompleksowej analizy - firma Abt Associates, Inc. przejęła później obowiązki ewaluacyjne latem 1972 r. Podsumowanie wyników, zatytułowane Edukacja jako eksperyment : Model planowanej zmienności został opublikowany w 1977 roku.

Empirycznym celem ewaluacji Follow Through było określenie, które modele były skuteczne w podnoszeniu osiągnięć uczniów w trzech dziedzinach, o czym świadczą pozytywne efekty przy użyciu wybranych narzędzi. W ramach modeli oceniający porównywali wyniki na różnych instrumentach pomiędzy grupami porównawczymi Follow Through (FT) i non- Follow Through (NFT) w każdym ośrodku. W ramach grup oceniający uśrednili wyniki uczniów w odniesieniu do każdego środka (lub zmiennej wynikowej), aby uzyskać wynik „grupowy”. W ten sposób wyniki grupowe uczniów FT porównano z wynikami grupowymi uczniów NFT. Oceniający zastosowali ważną - a później kontrowersyjną - technikę korekty statystycznej w celu „poprawy integralności wyników”. Ponieważ istniały różnice między grupami leczonymi i porównawczymi (np. średni wynik pomiaru wyniku dla grupy NFT mógł być wyższy niż odpowiedni średni wynik dla grupy FT), oceniający zastosowali metodę statystyczną znaną jako analiza kowariancji ( ANCOVA ) w celu uwzględnienia tych i innych różnic. Różnica między studentami FT i NFT została następnie wykorzystana do pomiaru efektów danego modelu. Miejsca, w których modele spełniały kryterium „skuteczności edukacyjnej” otrzymały wartość 1; negatywne efekty zostały przypisane -1; a efekty zerowe — „nieistotne pod względem edukacyjnym, statystycznym lub obu” — przypisano zero. Zdaniem Elmore'a wyniki skorygowane techniką ANCOVA należy interpretować ostrożnie z dwóch powodów. Po pierwsze, ANCOVA „nie zastępuje losowego przydziału, ale stała się konwencjonalnie akceptowaną techniką radzenia sobie z początkowymi różnicami między grupami w danych quasi-eksperymentalnych”. Po drugie, im większe początkowe różnice między grupami leczonymi i kontrolnymi, tym słabsza siła wyników.

Wyniki

Wyniki Follow Through nie pokazały, w jaki sposób można ulepszyć modele, które wykazywały niewielkie lub żadne efekty. Pokazały jednak, które modele – jak sugerują mniej niż idealne warunki eksperymentu – miały pewne oznaki sukcesu. Spośród tych modeli metoda Bezpośrednich instrukcji Siegfrieda Engelmanna wykazała największe korzyści w badaniu porównawczym. Najbardziej godna uwagi krytyka Follow Through (szczegółowo opisana poniżej) dotyczy faktu, że modele, które wykazały pozytywne efekty, były w dużej mierze modelami umiejętności podstawowych. Firma Abt Associates zidentyfikowała pięć głównych ustaleń związanych z kwestią skuteczności modelu różnicowego; główne wyniki empiryczne eksperymentu zostały przedstawione w następujący sposób:

• „Skuteczność każdego modelu Follow Through różniła się znacznie w zależności od grupy witryn”
• „Modele, które kładą nacisk na podstawowe umiejętności, skuteczniej niż inne modele pomagają dzieciom w zdobywaniu tych umiejętności” (str. xxv)
• „Tam, gdzie modele kładły główny nacisk gdzie indziej niż na podstawowe umiejętności, dzieci, którym służyły, miały tendencję do uzyskiwania niższych wyników w testach tych umiejętności, niż osiągnęłyby bez naśladowania” (str. xxvi ) .
• „Żaden typ modelu nie odniósł większego sukcesu niż inne w podnoszeniu wyników w zakresie poznawczych umiejętności koncepcyjnych” (str. xxvi)
• „Modele, które kładą nacisk na podstawowe umiejętności, dały lepsze wyniki w testach samoświadomości niż inne modele” (str. xxvi)
• W zakresie, w jakim dzieci Follow Through „dogoniły” swoich rówieśników w umiejętnościach arytmetycznych, miały tendencję do robienia tego w ciągu pierwszych dwóch lat uczestnictwa w programie” (str. xxvii).
• „ Naśladowanie było stosunkowo skuteczne w przypadku dzieci znajdujących się w najtrudniejszej sytuacji, którym służyło” (str. xxviii)

W osobnej analizie zbadano wpływ metody Bezpośredniego nauczania Siegfrieda Engelmanna na uczniów na przestrzeni kilku dziesięcioleci. Ta analiza sugerowała długoterminową korzyść.

Krytyka

Wisler i wsp. , w swoim przeglądzie doświadczenia Follow Through , napisali, że prawdopodobnie żadne inne dane edukacyjne nie zostały zbadane bardziej szczegółowo, z wyjątkiem Badania Równości Szans Edukacyjnych. W literaturze istnieją co najmniej trzy główne przewartościowania danych Follow Through : House i in. (1978); Bereiter i Kurland (1981); i Kennedy'ego (1981). Wszystkie w dużej mierze potwierdzają oryginalną analizę statystyczną przeprowadzoną przez Abt Associates. Ogólnie rzecz biorąc, wśród większości badaczy panuje zgoda co do tego, że modele ustrukturyzowane zwykle działały lepiej niż modele nieustrukturyzowane, a modele bezpośredniej instrukcji i analizy zachowania działały lepiej na zastosowanych narzędziach niż inne modele.) Większość krytyki eksperymentu Follow Through miała tendencję do skupić się na problemach operacyjnych i projektowych, które nękały eksperyment. W szczególności krytycy ci zauważają, że w ramach konkretnego modelu było więcej różnic niż między modelami. Ten problem został w dużej mierze przypisany problemowi, w jaki sposób mierzyć skuteczność konkretnego wdrożenia; zastosowane miary były w dużej mierze jakościowe i anegdotyczne. W niektórych przypadkach analizą objęto obiekty, które zaprzestały wdrażania określonych modeli lub też sponsorzy modeli mieli poważne zastrzeżenia co do sposobu wdrażania poszczególnych modeli.

Najbardziej głośną krytyką był House i in. (1978) ponowna analiza. Artykuł - wraz z kilkoma odrzuceniami pierwotnego zespołu ewaluacyjnego i innych badaczy - został opublikowany przez Harvard Educational Review w 1978 roku. Autorzy byli bardzo niezadowoleni z oświadczenia ewaluatorów, że modele podstawowych umiejętności przewyższają inne modele. Autorzy podchodzą do krytyki wychodząc z założenia, że ​​podstawowe umiejętności są zdecydowanie właśnie takie – podstawowe. Autorzy sugerują, że podstawowe umiejętności są nauczane tylko za pomocą „metod na pamięć” - zdecydowanie negatywna konotacja (s. 137).

Jeśli chodzi o stwierdzenie, że „modele, które kładą nacisk na podstawowe umiejętności, dały lepsze wyniki w testach samooceny niż inne modele”, autorzy kwestionują skuteczność pomiarów samooceny; sugerując między innymi, że młodzi studenci nie mogą mieć konkretnego zrozumienia koncepcji siebie (s. 138–139). Chociaż artykuł miał na celu przegląd projektu operacyjnego ewaluacji Follow Through , zamiast tego wydaje się (1) obalać ustalenie, że modele poznawczo-koncepcyjne i afektywno-poznawcze były w dużej mierze niepowodzeniem, oraz (2) jednostronnie potępiać modele, które kładą nacisk na podstawowe umiejętności . Wynika z tego, że celem edukacji nie powinno być zwiększenie osiągnięć uczniów w zakresie wyłącznie podstawowych umiejętności, i że metoda Follow Through byłaby lepiej wykorzystana do odkrycia, w jaki sposób można zapewnić sukces miarom wszystkich trzech orientacji. W krytyce nie ma stwierdzenia, że ​​w przypadku trzecioklasistów tylko model bezpośredniego nauczania wykazał pozytywne efekty we wszystkich trzech domenach, a jeden z pozostałych dwóch modeli (analiza zachowania; drugim był model edukacji rodziców), który miał pozytywne skutki w co najmniej dwóch domenach był również samozwańczym „modelem podstawowych umiejętności”.

Rozpowszechnianie

W 1972 roku OE utworzyło Joint Dissemination Review Panel (JDRP) i National Diffusion Network (NDN) w celu rozpowszechniania informacji o skutecznych modelach w szkołach i okręgach w całym kraju. JDRP dokonał przeglądu programów pod kątem skuteczności według kombinacji kryteriów empirycznych i holistycznych. NDN było odpowiedzialne za upowszechnienie wyników w oparciu o zalecenia JDRP. Watkins (1997) krytykuje kryteria rozpowszechniania z dwóch powodów. Po pierwsze, organizacje zidentyfikowały programy do rozpowszechniania, które nie były częścią eksperymentu Follow Through i dla których nie było empirycznej walidacji. Po drugie, JDRP i NDN poparły programy, które wykazały poprawę w obszarach „takich jak samoocena, postawa oraz zdrowie psychiczne lub fizyczne (uczniów)… (lub) jeśli ma to pozytywny wpływ na osoby inne niż studenci, na przykład jeśli skutkuje to poprawą zachowania wychowawczego nauczycieli” (s. 47), ale nie podniosło wyników w nauce uczniów. W związku z tym programy, „które nie były w stanie wykazać lepszych wyników w nauce w Follow Through ”, zostały zarekomendowane do przyjęcia przez szkoły i okręgi. Watkins cytuje byłego Komisarza ds. Edukacji, Ernesta Boyera, który napisał z konsternacją, że „Ponieważ tylko jeden ze sponsorów (Direct Instruction) przynosił pozytywne wyniki bardziej konsekwentnie niż którykolwiek z pozostałych, rozpowszechnianie informacji byłoby niewłaściwe i nieodpowiedzialne we wszystkich modelach”.

Oczywiście byłoby idealnie, gdybyśmy przeprowadzali eksperymenty społeczne w społecznościach i szkołach, gdy prowadzimy eksperymenty społeczne w społecznościach i szkołach. Andy B. Anderson (1975) napisał, że „idea kontrolowanego eksperymentu od dawna jest uznawana za cel warty realizacji w naukach społecznych i behawioralnych z tego samego oczywistego powodu, dla którego ten sposób badania stał się dominującą strategią badawczą w naukach przyrodniczych i behawioralnych. nauki fizyczne: kontrolowany eksperyment pozwala na najbardziej jednoznaczną ocenę wpływu zmiennej na inną zmienną”. Szczególnie, gdy eksperymentowanie jest wykorzystywane jako narzędzie do podejmowania decyzji politycznych (np. w zalecaniu skuteczności niektórych metod instruktażowych z uczniami w niekorzystnej sytuacji w porównaniu z innymi, mniej skutecznymi interwencjami), projekt powinien charakteryzować się najwyższym możliwym stopniem rygoru. Z różnych powodów Follow Through nie miało klasycznych cech prawdziwego eksperymentu.

Krytyka

Brak systematycznego doboru interwencji i specyficzność efektów leczenia . Ze względu na różnorodne okoliczności opisane wcześniej, Follow Through nie były systematycznie opracowywane ani wybierane według jakichkolwiek jednolitych kryteriów. Mając więcej czasu, sponsorzy mogli być w stanie lepiej zidentyfikować rodzaje efektów leczenia, których wystąpienia obserwator mógłby się spodziewać w kontrolowanych warunkach. Co ważniejsze, od sponsorów programów można było wymagać również pokazania tych konkretnych aspektów ich interwencji (np. konkretnych technik pedagogicznych), które przyniosłyby zamierzone efekty. Pomimo tych wad sponsorzy zgodzili się na poddanie ich tym samym instrumentom oceny. Niestety, instrumenty rzuciły niewiele światła na to, co w nieskutecznych programach sprawiło, że nie powiodły się. Odwrotność jest również prawdziwa. Ponieważ programy ustrukturyzowane zwykle wykazywały lepsze efekty niż programy nieustrukturyzowane, logiczne wydaje się, że można było podjąć wysiłki w celu zidentyfikowania podobieństw między skutecznymi programami ustrukturyzowanymi. Te wspólne cechy mogły przyczynić się do opracowania dodatkowych skutecznych programów lub udoskonalić nieskuteczne podejścia. Począwszy od 1982 roku, finansowanie zostało faktycznie zmniejszone dla tych programów, które zostały zidentyfikowane jako skuteczne w Follow Through , być może przy założeniu, że fundusze byłyby lepiej skierowane na wspieranie programów, które zakończyły się niepowodzeniem. Ostatecznie programy, które miały słabszą walidację empiryczną, mimo to zalecono do rozpowszechniania wraz z udanymi modelami.

Brak losowego przydziału . Losowe przydzielanie badanych do grup terapeutycznych i kontrolnych jest idealną metodą przypisania zmiany w próbie interwencji, a nie jakiemukolwiek innemu efektowi (w tym istniejącym wcześniej zdolnościom uczniów, nauczycieli lub systemów szkolnych). Jednak z różnych powodów praktycznych procedura ta nie została wykonana w trybie Follow Through . Zamiast tego, miejsca zostały wybrane „oportunistycznie”, w oparciu o ich gotowość do udziału w ewaluacji oraz wyjątkowe okoliczności, w których były potrzebne. Jak Stebbins i in. podkreślić, grupy terapeutyczne często składały się z najbardziej potrzebujących dzieci. Losowe wybranie z oceny niektórych dzieci znajdujących się w najtrudniejszej sytuacji (z których wiele uczestniczyło w Head Start przed Follow Through ) z pewnością zostałoby negatywnie odebrane przez członków społeczności. Stebbinsa i in. zwrócić uwagę, że istniały „znaczne różnice w liczbie obsługiwanych dzieci”; jednak pomimo obecności „wielu problemów nieodłącznie związanych z terenowymi badaniami społecznymi… ocena tych planowanych odmian daje nam możliwość zbadania strategii edukacyjnych w rzeczywistych warunkach, w przeciwieństwie do wymyślonych i ściśle kontrolowanych warunków laboratoryjnych”.

Zawężenie instrumentów . Adams i Engelmann zauważają, że wielu krytyków sugerowało, że w Follow Through należało użyć więcej narzędzi . Egbert zgadza się z Adamsem i Engelmannem, że wysiłki w zakresie gromadzenia danych były rozległe. Pomimo porozumienia między modelowymi sponsorami co do jednolitego zestawu narzędzi do oceny skuteczności ich modeli – sponsorzy tego modelu wierzyli, że ich programy osiągają korzyści w zakresie bardziej wewnętrznych, mniej mierzalnych wskaźników wydajności, takich jak zwiększona samoocena lub większe zaangażowanie rodziców. W zakresie, w jakim te pożądane wyniki wystąpiły i przyniosły korzyści życiu uczniów w sposób, którego nigdy nie da się zmierzyć ilościowo, te aspekty wielu modeli odniosły sukces. Zarówno Dom i in. critique i inni (cyt. za Wisler) wyrażają zaniepokojenie nieadekwatnością narzędzi stosowanych do pomiaru samooceny w ramach ewaluacji Follow Through (tj. Skali Odpowiedzialności za Osiągnięcia Intelektualne (IARS) i Inwentarza Samooceny Coopersmitha). Ale według wielu badaczy lepiej było mierzyć wyniki w sposób niedoskonały, niż nie mierzyć ich wcale. Tak więc, chociaż „doskonałe” miary pożądanych wyników mogą nigdy nie istnieć, nie należy pozwolić, aby doskonałe było wrogiem dobrego - innymi słowy, można by zakwestionować skuteczność przeprowadzania jakiegokolwiek eksperymentu na podstawie tego, że pewne uprzedzenia lub istnieje niedoskonałość.

Follow Through był programem społecznym czy naukowym? Po początkowym okresie nowe przepisy wymagały, aby 80 procent funduszy Follow Through było przeznaczanych na świadczenie usług, a 20 procent na produkcję wiedzy. Same przepisy sugerują, że Follow Through był głównie „programem edukacyjnym finansowanym ze środków federalnych, który zawierał wbudowany komponent badawczy”. Nieunikniony konflikt pojawia się, gdy próbuje się zoperacjonalizować federalny program w edukacji, który obejmuje zarówno świadczenie usług, jak i cele badawczo-rozwojowe. Rivlin i in. zwracają uwagę, że „bizantyjska złożoność procesu kształtowania polityki publicznej sprawia, że ​​przeprowadzanie eksperymentów społecznych jest niezwykle trudne”. Biorąc pod uwagę zmniejszenie finansowania, decyzja o zaangażowaniu się w próbę oceny skuteczności różnych interwencji w eksperymencie empirycznym wydaje się właściwa i prosta. Jeśli jednak zmiana nie znajdzie odzwierciedlenia w legislacji Kongresu lub nie zostanie jasno zakomunikowana na szczeblu lokalnym, nieuchronnie wynikną problemy z wdrożeniem i konflikt z głęboko zakorzenionymi wartościami. Istnieje wiele dowodów wskazujących na niejasności co do intencji follow-through na poziomie administracyjnym.

Zagadnienia kontroli lokalnej. Uważano , że planowana odmiana procesu Follow Through jest korzystna – być może nawet lepsza – od innych form eksperymentowania (np. wyboru miejsc na podstawie losowego przydziału), ponieważ dawałaby lokalnym społecznościom i szkołom element własności integralny z pomyślnym wdrożeniem modele. Pomimo planowanego projektu zmian, społeczności lokalne w wielu miejscach były jednak głęboko krytyczne wobec programu. W pewnym sensie krytyka Follow Through poprzedziła bezpośrednio Head Start. Pozornie cel i cele usługi społecznej programu Head Start były jaśniejsze niż cele Follow Through . Niemniej jednak przywódcy społeczności uważali, że Head Start nie daje rodzicom i członkom społeczności wystarczającej odpowiedzialności za podejmowanie decyzji. Lokalne interesy chciały podejmować decyzje programowe, w tym zmianę aspektów niektórych modeli programów, Evans ostrzegł, że „społeczności edukacyjne i konteksty są różne”, co może mieć bezpośredni wpływ na wdrażanie modelu. Bardziej problematyczne są jednak twierdzenia Elmore'a i Hilla, że Follow Through kolidowały z lokalnymi metodami i praktykami nauczania. Jak pisze Elmore, „w przypadku Follow Through problem polegał na tym, jak wdrożyć odmiany programu w systemie, w którym większość codziennych decyzji dotyczących treści programu jest podejmowana na poziomie szkoły lub klasy”. Ren i in. sugerują, że trudno jest nakłonić nauczycieli do zmiany swojego zachowania. A jeśli cel, jakim jest zmiana zachowania, zostanie osiągnięty, nauczyciele nie czują się właścicielami modelu – inwestycja zdecydowanie wątpliwa. Nieuchronnie wydaje się, że nauczyciele odrzucają programy wprost, podczas gdy inni „poddają się programowi”.

„Dychotomia faktów i wartości” . Ernest R. House , współautor krytyki ewaluacji Follow Through z 1978 roku , napisał artykuł o tym, co nazywa „ dychotomią fakt-wartość ” w eksperymentach społecznych i badaniach edukacyjnych: „przekonanie, że fakty odnoszą się do jednej rzeczy i wartości odnoszą się do czegoś zupełnie innego”. House wyjaśnia pisma Donalda Campbella, badacza w dziedzinie ewaluacji. House zauważył, że według Campbella fakty nie mogą istnieć poza ramami czyichś wartości, ponieważ nieuchronnie dochodzenie, które ujawnia określony fakt, jest albo zgodne z wewnętrznymi wartościami badacza, albo przeciwko nim. Co z tego wyniknie, to trudny wybór: badacz musi albo odrzucić fakt, albo zmodyfikować swoją wartość, aby go uwzględnić. Campbell uważał również, według House'a, że ​​wartości - w przeciwieństwie do faktów - można wybrać racjonalnie. House częściowo zgadza się z twierdzeniem Campbella, ale odchodzi od Campbella, ponieważ wierzy, że fakty i wartości nie mogą istnieć w izolacji; raczej „łączą się razem we wnioskach z badań ewaluacyjnych i rzeczywiście mieszają się ze sobą w trakcie badań ewaluacyjnych”. House sugeruje, że czytelnik wyobraża sobie fakty i wartości jako istniejące na kontinuum od „tylko faktów do nagich wartości”. W związku z tym rzadko zdarza się, aby „twierdzenia dotyczące faktów” lub „twierdzenia dotyczące wartości” mieściły się całkowicie na jednym lub drugim końcu spektrum. House podaje przykłady: „Diamenty są twardsze niż stal” może znajdować się po lewej stronie spektrum, podczas gdy „Cabernet jest lepszy niż Chardonnay” znajduje się po prawej stronie. Podsumowując, House proponuje całkowicie nową metodę badania empirycznego zwaną „deliberatywną oceną demokratyczną”. W nim oceniający dochodzą do „bezstronnych twierdzeń” poprzez „włączenie do badania wszystkich istotnych perspektyw, wartości i interesów interesariuszy; szeroko zakrojony dialog między oceniającym a zainteresowanymi stronami… oraz szeroko zakrojone narady mające na celu wyciągnięcie prawidłowych wniosków w badaniu”. House potępia stosowanie całkowicie racjonalnych metod w przypadku oceny; w rzeczywistości zaleca pewien stopień subiektywności, ponieważ oceny takie jak Follow Through nie mogą istnieć poza głęboko zakorzenionymi wartościami.

Hill pisze: „Rzadko zdarza się na poziomie lokalnym, aby ktoś zaangażował się w narzucone z zewnątrz innowacje programowe, proces planowania lub schemat zarządzania finansami, które wynikają spontanicznie z głęboko zakorzenionych wartości osobistych”. House argumentuje, że wszystkie decyzje wynikające z ewaluacji w edukacji są wynikiem kompromisu. Watkins argumentuje, że Follow Through doprowadziło do zderzenia wartości opartych na różnych przekonaniach na temat tego, jak dzieci się uczą, co można sprowadzić do teorii „naturalnego wzrostu” lub „rozwijania” w porównaniu z teoriami. teorie „zmiany zachowania”. Watkins twierdzi, że większość dzisiejszych ekspertów ds. Edukacji nie ocenia programów na podstawie ich względnej skuteczności w różnych populacjach uczniów, ale raczej na podstawie ich „zgodności z dominującymi filozofiami edukacji”.