Instrukcja oparta na danych

Nauczanie oparte na danych to podejście edukacyjne, które opiera się na informacjach w celu informowania o nauczaniu i uczeniu się. Pomysł odnosi się do metody stosowanej przez nauczycieli w celu poprawy nauczania poprzez przyglądanie się posiadanym informacjom o swoich uczniach. Odbywa się w klasie, w porównaniu do podejmowania decyzji w oparciu o dane . Nauczanie oparte na danych działa na dwóch poziomach. Po pierwsze, zapewnia nauczycielom możliwość lepszego reagowania na potrzeby uczniów, a po drugie, pozwala uczniom przejąć odpowiedzialność za własną naukę. Nauczanie oparte na danych można zrozumieć, badając jego historię, sposób wykorzystania w klasie, jego atrybuty i przykłady od nauczycieli stosujących ten proces.

Historia

Przed obecnym naciskiem na dane i odpowiedzialność w szkołach, niektórzy dyrektorzy szkół i badacze zajmujący się edukacją skupiali się na reformie edukacji opartej na standardach . Z idei tworzenia standardów wywodzi się odpowiedzialność, pomysł, że szkoły powinny informować o swojej zdolności do spełniania wyznaczonych standardów. Pod koniec ubiegłego wieku i na początku XXI wieku zwiększony nacisk na odpowiedzialność w organizacjach publicznych wkroczył do sfery edukacji. Wraz z uchwaleniem ustawy No Child Left Behind (NCLB) w 2001 r. weszły przepisy zobowiązujące szkoły do przekazywania opinii publicznej informacji dotyczących jakości edukacji zapewnianej uczniom. Aby móc dostarczać takie dane, państwa zostały upoważnione do stworzenia mierników odpowiedzialności i rocznych ocen w celu oceny skuteczności szkół w spełnianiu tych środków. W następstwie NCLB, nowsze ustawodawstwo w ramach ustawy Race to the Top Act dodatkowo skłoniło stany do wykorzystania gromadzenia danych i raportowania w celu wykazania zdolności szkoły do sprostania wymaganiom opinii publicznej. W ustawie NCLB i Race to the Top zawarte jest założenie, że gromadzenie i wykorzystywanie danych może prowadzić do lepszych wyników uczniów.

Atrybuty

Dane w klasie to wszelkie informacje widoczne podczas nauczania, które można wykorzystać do informowania o nauczaniu i uczeniu się. Rodzaje danych obejmują dane ilościowe i jakościowe, chociaż dane ilościowe są najczęściej wykorzystywane do nauczania opartego na danych. Przykłady danych ilościowych obejmują wyniki testów, wyniki quizu i poziomy wyników w ocenie okresowej. Przykłady danych jakościowych obejmują notatki terenowe, prace/artefakty uczniów, wywiady, grupy fokusowe, zdjęcia cyfrowe, wideo, refleksyjne dzienniki.

Dane ilościowe i jakościowe są generalnie pozyskiwane za pomocą dwóch form oceny: formatywnej i sumatywnej. Ocenianie formatywne to informacje, które są ujawniane i udostępniane podczas nauczania i które mogą być wykorzystane przez nauczyciela lub ucznia. Paul Black i Dylan Wiliam podają przykłady oceniania w klasie, które ma charakter formatywny, w tym obserwacje i dyskusje uczniów, zrozumienie potrzeb i wyzwań uczniów oraz przyjrzenie się pracy uczniów. I odwrotnie, oceny podsumowujące mają na celu ustalenie, czy uczeń może przenieść swoją naukę do nowych kontekstów, a także do celów odpowiedzialności. Ocena kształtująca to wykorzystanie informacji ujawnionych podczas nauczania w celu poprawy postępów i wyników ucznia. Oceny podsumowujące mają miejsce po nauczaniu i uczeniu się.

Przykłady

Zrozumienie różnic między danymi ilościowymi a danymi jakościowymi , a także ocenianiem formatywnym a ocenianiem sumatywnym , które wydobywają te dane, można zdefiniować jako umiejętność oceniania. Znajomość oceny budynku obejmuje również wiedzę, kiedy użyć jakiego rodzaju oceny i wynikające z niej dane, które należy wykorzystać do informowania instrukcji. Celem nauczania opartego na danych jest wykorzystanie informacji do kierowania nauczaniem i uczeniem się. Dylan Wiliam podaje przykłady nauczania opartego na danych z wykorzystaniem oceniania formatywnego:

Wyjaśnianie, dzielenie się i rozumienie intencji i kryteriów uczenia się
Pozyskiwanie dowodów osiągnięć uczniów
Dostarczanie informacji zwrotnych, które posuwają naukę do przodu
Aktywizacja uczniów jako zasobów dydaktycznych dla siebie nawzajem
Aktywizacja uczniów jako właścicieli własnej nauki

Ze względu na brak terminowej informacji zwrotnej na temat wyników oraz niemożność personalizacji podejścia, oceny sumatywne nie są chętnie wykorzystywane w nauczaniu opartym na danych w klasie. Zamiast tego do podejmowania decyzji dotyczących postępów i wyników uczniów w ramach nauczania opartego na danych należy wykorzystywać różnorodne informacje zebrane z różnych form oceniania. Stosowanie wielu miar w różnych formach iw różnym czasie do podejmowania decyzji instruktażowych określa się jako triangulację .

Systemy instruktażowe oparte na danych

Tło i pochodzenie

Systemy instruktażowe oparte na danych odnoszą się do kompleksowego systemu struktur, które dyrektorzy szkół i nauczyciele projektują w celu uwzględnienia danych w swoich instrukcjach. Opierając się na literaturze dotyczącej zmian organizacyjnych i szkolnych, Richard Halverson, Jeffrey Grigg, Reid Prichett i Chris Thomas opracowali ramy DDIS, próbując opisać, w jaki sposób odpowiednie podmioty zarządzają odpowiedzialnością wewnętrzną na poziomie szkoły wobec odpowiedzialności zewnętrznej. wdrożono polityki odpowiedzialności zewnętrznej o wysokiej stawce, takie jak ustawa No Child Left Behind (NCLB), aby pociągnąć szkoły do odpowiedzialności za zgłaszane znormalizowane, sumatywne wskaźniki oceny. Jednak szkoły miały już aktywne wewnętrzne systemy odpowiedzialności, które kładą duży nacisk na ciągły cykl doskonalenia nauczania w oparciu o wykorzystanie danych, w tym wyników oceny formatywnej i informacji behawioralnych. Dlatego po wdrożeniu odpowiedzialności na wysokim poziomie szkoły w naturalny sposób przechodzą przez proces dostosowania różnych typów danych do różnych celów i odpowiadającego im napięcia. Richard Halverson i jego współpracownicy, stosując podejście studium przypadku, badają wysiłki liderów w zakresie koordynacji i procesu dostosowania, który zachodzi między istniejącymi „centralnymi praktykami i kulturami szkół” a „nową presją odpowiedzialności” w dążeniu do poprawy wyników uczniów.

Kluczowe idee

W swoim artykule Richard Halverson, Jeffrey Grigg, Reid Prichett i Chris Thomas sugerują, że struktura DDIS składa się z sześciu funkcji organizacyjnych: pozyskiwania danych; odbicie danych; dopasowanie programu; projekt programu; formatywna informacja zwrotna; przygotowanie do testu.

Pozyskiwanie danych

Akwizycja danych obejmuje gromadzenie danych, przechowywanie danych i funkcje raportowania danych. „Dane” w modelu DDIS są ogólnie rozumiane jako wszelkiego rodzaju informacje, które kierują nauczaniem i uczeniem się. W praktyce szkoły zbierają dane akademickie, standaryzowane wyniki testów oceniających, a także dane pozaakademickie, takie jak dane demograficzne uczniów, dane z ankiet społecznościowych, programy nauczania, możliwości technologiczne i rejestry behawioralne. Aby przechowywać takie dane, niektóre szkoły opracowują własne lokalne strategie zbierania danych, korzystając z wydruków i zeszytów o niskim poziomie technicznym, podczas gdy inne szkoły polegają na zaawansowanych technologicznie okręgowych systemach przechowywania, które dostarczają ogromne ilości raportów. Liderzy szkół dyskutują o tym, które dane należy zgłaszać i jak je zgłaszać w sposób, który mogą wykorzystać do kierowania praktykami dydaktycznymi.

Odzwierciedlenie danych

W modelu DDIS odbicie danych odnosi się do zbiorowego nadania sensu raportowanym danym. Rekolekcje danych na poziomie dystryktu zapewniają szkołom w dystrykcie kluczowe możliwości zidentyfikowania mocnych i słabych stron na poziomie szkoły pod względem danych dotyczących osiągnięć. Rekolekcje pomagają dystryktom w opracowaniu wizji nauczania na poziomie dystryktu. W przeciwieństwie do tego, podczas lokalnych spotkań poświęconych analizie danych, nauczyciele prowadzą rozmowy koncentrujące się na postępach poszczególnych uczniów, badając wyniki każdego ucznia w zakresie ocenianych standardów.

Dopasowanie programu

Richard Halverson i jego współpracownicy twierdzą, że funkcja dostosowania programu odnosi się do „łączenia odpowiednich standardów treści i wyników z rzeczywistą treścią nauczaną w klasie”. Na przykład wyniki oceny porównawczej, jako „narzędzia do wyszukiwania problemów”, pomagają nauczycielom zidentyfikować standardy programowe, które nie są dobrze dostosowane do obecnych programów nauczania.

Projekt programu

Po określeniu głównych obszarów związanych z potrzebami edukacyjnymi uczniów i celami szkoły, liderzy i nauczyciele opracowują interwencje: programy oparte na wydziale; programy oparte na programie nauczania; i programy studenckie. W celu poprawy umiejętności korzystania z danych na wydziale nauczyciele mają zapewnione różnorodne możliwości rozwoju zawodowego i coachingu skoncentrowanego na interakcji zawodowej (programy wydziałowe). Ponadto nauczyciele modyfikują swój program nauczania w ramach podejścia obejmującego całą klasę (programy oparte na programie nauczania) lub opracowują niestandardowe plany nauczania uwzględniające indywidualne potrzeby uczniów (programy oparte na uczniach).

Formatywna informacja zwrotna

Nauczyciele wchodzą w interakcje ze sobą w ramach formatywnej informacji zwrotnej na temat lokalnych interwencji realizowanych w klasach i programach. Formatywne systemy informacji zwrotnej składają się z trzech głównych elementów: interwencji, oceny i aktywacji. Artefakty interwencji obejmują tutaj materiały programowe, takie jak podręczniki i eksperymenty, lub programy, takie jak zindywidualizowane programy edukacyjne (Interwencja). Efekt tych artefaktów interwencji można ocenić za pomocą ocen kształtujących, zarówno komercyjnych, jak i stworzonych samodzielnie, z perspektywy, że przyniosły one zamierzone zmiany w nauczaniu i uczeniu się (ocena). W przestrzeni aktywacji edukatorzy interpretują wyniki oceny w odniesieniu do początkowych celów interwencji i dyskutują, jak zmodyfikować dostarczanie instrukcji lub ocenę jako narzędzia pomiarowe, co kładzie podwaliny pod nowe interwencje (Aktuacja).

Przygotowanie testu

Ta funkcja nie jest przeznaczona dla nauczycieli do „nauczania pod test”. Wskazuje raczej na następujące działania: działania związane z programem nauczania, praktyka testowa, projektowanie środowiskowe i zasięg społeczności. Nauczyciele włączają treść wystandaryzowanego oceniania do swoich codziennych instrukcji (zajęcia osadzone w programie nauczania), pomagają uczniom ćwiczyć lub przyzwyczajać się do zdawania testów z podobnymi rodzajami testów (praktyka testowa) oraz ustanawiają sprzyjający sposób zdawania testów środowisko (projekt środowiskowy). Ponadto nauczyciele komunikują się z rodzicami i członkami społeczności na różne tematy, od wdrażania testów po interpretację wyników testów (dotarcie do społeczności).

Implikacje

Dla okręgów szkolnych

Podstawowym implikacją dla okręgów szkolnych jest zapewnienie gromadzenia i udostępniania odpowiednich danych o wysokiej jakości. Oprócz tworzenia systemów gromadzenia i udostępniania danych, okręg szkolny musi zapewnić wiedzę fachową w postaci personelu ekspertów ds. danych i/lub dostęp do zasobów rozwoju zawodowego, aby zapewnić kierownictwu budynków szkolnych możliwość dostępu do danych i korzystania z nich.

Innym kluczowym elementem odpowiedzialności dystryktu jest zapewnienie przywództwa i wizji rozpowszechniania wykorzystania informacji o wynikach uczniów w celu poprawy praktyki nauczania. Zavadsky i Dolejs proponują dwa obszary do rozważenia przez okręgi szkolne:

„Pierwsza to zbieranie i analiza danych. Okręgi i szkoły muszą dokładnie rozważyć, jakie dane muszą gromadzić, opracować narzędzia do gromadzenia danych i jak najszybciej udostępnić dane. Drugim elementem jest wykorzystanie danych. Dyrektorzy i liderzy dystryktów muszą zapewnić nauczycielom wystarczająco dużo czasu i przeszkolić, aby zrozumieli dane i nauczyli się, jak reagować na to, co ujawniają dane”.

Podczas gdy literatura wskazuje na żywotne znaczenie roli dystryktu w przygotowaniu gruntu pod nauczanie oparte na danych, więcej pracy związanej z łączeniem wyników uczniów z praktykami w klasie odbywa się na poziomie szkoły i klasy.

Dla szkół

Szkoły odgrywają główną rolę w tworzeniu warunków do rozkwitu nauczania opartego na danych. Heppena i in. wskazują na potrzebę wyraźnego i konsekwentnego skupienia się na wykorzystaniu danych i środowisku bogatym w dane, aby wspierać wysiłki nauczycieli w zakresie wykorzystywania danych do kierowania nauczaniem. Kiedy kierownictwo tworzy i utrzymuje środowisko, które promuje współpracę i wyraźnie komunikuje pilną potrzebę poprawy uczenia się uczniów, nauczyciele czują wsparcie w angażowaniu się w wykorzystywanie danych. Dodatkowe rusztowanie modelowania wykorzystania danych na poziomie szkoły zwiększa wiedzę nauczycieli w zakresie wykorzystania danych.

Dla nauczycieli

Instrukcja oparta na danych jest tworzona i wdrażana w klasie. Nauczyciele mają najbardziej bezpośredni związek między wynikami uczniów a praktykami w klasie. Korzystając z danych, nauczyciele mogą podejmować decyzje dotyczące tego, czego i jak uczyć, w tym, jak wykorzystać czas w klasie, interwencje dla uczniów, którzy nie spełniają standardów, dostosowywać lekcje w oparciu o informacje w czasie rzeczywistym, dostosowywać praktyki nauczania do potrzeb uczniów oraz wprowadzanie zmian tempa, zakresu i kolejności.

Aby móc zaangażować się w nauczanie oparte na danych, nauczyciele muszą najpierw rozwinąć wymaganą wiedzę, umiejętności i dyspozycje. Pracując w szkolnej kulturze i klimacie, w których nauczanie oparte na danych jest cenione i wspierane, nauczyciele mają możliwość zwiększania osiągnięć uczniów i potencjalnego zmniejszania różnic w osiągnięciach. Ponadto nauczyciele muszą mieć dostęp do możliwości uczenia się lub rozwoju zawodowego, które pomogą im zrozumieć ramy pedagogiczne i umiejętności techniczne wymagane do uzyskiwania, analizowania i wykorzystywania informacji o uczniach do podejmowania decyzji dotyczących nauczania.

Dla uczniów

Znaczący nowy wzrost w nauczaniu opartym na danych polega na tym, że uczniowie kształtują swoje lekcje z wykorzystaniem danych o ich własnych postępach. Młodsi uczniowie, którzy są w stanie samodzielnie zgłaszać stopnie i inne oceny, mogą osiągnąć wysoki poziom osiągnięć i postępów w nauczaniu. Włączenie analizy danych przez uczniów do praktyk w klasie wymaga czasu, szkolenia i działania. Strategie stosowane przez uczniów do oceny własnej nauki różnią się skutecznością. W metaanalizie Dunlosky, Rawson, Marsh, Nathan i Willingham uszeregowali dziesięć strategii uczenia się na podstawie przewidywanego wpływu, jaki każda z nich miałaby mieć na osiągnięcia:

Wysoce skuteczne strategie:

Testowanie praktyczne - samotestowanie, rozwiązywanie problemów praktycznych
Rozproszona praktyka - powtarzalna praktyka w określonych odstępach czasu

Średnio skuteczne strategie:

Wyczerpujące przesłuchanie – wyjaśnianie „dlaczego”
Samo-wyjaśnianie - wyjaśnianie, w jaki sposób nowe informacje odnoszą się do tego, co już jest znane
Praktyka z przeplotem - mieszanie różnych rodzajów problemów w sesji treningowej

Mniej skuteczne strategie:

Podsumowanie – pisanie streszczeń przerobionego materiału
Podświetlanie - zaznaczanie ważnych fragmentów tekstu
Mnemotechnika słów kluczowych - różne techniki mnemoniczne
Wykorzystanie obrazów do nauki tekstu – próba stworzenia mentalnych obrazów czytanych rzeczy
Ponowne czytanie - ponownie przeczytaj materiał po wstępnym przeczytaniu

Warto zauważyć, że mniej skuteczne strategie mogą być częściej stosowane w klasach K-12 niż strategie średnio skuteczne i wysoce skuteczne. Autorzy sugerują, że uczniów należy uczyć, jak stosować bardziej efektywne techniki i kiedy są one najbardziej pomocne w kierowaniu nauką. Kiedy te strategie zostaną zinternalizowane, uczniowie będą mieli rozwinięte techniki, aby nauczyć się, jak się uczyć. Ma to kluczowe znaczenie, gdy przechodzą do szkoły średniej i oczekuje się, że będą bardziej niezależni w nauce.

Krytyka

Główną krytyką nauczania opartego na danych jest to, że zbytnio koncentruje się ono na wynikach testów i że nie poświęca się wystarczającej uwagi wynikom ocen w klasie. Nauczanie oparte na danych powinno służyć jako „mapa drogowa poprzez ocenianie”, która pomaga „nauczycielom zaplanować nauczanie w celu zaspokojenia potrzeb uczniów, co prowadzi do lepszych wyników”. Oceny podsumowujące nie powinny być wykorzystywane do informowania o codziennym nauczaniu i uczeniu się, które jest wspierane przez nauczanie oparte na danych. Dodatkowe problemy związane z postrzeganiem nauczania opartego na danych obejmują ograniczenia danych ilościowych do reprezentowania procesu uczenia się uczniów, nieuwzględnienie potrzeb społecznych i emocjonalnych lub kontekstu danych przy podejmowaniu decyzji dotyczących nauczania, a także nadmierne skupienie się na podstawowych obszarach umiejętności czytania i pisania oraz matematyki podczas ignorując encore, tradycyjnie cieszące się dużym zainteresowaniem obszary, takie jak sztuka i nauki humanistyczne.

Cytaty

Dodatkowe referencje

Czarny, P.; William, D. (1998). „Wewnątrz czarnej skrzynki: podnoszenie standardów poprzez ocenę w klasie”. Phi Delta Kappan . 80 (2): 139–148.
Boudett, KP, Miasto, EA, Murname, RJ (2013). Data Wise: przewodnik krok po kroku dotyczący wykorzystywania wyników oceny do doskonalenia nauczania i uczenia się. Cambridge, MA: Harvard Education Press.
Dana, NF & Yendol-Hoppey, D. (2014). Przewodnik refleksyjnego nauczyciela po badaniach w klasie: nauka nauczania i nauczanie uczenia się poprzez zapytanie praktyka (wyd. 3). Tysiąc Oaks, Kalifornia: Corwin.
Datnow, A. i Park, V. (2014). Przywództwo oparte na danych. San Francisco, Kalifornia: Jossey-Bass.
Dunlosky, J.; Rawson, Kalifornia; Marsh, EJ; Nathan, MJ; Willingham, DT (2013). „Poprawa uczenia się uczniów dzięki skutecznym technikom uczenia się obiecującym kierunkom psychologii poznawczej i edukacyjnej”. Nauki psychologiczne w interesie publicznym . 14 (1): 4–58. doi : 10.1177/1529100612453266 . PMID 26173288 . S2CID 1621081 .
Eagle, M., Corbett, A., Stamper, J., McLaren, BM, Baker, R., Wagner, A., ... Mitchell, A. (2016). Przewidywanie indywidualnych różnic w modelowaniu uczniów u inteligentnych nauczycieli na podstawie wcześniejszych działań uczniów (str. 55–63). ACM Press. doi : 10.1145/2930238.2930255
Elmore, RF (2000). Budowanie nowej struktury kierownictwa szkoły. Instytut Alberta Shankera. Pobrane z http://eric.ed.gov/?id=ED546618
Złoto, S (2005). „NAPĘDZANY PRZEZ DANE”. Technologia i nauka . 25 (11): 6, 8–9.
Halverson, R., Grigg, J., Prichett, R. i Thomas, C. (2007). Nowe przywództwo instruktażowe: tworzenie systemów instruktażowych opartych na danych w szkole. Journal of School Leadership, 17 (marzec), 159–194.
Hamiltona i in. - 2009 - Wykorzystanie danych o osiągnięciach uczniów do obsługi pliku instruct.pdf. (nd). Pobrane z http://files.eric.ed.gov/fulltext/ED506645.pdf
Hamilton, L., Halverson, R., Jackson, SS, Mandinach, E., Supovitz, JA, Wayman, JC, ... Steele, JL (2009). Wykorzystanie danych dotyczących osiągnięć uczniów do wspierania procesu podejmowania decyzji dotyczących nauczania. Pobrane z http://repository.upenn.edu/gse_pubs/279/
Hattie, J. (2012). Widoczne uczenie się dla nauczycieli: Maksymalizacja wpływu na uczenie się. Nowy Jork: Routledge.
Heppen, J., Faria, AM, Thomsen, K., Sawyer, K., Townsend, M., Kutner, M., ... Casserly, M. (2010). Wykorzystanie danych do poprawy nauczania w szkołach wielkich miast: kluczowe wymiary praktyki. Badanie danych miejskich. Rada Szkół Wielkiego Miasta. Pobrane z http://eric.ed.gov/?id=ED536737
Johnson, L. (2009). Randi Weingarten, prezes Antonia Cortese, sekretarz-skarbnik. Pobrane z http://eric.ed.gov/?id=ED511575
Jones, A (2005). „Mity szkół opartych na danych. Główne przywództwo”. Wyd. średniego poziomu . 6 (2): 37–39.
Kennedy, BL; Datnow, A. (2011). „Zaangażowanie uczniów i podejmowanie decyzji na podstawie danych w celu opracowania nowej typologii”. Młodzież i społeczeństwo . 43 (4): 1246–1271. doi : 10.1177/0044118X10388219 . S2CID 145417758 .
Larocque, M (2007). „Zamykanie luki w osiągnięciach: doświadczenie gimnazjum”. Izba Rozliczeniowa . 80 (4): 157–162. doi : 10.3200/tchs.80.4.157-162 . S2CID 145741309 .
Melucci, L. (2013, sierpień). POSTRZEGANIE NAUCZYCIELI I WYKORZYSTANIE INSTRUKCJI OPARTEJ NA DANYCH.pdf. Uniwersytet Capelli.
Mokhtari, K.; Rozmaryn, Kalifornia; Edwards, Pensylwania (2007). „Podejmowanie decyzji instruktażowych na podstawie danych: co, jak i dlaczego”. Nauczyciel czytania . 61 (4): 354–359. doi : 10.1598/rt.61.4.10 .
Pella, S (2012). „Co powinno się liczyć jako dane do nauczania opartego na danych? W kierunku kontekstowych modeli pozyskiwania danych w kształceniu nauczycieli i rozwoju zawodowym”. Dziennik badań dla klas średnich . 7 (1): 57–75.
Rogers, LN i Tyndall, PD (2001). Perspektywy nauczycieli: rozwijanie przywództwa instruktażowego poprzez dochodzenie w klasie. Pobrane z http://eric.ed.gov/?id=ED465596
Schmidt, WH; Burroughs, NA; Zoido, P.; Houang, RT (2015). „Rola szkolnictwa w utrwalaniu nierówności edukacyjnych w perspektywie międzynarodowej” (PDF) . Badacz edukacyjny . 44 (7): 371–386. doi : 10.3102/0013189x15603982 . S2CID 96446917 . Zarchiwizowane od oryginału (PDF) w dniu 2020-02-19.
Schmoker, M. (1996). Wyniki: klucz do ciągłego doskonalenia szkoły. Alexandria, VA: Stowarzyszenie ds. Nadzoru i Rozwoju Programów Nauczania.
Shanahan, T., Callison, K., Carriere, C., Duke, NK, Pearson, PD, Schatschneider, C. i Torgesen, J. (2010). Poprawa umiejętności czytania ze zrozumieniem w przedszkolu do klasy 3: Przewodnik po praktyce IES. NCEE 2010-4038. Co działa Clearinghouse. Pobrane z http://eric.ed.gov/?id=ED512029
Stamper, J., Ed, Pardos, Z., Ed, Mavrikis, M., Ed, McLaren, BM, Ed i International Educational Data Mining Society. (2014). Proceedings of the Seventh International Conference on Educational Data Mining (EDM) (7. miejsce, Londyn, Wielka Brytania, 4–7 lipca 2014 r.). Międzynarodowe Towarzystwo Eksploracji Danych Edukacyjnych. http://www.educationdatamining.org
Łabędź, G.; Mazur, J. (2011). „Badanie procesu decyzyjnego opartego na danych poprzez ocenę formatywną: połączenie technologii, heurystyki interpretacji danych i polityki programowej” . Współczesne problemy w technologii i kształceniu nauczycieli . 11 (2): 205.
William, D. (2011). Wbudowana ocena formatywna. Bloomington, IN: Drzewo rozwiązań.
Zavadsky, H. i Dolejs, A. (2006). DANE: Nie tylko kolejne czteroliterowe słowo. Główne przywództwo, średnie wyd., 7 (2), 32–36.