Algorytm wyników egzaminów Ofqual

Zobacz także: kontrowersje dotyczące egzaminów GCSE i A-Level w Wielkiej Brytanii 2020

W 2020 roku Ofqual , regulator kwalifikacji, egzaminów i testów w Anglii, opracował algorytm standaryzacji ocen, aby walczyć z inflacją ocen i moderować oceny przewidywane przez nauczycieli dla kwalifikacji A level i GCSE w tym roku, po odwołaniu egzaminów w ramach odpowiedź na pandemię COVID-19 .

Historia

Pod koniec marca 2020 r. Gavin Williamson , sekretarz stanu ds. edukacji w konserwatywnym rządzie Borisa Johnsona , poinstruował szefową Ofqual, Sally Collier , aby „zapewniła, na ile to możliwe, utrzymanie standardów kwalifikacji i zgodną z nimi dystrybucję ocen”. podobny profil do tego w poprzednich latach”. W dniu 31 marca wydał rozporządzenie ministerialne na podstawie ustawy o dzieciach i nauce z 2009 r.

Następnie, w sierpniu, 82% ocen na poziomie „A” zostało obliczonych przy użyciu algorytmu opracowanego przez Ofqual. Ponad 4,6 miliona egzaminów GCSE w Anglii – około 97% wszystkich – zostało przypisanych wyłącznie przez algorytm. Wzięto pod uwagę rankingi nauczycieli, ale nie oceny nauczycieli przedłożone przez szkoły i uczelnie.

25 sierpnia Collier, który nadzorował rozwój obliczeń algorytmu Williamsona, zrezygnował ze stanowiska głównego regulatora Ofqual w wyniku rosnącej presji.

Kwalifikacje zawodowe

Algorytm nie był stosowany do kwalifikacji zawodowych i technicznych (VTQ), takich jak BTEC , które są oceniane na podstawie zajęć lub po ukończeniu krótkich modułów, aw niektórych przypadkach przeprowadzano dostosowane oceny. Niemniej jednak, ze względu na wysoki poziom inflacji ocen wynikający z decyzji Ofqual o niestosowaniu algorytmu do matury i egzaminów GCSE, Pearson Edexcel zdecydował o anulowaniu publikacji wyników BTEC 19 sierpnia, dzień przed ich terminem zostać zwolnione, aby umożliwić ich ponowne moderowanie zgodnie z inflacją ocen Ofqual.

Algorytm

Model Direct Center Performance firmy Ofqual opiera się na zapisach każdego ośrodka (szkoły lub uczelni) w zakresie ocenianego przedmiotu. Szczegóły algorytmu zostały ujawnione dopiero po wynikach jego pierwszego użycia w sierpniu 2020 r., i to tylko częściowo.

Streszczenie Centrum egzaminacyjne dostarczyło listę ocen przewidywanych przez nauczycieli, zwanych „ocenami ocenianymi przez centrum” (CAG). Uczniowie zostali uszeregowani według kolejności bez żadnych powiązań. Dla dużych kohort (powyżej 15 lat) Z egzaminami z dużą kohortą; skonsultowano poprzednie wyniki ośrodka. Dla każdego z trzech poprzednich lat odnotowuje się liczbę uczniów, którzy otrzymali każdą ocenę (od A* do U). Przyjmuje się średnią procentową. Podział ten jest następnie stosowany do studentów bieżącego roku - niezależnie od ich indywidualnego CAG. Dalsza korekta standaryzacyjna może być dokonana na podstawie wcześniejszych danych historycznych: na poziomie A może to być wynik GCSE, na GCSE może to być Key Stage 2 SAT . Dla małych kohort i egzaminów mniejszościowych (poniżej 15 lat). Indywidualny CAG jest używany bez zmian

Wzory dla dużych szkół z ${\ Displaystyle n \ geq 15}$ $Displaystyle P_ {kj} = (1-r_ {j}) C_ {kj} + r_ {j} (C_ {kj} + q_ {kj} -p_ {kj}}}$ dla małych szkół z ${\ Displaystyle n <15}$ ${\ Displaystyle P_ {kj} = {\ tekst {CAG}}}$ Zmienne to ${\ displaystyle n}$ liczba uczniów z ocenianego przedmiotu ${\ displaystyle k}$ to określona klasa ${\ displaystyle j} wskazuje$ szkoła to historyczny rozkład ocen w szkole (w środku) w ciągu ostatnich trzech lat $, że$ ${\ displaystyle q_ {kj}}$ to przewidywany rozkład ocen na podstawie wcześniejszych osiągnięć klasy na egzaminach GCSE. Klasa z przewagą 9 (najwyższa ocena) na GCSE dostanie dużo przewidywanych A*s; klasa z większością 1 na egzaminach GCSE dostanie dużo przewidywanych Nas. ${\ displaystyle p_ {kj}}$ to przewidywany rozkład ocen z poprzednich lat, oparty na ich GCSE. Musisz to wiedzieć, ponieważ jeśli przewidywano, że poprzednie lata wypadną słabo i wypadną dobrze, to w tym roku może być podobnie. ${\ displaystyle r_ {j}}$ to ułamek uczniów w klasie, dla których dostępne są dane historyczne. Jeśli możesz doskonale wyśledzić każdy wynik GCSE, to jest to 1; jeśli nie możesz wyśledzić żadnego, jest to 0 . CAG to ocena centralna. ${\ Displaystyle P_ {kj}}$ jest wynikiem, który jest rozkładem ocen dla każdej oceny ${\ displaystyle k}$ w każdej szkole ${\ displaystyle j}$ .

Szkoły zostały poproszone o dokonanie uczciwej i obiektywnej oceny oceny , którą ich zdaniem uczeń mógłby uzyskać, ale dodatkowo o uszeregowanie uczniów w ramach każdej klasy . Stało się tak, ponieważ proces standaryzacji statystycznej wymagał bardziej szczegółowych informacji niż sama ocena. Niektóre komisje egzaminacyjne wydawały wytyczne dotyczące procesu formułowania orzeczeń do stosowania w ośrodkach, w których nauczało przedmiotu kilku nauczycieli. Miało to zostać złożone 29 maja 2020 r.

W przypadku uczniów na poziomie A ich szkoła uwzględniła już przewidywaną ocenę jako część odniesienia do aplikacji uniwersyteckiej UCAS . Został on przesłany do 15 stycznia (15 października 2019 r. w przypadku Oxbridge i medycyny) i został udostępniony studentom. przewidywana ocena UCAS nie jest taka sama jak przewidywana ocena Ofqual .

Normalnym sposobem przetestowania algorytmu predykcyjnego jest porównanie go z danymi z poprzedniego roku: nie było to możliwe, ponieważ w poprzednich latach nie zbierano kolejności nauczycieli. Zamiast tego w testach wykorzystano kolejność rankingową, która wyłoniła się z ostatecznych wyników z 2019 roku.

Efekty algorytmu

Stopnie na poziomie A zostały ogłoszone w Anglii, Walii i Irlandii Północnej 13 sierpnia 2020 r. Prawie 36% było niższych niż oceny nauczycieli (CAG), a 3% spadło o dwie stopnie.

Skutki uboczne algorytmu

Uczniowie małych szkół lub uczęszczający na przedmioty należące do mniejszości, takie jakie są oferowane w małych szkołach prywatnych, mogą zobaczyć, że ich stopnie są wyższe niż przewidywania nauczycieli. Tacy uczniowie tradycyjnie mają węższy zakres ocen, a słabszych uczniów zaprasza się do wyjścia. Uczniowie dużych szkół państwowych, liceów szóstych i kolegiów FE, którzy mają zasady otwartego dostępu i historycznie kształcili BAME lub uczniów znajdujących się w trudnej sytuacji, odnotowali gwałtowny spadek wyników, aby dopasować się do historycznej krzywej rozkładu.

Studenci uznali system za niesprawiedliwy i na Williamsona wywierano presję, aby wyjaśnił wyniki i cofnął swoją decyzję o użyciu algorytmu, który zlecił, a Ofqual wdrożył. 12 sierpnia Williamson ogłosił „potrójną blokadę”, która pozwala uczniom odwołać się od wyniku przy użyciu niezdefiniowanego prawidłowego wyniku próbnego. Ale 15 sierpnia opublikowano radę zawierającą osiem warunków, które różniły się od oświadczenia ministra. Kilka godzin po ogłoszeniu Ofqual zawiesił system. 17 sierpnia Ofqual zaakceptował, że uczniowie powinni otrzymywać ocenę CAG zamiast oceny przewidywanej przez algorytm.

UCAS poinformował 19 sierpnia, że ​​15 000 uczniów zostało odrzuconych przez uniwersytet pierwszego wyboru na podstawie ocen generowanych przez algorytm. Po podjęciu przez Ofqual decyzji o wykorzystaniu niemoderowanych prognoz nauczycieli, wielu uczniów, których to dotyczyło, otrzymało oceny zgodne z ich ofertą i złożyło wniosek ponownie. 90% z nich stwierdziło, że chce studiować na najlepszych uczelniach. W efekcie okazało się, że czołowe uniwersytety mają problem z przepustowością.

Królewskie Towarzystwo Statystyczne powiedziało, że zaoferowało pomoc w konstrukcji algorytmu, ale wycofało tę ofertę, gdy zobaczyło charakter umowy o zachowaniu poufności, którą musieliby podpisać. Ofqual nie był przygotowany do dyskusji na ten temat i opóźnił odpowiedź o 55 dni.

Legalna opinia

Lord Falconer , były prokurator generalny , wyraził opinię, że złamano trzy prawa i podał przykład, w którym Ofqual zignorował bezpośrednie polecenie Sekretarza Stanu ds. Edukacji.

Falconer powiedział, że formuła standaryzacji ocen była sprzeczna z nadrzędnymi celami, zgodnie z którymi Ofqual została ustanowiona przez ustawę o praktykach zawodowych, umiejętnościach, dzieciach i nauce z 2009 roku . Cele te wymagają, aby system oceniania rzetelnie wskazywał na wiedzę, umiejętności i zrozumienie studenta oraz aby umożliwiał dokonywanie rzetelnych porównań ze studentami przystępującymi do egzaminów ocenianych przez inne komisje oraz ze studentami, którzy przystępowali do porównywalnych egzaminów w poprzednich latach.

Partia Pracy zasugerowała, że ​​​​proces był niezgodny z prawem, ponieważ studentom nie dano żadnego mechanizmu odwoławczego, stwierdzając: „Będzie masa skutków dyskryminacyjnych, jeśli proces będzie prowadzony na podstawie wyników z poprzednich lat z ich instytucji” oraz „To z pewnością będzie niekorzystne dla całego szeregu grup o chronionych cechach, z naruszeniem szeregu przepisów antydyskryminacyjnych”.

Zobacz też

• Kontrowersje dotyczące egzaminów GCSE i A-Level 2020 w Wielkiej Brytanii

Linki zewnętrzne

• Wymogi dotyczące obliczania wyników latem 2020 r. – Ofqual, 7 lipca 2020 r., aktualizacja 20 sierpnia
• Przewodnik dla uczniów po wynikach kwalifikacji po 16 roku życia: lato 2020 – Ofqual, 27 lipca 2020 r., aktualizacja 19 sierpnia
• Zdawanie egzaminów w czasie epidemii koronawirusa (COVID-19) – wytyczne Ministerstwa Edukacji, opublikowane 20 marca 2020 r., aktualizacja 27 sierpnia
• Dyskusja na temat algorytmu Instytutu Polityki Szkolnictwa Wyższego, maj 2020 r
• Komisja ds. Edukacji Zeznania ustne: Wpływ Covid-19 na edukację i usługi dla dzieci, HC 254 Środa, 2 września 2020 r.