Nauka psychologiczna oparta na crowdsourcingu
Crowdsourced science (nie mylić z nauką obywatelską , podtypem nauki crowdsourcingowej) odnosi się do wspólnego wkładu dużej grupy ludzi w różne etapy procesu badawczego w nauce. W psychologii charakter i zakres współpracy mogą się różnić pod względem zastosowania i korzyści, jakie oferuje.
Co to jest crowdsourcing?
Uzupełnienie tradycyjnego sposobu uprawiania nauki
Crowdsourcing to model pozyskiwania oparty na współpracy, w którym duża i zróżnicowana liczba osób lub organizacji może przyczynić się do osiągnięcia wspólnego celu lub projektu.
Pierwsze przykłady nauki o crowdsourcingu można znaleźć w XIX wieku. Profesor Uniwersytetu Yale wystosował wezwanie do otwartego udziału obywateli w celu zmaksymalizowania liczby i różnorodności obserwacji zjawiska burzy meteorów Leonidów z 1833 r. , jakie mógłby uzyskać.
Nauka oparta na crowdsourcingu została odłożona na bok na długi czas i dopiero niedawno zyskała popularność w nauce. Właściwie pomaga przezwyciężyć kilka ograniczeń klasycznego modelu, według którego dotychczas prowadzono naukę. Na przykład w psychologii badania naukowe były często ograniczone przez małe rozmiary próbek i brak różnorodności w badanych populacjach. Ograniczeniom tym można zaradzić, stosując bardziej oparte na współpracy podejście do badań naukowych (tj. naukę pozyskiwaną w ramach crowdsourcingu).
Koncepcja dwuwymiarowa
Inicjatywy crowdsourcingowe można opisać wzdłuż dwóch różnych ciągłych osi. Pierwszy wymiar reprezentuje stopień komunikacji między członkami projektu, począwszy od bardzo małej liczby współpracowników i małej komunikacji, do dużego tłumu współpracowników z dużą ilością komunikacji. Drugi wymiar odpowiada stopniowi inkluzyjności, który waha się od wybrania tylko grup osób o wysokim doświadczeniu w danej dziedzinie do otwartości na każdego — z doświadczeniem lub bez — zainteresowanego współpracą. To podwójne rozróżnienie wyznacza cztery typy projektów naukowych pozyskiwanych w ramach crowdsourcingu. Jednak te dwa wymiary leżą w kontinuum: pojedynczy projekt nie jest ani całkowicie inkluzywny (w porównaniu z selektywnym), ani całkowicie wysoki (w porównaniu z niskim) w komunikacji.
Dlaczego nauki psychologiczne z crowdsourcingu?
Ograniczenia tradycyjnego modelu pionowego
W psychologii tradycyjny sposób prowadzenia badań opiera się na modelu pionowym. Innymi słowy, w większości przypadków badania są prowadzone przez małe zespoły z określonego laboratorium lub uniwersytetu i są zorganizowane wokół jednego lub dwóch głównych badaczy (często określanych jako główny badacz lub PI). Ten mały zespół bierze udział we wszystkich etapach projektu badawczego: koncepcja pytania badawczego , projekt badania, zbieranie danych, analiza danych, dyskusja wyników i publikacja manuskryptu.
Jednak nauka pionowa ma swoje własne ograniczenia, które mogą hamować postęp nauki. Prowadzenie nauki w małych, niezależnych zespołach utrudnia prowadzenie projektów na dużą skalę (z dużymi próbami, dużymi bazami danych i dużą mocą statystyczną ), co może ograniczać zakres badań. W tradycyjnej nauce badacze mają dostęp do mniejszej ilości zasobów, danych i metodologii. Małe, niezależne projekty zespołowe mają również ograniczone informacje zwrotne, które mogą uzyskać z innych perspektyw.
W dzisiejszych czasach zespoły badawcze niekoniecznie muszą już iść na kompromisy (np. mała liczebność próby, te same bodźce, te same konteksty i brak replikacji), ponieważ wiele z tych ograniczeń można by pokonać, przeprowadzając bardziej crowdsourcingowe badania.
Kryzys replikacyjny
W metodzie naukowej powtarzalność jest podstawowym kryterium kwalifikującym teorię jako naukową. Kryzys replikacji (lub kryzys wiarygodności) to kryzys metodologiczny w nauce, który naukowcy zaczęli dostrzegać około 2010 roku. Kontrowersje dotyczą braku powtarzalności wielu odkryć naukowych, w tym psychologicznych (np. na 100 badań mniej niż 50% wyników zostało powtórzonych).
Niektóre z jego głównych przyczyn określa się jako „wątpliwe praktyki badawcze”. Obejmują one p-hacking (tj. wykorzystywanie stopni swobody badacza do uzyskania znaczącego wyniku ), HARKing (tj. stawianie hipotez po poznaniu wyników), stronniczość publikacji (tj. tendencja wśród czasopism naukowych do publikowania tylko znaczących wyników), statystyczne błędy w raportowaniu i niska moc statystyczna, często ze względu na małą liczebność próby.
Wśród tych różnych problemów małe rozmiary próbek i brak różnorodności w próbkach można rozwiązać za pomocą crowdsourcingu naukowego - zwiększając możliwość uogólnienia wyników, a tym samym również ich powtarzalność. Rzeczywiście, próbki w psychologii często opierają się na studentach i populacjach zachodnich, wykształconych, uprzemysłowionych, bogatych i demokratycznych ( DZIWNE ).
Z tych powodów kryzys replikacyjny przyczynił się do powstania projektów crowdsourcingowych na dużą skalę, zwłaszcza projektów replikacyjnych prowadzonych na skalę międzynarodową, takich jak projekt Many Labs i Akcelerator Nauk Psychologicznych (PSA). Te projekty crowdsourcingowe mają na celu rozwiązanie niektórych problemów związanych z kryzysem replikacji, a dokładniej poprzez ocenę powtarzalności badań i uogólnienie wyników na inne populacje i konteksty.
Ambicje modelu poziomego
W przeciwieństwie do pionowego modelu prowadzenia badań, model horyzontalny – nieodłączna zasada crowdsourcingu naukowego – opiera się głównie na różnicach w zakresie inkluzywności i komunikacji. Jego podstawową zasadą jest brak autorytetu jednego lub dwóch badaczy pod względem zasobów, własności i wiedzy specjalistycznej. Zgodnie z tą zasadą różne zadania w ramach projektu są rozdzielane między wielu badaczy. Cały projekt jest następnie wspierany przez zespół, który zapewnia koordynację współpracowników.
Idealny model poziomy tak naprawdę nie istnieje, ponieważ modele pionowe i poziome są bardziej konceptualizowane jako skrajności tego samego kontinuum. Ten rozproszony model pracy naukowej zyskuje na popularności w środowisku naukowym. W ciągu około 40 lat w różnych dyscyplinach naukowych zespoły badawcze podwoiły swoją liczebność (średnio od 2 do 4 osób).
Zachęcając większe rzesze do udziału w projektach badawczych w psychologii, model poziomy ma na celu zmniejszenie pewnych ograniczeń modelu pionowego. Ma trzy różne ambicje:
- Wykonuj szeroko zakrojone prace
- Zachęcaj do zdemokratyzowanej nauki psychologicznej
- Ustal solidne ustalenia
Projekty badawcze na dużą skalę
Pierwszą ambicją modelu horyzontalnego jest umożliwienie naukowcom prowadzenia większej liczby projektów badawczych na dużą skalę (tj. ambitnych projektów, których nie mogą prowadzić małe zespoły). Dzięki agregacji różnych umiejętności i zasobów możliwe jest przejście od modelu, w którym badania są definiowane za pomocą dostępnych środków, do modelu, w którym same badania określają środki niezbędne do udzielenia odpowiedzi na pytanie badawcze.
Demokratyzowanie nauk psychologicznych
Drugą ambicją modelu horyzontalnego jest kompensowanie nierówności (np. w zakresie uznania, statusu i sukcesów w karierze naukowca). Psychologia i, bardziej ogólnie, nauki społeczne wykazują silne uprzedzenia tak zwanego efektu Mateusza (tj. przewaga akademicka przypada tym, którzy już są najbardziej znani).
Naukowcy rozpoczynający karierę z mniej renomowanych instytucji, krajów słabiej rozwiniętych gospodarczo lub niedostatecznie reprezentowanych grup demograficznych mają generalnie mniejsze szanse na dostęp do prestiżowych projektów. Crowdsourcing umożliwia takim naukowcom udział w projektach, które mają wpływ i zdobycie uznania dla ich pracy.
Solidne ustalenia
Trzecią ambicją modelu horyzontalnego jest poprawa solidności, możliwości uogólnienia i wiarygodności wyników w celu zwiększenia wiarygodności nauk psychologicznych. Pozioma współpraca między zespołami badawczymi ułatwia powielanie badań i ułatwia wykrywanie stronniczych rozmiarów efektów , p-hackingu i stronniczości publikacji — różnych problemów związanych z kryzysem replikacji (zobacz także #Kryzys replikacji ).
Crowdsourcing w praktyce
Wkłady na różnych etapach badań
Ta sekcja ma na celu szczegółowe omówienie, w jaki sposób crowdsourcing może przyczynić się do różnych etapów procesu badawczego , od generowania pomysłów badawczych po publikację wyników.
Ideacja
Ideacja jest pierwszym krokiem każdego projektu badawczego. W psychologii odnosi się do procesu definiowania ogólnej idei projektu — celu, pytania badawczego i hipotez. Ten krok można wykonać we współpracy kilku badaczy, aby przeskanować szersze spektrum pomysłów i wybrać te, które mają największe znaczenie i mają największy wpływ. W obliczu pytania badawczego różni współpracownicy mogą wnieść swoją wiedzę specjalistyczną w zakresie konstruowania hipotez.
Tłumy mogą również pomóc w generowaniu nowych pomysłów w celu rozwiązania złożonych problemów, na przykład w projekcie Polymath .
Montaż zasobów
Podczas gromadzenia zasobów crowdsourcing może być przydatny, zwłaszcza w przypadku laboratoriów dysponujących mniejszymi zasobami. Platformy internetowe, takie jak Science Exchange i Studyswap, umożliwiają naukowcom ustanawianie nowych linii komunikacyjnych i udostępnianie zasobów między laboratoriami. Dopasowanie zasobów z laboratoriów na całym świecie minimalizuje marnotrawstwo i ułatwia zespołom badawczym osiąganie ich celów.
Dzielenie się zadaniami w laboratoriach może poprawić efektywność projektu badawczego, zwłaszcza bardzo czasochłonnego. Na przykład w biologii badanie całego genomu zajmuje dużo czasu. Dystrybucja badań i łączenie zasobów w wielu laboratoriach umożliwia przyspieszenie procesu badawczego.
Projekt badania
Istnieje wiele sposobów zaprojektowania badania. Zespoły badawcze na całym świecie nie mają takiego samego zaplecza teoretycznego ani nie są wyposażone w te same materiały.
Crowdsourcing może być przydatny w przypadku replikacji pojęciowych (tj. testowania tego samego pytania badawczego za pomocą różnych operacjonalizacji ). Podczas testowania tego samego pytania badawczego różnice w projektach badań mogą prowadzić do znacznych różnic w szacunkach wielkości efektu. Zróżnicowanie metod stosowanych do testowania tej samej hipotezy w różnych populacjach — poprzez wspólne projekty — umożliwia lepsze oszacowanie prawdziwej spójności twierdzenia naukowego.
Zbieranie danych
W psychologii gromadzenie danych często opiera się na próbkach pobranych z populacji zachodnich, wykształconych, uprzemysłowionych, bogatych i demokratycznych (WEIRD), co utrudnia ogólną możliwość uogólnienia wyników. Crowdsourcing procesu gromadzenia danych poprzez oparcie się na zbieraniu danych z wielu laboratoriów i internetowych platformach crowdsourcingowych (np. Amazon Mechanical Turk , Prolific) ułatwia dotarcie do szerszej publiczności uczestników z różnych środowisk kulturowych i populacji innych niż DZIWNE. Kiedy pytanie badawcze umożliwia poleganie na próbkach internetowych, jest to również łatwy sposób na rekrutację większych prób uczestników przy minimalnym nakładzie finansowym iw krótkim czasie.
W większości przypadków członkowie ogółu społeczeństwa są rekrutowani do udziału w badaniach jako uczestnicy badań, ale można ich również rekrutować do zbierania danych i obserwacji.
Analiza danych
W badaniach analiza danych odnosi się do procesu czyszczenia , przekształcania i modelowania danych za pomocą narzędzi statystycznych, często w celu udzielenia odpowiedzi na pytanie badawcze. W ramach projektu badawczego jest to zwykle wykonywane przez jednego analityka (lub zespół) i skutkuje pojedynczą analizą zbioru danych .
Strategie analityczne mogą się znacznie różnić w zależności od zespołu. Na przykład badanie wykazało, że spośród 241 opublikowanych artykułów na temat fMRI zastosowano 223 różne strategie analityczne. Co więcej, istnieje wiele sposobów testowania pojedynczej hipotezy z tego samego zbioru danych. Chociaż da się obronić, decyzje w analizie danych pozostają subiektywne, co może znacznie wpłynąć na wyniki badań. Sposobem na przeciwdziałanie tej subiektywności jest przejrzystość . Kiedy dane, plany analityczne i decyzje analityczne są przejrzyste i mają otwarty dostęp do reszty społeczności, ułatwia to krytykę i daje możliwość zbadania alternatywnych sposobów analizy danych.
„Crowdsourcing analizy danych ujawnia, w jakim stopniu wnioski z badań są uzależnione od dającej się obronić, ale subiektywnej decyzji podjętej przez różnych analityków” — Uhlmann i in., 2019
Pisanie raportów z badań
Raport z badania to dokument opisujący wyniki projektu badawczego. Ogólna jakość raportu badawczego może zyskać na praktykach crowdsourcingu, zwłaszcza podczas procesu pisania. Agregacja dużej liczby autorów zwiększa zakres wiedzy i perspektyw, co przyczynia się do budowania solidniejszych argumentów. to również korektę (np. wyłapywanie błędów gramatycznych, dziwnych sformułowań, literówek, uprzedzeń, błędów merytorycznych, sprawdzanie twierdzeń).
Aby ułatwić wspólne pisanie, niektórzy badacze zasugerowali wytyczne dotyczące pisania manuskryptów z wieloma autorami. Zawsze powinien być główny autor (lub kilku, ale z indywidualnymi obowiązkami), który zajmuje się zarządzaniem procesem pisania i bierze wyraźną odpowiedzialność za każdy błąd – unikając rozproszenia odpowiedzialności w przypadku błędów. Zaleca się również, aby autorzy wiodący przestrzegali czterech ogólnych zasad wymienionych poniżej:
- Staranność w uznaniu zespołu współautorów
- Jasna i częsta komunikacja masowa
- Upewnij się, że materiały związane z manuskryptem są dobrze zorganizowane
- Wczesne i przemyślane podejmowanie decyzji
Recenzja koleżeńska
Przed opublikowaniem w czasopiśmie naukowym przesłane prace przechodzą recenzowanie (tj. proces recenzowania pracy naukowej autora przez ekspertów z tej samej dziedziny). Zwykle jest wykonywana przez ograniczoną liczbę wybranych recenzentów. Crowdsourcing procesu recenzowania zwiększa szanse na uzyskanie recenzji od większej liczby ekspertów w danej dziedzinie. Jest to również sposób na znaczne zwiększenie możliwości lepszej krytyki i szybszego sprawdzania faktów przed publikacją artykułu.
Recenzje koleżeńskie oparte na crowdsourcingu mogą być przeprowadzane równolegle z recenzowaniem w ramach otwartego dostępu (np. za pośrednictwem scentralizowanych platform poświęconych dyskusji i krytyce raportów badawczych).
Przykłady w psychologii
Kryzys replikacji posłużył jako preludium do powstania wielu wspólnych projektów na dużą skalę. Do najważniejszych z nich należą: ManyLabs, ManyBabies, #EEGManyLabs, Reproducibility Project , Collaborative Replication and Education Project (CREP) oraz Psychological Science Accelerator (PSA).
Projekty związane z pandemią COVID-19
W odpowiedzi na pandemię COVID-19 podjęto kilka inicjatyw mających na celu usprawnienie współpracy między naukowcami z różnych dziedzin.
Badania dotyczące wpływu pandemii COVID-19 na zachowanie i zdrowie psychiczne są prowadzone i szeroko udostępniane w mediach społecznościowych, takich jak Twitter.
W tym kontekście PSA wezwała do przeprowadzenia badań dotyczących choroby COVID-19 i w ciągu tygodnia uzyskała 66 propozycji badań od różnych ekspertów. Na dzień maj 2020 wybrano trzy badania, które są prowadzone na całym świecie. Dwa z tych badań mają na celu lepsze przyjęcie zachowań zdrowotnych w celu uniknięcia rozprzestrzeniania się COVID-19, a jedno ma na celu pomóc ludziom w regulowaniu negatywnych emocji podczas kryzysu. Projekt ten ma na celu uzyskanie wyników, które mogłyby pomóc wszystkim krajom stawić czoła pandemii za pomocą środków dostosowanych do ich populacji.
Wyzwania i przyszłe kierunki
Konfrontacja modeli pionowych i poziomych
Chociaż horyzontalny model uprawiania nauki wydaje się obiecujący do przezwyciężenia pewnych ograniczeń modelu wertykalnego (patrz też #Ograniczenia tradycyjnego modelu wertykalnego i #Ambicje modelu horyzontalnego ), trudno jest empirycznie ocenić jego korzyści. Pozostaje niejasne, czy dwa zestawy badań, które badają to samo pytanie – poprzez pionowy lub poziomy sposób uprawiania nauki – doprowadzą do różnych wyników, czy nie.
Niezależność finansowa
Obecnie, aby utrzymać wspólny projekt, naukowcy muszą albo korzystać z pieniędzy z własnych grantów, albo ubiegać się o fundusze. Takie projekty są zatem ograniczone w badaniach, które mogą prowadzić bez niezależności finansowej.
Koordynacja setek laboratoriów w celu przeprowadzenia badania wymaga konsekwentnej pracy administracyjnej. Struktury takie jak Akcelerator Nauk Psychologicznych (PSA) muszą zapewnić, że każde uczestniczące laboratorium uzyska zgodę etyczną na przeprowadzenie danego badania (zob. również Instytucjonalna komisja rewizyjna ). W ramach PSA ta praca w tle jest obecnie wykonywana dobrowolnie przez dedykowane zespoły lub badaczy poza ich głównym zawodem. Osiągając niezależność finansową (jak to ma miejsce w przypadku CERN-u ), projekty te mogłyby zoptymalizować swoje funkcjonowanie poprzez otwarcie miejsc pracy dedykowanych tym misjom.
Autorstwo w dobie nauki crowdsourcingowej
Ścieżka kariery naukowca w świecie akademickim (tj. możliwości pracy, przyznawanie grantów itp.) zależy od znacznego wkładu w projekty badawcze, co często ocenia się na podstawie liczby publikacji, w których występuje się jako główny autor. W psychologii powszechną praktyką jest wymienianie autorów w kolejności wkładu, przy czym zaangażowanie zmniejsza się w miarę przesuwania się w dół listy. Prawda jest taka, że nierzadko zdarza się, że wielu autorów tego samego artykułu w równym stopniu przyczyniło się do projektu, ale na różne sposoby. W tym sensie współtwórcy projektu nie zawsze otrzymują uznanie, na jakie zasługują — ponieważ kolejność, w jakiej wymienieni są autorzy, nie oddaje dobrze wkładu każdego autora. Jest to szczególnie prawdziwe w przypadku projektów współpracy na dużą skalę z wieloma współtwórcami (np. projekt PSA001 ma ponad 200 współtwórców).
Alternatywą dla obecnego systemu autorstwa jest taksonomia CRediT , taksonomia opisująca 14 wyróżniających się kategorii (np. konceptualizacja projektu, administrowanie projektem, pozyskiwanie finansowania, badanie), które reprezentują role, jakie zwykle odgrywają uczestnicy projektu naukowego. Artykuły oparte na tej taksonomii pozwalają na bardziej reprezentatywny opis zaangażowania każdego uczestnika w projekt.
Rozwój otwartej nauki i praktyk opartych na crowdsourcingu
Rekrutacja studentów w ramach różnych wspólnych projektów może sprzyjać otwartej nauce i praktykom crowdsourcingowym na wczesnym etapie kariery naukowej. Na przykład w projekcie Collaborative Replication and Education Project (CREP) uczniowie uczą się korzeni i znaczenia takich praktyk dla replikacji ostatnich głównych odkryć w psychologii.
Polityka redakcyjna czasopism naukowych również odgrywa rolę w przyjmowaniu praktyk otwartej nauki i crowdsourcingu, zwłaszcza poprzez definiowanie nowych kryteriów publikacji. Na przykład ponad 200 czasopism przyjmuje obecnie format „w zasadzie akceptacji” artykułów recenzowanych. W tym formacie wydawniczym artykuły przyjmowane są do publikacji przed zebraniem danych, na podstawie dostarczonych ram teoretycznych, metodologii i planu analizy.
Pozostałe kwestie
Elastyczność w analizach danych i inne uprzedzenia, które projekty oparte na współpracy powinny być usuwane przez agregację ekspertów, nie zawsze są przezwyciężane.
Wykazano również, że projekty crowdsourcingowe z udziałem słabo wyszkolonych i mało zaangażowanych podmiotów (np. studentów) mogą prowadzić do fałszowania danych. Łączenie szerokiego wachlarza uczestników może zatem oznaczać problemy strukturalne, które mogą mieć wpływ na wyniki badań.
Oba zagadnienia podkreślają znaczenie praktyk edukacyjnych w zakresie otwartej nauki i praktyk crowdsourcingowych (zob. także #Developing open-science and crowdsourcing Practices ).
Kontrowersje
Kontrowersje wokół nauki crowdsourcingowej nie dotyczą bezpośrednio krytyki samej nauki crowdsourcingowej, ale raczej jej kosztów — zarówno pod względem inwestycji finansowych, jak i czasowych. Praktyki współpracy badawczej są nadal bardzo kosztowne i wiążą się z wieloma wyzwaniami. Rozwiązania mające na celu sprostanie tym wyzwaniom wymagają istotnych zmian strukturalnych w instytucjach badawczych i mają istotny wpływ na kariery akademickie naukowców (zob. także #Wyzwania i przyszłe kierunki ).
Przejście od modelu pionowego do bardziej poziomego było częściowo motywowane kryzysem replikacji w psychologii. Jednak niektórzy autorzy sceptycznie podchodzą do skali tego kryzysu w psychologii. Według tych autorów niepowodzenie replikacji większości odkryć jest przeszacowane i wynika głównie z braku wierności protokołów replikacji. Twierdzenia te ograniczają, czy duże projekty badawcze oparte na współpracy są warte kosztów, sugerując, że przejście w kierunku horyzontalnego modelu uprawiania nauki może nie być konieczne.
Biorąc pod uwagę koszt projektów crowdsourcingowych i zasoby, których wymagają, crowdsourcing może nie zawsze być najbardziej optymalnym podejściem. Niemniej jednak podejście oparte na crowdsourcingu naukowego pomogło w opracowaniu narzędzi, z których każdy projekt – oparty na współpracy lub nie – może skorzystać. Optymalnym podejściem byłby kompromis między modelami pionowymi i poziomymi, który zależałby od danego pytania badawczego i ograniczeń każdego projektu.