Matematyczne zasady wzmacniania

Matematyczne zasady wzmacniania ( MPR ) składają się z zestawu równań matematycznych przedstawionych przez Petera Killeena i jego współpracowników, próbujących opisać i przewidzieć najbardziej podstawowe aspekty zachowania (Killeen i Sitomer, 2003).

Trzy kluczowe zasady MPR, pobudzenie, przymus i łączenie, opisują odpowiednio, w jaki sposób zachęty motywują reagowanie, w jaki sposób ograniczają je czas oraz w jaki sposób wzmocnienia są kojarzone z określonymi reakcjami. Modele matematyczne są dostarczane dla tych podstawowych zasad w celu wyrażenia niezbędnych szczegółów rzeczywistych danych.

Pierwsza zasada: pobudzenie

Pierwszą podstawową zasadą MPR jest pobudzenie . Pobudzenie odnosi się do aktywacji zachowania poprzez prezentację bodźców . Wzrost poziomu aktywności po wielokrotnym przedstawieniu bodźców jest fundamentalnym aspektem warunkowania . Killeen, Hanson i Osborne (1978) zasugerowali, że zachowania towarzyszące (lub wywołane harmonogramem) są normalnie występującymi częściami repertuaru organizmu. Dostarczanie bodźców zwiększa tempo zachowań towarzyszących , generując podwyższony poziom ogólnej aktywności lub pobudzenia organizmów.

Killeen i Hanson (1978) wystawili gołębie na jedną porcję pokarmu dziennie w komorze doświadczalnej i zmierzyli ogólną aktywność przez 15 minut po karmieniu. Wykazali, że poziom aktywności nieznacznie wzrastał bezpośrednio po karmieniu, a następnie powoli spadał w czasie. Szybkość rozpadu można opisać następującą funkcją:

${\ Displaystyle b (t) = b_ {1} \ razy e ^ {\ Frac {-t} {\ alfa}}}$

b ₁ )

= punkt przecięcia z osią y (odpowiedzi na

minuta = podstawa logarytmu naturalnego

t = czas w sekundach od karmienia

$e$ stała czasowa

Przebieg w czasie całego teoretycznego modelu ogólnej aktywności modeluje następujące równanie:

$\ Displaystyle R = A \ razy (e ^ {\ Frac {-t} {C}} -e ^ {\ Frac {-t} {I} })}$

A = pobudzenie

I = czasowe zahamowanie

C = konkurencyjne zachowania

Aby lepiej zobrazować ten model, wyobraź sobie, jak wyglądałoby tempo reagowania dla każdego z tych procesów z osobna. W przypadku braku czasowego hamowania lub konkurencyjnych odpowiedzi, poziom pobudzenia pozostawałby wysoki, a wskaźnik odpowiedzi byłby przedstawiany jako prawie pozioma linia z bardzo małym ujemnym nachyleniem. Bezpośrednio po prezentacji pokarmu czasowe zahamowanie osiąga maksymalny poziom. Zmniejsza się szybko w miarę upływu czasu, a odsetek odpowiedzi powinien wzrosnąć do poziomu pobudzenia w krótkim czasie. Konkurencyjne zachowania, takie jak śledzenie celu lub kontrola zbiornika, są ograniczone do minimum bezpośrednio po prezentacji żywności. Zachowania te zwiększają się wraz z upływem interwału, więc miara ogólnej aktywności będzie powoli spadać. Odjęcie tych dwóch krzywych daje przewidywany poziom ogólnej aktywności.

Killeena i in. (1978) następnie zwiększyli częstotliwość karmienia z codziennych do co ustalonych sekundach. Wykazały one, że ogólny poziom aktywności istotnie wzrósł od poziomu codziennej prezentacji. Asymptoty wskaźnika odpowiedzi były najwyższe dla najwyższych współczynników wzmocnienia. Eksperymenty te wskazują, że poziom pobudzenia jest proporcjonalny do szybkości podżegania, a poziom asymptotyczny wzrasta wraz z powtarzającymi się prezentacjami bodźców. Wzrost poziomu aktywności przy wielokrotnej prezentacji bodźców nazywany jest kumulacją pobudzenia. Pierwsza zasada MPR mówi, że poziom pobudzenia jest proporcjonalny do tempa wzmocnienia , ${\ Displaystyle A = ar}$ , gdzie:

A = poziom pobudzenia

a = specyficzna aktywacja

r = szybkość wzmocnienia

(Killeen i Sitomer, 2003).

Druga zasada: ograniczenie

Oczywistym, ale często pomijanym czynnikiem podczas analizowania rozkładu odpowiedzi jest to, że odpowiedzi nie są natychmiastowe, ale ich wyemitowanie zajmuje trochę czasu (Killeen, 1994). Te pułapy wskaźnika odpowiedzi często wynikają z konkurencji ze strony innych odpowiedzi, ale rzadziej z faktu, że odpowiedzi nie zawsze mogą być emitowane w tym samym tempie, w jakim są wywoływane (Killeen i Sitomer, 2003). Ten czynnik ograniczający musi być wzięty pod uwagę, aby właściwie scharakteryzować, czym może być odpowiadanie teoretycznie, a czym będzie empirycznie.

Organizm może otrzymywać impulsy, aby odpowiedzieć w określonym tempie. Przy niskich szybkościach wzmocnienia, częstość wywołana i emitowana będą się zbliżać. Jednak przy wysokich wskaźnikach wzmocnienia ta wywołana szybkość jest tłumiona przez czas potrzebny do wyemitowania odpowiedzi. $Wskaźnik$ odpowiedzi jest zwykle mierzony jako liczba odpowiedzi występujących w epoce przez czas trwania epoki. Odwrotność ${\ displaystyle b}$ podaje typową miarę odpowiedzi interakcyjnej (IRT), średni czas od początku jednej odpowiedzi do początku drugiej (Killeen i Sitomer, 2003). W rzeczywistości jest to czas cyklu, a nie czas między odpowiedziami. Według Killeen & Sitomer (2003), IRT składa się z dwóch $odpowiedziami$$,$ czasu wymaganego do wyemitowania odpowiedzi czasu między . Dlatego wskaźnik odpowiedzi można zmierzyć, dzieląc liczbę odpowiedzi przez czas cyklu:

${\ Displaystyle b = {\ Frac {1} {\ delta + \ tau}}}$ ,

lub jako liczba odpowiedzi podzielona przez rzeczywisty czas między odpowiedziami:

${\ Displaystyle b = {\ Frac {1} {\ tau}}}$ .

Ta chwilowa szybkość może być najlepszą miarą do wykorzystania, $ponieważ$ operandum może zmieniać się dowolnie w ramach eksperymentu (Killeen i Sitomer, 2003)

Killeen, Hall, Reilly i Kettle (2002) wykazali, że jeśli chwilowa szybkość odpowiedzi jest proporcjonalna do szybkości wzmocnienia, to 1 $\ displaystyle {\ frac {1} {\ tau}} = ar}$ podstawowe równanie wyników MPR. Killeen i Sitomer (2003) wykazali, że:

jeśli ${\ Displaystyle \ tau = 1/ar}$

wtedy ${\ Displaystyle b = {\ Frac {1} {(\ delta + {\ Frac {1} {ar}})}}}$ ,

i przegrupowanie daje:

${\ Displaystyle b = {\ Frac {r} {\ delta r + {\ Frac {1} {a}}}}}$

$wywoływane$ z szybkością proporcjonalną do $mogą$ emitowane tylko z szybkością powodu Druga zasada MPR mówi, że czas potrzebny do wyemitowania odpowiedzi ogranicza wskaźnik odpowiedzi (Killeen i Sitomer, 2003).

Trzecia zasada: sprzężenie

Sprzężenie to ostateczna koncepcja MPR, która łączy ze sobą wszystkie procesy i pozwala na konkretne przewidywania zachowania przy różnych harmonogramach wzmacniania. Sprzężenie odnosi się do związku między reakcjami a wzmocnieniami. Reakcja docelowa jest odpowiedzią interesującą eksperymentatora, ale każda reakcja może zostać powiązana ze wzmocnieniem. Warunek wzmocnienia odnoszą się do sposobu, w jaki wzmocnienie jest zaplanowane w odniesieniu do docelowej odpowiedzi (Killeen i Sitomer, 2003), a konkretne harmonogramy wzmocnienia w efekcie określają, w jaki sposób reakcje są sprzężone ze wzmocnieniem. Trzecia zasada MPR mówi, że stopień sprzężenia między reakcją a wzmocnieniem maleje wraz z odległością między nimi (Killeen i Sitomer, 2003). Współczynniki sprzężenia , oznaczone jako $,$ podane dla różnych harmonogramów zbrojenia. Kiedy współczynniki sprzężenia są wstawiane do modelu aktywacji i ograniczeń, wyprowadzane są kompletne modele warunkowania:

${\ Displaystyle b = {\ Frac {cr} {\ delta r + 1/a}}}$

To jest podstawowe równanie MPR. Kropka po $literze$ symbolem zastępczym dla konkretnych rozważanych przypadków wzmocnienia (Killeen i Sitomer, 2003).

Harmonogramy zbrojenia o stałym stosunku

Szybkość wzmocnienia dla harmonogramów o stałym współczynniku jest łatwa do obliczenia, ponieważ szybkość wzmocnienia jest wprost proporcjonalna do wskaźnika odpowiedzi i odwrotnie proporcjonalna do wymaganego współczynnika (Killeen, 1994). Funkcja sprzężenia zwrotnego harmonogramu to zatem:

${\ Displaystyle r = {\ Frac {b} {n}}}$ .

Podstawienie tej funkcji do pełnego modelu daje równanie ruchu dla rozkładów proporcji (Killeen i Sitomer, 2003). Killeen (1994, 2003) wykazał $}$ że ostatnia odpowiedź w sekwencji odpowiedzi jest ważona najmocniej i ma wagę równą , pozostałym odpowiedziom ${\ displaystyle \$ . Przedostatnia odpowiedź otrzymuje , odpowiedź otrzymuje ${\ Displaystyle \ beta (1- \ beta$${\ Displaystyle \ beta (1- \ beta) ^ {2}}$ . n ${\ Displaystyle n}$ odpowiedź zwrotna ma wagę $1}}$

Suma tego szeregu jest współczynnikiem sprzężenia dla rozkładów o stałym współczynniku:

${\ Displaystyle c_ {FR_ {n}} = 1- (1- \ beta) ^ {n}}$

Ciągłe przybliżenie tego to:

${\ Displaystyle c_ {FR_ {n}} = 1-e ^ {- \ lambda n}}$

gdzie $jest$ tempem zaniku pamięci. Wstawienie współczynnika wzmocnienia i współczynnika sprzężenia do modelu ograniczenia aktywacji daje przewidywane wskaźniki odpowiedzi dla harmonogramów FR:

${\ Displaystyle b = {\ Frac {c.} {\ delta}} - {\ Frac {n} {\ delta a}}}$

To równanie przewiduje niskie wskaźniki odpowiedzi przy niskich wymaganiach dotyczących współczynnika z powodu przesunięcia pamięci przez konsumpcyjne zachowanie. Jednak te niskie stawki nie zawsze są spotykane. $Sprzężenie$ odpowiedzi może wykraczać poza poprzednie wzmocnienie i dodaje się dodatkowy parametr, to uwzględnić. Killeen i Sitomer (2003) wykazali, że współczynnik sprzężenia dla rozkładów FR wynosi wtedy:

$) n + n_ {0} =1-\epsilon (1-\beta )n}$

${\textstyle n_ {0}}$ to liczba odpowiedzi poprzedzających wcześniejsze wzmocnienie, które przyczyniają się do siły odpowiedzi. ${\ textstyle \ epsilon}$ , która mieści się w zakresie od 0 do 1, to stopień wymazania docelowej odpowiedzi z pamięci wraz z dostarczeniem wzmocnienia. ( ${\ textstyle \ epsilon = (1- \ beta) n_ {0}}$ ) Jeśli ${\ Displaystyle \ epsilon = 1}$ , wymazanie jest zakończone i można zastosować prostsze równanie FR używany.

Harmonogramy zbrojenia o zmiennym stosunku

Według Killeena i Sitomera (2003) czas trwania odpowiedzi może wpływać na tempo zanikania pamięci. Kiedy $} }$ jak i między nimi, potrzebny jest pełniejszy model i zastępuje się go . \ $\ beta$ daje:

${\ Displaystyle 1- \ epsilon (1- \ beta) \ delta n = 1 - \ epsilon e ^ {- \ lambda \ delta n} }$

$mają$ współczynniku ze średnim wymaganiem odpowiedzi $2001$ stałe prawdopodobieństwo odpowiedzi kończącej się wzmocnieniem (Bizo, Kettle i Killeen, Ostatnia odpowiedź kończąca się wzmocnieniem musi zawsze wystąpić i $otrzymuje$ . Przedostatnia odpowiedź występuje z prawdopodobieństwem ${\ displaystyle 1-p}$ i otrzymuje wzmocnienie ${\ Displaystyle \ beta (1- \ beta)}$ . Suma tego procesu do nieskończoności wynosi (Killeen 2001, dodatek):

${\ Displaystyle C (n) = \ suma _ {j = 1} ^ {\ infty} \ beta (1-\beta )^{j-1}(1-p)^{j-1}}$

Współczynnik sprzężenia dla harmonogramów VR wynosi ostatecznie:

${\ Displaystyle c_ {VR_ {n}} = {\ Frac {n} {n + {\ Frac {(1-b)} {b}}}}}$

Mnożenie przez stopień wymazania pamięci daje:

${\ Displaystyle c_ {VR_ {n}} = {\ Frac {n} {n + \ epsilon {\ Frac {(1- \ beta)}} {\ beta }}}}}$

Współczynnik sprzężenia można następnie wstawić do modelu ograniczeń aktywacji, podobnie jak współczynnik sprzężenia dla harmonogramów FR, aby uzyskać przewidywane wskaźniki odpowiedzi w ramach harmonogramów VR:

${\ Displaystyle b = {\ Frac {c_ {VR_ {n}}} {\ delta}} - {\ Frac {n} {\ delta a}}}$

W harmonogramach interwałowych funkcja sprzężenia zwrotnego harmonogramu jest

${\ Displaystyle R = {\ Frac {1} {t}}}$

gdzie $wzmocnieniami$ (Killeen, 1994). Sprzężenie w harmonogramach interwałowych jest słabsze niż harmonogramy proporcjonalne, ponieważ harmonogramy interwałowe w równym stopniu wzmacniają wszystkie odpowiedzi poprzedzające cel, a nie tylko reakcję docelową. $jest$ tylko część . W przypadku wymogu odpowiedzi ostateczna, docelowa odpowiedź musi otrzymać siłę ${\ displaystyle \ beta}$ . Wszystkie poprzednie odpowiedzi, celowe lub niecelowe, otrzymują wzmocnienie ${\ Displaystyle 1-\ beta}$ .

Harmonogramy o stałym czasie to najprostsze harmonogramy zależne od czasu, w których organizmy muszą po prostu czekać t sekund na bodziec. Killeen (1994) ponownie zinterpretował wymagania czasowe jako wymagania dotyczące odpowiedzi i zintegrował zawartość pamięci z jednego bodźca do drugiego. Daje to zawartość pamięci:

N

MN= lò e-lndn

0

Jest to stopień nasycenia pamięci wszystkimi reakcjami, zarówno celowymi, jak i niecelowymi, wywołanymi w kontekście (Killeen, 1994). Rozwiązanie tego równania daje współczynnik sprzężenia dla stałych rozkładów jazdy:

c=r(1-e-lbt)

gdzie jest $docelowych$ w trajektorii odpowiedzi. Rozwinięcie na szereg potęgowy daje następujące przybliżenie:

c» rlbt

1+lbt

To równanie przewiduje poważną niestabilność dla niewarunkowych harmonogramów zbrojenia.

Harmonogramy o stałych odstępach czasu gwarantują wzmocnienie docelowej odpowiedzi, b=w1, ponieważ wzmocnienie jest uzależnione od tej ostatecznej, ciągłej odpowiedzi (Killeen, 1994). To sprzężenie jest równoważne sprzężeniu na harmonogramach FR 1

w1=b=1-el.

Pozostała część sprzężenia wynika z pamięci poprzedniego zachowania. Współczynnik sprzężenia dla harmonogramów FI wynosi:

c= b +r(1-b-e-lbt).

Harmonogramy o zmiennym czasie są podobne do harmonogramów o losowym współczynniku, ponieważ istnieje stałe prawdopodobieństwo wzmocnienia, ale te wzmocnienia są ustawiane w czasie, a nie w odpowiedziach. Prawdopodobieństwo braku wzmocnienia przed pewnym czasem t' jest wykładniczą funkcją tego czasu, przy czym stała czasowa t jest średnią IRI harmonogramu (Killeen, 1994). Aby uzyskać współczynnik sprzężenia, należy scałkować prawdopodobieństwo niezakończenia harmonogramu, ważone zawartością pamięci.

∞

M= lò e-n't/te-ln' dn'

0

W tym równaniu t'=n', gdzie t jest małą jednostką czasu. Killeen (1994) wyjaśnia, że ​​pierwszym wyrazem wykładniczym jest rozkład wzmocnienia, podczas gdy drugim wyrazem jest waga tego rozkładu w pamięci. Rozwiązanie tej całki i pomnożenie przez stałą sprzężenia r daje stopień zapełnienia pamięci w harmonogramach VT:

c=rlbt

1+lbt

Jest to ten sam współczynnik sprzężenia, co harmonogram FT, z wyjątkiem tego, że jest to dokładne rozwiązanie dla harmonogramów VT, a nie przybliżenie. Po raz kolejny funkcja sprzężenia zwrotnego w tych niewarunkowych harmonogramach przewiduje poważną niestabilność w reagowaniu.

Podobnie jak w przypadku harmonogramów FI, harmonogramy o zmiennym przedziale czasowym gwarantują sprzężenie docelowej odpowiedzi b. Proste dodanie b do równania VT daje:

∞

M= b+ lò e-n't/te-ln' dn'

1

Rozwiązanie całki i pomnożenie przez r daje współczynnik sprzężenia dla rozkładów VI:

c= b+(1-b) rlbt

1+lbt

Współczynniki sprzężenia dla wszystkich harmonogramów są wstawiane do modelu ograniczeń aktywacji w celu uzyskania przewidywanego ogólnego wskaźnika odpowiedzi. Trzecia zasada MPR mówi, że sprzężenie między reakcją a wzmocnieniem zmniejsza się wraz ze wzrostem czasu między nimi (Killeen i Sitomer, 2003).

Matematyczne zasady wzmacniania opisują, w jaki sposób zachęty napędzają zachowanie, jak ogranicza je czas i jak kierują nimi zdarzenia losowe. Jest to ogólna teoria wzmocnienia, która łączy zarówno przyległość, jak i korelację jako procesy wyjaśniające zachowanie. Wiele reakcji poprzedzających wzmocnienie może zostać skorelowanych ze wzmocnieniem, ale ostateczna reakcja otrzymuje największą wagę w pamięci. Dostarczono konkretne modele dla trzech podstawowych zasad wyrażania przewidywanych wzorców reakcji w wielu różnych sytuacjach i przy różnych harmonogramach wzmacniania. Współczynniki sprzężenia dla każdego harmonogramu zbrojenia są wyprowadzane i wstawiane do podstawowego równania w celu uzyskania ogólnych przewidywanych wskaźników odpowiedzi.

Źródła

• Bizo, LA, czajnik, LC i Killeen, PR (2001). „Zwierzęta nie zawsze reagują szybciej na więcej jedzenia: paradoksalny efekt zachęty”. Uczenie się i zachowanie zwierząt , 29 , 66-78.
• Killeen, PR (1994). „Matematyczne zasady zbrojenia”. Behavioural and Brain Sciences , 17 , 105-172.
• Killeen, PR, Hall, SS, Reilly, poseł i czajnik, LC (2002). „Analizy molekularne głównych składników siły odpowiedzi”. Journal of the Experimental Analysis of Behaviour , 78 , 127-160.
• Killeen, PR, Hanson, SJ i Osborne, SR (1978). „Pobudzenie: jego geneza i manifestacja jako wskaźnik odpowiedzi”. Przegląd psychologiczny . Tom 85 nr 6 . P. 571-81
• Killeen, PR & Sitomer, MT (2003). „MPR”. Procesy behawioralne , 62 , 49-64