Kwadratura Bayesa

Kwadratura bayesowska to metoda aproksymacji trudnych problemów integracyjnych. Należy do klasy probabilistycznych metod numerycznych . Kwadratura bayesowska postrzega całkowanie numeryczne jako wnioskowania bayesowskiego , w którym oceny funkcji są używane do oszacowania całki tej funkcji. Z tego powodu czasami określa się to również jako „bayesowską probabilistyczną całkę numeryczną” lub „bayesowską całkę numeryczną”. Nazwa „kubatura bayesowska” jest czasami używana, gdy całka jest wielowymiarowa. Potencjalną zaletą tego podejścia jest to, że zapewnia ono probabilistyczną kwantyfikację niepewności dla wartości całki.

Kwadratura Bayesa

Całkowanie numeryczne

Niech ${R}}$$mathbb$ będzie funkcją zdefiniowaną w domenie (gdzie zazwyczaj ${\ Displaystyle {\ mathcal {X}} \ subseteq \ mathbb {R} ^ {d}})$ . W całkowaniu numerycznym oceny funkcji w różnych lokalizacjach $x_ {1}), \ ldots, f (x_ {n$${\ Displaystyle x_ {1}, \ ldots, x_ {n}}$ in ${\ Displaystyle {\ mathcal {X}}}$ są używane do oszacowania całki z miary $f}$$\nu }$$displaystyle$ : czyli ${\ Displaystyle \ textstyle \ nu [f]: = \ int _ {\ mathcal {X}} f (x) \ nu (\ operatorname {d} x).} Biorąc pod uwagę$ wagi ${ \ Displaystyle w_ {1}, \ ldots, w_ {n} \ in \ mathbb {R}}$ , reguła kwadraturowa jest estymatorem postaci ${\ Displaystyle \ nu [f]}$ postaci $\textstyle {\hat {\nu }}[f]:=\sum _{i=1}^{n}w_{i}f(x_{i}).$

${\ Displaystyle f (x_ {1}), \ ldots, f ($ na określeniu wcześniejszego rozkładu po , warunkowaniu tego wcześniejszego na $($ , aby uzyskać rozkład a posteriori $a$ następnie obliczyć domniemany rozkład a posteriori na ${\ displaystyle \ nu [f]}$ . Nazwa „kwadratura” pochodzi z faktu, że późniejsza średnia $czasami$ przyjmuje postać reguły kwadraturowej, której wagi są określane

Kwadratura bayesowska z procesami gaussowskimi

Najczęstszym wyborem rozkładu wcześniejszego $wnioskowanie$ jest proces Gaussa $na$ ponieważ pozwala to na sprzężone w celu rozkładu późniejszego w postaci $, że$ mamy proces Gaussa z wcześniejszą funkcją średnią funkcją kowariancji ${\ Displaystyle k: {\ mathcal {X}} \ razy {\ mathcal {X}} \ rightarrow \ mathbb {R}}$ ) . Następnie rozkład późniejszy na jest procesem Gaussa ze średnią i jądrem k $\ mathbb {R}}$$displaystyle m_ {n}: {\ mathcal$${\ Displaystyle k_ {n}: {\ mathcal {X}} \ razy {\ mathcal {X}} \ rightarrow \ mathbb {R}}$ podane przez:

$${\ Displaystyle m_ {n} (x) = m (x) + k (x, X) k (X, X) ^ {-1} f (X) \ qquad {\ tekst {i}} \ qquad k_ { n}(x,y)=k(x,y)-k(x,X)k(X,X)^{-1}k(X,y).}$$

gdzie ${\ Displaystyle (k (X, X)) _ {ij} = k (x_ {i}, x_ {j})}$ , ${\ Displaystyle (f (X)) _ {i} = f (x_ {i})}$ , ${\ Displaystyle (k (\ cdot, X)) _ {i} = k (\ cdot, x_ {i})}$ i ${ \displaystyle (k(X,\cdot))_{i}=k(x_{i},\cdot)}$ .

$}$ rozkład późniejszy na jest jednowymiarowym rozkładem Gaussa ze średnią i mi $\ Displaystyle \ mathbb {E} [$ ] $V} [\ nu [f]]}$ { podane przez

$${\ Displaystyle \ mathbb {E} [\ nu [f]] = \ nu [m] + \ nu [k (\ cdot, X)] k (X, X) ^ {-1} f (X) \ qquad {\text{and}}\qquad \mathbb {V} [\nu [f]]=\nu \nu [k]-\nu [k(\cdot ,X)]k(X,X)^{- 1}\nu [k(X,\cdot )].}$$

ν $) \ nu (\ operatorname {d} y)}$$\ int _ {\ mathcal {X }} k (y,$${\ Displaystyle \ textstyle \ nu \ nu [k] = \ int _ {\ mathcal {X}} k (x, y) \ nu (dx) \ nu (\ operatorname {d} y) }$ jest średnim osadzeniem $]$ i oznacza całkę $.$ odniesieniu do obu wejść W szczególności zauważ, że późniejsza średnia jest regułą kwadraturową z wagami ${\ Displaystyle \ textstyle w_ {i} = (\ nu [k (\ cdot, X)] k (X, X) ^ {-1}) _ {i}.} a późniejsza wariancja zapewnia kwantyfikację$ użytkownika niepewność co do wartości ${\ Displaystyle \ nu [f]}$ .

W trudniejszych problemach integracyjnych, w których nie można polegać na wcześniejszym rozkładzie jako znaczącej reprezentacji niepewności epistemicznej, konieczne jest użycie danych ${\ displaystyle f (x_ {1 }),\ldots ,f(x_{n})}$ do ustawienia hiperparametrów jądra przy użyciu, na przykład, oszacowania największej wiarygodności . Estymacja hiperparametrów jądra wprowadza adaptacyjność do kwadratury bayesowskiej.

Przykład

ν ${\ Displaystyle \ textstyle \ nu [f] = \ int _ {0} ^ {1} f (x) \, \ operatorname {$ gdzie ${\ Displaystyle \ textstyle f (x) = (1 + x ^ {2}) \ sin (5 \ pi x)+8/5}$ . Rozkład późniejszy (niebieski) koncentruje się na całce prawdziwej, gdy uzyskuje się więcej danych (czerwone punkty) całki ${\ displaystyle f}$ .

Rozważ oszacowanie całki

$${\ Displaystyle \ nu [f] = \ int _{0}^{1}f(x)\,\mathrm {d} x\około 1,79\quad {\text{ funkcji }}\quad f(x)=(1+x^{2}) \sin(5\pi x)+{\frac {8}{5}}}$$

$rho = 1/5}$ zerowym procesie Gaussa wcześniej z funkcją kowariancji Matérna gładkości i długości korelacji $displaystyle$ . Ta funkcja kowariancji to ${\ Displaystyle \ textstyle k (x, y) = (1 + {\ sqrt {3}} \, | xy |/\ rho) \ exp (\! - {\ sqrt {3}} \, | xy |/ \rho ).}$ Obliczenie tego jest proste (choć żmudne).

$${\ Displaystyle \ nu [k (\ cdot, x)] = \ int _ {0} ^ {1} k (y, x) \, \mathrm {d} y={\frac {4\rho }{\sqrt {3}}}-{\frac {1}{3}}\exp {\bigg (}{\frac {{\sqrt {3 }}(x-1)}{\rho }}{\bigg )}{\big (}3+2{\sqrt {3}}\,\rho -3x{\big )}-{\frac {1 }{3}}\exp {\bigg (}-{\frac {{\sqrt {3}}\,x}{\rho }}{\bigg )}{\big (}3x+2{\sqrt { 3}}\,\rho {\duży )}}$$

$${\ Displaystyle \ nu \ nu [k] = \ int _ {0} ^ {1} \ int _ {0} ^ {1} k (x, y) \, \ operatorname {d} x \, \ operatorname { d} y={\frac {2\rho }{3}}{\Bigg [}2{\sqrt {3}}-3\rho +\exp {\bigg (}\!-{\frac {\sqrt {3}}{\rho }}{\bigg )}{\big (}{\sqrt {3}}+3\rho {\big)}{\Bigg ]}.}$$

$[$ oszacowania punktu kwadraturowego Bayesa $\mathbb {V} [\ nu [f]]}$ masy, określone $\$ , wokół całki prawdziwej ${\ Displaystyle \ nu [f]}$$ponieważ$ jest w coraz większej liczbie punktów jest wyświetlany w załączonym animacja.

Zalety i wady

Ponieważ kwadratura bayesowska jest przykładem liczb probabilistycznych , ma pewne zalety w porównaniu z tradycyjnymi metodami całkowania numerycznego :

• Pozwala na kwantyfikację niepewności i propagację jej we wszystkich kolejnych obliczeniach w celu jawnego modelowania wpływu błędu numerycznego.
• Zapewnia pryncypialny sposób włączenia wcześniejszej wiedzy za pomocą rozsądnego wyboru wcześniejszych rozkładów dla $które$ mogą być bardziej wyrafinowane w porównaniu z opisanym właśnie standardowym procesem Gaussa.
• Pozwala na efektywniejsze wykorzystanie informacji, np. wspólne wnioskowanie o wielu powiązanych ze sobą wielkościach lub wykorzystanie aktywnego uczenia się w celu zmniejszenia wymaganej liczby punktów.

Pomimo tych zalet metody kwadraturowe Bayesa mają następujące ograniczenia:

• $zawsze$ pryncypialne traktowanie kwantyfikacji niepewności, późniejsze wnioskowanie o wykonalne, co wymaga oszacowania drugiego poziomu $_$ z procesami Gaussa oznacza _ $_ k}$ i zmierzyć ${\ displaystyle \ nu}$ .

• $×$$n \times n}$ ogólnie względu na koszt odwrócenia macierze, które mogą przeciwstawiać się ich zastosowaniu do problemów na dużą skalę.

Projekt algorytmiczny

Wcześniejsze dystrybucje

Najczęściej używanym wcześniejszym dla $jest$ proces Gaussa. Wynika to głównie z zalet koniugacji Gaussa i faktu, że procesy Gaussa mogą kodować szeroki zakres wcześniejszej wiedzy, w tym gładkość, okresowość i rzadkość, poprzez staranny wybór wcześniejszej kowariancji. Jednak zaproponowano również szereg innych wcześniejszych dystrybucji. Obejmuje to wielowyjściowe procesy Gaussa , które są szczególnie przydatne podczas $nieciągłości$ lub sekwencyjnego rozwiązywania wielu powiązanych zadań całkowania numerycznego, oraz oparte na drzewach priorytety, takie jak drzewa regresji addytywnej bayesowskiej , które dobrze nadają się do . Dodatkowo zaproponowano również priorytety procesów Dirichleta dla miary integracji ${\ displaystyle \ nu}$ .

Wybór punktu

Punkty $, aby$${\ displaystyle \nu [f]}$ późniejszy punkt koncentruje się szybciej. Jedno podejście polega na użyciu zestawów punktów z innych reguł kwadraturowych. Na przykład wzięcie niezależnych i identycznie rozłożonych realizacji z odzyskuje bayesowskie podejście do Monte Carlo $,$ podczas gdy użycie pewnych deterministycznych zestawów punktów, takich jak sekwencje o niskiej rozbieżności lub sieci, przywraca bayesowską alternatywę dla quasi-Monte . Oczywiście możliwe jest również użycie zestawów punktów zaprojektowanych specjalnie dla kwadratury Bayesa; patrz na przykład praca tego, kto wykorzystał symetrie w zbiorach punktów, aby uzyskać skalowalne estymatory kwadraturowe Bayesa. Alternatywnie, punkty można również wybierać adaptacyjnie, zgodnie z zasadami aktywnego uczenia się i eksperymentalnego projektowania bayesowskiego , aby bezpośrednio zminimalizować późniejszą niepewność, w tym dla wielowyjściowych procesów Gaussa.

Średnia jądra i błąd początkowy

$x$ bayesowskiej jest potrzeba oszacowania funkcji i stałej ${\ Displaystyle \ nu [k (\ cdot,$ . Ta pierwsza jest powszechnie nazywana średnią jądra i jest wielkością, która jest kluczem do obliczania odległości opartych na jądrze, takich jak maksymalna średnia rozbieżność. Ten ostatni jest powszechnie nazywany błędem początkowym, ponieważ zapewnia górną granicę błędu całkowania, zanim zostaną zaobserwowane jakiekolwiek wartości funkcji. $, średnią jądra i błąd$ tylko dla niewielkiej liczby par patrz na przykład Tabela 1 w.

Teoria

Wyprowadzono szereg teoretycznych gwarancji dla kwadratury bayesowskiej. Zwykle wymagają one właściwości gładkości Sobolewa całki, chociaż ostatnie prace obejmują również całki w odtwarzającej się przestrzeni Hilberta jądra Gaussa jądra. Większość wyników odnosi się do przypadku Monte Carlo lub deterministycznych zestawów punktów siatki, ale niektóre wyniki dotyczą również projektów adaptacyjnych.

Oprogramowanie

• ProbNum : probabilistyczne metody numeryczne w Pythonie, w tym implementacja kwadratury Bayesa.
• Emukit : Emulacja i podejmowanie decyzji w warunkach niepewności w Pythonie.
• QMCPy : kwadratura bayesowska z zestawami punktów QMC w Pythonie.