Dekompozycja rang tensorowych

W ${\ displaystyle rank-1} .$ wieloliniowej rozkład tensora rangi lub $-$ jest rozkładem tensora pod względem sumy minimum $R$ tensory Jest to problem otwarty.

$rozkład$ poliadyczny (CPD) $warunki$$który$ najlepiej pasujące dla . Dekompozycja CP znalazła pewne zastosowania w językoznawstwie i chemometrii . Ranking CP został wprowadzony przez Franka Laurena Hitchcocka w 1927 r., a później kilkakrotnie ponownie odkryta, zwłaszcza w psychometrii. Dekompozycja CP jest określana jako CANDECOMP, PARAFAC lub CANDECOMP/PARAFAC (CP). Rozkład rang PARAFAC2 nie został jeszcze zbadany.

Inne popularne uogólnienie macierzy SVD, znane jako rozkład wartości osobliwych wyższego rzędu, oblicza macierze trybu ortonormalnego i znalazło zastosowanie w ekonometrii , przetwarzaniu sygnałów , wizji komputerowej , grafice komputerowej , psychometrii .

Notacja

Zmienna skalarna jest oznaczona małymi literami kursywą, $granica$ skalarna jest oznaczona wielką kursywą literą. ${\ displaystyle A}$ .

Indeksy są oznaczane przez kombinację małych i wielkich liter kursywy, 1 $\ Displaystyle 1 \ równoważnik i \ równoważnik I}$ Wiele wskaźników, które można napotkać, odnosząc się do wielu trybów tensora, jest dogodnie oznaczonych przez ${\ Displaystyle 1 \ równoważnik i_ {m} \ równoważnik I_ {m}}$ gdzie ${ \ Displaystyle 1 \ równoważnik m \ równoważnik M}$ .

$jest$ oznaczony małymi pogrubionymi literami Times Roman, $jest$ oznaczona pogrubionymi dużymi literami .

Tensor wyższego rzędu jest oznaczony literami kaligraficznymi, ${\ displaystyle {\ mathcal {A}}}$ . Element tensora rzędu $Displaystyle {\ mathcal {A}} \ in \ mathbb {C} ^ {I_ { 1}\times I_{2}\times \dots I_{m}\times \dots I_{M}}} jest$$ja$ oznaczony przez ${\ Displaystyle a_ {i_ {1}, i_ {2}, \ kropki, i_ {m}, \ kropki i_ {M}}}$ lub ${\ Displaystyle {\ mathcal {A}} _ {i_ {1}, i_ {2}, \ kropki, i_ {m}, \ kropki i_ {M}}}$ .

Definicja

Tensor danych ${\ Displaystyle {\ mathcal {A}} \ in {\ mathbb {F}} ^ {I_ {0} \ razy I_ {1} \ razy \ ldots \times I_{C}}}$ to zbiór wielowymiarowych obserwacji zorganizowanych w tablicę M -drogową, gdzie M = C +1. ${\ displaystyle R$ tensor można przedstawić za pomocą odpowiednio dużego tensora jako liniowej kombinacji tensorów rangi 1: $}$

${\ Displaystyle {\ mathcal {A}} = \ suma _ {r=1}^{R}\lambda _{r}\mathbf {a} _{0,r}\otimes \mathbf {a} _{1,r}\otimes \mathbf {a} _{2, r}\dots \otimes \mathbf {a} _{c,r}\otimes \cdots \otimes \mathbf {a} _{C,r},}$

gdzie ${\ Displaystyle \ lambda _ {r} \ w {\ mathbb {R}}}$ i ${\ Displaystyle \ mathbf {a} _ {m, r} \ w { \mathbb {F}} ^ {I_ {m}}}$ gdzie ${\ Displaystyle 1 \ równoważnik m \ równoważnik M}$ . Gdy liczba terminów w powyższym wyrażeniu jest minimalna, wówczas nazywa się rangą $R}$$displaystyle$ tensora, a rozkład jest często określany jako rozkład rang (tensorowych) , minimalny rozkład CP lub kanoniczny rozkład poliadyczny (CPD) . Jeśli liczba terminów nie jest minimalna, to powyższy rozkład jest często określany jako CANDECOMP/PARAFAC , rozkład poliadyczny”.

Ranga tensorowa

W przeciwieństwie do macierzy obliczanie rzędu tensora jest NP-trudne . Jedyny godny uwagi, dobrze zrozumiany przypadek składa się z tensorów w ${\ Displaystyle F ^ {I_ {m}} \ czasami F ^ {I_ {n}} \ czasami F ^ {2}}$ , którego rangę można uzyskać z postaci normalnej Kroneckera – Weierstrassa liniowej matrycy ołówka , którą reprezentuje tensor. Istnieje prosty algorytm czasu wielomianowego do potwierdzania, że ​​tensor ma rangę 1, a mianowicie dekompozycja na wartości osobliwe wyższego rzędu .

Ranga tensora zer jest umownie zerowa. Ranga $_$ pod ${\ Displaystyle \ mathbf {a} _ {m} \ w F ^ {I_ {m}} \ setminus \ {0 \}}$ .

Zależność od pola

Ranga tensora zależy od pola, w którym tensor jest rozkładany. Wiadomo, że niektóre tensory rzeczywiste mogą dopuszczać złożony rozkład, którego stopień jest ściśle mniejszy niż stopień rzeczywistego rozkładu tego samego tensora. Jako przykład rozważ następujący rzeczywisty tensor

${\ Displaystyle {\ mathcal {A}} = \ mathbf {x} _ {1} \ czasami \ mathbf {x} _ {2} \ czasami \ mathbf {x} _ {3} + \ mathbf {x} _ { 1}\otimes \mathbf {y} _{2}\otimes \mathbf {y} _{3}-\mathbf {y} _{1}\otimes \mathbf {x} _{2}\otimes \mathbf { y} _{3}+\mathbf {y} _{1}\otimes \mathbf {y} _{2}\otimes \mathbf {x} _{3},}$

gdzie ${\ Displaystyle \ mathbf {x} _ {i} \ mathbf {y} _ {j} \ w \ mathbb {R} ^ {2}}$ . Wiadomo, że stopień tego tensora nad liczbami rzeczywistymi wynosi 3, podczas gdy jego stopień zespolony wynosi tylko 2, ponieważ jest sumą zespolonego tensora rangi 1 z jego złożonym koniugatem , a mianowicie

${\ Displaystyle {\ mathcal {A}} = {\ Frac {1} {2}} ({ \bar {\mathbf {z}}}_{1}\otimes \mathbf {z} _{2}\otimes {\bar {\mathbf {z}}}_{3}+\mathbf {z} _{ 1}\otimes {\bar {\mathbf {z}}}_{2}\otimes \mathbf {z} _{3}),}$

gdzie ${\ Displaystyle \ mathbf {z} _ {k} = \ mathbf {x} _ {k} + i \ mathbf {y} _ {k}}$ .

W przeciwieństwie do tego, ranga macierzy rzeczywistych nigdy nie zmniejszy się pod rozszerzeniem pola do : ranga macierzy $.$ i ranga macierzy zespolonej pokrywają się dla macierzy rzeczywistych

Ranga ogólna

Ogólna ranga $_$ _ $_$ _ $JESTEM}}}$ Zariskiego zbioru tensorów rang ${$ cała przestrzeń ${\ displaystyle F ^ {I_ {1}} \ otimes \ cdots \ otimes F ^$ . W przypadku tensorów zespolonych tensory rang co najwyżej $} } : każdy tensor$ gęsty zbiór ${\ Displaystyle r (I_ {1}, \ ldots, ja_ {M})$$z$ wspomnianej przestrzeni ma albo rangę mniejszą niż ranga ogólna, albo jest to granica w topologii euklidesowej sekwencji tensorów . W przypadku tensorów rzeczywistych zbiór tensorów rzędu co najwyżej ${\ Displaystyle r (I_ {1}, \ ldots, I_ {M})}$ tworzy tylko otwarty zbiór dodatniej miary w topologii euklidesowej. Mogą istnieć zbiory euklidesowo-otwarte tensorów rangi ściśle wyższej niż ranga rodzajowa. Wszystkie rangi występujące na zbiorach otwartych w topologii euklidesowej nazywane są rangami typowymi . Najmniejsza typowa ranga nazywana jest rangą rodzajową; ta definicja dotyczy zarówno tensorów zespolonych, jak i rzeczywistych. Ogólny rząd przestrzeni tensorowych był początkowo badany w 1983 roku przez Volkera Strassena .

Jako ilustrację powyższych koncepcji wiadomo, że zarówno 2, jak i 3 są typowymi rangami ${\ Displaystyle \ mathbb {R} ^ {2} \ otimes \ mathbb {R} ^ {2 } \ otimes \ mathbb {R} ^ {2}}$${\ Displaystyle \ mathbb {C} ^ {2} \ otimes \ mathbb {C} ^ {2} \ otimes \mathbb {C} ^{2}}$ podczas gdy ogólna ranga do wynosi 2. W praktyce oznacza to, że losowo próbkowany tensor rzeczywisty (z ciągłej miary prawdopodobieństwa w przestrzeni tensorów) o rozmiarze będzie tensorem rangi 1 z prawdopodobieństwem zerowym, tensorem rangi 2 z dodatnim prawdopodobieństwem i rangi $dodatnim$ Z drugiej strony losowo próbkowany tensor zespolony o tej samej wielkości będzie tensorem rangi 1 z prawdopodobieństwem zerowym, tensorem rangi 2 z prawdopodobieństwem jeden i tensorem rangi 3 z prawdopodobieństwem zero. Wiadomo nawet, że ogólny tensor rzeczywisty rangi 3 w ${\ Displaystyle \ mathbb {R} ^ {2} \ czasami \ mathbb {R} ^ {2} \ otimes \ mathbb {R } ^{2}}$ będzie miał rangę zespoloną równą 2.

Ogólna ranga przestrzeni tensorowych zależy od rozróżnienia między zrównoważonymi i niezrównoważonymi przestrzeniami tensorowymi. Przestrzeń tensorowa ${\ Displaystyle F ^ {I_ {1}} \ otimes \ cdots \ otimes F ^ {I_ {M}}}$ , gdzie ${\ Displaystyle I_ {1} \ geq I_ {2} \ geq \ cdots \ geq I_ {M}}$ nazywa się niezrównoważonym , gdy

${\ Displaystyle I_ {1}> 1 + \ prod _ {m = 2} ^ {M} I_ {m }-\suma _{m=2}^{M}(I_{m}-1),}$

nazywa się to zrównoważonym .

Niesymetryczne przestrzenie tensorowe

Kiedy pierwszy czynnik jest bardzo duży w stosunku do innych czynników w iloczynze tensorowym, wówczas przestrzeń tensorowa zasadniczo zachowuje się jak przestrzeń macierzowa. Wiadomo, że ogólna ranga tensorów żyjących w niezrównoważonych przestrzeniach tensorowych jest równa

${\ Displaystyle r (I_ {1}, \ ldots, ja_ {M}) = \ min \ lewo \ {I_ {1},\prod _{m=2}^{M}I_{m}\right\}}$

prawie wszędzie . Dokładniej, ranga każdego tensora w niezrównoważonej przestrzeni tensorowej ${\ Displaystyle F ^ {I_ {1} \ razy \ cdots \ razy I_ {M}} \ setminus Z$ } ${\ displaystyle Z}$ jest jakimś nieokreślonym zbiorem zamkniętym w topologii Zariskiego, równym powyższej wartości.

Zrównoważone przestrzenie tensorowe

Oczekiwany ogólny rząd tensorów żyjących w zrównoważonej przestrzeni tensorowej jest równy

${\ Displaystyle r_ {E} (I_ {1}, \ ldots, ja_ {M}) = \ lewo \ lceil {\ Frac {\ Pi }{\Sigma +1}}\right\rceil }$

prawie wszędzie dla zespolonych tensorów i na zbiorze euklidesowym otwartym dla rzeczywistych tensorów, gdzie

${\ Displaystyle \ Pi = \ prod _ {m = 1} ^ {M} I_ {m} \ quad {\ tekst {i}} \ quad \ Sigma = \ suma _ {m = 1} ^ {M} (I_ {m}-1).}$

$_$ ranga _ ${\ displaystyle Z}$ jest jakimś nieokreślonym zbiorem zamkniętym w topologii Zariskiego i oczekuje się, że będzie równy powyższej wartości. dla rzeczywistych tensorów ${\ Displaystyle r_ {E} (I_ {1}, \ ldots, ja_ {M})}$ jest najmniejszą rangą, która ma wystąpić na zbiorze dodatniej miary euklidesowej. R ${\ Displaystyle r_ {E} (I_ {1}, \ ldots, ja_ {M})}$ jest często określany jako oczekiwany rodzajowy rząd tensorowej $_$ tylko Wiadomo, że prawdziwa ranga rodzajowa zawsze spełnia

${\ Displaystyle r (I_ {1}, \ ldots, ja_ {M}) \ geq r_ {E} (ja_ {1}, \ ldots, ja_ {M}).}$

$_ I_{M})=r_{E}(I_{1},\ldots ,I_{M})}$ Abo Ottavianiego stwierdza , z następującymi wyjątkowymi przypadkami:

• ${\ Displaystyle F ^ {(2m + 1) \ razy (2m + 1) \ razy 3} {\ tekst { gdzie }}m=1,2,\ldkropki }$
• ${\ Displaystyle F ^ {(m + 1) \ razy (m + 1) \ razy 2 \ razy 2} \text{ gdzie }}m=2,3,\ldokropki }$

W każdym z tych wyjątkowych przypadków ogólna ranga jest znana jako ${\ displaystyle r (I_ { 1},\ldots,I_{m},\ldots,I_{M})=r_{E}(I_{1},\ldots,I_{M})+1}$ . Zauważ, że podczas gdy zbiór tensorów rzędu 3 w ${\ Displaystyle F ^ {2 \ razy 2 \ razy 2 \ razy 2}}$ jest wadliwy (13, a nie oczekiwane 14), ogólna ranga w tej przestrzeni jest nadal oczekiwana, 4. Podobnie zestaw tensory rangi 5 w $44 ,$ ogólna ranga w tej przestrzeni jest nadal

Hipoteza AOP została całkowicie udowodniona w wielu szczególnych przypadkach. Lickteig wykazał już w 1985 r., że $= r_ {E} (n, n, n)}$ ) że ${\ displaystyle n \ neq 3}$ . W 2011 r. dokonali przełomu Catalisano, Geramita i Gimigliano, którzy udowodnili, że oczekiwany wymiar zbioru ${\ Displaystyle s}$ tensory formatu są $ranga$ w przypadku czteroczynnikowym, ale ten przypadek to nadal 4. W konsekwencji ${\ Displaystyle r (2,2, \ ldots, 2) = r_ {E} (2,2, \ ldots, 2)}$ dla wszystkich tensorów binarnych.

Maksymalna ranga

Maksymalna ranga , jaką może przyjąć którykolwiek z tensorów w przestrzeni tensorowej, jest ogólnie nieznana; brakuje nawet przypuszczenia na temat tej maksymalnej rangi. Obecnie najlepsza ogólna górna granica stwierdza, że ​​​​maksymalna ranga r $\ Displaystyle r _ {\ mbox {max}} (I_ {1}, \ ldots, I_ {M})}$${\ Displaystyle F ^ {I_ {1}} \ otimes \ cdots \ otimes F ^ {I_ {M}}$ } ${\ Displaystyle I_ {1} \ geq I_ {2} \ geq \ cdots \ geq I_ {M}}$ , spełnia

${\ Displaystyle r_ {\ mbox {max}} (I_ { 1},\ldots ,I_{M})\leq \min \left\{\prod _{m=2}^{M}I_{m},2\cdot r(I_{1},\ldots ,I_ {M})\prawo\},}$

gdzie ${\ Displaystyle r (I_ {1}, \ ldots, ja_ {M})}$ jest (najmniejszą) ogólną rangą fa $\ displaystyle F^{I_{1}}\otimes \cdots \otimes F^{I_{M}}}$ . Powszechnie wiadomo, że powyższa nierówność może być ścisła. Na przykład ogólny rząd tensorów w ${\ Displaystyle \ mathbb {R} ^ {2 \ razy 2 \ razy 2}}$ to dwa, więc powyższa granica daje ${\ Displaystyle r _ {\ mbox {max}} (2,2,2)\leq 4}$ , podczas gdy wiadomo, że maksymalna ranga wynosi 3.

Stopień graniczny

$}$ rangi nazywany jest tensorem granicznym ${\ displaystyle r <s$ jeśli istnieje ciąg tensorów rangi, którego granica jest $co najwyżej$ jest ${\ displaystyle {\ mathcal {A}}}$ . Jeśli jest najmniejszą wartością, dla której istnieje taka zbieżna sekwencja, to nazywa się ją $rangą$ graniczną ZA $displaystyle {\ mathcal {A}}}$ . Dla tensorów rzędu 2, tj. Macierzy, ranga i ranga graniczna $rzędu$ się pokrywają, jednak dla tensorów mogą się różnić Tensory graniczne zostały po raz pierwszy zbadane w kontekście szybkich przybliżonych algorytmów mnożenia macierzy przez Biniego, Lottiego i Romaniego w 1980 roku.

Klasycznym przykładem tensora granicznego jest tensor rzędu 3

${\ Displaystyle {\ mathcal {A}} = \ mathbf {u} \ otimes \ mathbf {u} \ otimes \ mathbf {v} + \ mathbf {u} \ otimes \ mathbf {v} \ otimes \ mathbf {u} +\mathbf {v} \otimes \mathbf {u} \otimes \mathbf {u} ,\quad {\text{z }}\|\mathbf {u} \|=\|\mathbf {v} \|= 1{\text{i }}\langle \mathbf {u} ,\mathbf {v} \rangle \neq 1.}$

Można to dowolnie dobrze przybliżyć za pomocą następującej sekwencji tensorów rangi 2

${\ Displaystyle {\ rozpocząć {wyrównane} {\ mathcal {A}} _ {m} & = m (\ mathbf {u} + {\ Frac {1} {m}} \ mathbf {v}) \ otimes (\ mathbf {u} +{\frac {1}{m}}\mathbf {v} )\otimes (\mathbf {u} +{\frac {1}{m}}\mathbf {v} )-m\mathbf {u} \otimes \mathbf {u} \otimes \mathbf {u} \\&=\mathbf {u} \otimes \mathbf {u} \otimes \mathbf {v} +\mathbf {u} \otimes \mathbf {v} \otimes \mathbf {u} +\mathbf {v} \otimes \mathbf {u} \otimes \mathbf {u} +{\frac {1}{m}}(\mathbf {u} \otimes \ mathbf {v} \otimes \mathbf {v} +\mathbf {v} \otimes \mathbf {u} \otimes \mathbf {v} +\mathbf {v} \otimes \mathbf {v} \otimes \mathbf {u } )+{\frac {1}{m^{2}}}\mathbf {v} \otimes \mathbf {v} \otimes \mathbf {v} \end{aligned}}}$

jak ${\ Displaystyle m \ do \ infty}$ . Dlatego jego ranga graniczna wynosi 2, czyli dokładnie mniej niż jej ranga. Gdy dwa wektory są ortogonalne, ten przykład jest również znany jako stan W.

Nieruchomości

Identyfikowalność

Z definicji czystego tensora wynika, że $\ Displaystyle {\ mathcal {A}} = \ mathbf {a} _ {1}\otimes \mathbf {a} _{2}\otimes \cdots \otimes \mathbf {a} _{M}=\mathbf {b} _{1}\otimes \mathbf {b} _{2} \otimes \cdots \otimes \mathbf {b} _ {M}}$ wtedy i tylko wtedy, gdy istnieje takie, że ${\ Displaystyle \ lambda _ {k}}$ i $m$$_ } _{m}=\lambda _{m}\mathbf {b} _{m}}$ dla wszystkich m . Z tego powodu parametry $} styl wyświetlania {\ mathcal {A}}}$ rzędu $_ {m = 1} ^ {M$ nazywane są możliwymi do zidentyfikowania lub zasadniczo unikalnymi. A ranga - ${\ displaystyle r}$ tensor ${\ Displaystyle {\ mathcal {A}} \ in F ^ {I_ {1}} \ czasami F ^ { I_ {2}} \ otimes \ cdots \ otimes F ^ {I_ {M}}}$ nazywa się identyfikowalnym , jeśli każdy jego rozkładów rang tensorowych jest sumą tego samego zestawu różnych tensorów ${\ displaystyle r}$$}$${\ Displaystyle \ {{\ mathcal {A}} _ {1}, {\ mathcal {A}} _ {2}, \ ldots, {\ mathcal {A}} _ {r} \$$}$ gdzie s mają rangę 1. Możliwa do zidentyfikowania ranga $tylko$ zasadniczo unikalny rozkład

$${\ Displaystyle {\ mathcal {A}} = \ suma _ {i = 1} ^ {r} {\ mathcal {A}} _ {i},}$$

i wszystko $ZA$ Rozkłady rang tensorowych można uzyskać przez permutację kolejności sum. $\ displaystyle {\ mathcal {A}}}$ Zauważ, że w rozkładzie rang tensorowych wszystkie $}} _ {i}$ różne, ponieważ w przeciwnym razie ranga byłaby ${\ displaystyle {\ mathcal {A$ co najwyżej ${\ displaystyle r-1}$ .

Ogólna identyfikowalność

Tensory rzędu 2 w ${\ Displaystyle F ^ {I_ {1}} \ czasami F ^ {I_ {2}} \ simeq F ^ {I_ {1} \ razy I_ {2}}}$ , tj. macierze, nie są identyfikowalne dla ${\ displaystyle r> 1}$ . Wynika to zasadniczo z obserwacji

$${\ Displaystyle {\ mathcal {A}} = \ suma _ {i = 1} ^ {r} \ mathbf {a} _ {i} \ czasami \ mathbf {b} _ {i}=\suma _{i=1}^{r}\mathbf {a} _{i}\mathbf {b} _{i}^{T}=AB^{T}=(AX^{- 1})(BX^{T})^{T}=\suma _{i=1}^{r}\mathbf {c} _{i}\mathbf {d} _{i}^{T}= \sum _{i=1}^{r}\mathbf {c} _{i}\otimes \mathbf {d} _{i},}$$

gdzie $_ {r} (F)}$$macierzą$ jest odwracalną , ${\ Displaystyle A = [\ mathbf {a} _ {i}] _ {i = 1} ^ {r}}$ , ${\ Displaystyle B = [\ mathbf {b} _{i}]_{i=1}^{r}}$ ZA ${\ Displaystyle AX ^ {- 1} = [\ mathbf {c} _ {i}] _ {i = 1} ^ {r}$ i ${\ Displaystyle BX ^ {T} = [\ mathbf {d} _ {i}] _ {i = 1} ^ {r}}$ . Można pokazać, że dla każdego ${\ Displaystyle X \ in \ operatorname {GL} _ {n} (F) \ setminus Z}$$,$ gdzie jest zamkniętym w topologii Zariskiego, rozkład po prawej stronie jest sumą innego zestawu tensorów rangi 1 niż rozkład po lewej stronie, co powoduje, że tensory rzędu 2 rangi $do$ zidentyfikowania.

Sytuacja zmienia się całkowicie dla tensorów wyższego rzędu w ${\ Displaystyle F ^ {I_ {1}} \ otimes F ^ {I_ {2}} \ otimes \ cdots \ otimes fa ^ {I_ {M}}}$ z ${\ Displaystyle M> 2}$ i wszystkimi ${\ Displaystyle I_ {m} \ geq 2}$ . Dla uproszczenia zapisu załóżmy bez utraty ogólności, że czynniki są uporządkowane tak, że ${\ Displaystyle I_ {1} \ geq I_ {2} \ geq \ cdots \ geq I_ {M} \ geq 2}$ . Niech ${\ Displaystyle S_ {r} \ podzbiór F ^ {I_ {1}} \ czasami \ cdots F ^ {I_ {m}} \ czasami \ cdots \ czasami F ^ {I_ {M}}}$ oznaczają zbiór tensorów rangi ograniczony przez ${\ displaystyle r}$ . Następnie udowodniono, że następujące stwierdzenie jest poprawne za pomocą dowodu wspomaganego komputerowo dla wszystkich przestrzeni wymiarowych i przypuszcza się, że jest ogólnie ważne: ${\ displaystyle \ Pi <15000}$

W topologii Zariskiego istnieje zbiór zamknięty taki, że $\$ tensor $w S_ {r} \ setminus Z_ { r}}$ ∖ jest identyfikowalny ( w tym przypadku nazywa się go ogólnie identyfikowalnym ), chyba że zachodzi jeden z następujących wyjątkowych przypadków: ${\ displaystyle S_ {r}}$

1. Ranga jest zbyt duża: ${\ Displaystyle r> r_ {E} (I_ {1}, I_ {2}, \ ldots, I_ {M}) }$ ;
2. Przestrzeń jest niezrównoważona pod względem identyfikowalności, tj. ${\ textstyle I_ {1}> \ prod _ {m = 2} ^ {M }i_{m}-\sum _{m=2}^{M}(I_{m}-1)}$ , a ranga jest za duża: ${\ textstyle r \ geq \ prod _ {m = 2} ^ {M} I_ {m} - \ suma _ {m = 2} ^ {M} (I_ {m} -1)}$ ;
3. Przestrzeń to wadliwy przypadek ${\ Displaystyle F ^ {4} \ otimes F ^ {4} \ otimes F ^ {3}},$${\ Displaystyle F ^ {4} \ otimes F ^ {4} \ otimes F ^ {3}} }$ ranga to ;
4. Przestrzeń jest przypadkiem wadliwym ${\ Displaystyle n \ geq 2}$ gdzie ${\ Displaystyle F ^ {n} \ otimes F ^ {n} \ otimes F ^ {2} \ otimes F ^ {2}}$ , a ranga to ${\ Displaystyle r = 2n-1}$ ;
5. Przestrzeń to ${\ Displaystyle F ^ {4} \ otimes F ^ {4} \ otimes F ^ {4}}$ , a ranga to ${\ displaystyle r = 6}$ ;
6. Przestrzeń to ${\ Displaystyle F ^ {6} \ otimes F ^ {6} \ otimes F ^ {3}},$ a ranga to fa $⊗ fa 3 {\ Displaystyle R = 8$ ; Lub
7. Przestrzeń to ${\ Displaystyle F ^ {2} \ czasami F ^ {2} \ otimes F ^ {2} \ otimes F ^ {2} \ otimes F ^ {2}}$ , a ranga to ${\ displaystyle r = 5}$ .
8. Przestrzeń jest idealna, tj. ${\ textstyle r_ {E} (I_ {1}, I_ {2}, \ ldots, I_ {M }) = {\ Frac {\ Pi} {\ Sigma +1}}}$ jest liczbą całkowitą, a ranga to ${\ textstyle r = r_ {E }(I_{1},I_{2},\ldots ,I_{M})}$ .

W tych wyjątkowych przypadkach ogólna (a także minimalna) liczba złożonych dekompozycji wynosi

• okazał się być ${\ displaystyle \ infty}$ w pierwszych 4 przypadkach;
• okazał się dwa w przypadku 5;
• oczekuje się, że będzie to sześć w przypadku 6;
• okazały się dwa w przypadku 7; I
• oczekuje się, że będzie co najmniej dwa w przypadku 8, z wyjątkiem dwóch możliwych do zidentyfikowania przypadków ${\ Displaystyle F ^ {5} \ otimes F ^ {4} \ otimes F ^ {3}}$ i ${\ Displaystyle F ^ {3} \ czasami F ^ {2} \ czasami F ^ {2} \ czasami F ^ {2}}$ .

$_$ ogólny $.$ i _ -niezrównoważony oczekuje się, że będzie identyfikowalny (moduł wyjątkowych przypadków w małych przestrzeniach).

Źle postawiony problem aproksymacji standardowej

$z$$aproksymacją$ rang prosi o rozkład rangi (w zwykłej topologii euklidesowej) do tensora $gdzie$ , ${\ displaystyle r <s}$ . Oznacza to, że dąży się do rozwiązania

${\ Displaystyle \ min _ {\ mathbf {a} _ {i} ^ { m}\in F^{I_{m}}}\|{\mathcal {A}}-\sum _{i=1}^{r}\mathbf {a} _{i}^{1}\otimes \mathbf {a} _{i}^{2}\otimes \cdots \otimes \mathbf {a} _{i}^{M}\|_{F},}$

gdzie $_$ _ _ _

W artykule de Silvy i Lima z 2008 roku wykazano, że powyższy standardowy problem aproksymacji może być źle postawiony . Rozwiązanie powyższego problemu może czasami nie istnieć, ponieważ zbiór, na którym się optymalizuje, nie jest domknięty. W związku z tym minimalizator może nie istnieć, mimo że istnieje infimum. W szczególności wiadomo, że pewne tak zwane tensory graniczne można dowolnie dobrze aproksymować za pomocą ciągu tensorów rang co najwyżej , mimo że granica ciągu zbiega się do tensora rangi ściśle wyższego niż ${\ displaystyle r}$${\ displaystyle r}$ . Tensor rangi 3

${\ Displaystyle {\ mathcal {A}} = \ mathbf {u} \otimes \mathbf {u} \otimes \mathbf {v} +\mathbf {u} \otimes \mathbf {v} \otimes \mathbf {u} +\mathbf {v} \otimes \mathbf {u } \otimes \mathbf {u} ,\quad {\text{z }}\|\mathbf {u} \|=\|\mathbf {v} \|=1{\text{ i }}\langle \mathbf {u} ,\mathbf {v} \rangle \neq 1}$

można dowolnie dobrze przybliżyć za pomocą następującej sekwencji tensorów rangi 2

${\ Displaystyle {\ mathcal {A}} _ {n} = n (\mathbf {u} +{\frac {1}{n}}\mathbf {v} )\otimes (\mathbf {u} +{\frac {1}{n}}\mathbf {v} )\otimes (\mathbf {u} +{\frac {1}{n}}\mathbf {v} )-n\mathbf {u} \otimes \mathbf {u} \otimes \mathbf {u} }$

jak ${\ Displaystyle n \ do \ infty}$ . Ten przykład zgrabnie ilustruje ogólną zasadę, że sekwencja tensorów rangi $.$ która zbiega się do tensora ściśle wyższego rzędu, musi dopuszczać co najmniej dwa indywidualne wyrazy rangi 1, których normy stają się nieograniczone Stwierdzone formalnie, gdy sekwencja

${\ Displaystyle {\ mathcal {A}} _ {n} = \ suma _ {i = 1} ^{r}\mathbf {a} _{i,n}^{1}\otimes \mathbf {a} _{i,n}^{2}\otimes \cdots \otimes \mathbf {a} _{i ,n}^{M}}$

$($ tę właściwość, że topologii euklidesowej) as $\ do \ infty }$ , to powinno istnieć co najmniej takie, że ${\ Displaystyle 1 \ równoważnik i \ neq j \ równoważnik r}$

${\ Displaystyle \|\ mathbf {a} _ {i, n} ^ {1} \ otimes \ mathbf {a} _ {i, n} ^ {2} \ otimes \ cdots \ otimes \ mathbf {a} _ { i,n}^{M}\|_{F}\to \infty {\text{ i }}\|\mathbf {a} _{j,n}^{1}\otimes \mathbf {a} _ {j,n}^{2}\otimes \cdots \otimes \mathbf {a} _{j,n}^{M}\|_{F}\to \infty }$

jak ${\ Displaystyle n \ do \ infty}$ . Zjawisko to jest często spotykane podczas próby przybliżenia tensora za pomocą algorytmów optymalizacji numerycznej. Nazywa się to czasem problemem rozbieżnych komponentów . Ponadto wykazano, że losowy tensor niskiego rzędu nad liczbami rzeczywistymi może nie dopuszczać przybliżenia rzędu 2 z dodatnim prawdopodobieństwem, co prowadzi do zrozumienia, że ​​problem złego ustawienia jest ważnym czynnikiem, który należy wziąć pod uwagę przy stosowaniu rozkładu rang tensorowych.

Typowe częściowe rozwiązanie problemu złego ustawienia polega na nałożeniu dodatkowego ograniczenia nierówności, które ogranicza normę poszczególnych wyrazów rangi 1 przez pewną stałą. Inne ograniczenia, które skutkują zbiorem zamkniętym, a zatem dobrze postawionym problemem optymalizacji, obejmują narzucenie pozytywności lub ograniczonego iloczynu wewnętrznego ściśle mniejszego niż jedność między wyrazami rangi 1 występującymi w poszukiwanym rozkładzie.

Obliczanie CPD

Algorytmy naprzemienne:

• naprzemienna metoda najmniejszych kwadratów (ALS)
• naprzemienna diagonalizacja po plasterkach (ASD)

Algorytmy bezpośrednie:

• Algorytmy oparte na ołówku
• Algorytmy oparte na momentach

Ogólne algorytmy optymalizacji:

• jednoczesna diagonalizacja (SD)
• równoczesny uogólniony rozkład Schura (SGSD)
• Levenberg – Marquardt (LM)
• nieliniowy gradient sprzężony (NCG)
• ograniczona pamięć BFGS (L-BFGS)

Ogólne algorytmy rozwiązywania układów wielomianowych:

• kontynuacja homotopii

Aplikacje

W uczeniu maszynowym rozkład CP jest głównym składnikiem uczenia się probabilistycznych modeli zmiennych ukrytych za pomocą techniki dopasowywania momentów. Rozważmy na przykład model z wieloma widokami, który jest probabilistycznym modelem zmiennych ukrytych. W tym modelu generowanie próbek jest zakładane w następujący sposób: istnieje ukryta zmienna losowa, której nie obserwuje się bezpośrednio, biorąc pod uwagę, że istnieje kilka warunkowo niezależnych zmiennych losowych znanych jako różne „widoki” ukrytej zmiennej. Dla $uproszczenia załóżmy,$ że istnieją trzy symetryczne ${\ displaystyle k}$ -state kategoryczna ukryta zmienna ${\ displaystyle h}$ . Wówczas empiryczny trzeci moment tego modelu zmiennej latentnej można zapisać jako: ${\ Displaystyle T = \ suma _ {i = 1} ^ {k} Pr (h = i) E [x | h = i] ^ {\ czasami 3}}$ .

W zastosowaniach takich jak modelowanie tematyczne można to interpretować jako współwystępowanie słów w dokumencie. Wtedy wartości własne tego empirycznego tensora momentu można interpretować jako prawdopodobieństwo wyboru określonego tematu i każdej kolumny macierzy czynników ${\ Displaystyle E [x | h = k]}$ odpowiada prawdopodobieństwom słów w słowniku w odpowiednim temacie.

Zobacz też

• Analiza klas ukrytych
• Wieloliniowe uczenie podprzestrzeni
• Rozkład według wartości osobliwych
• Dekompozycja Tuckera
• Dekompozycja wartości osobliwych wyższego rzędu
• Rozkład tensorowy

Dalsza lektura

•   Kolda, Tamara G .; Bader, Brett W. (2009). „Rozkłady tensorowe i zastosowania”. SIAM ks . 51 (3): 455–500. Bibcode : 2009SIAMR..51..455K . CiteSeerX 10.1.1.153.2059 . doi : 10.1137/07070111X .
• Landsberg, Joseph M. (2012). Tensory: geometria i zastosowania . AMS.

Linki zewnętrzne

• Samouczek PARAFAC
• Analiza czynnikowa równoległa (PARAFAC)
• FactoMineR (bezpłatne eksploracyjne oprogramowanie do wielowymiarowej analizy danych połączone z R )