Analiza głównych składowych

Z Wikipedii

Niektóre informacje zawarte w artykule wymagają weryfikacji.
Zajrzyj na stronę dyskusji, by dowiedzieć się, jakie informacje budzą wątpliwości.

Analiza głównych składowych (ang. Principal Component Analysis, PCA) – eksploracyjna technika (metoda statystyczna) umożliwiająca wnioskowanie o obiektach opisanych wieloma zmiennymi. Metoda służy do badania związków zachodzących pomiędzy dwoma wielowymiarowymi zestawami zmiennych. Metoda ta dopasowuje do chmury punktów w przestrzeni wektorowej tworzonej przez N przypadków opisywanych każdy przez K zmiennych (obserwacje opisywane przez oryginalne zmienne) nowe wzajemnie prostopadłe osie. Wartość na osiach określa tzw. ładunek wygenerowanych nowych czynników (składowych głównych). Czynniki generowane są kolejno, tak aby wyjaśnić jak najwięcej zmienności obserwowanych w zbiorze danych oraz tak aby być jak najmniej skorelowane z innymi wygenerowanymi czynnikami (metoda "poszukuje" diagonalnej macierzy korelacji dla czynników). Ponieważ wygenerowanych czynników jest najczęściej mniej niż oryginalnych zmiennych (co najwyżej tyle samo), metoda ta umożliwia redukcję liczby zmiennych opisujących obserwacje, ułatwiając np. określenie podobieństw między przypadkami. Niedogodnością używania tej metody są problemy z interpretacją ładunków czynnikowych (określających położenie punktów w nowo wygenerowanym układzie współrzędnych) przy większej liczbie pierwotnych zmiennych. Czynniki tworzone tą metodą są liniową kombinacją tych zmiennych pierwotnych, które są skorelowanych najmocniej z powstałym czynnikiem. Między innymi stąd im więcej zmiennych pierwotnych, tym trudniejsza interpretacja "ładunków czynnikowych".

Metoda PCA jest używana np. do kompresji sygnałów.

[edytuj] Algorytm

umieszczenie danych wejściowych w macierzy, gdzie kolumny odpowiadają zmiennym (k zmiennych, k kolumn)
wyznaczenie macierzy kowariancji lub macierzy korelacji między zmiennymi (o wymiarach k*k)
wyznaczenie wartości i wektorów własnych tej macierzy
uszeregowanie wartości własnych od największej do najmniejszej
przestawienie kolumn w macierzy wektorów własnych, tak żeby pierwsza kolumna zawierała wektor własny odpowiadający największej wartości własnej, druga kolumna wektor odpowiadający drugiej co do wielkości wartości własnej itd.
wybór liczby czynników (których odpowiednikami są wektory własne) - dokonuje się na podstawie udziału sumy m pierwszych wartości własnych (a więc m czynników branych pod uwagę) w sumie wszystkich wartości własnych
stworzenie macierzy gamma polegającej na pozostawieniu m pierwszych kolumn w macierzy wektorów własnych i skreśleniu pozostałych kolumn - dostajemy więc macierz o wymiarach k*m
pomnożenie macierzy danych wejśiowych (o wymiarach n * k) przez macierz gamma (o wymiarach k * m) - dostajemy macierz z wartościami czynnikowymi poszczególnych przypadków (o wymiarach n * m)

[edytuj] Przykład

Przykładowo, jeśli mamy zbiór danych zawierający 100 przypadków (100 osób) charakteryzowanych przez 5 zmiennych (np. wzrost, waga, wiek, dochód, powierzchnia mieszkania) to można przypuszczać, że zmienne "wzrost" i "waga" będą ze sobą silnie dodatnio skorelowane (no bo im kto wyższy, tym więcej waży). Po to żeby uzyskać większą przejrzystość danych lub uniknąć powielania się danych (np. przy segmentacji klientów) czasami warto jest zastąpić dwie zmienne jedną zmienną - tak zwaną składową, którą można nazwać na przykład "wielkość". Podobnie skorelowane będą ze sobą zmienne "dochód" i "powierzchnia mieszkania", które być może można zastąpić czynnikiem "zamożność".

Należy stworzyć macierz korelacji (5*5) i wyznaczyć jej wartości własne oraz wektory własne. Szeregujemy wartości własne od największej do najmniejszej i jeżeli np. 3 pierwsze wartości własne stanowią odpowiednio duży udział w sumie wszystkich pięciu wartości własnych (np. powyżej 70%) to oznacza to, że możemy rozpatrywać model 3-czynnikowy. Tworzymy więc macierz gamma (o wymiarach 5*3 - bierzemy 3 "kolumny-wektory własne" odpowiadające odpowiednio uszeregowanym wartościom własnym) i mnożymy macierz danych wejściowych (100*5) przez macierz gamma (5*3) dostając macierz 100*3. Otrzymana macierz zawiera wartości poszczególnych składowych dla poszczególnych przypadków.

Teraz należy zbadać korelacje poszczególnych składowych (mamy ich 3) ze zmiennymi wejściowymi (mieliśmy ich 5). Załóżmy, że pierwsza składowa jest mocno skorelowana z "wagę" i "wzrostem", druga z "wiekiem", a trzecia z "dochodem" i "powierzchnią mieszkania". Przeanalizujmy zatem pierwszy wiersz otrzymanej macierzy:

Jeżeli element (1,1) tej macierzy ma dużą wartość, to oznacza to, że dana osoba jest duża (ma prawdopodobnie duży wzrost i dużą wagę). Jeśli element (1,2) jest duży, oznacza to, że dana osoba jest stara. Jeśli element (1,3) ma dużą wartość, to znaczy że osoba ta jest zamożna (czyli najprawdopobniej ma duży dochód i duże mieszkanie).