Shluková analýza

Z Multimediaexpo.cz

(Rozdíly mezi verzemi)
(+ Výrazné vylepšení)
m (Nahrazení textu „</math>“ textem „\)</big>“)
 
(Není zobrazena jedna mezilehlá verze.)
Řádka 13: Řádka 13:
=== Vlastnosti vzdálenosti ===
=== Vlastnosti vzdálenosti ===
-
Standardními požadavky pro vhodný předpis míry vzdálenosti <math>d</math> dvou objektů <math>O_i</math> a <math>O_j</math> jsou:
+
Standardními požadavky pro vhodný předpis míry vzdálenosti <big>\(d\)</big> dvou objektů <big>\(O_i\)</big> a <big>\(O_j\)</big> jsou:
-
* nezápornost: <math>d(O_i, O_j) \ge 0</math>;
+
* nezápornost: <big>\(d(O_i, O_j) \ge 0\)</big>;
-
* symetrie: <math>d(O_i, O_j) = d(O_j, O_i)</math>;
+
* symetrie: <big>\(d(O_i, O_j) = d(O_j, O_i)\)</big>;
-
* shodné objekty by měly mít ukazatel vzdálenosti roven 0: <math>d(O_i, O_i) = 0</math> (zároveň míra podobnosti bude rovna maximální hodnotě, obvykle 1).
+
* shodné objekty by měly mít ukazatel vzdálenosti roven 0: <big>\(d(O_i, O_i) = 0\)</big> (zároveň míra podobnosti bude rovna maximální hodnotě, obvykle 1).
-
* trojúhelníková nerovnost: <math>d(O_i, O_j) \le d(O_i, O_h) + d(O_h, O_j)</math>
+
* trojúhelníková nerovnost: <big>\(d(O_i, O_j) \le d(O_i, O_h) + d(O_h, O_j)\)</big>
=== Příklady ukazatelů ===
=== Příklady ukazatelů ===

Aktuální verze z 14. 8. 2022, 14:53

Shluková analýza (též clusterová analýza, anglicky cluster analysis) je vícerozměrná statistická metoda, která se používá ke klasifikaci objektů.

Slouží k třídění jednotek do skupin (shluků) tak, aby si jednotky náležící do stejné skupiny byly podobnější než objekty ze skupin různých. Shlukovou analýzu je možné provádět jak na množině objektů, z nichž každý musí být popsán prostřednictvím stejného souboru znaků, které má smysl v dané množině sledovat, tak na množině znaků, které jsou charakterizovány prostřednictvím určitého souboru objektů, nositelů těchto znaků.

Obsah

Dělení shlukovacích metod

Základní dělení shlukovacích metod podle cíle, ke kterému směřují, je na hierarchické a nehierarchické.

  1. Hierarchické shlukování je systém podmnožin, kde průnikem dvou podmnožin - shluků je buď prázdná množina, nebo jeden z nich. Pokud nastane alespoň jednou druhý případ, je systém hierarchický. Tedy je to jakési větvení, zjemňování klasifikace. K hierarchickému shlukování lze přistupovat ze dvou stran – rozlišujeme přístup divizní (vycházíme z celku, jednoho shluku, a ten dělíme) a aglomerativní (vycházíme z jednotlivých objektů, shluků o jednom členu, a ty spojujeme). Hierarchické shlukování nabízí více alternativních řešení, celý proces shlukování je pak možné vyjádřit dendrogramem. Tato metoda však není vhodná pro velké datové soubory.
  2. Nehierarchické shlukování je takový systém, kde je průnik shluků prázdný, jedná se o disjunktní množiny.

Měření podobnosti objektů

Shluková analýza vychází z podobnosti, resp. vzdálenosti objektů. Její kvantitativní vyjádření je jedním ze základních problémů clusterové analýzy. Existuje mnoho způsobů sestrojení tohoto ukazatele.

Vlastnosti vzdálenosti

Standardními požadavky pro vhodný předpis míry vzdálenosti \(d\) dvou objektů \(O_i\) a \(O_j\) jsou:

  • nezápornost: \(d(O_i, O_j) \ge 0\);
  • symetrie: \(d(O_i, O_j) = d(O_j, O_i)\);
  • shodné objekty by měly mít ukazatel vzdálenosti roven 0: \(d(O_i, O_i) = 0\) (zároveň míra podobnosti bude rovna maximální hodnotě, obvykle 1).
  • trojúhelníková nerovnost: \(d(O_i, O_j) \le d(O_i, O_h) + d(O_h, O_j)\)

Příklady ukazatelů

Existuje řada dalších způsobů měření vzdálenosti či podobnosti (míry asymetrie, Lambda, kosinus vektorů, chí-kvadrát). Někdy je způsob hodnocení podobnosti/vzdálenosti přímo dán shlukovací metodou. I pokud tomu tak není, je třeba při výběru ukazatele brát v úvahu metodu shlukování a charakter souboru.

Metody hierarchického shlukování

Existují různé způsoby, jak shlukovat objekty na základě jejich vzdálenosti či podobnosti. Mezi základní metody patří:

  • metoda nejbližšího souseda (single linkage, nearest neighbor) – vzdálenost shluků je určována vzdáleností dvou nejbližších objektů z různých shluků. Při použití této metody jsou objekty taženy k sobě, výsledkem jsou dlouhé řetězy.
  • metoda nejvzdálenějšího souseda (complete linkage, furthest neighbor) - vzdálenost shluků je určována naopak vzdáleností dvou nejvzdálenějších objektů z různých shluků. Funguje dobře především v případě, že objekty tvoří přirozeně oddělené shluky, nehodí se, pokud je tendence k řetězení.
  • centroidní metoda - vzdálenost shluků je určována vzdáleností jejich center (hypotetická jednotka s průměrnými hodnotami znaků). Může být nevážená nebo vážená. Ta zohledňuje velikosti klastrů a hodí se, pokud očekáváme jejich rozdílnost. Požaduje vyjádření vzdálenosti objektů čtvercovou euklidovskou vzdáleností.
  • párová vzdálenost (pair-group average) - vzdálenost shluků je určována jako průměr vzdáleností všech párů objektů z různých shluků. Opět může být ve vážené i nevážené podobě.
  • Wardova metoda - vychází z analýzy rozptylu. Vybírá takové shluky ke sloučení, kde je minimální součet čtverců. Obecně lze říci, že je tato metoda velmi účinná, ale má tendenci tvořit poměrně malé shluky. Požaduje vyjádření vzdálenosti objektů čtvercovou euklidovskou vzdáleností.

Použitá literatura

A. Lukasová, J. Šarmanová: Metody shlukové analýzy. SNTL, Praha 1985.

Externí odkazy

  • Detailnější rozbor včetně matematického aparátu [1]
  • Kapitola z české online učebnice prostorových analýz [2]
  • Kapitola z anglické online učebnice statistiky (anglicky)[3]
  • Popis a ukázka aplikace některých shlukovacích algoritmů - fuzzy shluková analýza, shlukování kolem medoidů (PAM) a CLARA - a prostředků k hodnocení klasifikačního modelu (silhouette plot) [4]