Distantie en similariteit

Met distantie en similariteit wordt de mate van verschil en van overeenkomst in kenmerken of attributen van multivariate objecten bedoeld zoals deze berekend kunnen worden op grond van de gemeten variabelen, dus van attributen of kenmerken, van multivariate objecten zoals steekproeven, vegetatieopnamen, vogeltellingen.

Distanties of dissimilariteiten zijn de verschillen die bepaald worden op grond van waarden (of responsies) van de variabelen of attributen bij verschillende objecten. De meest bekende distantie is de euclidische afstand.

Similariteiten zijn juist de overeenkomsten tussen variabelen of tussen objecten. Dergelijke gegevens ten behoeve van de berekening worden weergegeven in tabellen (matrix) met rijen en kolommen voor de variabelen en de objecten. De meest bekende similariteit-maten zijn de correlatiecoëfficienten.

Gebruik

Distanties en similariteiten worden wel gebruikt bij multivariate statistische methoden als clusteranalyse en bij ordinatie. Voorafgaand aan de gegevensverwerking is het vaak nodig eerst de distanties of similariteiten tussen de objecten te berekenen. Bij een dergelijke berekening gaan de oorspronkelijke data van de variabelen verloren. Er zijn ook 'directe' analysemethoden beschikbaar, waar deze voorafgaande berekeningen niet nodig zijn.

Indexen

Tabel met objecten (kolommen), attributen (rijen) en met responsies (cellen)

variabelen ↓		m objecten, monsters								rand- totalen ↓
		object1	object2	object3	object4	...	objectk	...	objectm
n afhankelijke variabelen voor de attributen	y1	y11	y12	y13	y14	...	y1k	..	y1m	$\sum _{k=1}^{m}y_{1k}$
	y2	y21	y22	y23	y24	...	y2k	...	y2mk	$\sum _{k=1}^{m}y_{2k}$
	…	…	…	…	…	…	…	…	…	…
	yi	yi1	yi2	yi3	yi4	...	yik	...	yim	$\sum _{k=1}^{m}y_{ik}$
	…	…	…	…	…	…	…	…	…	…
	yj	yj1	yj2	yj3	yj4	...	yjk	...	yjm	$\sum _{k=1}^{m}y_{jk}$
	…	…	…	…	…	…	…	…	…	…
	yn	yn1	yn2	yn3	yn4	...	ynk	...	ynm	$\sum _{k=1}^{m}y_{nk}$
randtotalen van de → objecten (monsters)		$\sum _{j=1}^{n}y_{j1}$	$\sum _{j=1}^{n}y_{j2}$	$\sum _{j=1}^{n}y_{j3}$	$\sum _{j=1}^{n}y_{j4}$	…	$\sum _{j=1}^{n}y_{jk}$	…	$\sum _{j=1}^{n}y_{jm}$

Voor het berekenen van deze indices of coëfficiënten voor distantie en similariteit zijn een groot aantal verschillende formules beschikbaar. Daarnaast kunnen similariteiten vaak worden omgerekend tot distanties en omgekeerd. De rol van objecten en variabelen kan in sommige gevallen worden omgewisseld, zodat ook de distanties en similariteiten tussen de objecten kunnen worden berekend.

De keuze van de index voor distantie of similariteit hangt af van de meetschaal van de responsies.

• • kwantitatieve meetschaal, ook wel continu, kardinaal, numeriek, metrisch
    • als er ook negatieve waarden zijn, kunnen bepaalde indices niet gebruikt worden
    • niet-negatieve waarden, zoals tellingen, frequenties
  • kwalitatieve meetschaal, ook wel categorisch
    • ordinale variabelen moet worden getransformeerd voordat de berekening van de indices mogelijk is
    • nominale variabelen moet worden getransformeerd voordat de berekening van de indices mogelijk is
    • binaire variabelen worden omgezet tot 0/1 waarden (= afwezig/aanwezig)

Waarnemingen binaire variabelen

Een binaire variabele is een variabele die slechts twee, elkaar uitsluitende waarden kan aannemen, zoals 0 - 1, Ja - Nee, positief - negatief, of aanwezig - afwezig. Bij vergelijking van objecten met binaire variabelen kunnen de formules vereenvoudigd worden, afhankelijk van het al of niet meerekenen van de 'dubbel-afwezige' (dubbel 0, dubbel negatief, dubbel Nee) overeenkomsten.

Similariteit bij objecten met binaire variabelen
Vergelijking van twee objecten i en j met binaire variabelen met meerekenen van de 'dubbel-afwezigen' objecten object(j) randtotalen ↓ object(j) randtotalen ↓ waarden → ↓ 1 (+, aanwezig, ja) 0 (—, afwezig, nee) waarden → ↓ 1 (+, aanwezig, ja) 0 (—, afwezig, nee) object(i) 1 (+, aanwezig, ja) Σ [ yik • yjk) Σ [ yik • (1 - yjk) ] Σ yik 1 (+, aanwezig, ja) A B A + B 0 (—, afwezig, nee) Σ [ (1 - yik) • yjk ] Σ [ (1 - yik) • (1 - yjk) ] Σ (1 - yik) 0 (—, afwezig, nee) C D C + D randtotalen → Σ yjk Σ (1 - yjk) N randtotalen → A + C B + D N = A + B + C + D
Vergelijking van twee objecten i en j met binaire variabelen met uitsluiting van de 'dubbel-afwezigen' Objecten object(j) randtotalen ↓ object(j) randtotalen ↓ waarden → ↓ 1 (+, aanwezig, ja) 0 (—, afwezig, nee) waarden → ↓ 1 (+, aanwezig, ja) 0 (—, afwezig, nee) Object(i) 1 (+, aanwezig, Ja) Σ [ yik • yjk ] Σ [ yik • (1 - yjk) ] Σ yik 1 (+, aanwezig, ja) c a - c a 0 (—, afwezig, nee) Σ [ (1 - yik) • yjk ] ø ('dubbel-afwezig') 0 (—, afwezig, nee) b - c ø ('dubbel-afwezig') b - c randtotalen → Σ yjk m randtotalen → b a - c m = a + b - c

Onder 'dubbel-afwezig' verstaat men de situatie dat beide binaire variabelen de waarde 0 (—, Afwezig, Nee) hebben. In sommige gevallen hebben deze geen zinvolle betekenis. Een voorbeeld is een ecologische gegevenstabel met abundanties van aangetroffen soorten. Het ontbreken van soorten in twee te vergelijken objecten (bijvoorbeeld tellingen, monsters, vegetatieopnamen) geeft meestal geen zinvolle informatie.

Similariteiten

Voorbeelden van similariteiten zijn correlaties en cosinus. Correlatiecoëfficiënten nemen waarden aan van -1 tot +1, waarbij bij de hoogste waarde staat voor de hoogste mate van overeenkomst (similariteit) en de kleinste distantie (dissimilariteit). Om als distantiemaat te kunnen fungeren moeten ze dus getransformeerd worden.

afko	naam	formule	waarin:	range
r	Pearsons product-moment correlatiecoëfficiënt   algemene formule	$r_{ij}={\frac {m\cdot \sum _{k=1}^{m}y_{ik}\cdot y_{jk}-\sum _{k=1}^{m}y_{ik}\cdot \sum _{k=1}^{m}y_{jk}}{{\sqrt {m\cdot \sum _{k=1}^{m}y_{ik}^{2}-(\sum _{k=1}^{m}y_{ik})^{2}}}\cdot {\sqrt {m\cdot \sum _{k=1}^{m}y_{jk}^{2}-(\sum _{k=1}^{m}y_{jk})^{2}}}}}$	rik = correlatie yik = waarde voor object i en variabele k yjk = waarde voor object j en variabele k m = aantal variabelen	[-1,+1]
rS	Spearmans rangcorrelatiecoëfficiënt	$\rho _{ij}=1-{\frac {6\cdot \sum _{k=1}^{m}(y_{ik}-y_{jk})^{2}}{m\cdot (m^{2}-1)}}$	yik en yjk zijn rangnummers binnen de variabelen Yi en Yj	[-1,+1]
phi, φ	puntcorrelatie, associatiecoëfficiënt	$\varphi _{ij}={\frac {BC-AD}{\sqrt {(A+B)(A+C)(B+C)(C+D)}}}$	yik en yjk zijn presenties: 0 of 1	[-1,+1]
Cos	cosinus van de hoek α tussen de vectoren door de oorsprong	$Cos_{ij}={\frac {\sum _{k=1}^{m}(y_{ik}\cdot y_{jk})}{\sqrt {\sum _{k=1}^{m}(y_{ik})\cdot \sum _{k=1}^{m}(y_{jk})}}}$ voor binaire variabelen wordt de formule: $Cos_{ij}={\frac {c}{\sqrt {a\cdot b}}}$	rik = correlatie yik = waarde voor object i en variabele k yjk = waarde voor object j en variabele k m = aantal variabelen	[-1,+1]

Een andere correlatiecoëfficiënt is de punt-biseriële correlatiecoëfficiënt, evenals de puntcorrelatie een variant van de Pearsons product-momentcorrelatiecoëfficiënt.

Overige maten voor similariteit, zoals de coëfficiënten van Jaccard, Sörensen, Whittaker en Motyka worden besproken bij de distanties.

Distanties

Voorbeelden van distanties

afkorting	naam coëfficiënt	formule	waarin: m = aantal variabelen	range
MD	Minkowski distance,  geïnduceerd door de Lr-norm   algemene formule	$MD_{ij}=(\sum _{k=1}^{m}{\mid y_{ik}-y_{jk}\mid }^{r})^{\frac {1}{r}}$	MDij = distantie tussen objecten i en j yik = waarde voor object i en variabele k yjk = waarde voor object j en variabele k r is een constante (1 of 2)
CBD	city block distance, Manhattan-metriek	${CBD}_{ij}=\sum _{k=1}^{m}{\mid y_{ik}-y_{jk}\mid }$	yik en yjk zijn numerieke waarden r=1	[0, ∞)
ED	Euclidische afstand euclidische afstand	${ED}_{ij}=(\sum _{k=1}^{m}{{(y_{ik}-y_{jk})}^{2})}^{\frac {1}{2}}$	yik en yjk zijn numerieke waarden r=2	[0, ∞)
MCD	mean character distance	${MCD}_{ij}={\frac {1}{m}}\cdot \sum _{k=1}^{m}{\mid y_{ik}-y_{jk}\mid }$	yik en yjk zijn numerieke waarden r=1	[0, ∞)
GE	gemiddelde euclidische afstand euclidische vorm van MCD	${GE}_{ij}={\frac {1}{m}}\cdot (\sum _{k=1}^{m}{{(y_{ik}-y_{jk})}^{2})}^{\frac {1}{2}}$	yik en yjk zijn numerieke waarden r=2	[0, ∞)
DM	distance metric   algemene formule	$DM_{ij}=\left(\sum _{k=1}^{m}{\frac {{\mid y_{ik}-y_{jk}\mid }^{r}}{(y_{ik}+y_{jk})^{r}}}\right)^{\frac {1}{r}}$	yik en yjk zijn numerieke waarden r is een constante (1 of 2)	[0, 1]
CM	Canberra metric	$CM_{ij}=\sum _{k=1}^{m}{\frac {\mid y_{ik}-y_{jk}\mid }{(y_{ik}+y_{jk})}}$	yik en yjk zijn numerieke waarden r=1	[0, ∞)
HM	Hodson's metric, euclidische vorm van CM	$HM_{ij}=\left(\sum _{k=1}^{m}{\frac {{(y_{ik}-y_{jk})}^{2}}{(y_{ik}+y_{jk})^{2}}}\right)^{\frac {1}{2}}$	yik en yjk zijn numerieke waarden r=2	[0, ∞)
CD	coefficient of divergence	$CD_{ij}={\frac {1}{m}}\cdot \left(\sum _{k=1}^{m}{\frac {{(y_{ik}-y_{jk})}^{2}}{(y_{ik}+y_{jk})^{2}}}\right)^{\frac {1}{2}}$	yik en yjk zijn numerieke waarden r=2	[0, 1]
M	Motyka distantie naar Motyka, distantie naar Czekanowsky, Percentage Dissimilarity kwantitatieve vorm van Sørensen	$M_{ij}={\frac {\sum _{k=1}^{m}{y_{ik}}+\sum _{k=1}^{m}{y_{jk}}-2\cdot \sum _{k=1}^{m}{\min(y_{ik},y_{jk})}}{\sum _{k=1}^{m}{y_{ik}}+\sum _{k=1}^{m}{y_{jk}}}}$	yik en yjk zijn numerieke waarden	[0, 1]
W	Whittaker distantie naar Whittaker, kwantitatieve vorm van Jaccard	$W_{ij}={\frac {\sum _{k=1}^{m}{y_{ik}}+\sum _{k=1}^{m}{y_{jk}}-2\cdot \sum _{k=1}^{m}{\min(y_{ik},y_{jk})}}{\sum _{k=1}^{m}{y_{ik}}+\sum _{k=1}^{m}{y_{jk}}-\sum _{k=1}^{m}{\min(y_{ik},y_{jk})}}}$	yik en yjk zijn numerieke waarden	[0, 1]
H	heterogeniteit	$H_{ij}=\sum _{k=1}^{m}{\mid y_{ik}-y_{jk}\mid }$	yik en yjk zijn numerieke waarden	[0, ∞)
		$H_{ij}=a+b-2c$	a, b en c: zie hierbovenstaande tabel
J	Jaccard distantie naar Jaccard	$J_{ij}={\frac {a+b-2c}{a+b-c}}$	a, b en c: zie hierbovenstaande tabel	[0, 1]
S	Sørensen distantie naar Sørensen, distantie naar Dice, 1-coefficient of community	$S_{ij}={\frac {a+b-2c}{a+b}}$	a, b en c: zie hierbovenstaande tabel	[0, 1]
SM'	Simple Matching Coefficient complement van simple matching coefficient	${SM'}_{ij}={\frac {A+D}{A+B+C+D}}$	A, B, C en D: zie hierbovenstaande tabel	[0, 1]
YC	Yule-coefficient	$YC_{ij}={\frac {A\cdot D-B\cdot C}{A\cdot D+B\cdot C}}$	A, B, C en D: zie hierbovenstaande tabel	[-1, 1]

Distantiematrix

Een distantiematrix is een vierkante, symmetrische matrix met voor elk paar van objecten de onderlinge distanties. Een dergelijke matrix is symmetrisch, omdat de distantie tussen objecten $a$ en $b$ gelijk is aan de distanties tussen de objecten $b$ en $a$. Op de diagonaal staan de distanties van de objecten tot zichzelf: 0.

Distantiematrices worden onder andere gebruikt bij ordinatietechnieken op basis van een distantiematrix, zoals polaire ordinatie (PO), principal coordinates analysis, PCoA of metric multidimensional scaling, en nonmetric multidimensional scaling (NMDS).

Een matrix met similariteiten in plaats van distanties wordt ook wel resemblance matrix genoemd.

voetnoten

literatuur

• (en) PHA en RR Sokal (1973) Numerical Taxonomy. The Principles and Practice of Numerical Classification. W.H. Freeman and Company. San Francisco

· ·

Ordinatie, multidimensional scaling