Koinzidenzindex

Den Koinzidenzindex (engl.: Index of coincidence, Abkürzung: IC) erhält man durch statistische Auswertung der Häufigkeit von Einzelzeichen (also meist der einzelnen Buchstaben) eines oder auch zweier Texte. Mit seiner Hilfe können verschlüsselte oder unverständliche Texte auf sprachliche Eigenschaften untersucht werden. Er wird speziell bei der Entzifferung historischer Schriftdokumente und allgemein in der Kryptanalyse benutzt. Die Methode wurde vom amerikanischen Kryptoanalytiker William F. Friedman für kryptologische Zwecke entwickelt und im Jahr 1922 in seiner bahnbrechenden Arbeit The index of coincidence and its applications in cryptography (deutsch: „Der Koinzidenzindex und seine Anwendungen in der Kryptographie“) publiziert.

${\displaystyle \mathbf {IC} ={\frac {\sum _{i=A}^{Z}n_{i}(n_{i}-1)}{N(N-1)}}}$

In seiner grundlegenden Form wird der Koinzidenzindex ermittelt, indem man die Einzelanzahlen ${\displaystyle n_{i}}$ der unterschiedlichen Einzelzeichen eines Geheimtextes zählt, also beispielsweise wie oft der Buchstabe A auftritt, wie oft B, und so weiter. Diese werden nach oben angegebener Formel mit den um 1 verminderten Einzelanzahlen multipliziert und für alle Buchstaben (beispielsweise von A bis Z) aufsummiert. Die Summe wird schließlich dividiert durch die Gesamtanzahl N der Buchstaben des Textes (also der Textlänge) sowie die um 1 verminderte Textlänge. Das Ergebnis ist der Friedmansche Koinzidenzindex IC.

Natürliche Sprachen haben ihren jeweils typischen Koinzidenzindex.

Definitionen

In allgemeiner Form sind unter dem Begriff Koinzidenzindex vier Funktionen zusammengefasst, die meist mit den griechischen Buchstaben ${\displaystyle \kappa ,\chi ,\psi \ }$ und ${\displaystyle \phi \ }$ (Kappa, Chi, Psi und Phi) bezeichnet werden. Oft wird ${\displaystyle \phi \ }$ als der Koinzidenzindex bezeichnet, wobei vom historischen Standpunkt wohl eher ${\displaystyle \kappa \,}$ das Anrecht auf diesen Namen hat.

Gegeben seien zwei gleich lange Texte ${\displaystyle T=x_{1}x_{2}\ldots x_{k},T'=x'_{1}x'_{2}\ldots x'_{k}}$ über demselben Alphabet. Dann ist das ${\displaystyle \kappa \,}$ der beiden Texte

${\displaystyle \kappa (T,T')=\sum _{i=1}^{k}{\frac {\delta (x_{i},x'_{i})}{k}},}$

wobei ${\displaystyle \delta \,}$ das Kronecker-Delta bezeichnet (also ${\displaystyle \delta (x_{i},x'_{i})=1}$, falls ${\displaystyle x_{i}=x'_{i}}$ und ${\displaystyle 0}$ sonst).

Damit ist ${\displaystyle \kappa \,}$ eine Zahl zwischen 0 und 1, wobei 1 genau dann auftritt, wenn beide Texte gleich sind. Werden die Zeichen zufällig mit gleicher Wahrscheinlichkeit aus einem Alphabet mit ${\displaystyle n}$ Zeichen gewählt, so ist der Erwartungswert für ${\displaystyle \kappa \,}$ gleich ${\displaystyle {\tfrac {1}{n}}}$, da jeder Summand mit Wahrscheinlichkeit ${\displaystyle {\tfrac {1}{n}}}$ gleich ${\displaystyle {\tfrac {1}{k}}}$ ist (und sonst gleich 0).

Da man in der Kryptanalyse oft aus kurzen Texten viel Information herauspressen möchte, ist die Funktion ${\displaystyle \chi \,}$, die, wie die folgenden Funktionen, auf Friedmans Mitarbeiter Solomon Kullback (1935) zurückgeht, gelegentlich aussagekräftiger:

${\displaystyle \chi (T,T')=\sum _{i=1}^{k}\sum _{j=1}^{k}{\frac {\delta (x_{i},x'_{j})}{k^{2}}}=\sum _{\ell =1}^{n}{\frac {m_{\ell }\cdot m'_{\ell }}{k^{2}}},}$

wobei ${\displaystyle m_{\ell },m'_{\ell }}$ angibt, wie oft das ${\displaystyle \ell }$-te Zeichen des Alphabets im Text ${\displaystyle T}$ bzw. ${\displaystyle T'}$ auftritt. Die Funktion ${\displaystyle \chi \,}$ hängt also allein von den Buchstabenhäufigkeiten der beiden Texte ab. Nun ist

${\displaystyle \psi (T)=\chi (T,T).\,}$

Während ${\displaystyle \chi \,}$ angewandt auf zwei Texte aus zufälligen gleichverteilten Zeichen wie ${\displaystyle \kappa \,}$ den Erwartungswert ${\displaystyle {\tfrac {1}{n}}}$ hat, ist das für ${\displaystyle \psi \,}$ nicht mehr der Fall, da ${\displaystyle \delta (x_{i},x_{i})}$ immer gleich 1 ist. Deshalb schließt man sinnvollerweise bei der Summation die Zeichen an derselben Position aus und definiert

${\displaystyle \phi (T)=\sum _{1\leq i\neq j\leq k}{\frac {\delta (x_{i},x_{j})}{k(k-1)}}=\sum _{\ell =1}^{n}{\frac {m_{\ell }(m_{\ell }-1)}{k(k-1)}}.}$

Ebenso wie ${\displaystyle \psi \,}$ kann ${\displaystyle \phi \ }$ allein aus den Buchstabenhäufigkeiten der beiden Texte berechnet werden, jedoch ist für einen Text aus Zufallszeichen der Erwartungswert für ${\displaystyle \phi \ }$ gleich ${\displaystyle {\tfrac {1}{n}}}$, während er für ${\displaystyle \psi \,}$ größer ist (nämlich ${\displaystyle {\tfrac {n+k-1}{nk}}}$). Insbesondere für kurze Texte ist der Unterschied markant.

Bedeutung

Geht man von Texten aus mehr oder weniger gleichverteilten Zufallszeichen über zu Texten, die in einer bestimmten natürlichen Sprache verfasst sind, so ändert sich der Wert des Koinzidenzindexes erheblich. Eine Faustregel besagt, dass er etwa doppelt so groß wird. Dies gilt nicht nur für Klartexte, sondern gleichermaßen auch für monoalphabetisch verschlüsselte Geheimtexte, da sich bei diesen Verfahren die Häufigkeiten der einzelnen Buchstaben nicht ändern. Das heißt, der Koinzidenzindex ist invariant gegenüber diesen Arten der Verschlüsselung.

Nimmt man beispielsweise die 26 Buchstaben unseres gewohnten lateinischen Alphabets (Umlaute werden durch ae, oe, ue ersetzt, ß durch Doppel-s oder sz, Leerzeichen und Satzzeichen werden ignoriert), so liegt der Wert für deutschsprachige Texte ${\displaystyle \kappa ,\chi \,}$ und ${\displaystyle \phi \,}$ bei rund 0,078 oder 7,8 %, während man für englischsprachige Texte etwa 6,6 % erhält. Dies ist in beiden Fällen, und auch für alle anderen Sprachen, deutlich höher als im Fall der Gleichverteilung der Buchstaben. Treten sämtliche Buchstaben des Alphabets gleich häufig auf, wie es für „zufällig“ generierte Buchstabenfolgen („Zufallstexte“) oder für „stark verschlüsselte“ Geheimtexte der Fall ist, dann ergibt sich ein Wert von etwa 1/26, also rund 3,8 %. Der höhere Wert des Koinzidenzindexes für die deutsche Sprache gegenüber der englischen Sprache spiegelt vor allem die größere Häufigkeit des dominanten Buchstabens E im Deutschen (etwa 18 %) gegenüber dem Englischen (etwa 12 %) wider.

Der Erwartungswert ${\displaystyle E_{S}}$ des Koinzidenzindexes für eine Sprache ${\displaystyle S}$ lässt sich aus den Buchstabenhäufigkeiten nach der Formel

${\displaystyle E_{S}=\sum _{i=1}^{n}p_{i}^{2}}$

berechnen, wobei ${\displaystyle p_{i}}$ die Wahrscheinlichkeit des ${\displaystyle i}$-ten Zeichens des Alphabets in Texten der entsprechenden Sprache angibt.

In verwandten Sprachen ähneln sich oft die Erwartungswerte ${\displaystyle E_{S}}$, so dass bei unbekannten Texten anhand des Koinzidenzindex Vermutungen auf den zugehörigen Sprachraum angestellt werden können.

Anwendung zur Kryptanalyse

Die wesentliche Eigenschaft ist hier, dass sich bei einer einfachen monoalphabetischen Substitutionsverschlüsselung weder ${\displaystyle \kappa ,\chi ,\psi \,}$ noch ${\displaystyle \phi \,}$ ändern, sofern die beteiligten Texte auf die gleiche Art verschlüsselt sind. Eine sprachliche Zuordnung hinreichend langer Texte wird somit allein auf statistischer Basis möglich.

Bei einer periodischen polyalphabetischen Substitutionsverschlüsselung ist der Koinzidenzindex noch wertvoller, denn die Schlüssellänge der Verschlüsselung kann mit folgender Formel abgeschätzt werden (Friedman-Test). Für die Sprache ${\displaystyle S}$ lautet die Formel für die Schlüssellänge ${\displaystyle h}$

${\displaystyle h\approx {\frac {(E_{S}-{\frac {1}{n}})k}{(k-1)\phi (T)-k{\frac {1}{n}}+E_{S}}}.}$

Diese Formel lässt sich theoretisch herleiten unter der Annahme, dass alle Schlüsselzeichen verschieden sind. Der Wert ist also vor allem bei mit kurzen Schlüsseln verschlüsselten kurzen Texten aufschlussreich, insbesondere in Kombination mit dem Kasiski-Test. Hat man mit längeren Schlüsselwörtern verschlüsselte längere Texte zur Verfügung, so ist das folgende Vorgehen präziser.

Entfernt man vom Text ${\displaystyle T}$ einmal die ersten ${\displaystyle r}$ Zeichen und einmal die letzten ${\displaystyle r}$ Zeichen, so erhält man zwei Texte, deren ${\displaystyle \kappa \,}$ bestimmt werden kann. Ist ${\displaystyle r}$ ein Vielfaches der Schlüssellänge, so sollte ${\displaystyle \kappa \approx E_{S}}$ sein, da die verglichenen Einzelzeichen mit demselben Schlüssel verschlüsselt sind. Ist ${\displaystyle r}$ jedoch kein Vielfaches der Schlüssellänge, so ist mit einem deutlich niedrigeren Wert für ${\displaystyle \kappa \,}$ zu rechnen, da die verglichenen Zeichen nur selten gleich verschlüsselt sind. Wiederholte Sequenzen im Schlüsselwort, mit denen man den Kasiski-Test und den Friedman-Test überlisten kann, beeinflussen die Ergebnisse hier nur ansatzweise und sollten in der Regel erkannt werden.

Auch bei nicht periodischen polyalphabetischen Verschlüsselungen lassen sich diese Methoden gewinnbringend nutzen. Insbesondere erkennt man bei zwei mit dem gleichen One-Time-Pad verschlüsselten Texten ${\displaystyle T,T'\,}$ durch Berechnung von ${\displaystyle \kappa (T,T')\,}$ sofort diese kryptographische Sünde und kann zum Beispiel durch die Methode des wahrscheinlichen Wortes angewandt auf einen der Texte versuchen, Klartextsequenzen im anderen Text zu erzeugen.

Der Koinzidenzindex eignet sich also für sogenannte Ciphertext-only-Angriffe (wo über den Inhalt des verschlüsselten Textes nichts bekannt sein muss) auf Substitutionsverschlüsselungen, wodurch diese Verfahren (natürlich außer einem korrekt angewendeten One-Time Pad) als ausgesprochen unsicher angesehen werden müssen.

Literatur

• Friedrich L. Bauer: Entzifferte Geheimnisse. Methoden und Maximen der Kryptologie. 3., überarbeitete und erweiterte Auflage. Springer, Berlin u. a. 2000, ISBN 3-540-67931-6.
• William F. Friedman: The index of coincidence and its applications in cryptology. Riverbank Laboratories – Department of Ciphers, Geneva IL 1922 (Nachdruck: Aegean Park Press, Laguna Hills CA 1987, ISBN 0-89412-137-5 [A Cryptographic Series, 49]).

Weblinks

• William Frederick Friedman: The index of coincidence and its applications in cryptology. WorldCat (englisch) von