Infomax
Optimierungsprinzip für Informationsverarbeitungssysteme Aus Wikipedia, der freien Enzyklopädie
Optimierungsprinzip für Informationsverarbeitungssysteme Aus Wikipedia, der freien Enzyklopädie
Infomax ist ein Optimierungsprinzip künstlicher neuronaler Netze und anderer Informationsverarbeitungssysteme. Es besagt, dass eine Funktion, die eine Reihe von Eingangswerten I einer Reihe von Ausgangswerten O zuschreibt, so gewählt oder gelernt werden sollte, dass die durchschnittliche Transinformation nach Shannon zwischen I und O maximiert wird. Dies geschieht abhängig von vordefinierten Bedingungen und/oder vorhandenem Rauschen im Signal. Infomaxalgorithmen sind dabei Lernalgorithmen, die diesem Optimierungsprozess dienen.[1]
Infomax bezieht sich auf das Prinzip der Redundanzreduktion, das von Horace Barlow zur Beschreibung biologischer Reizverarbeitung im Jahr 1961 formuliert wurde.[2] Atick und Redlich wendeten es für die Berechnung von Verarbeitungsprozessen der Retina an.[3]
Eine der Hauptanwendungen von Infomax findet sich bei der Unabhängigkeitsanalyse (ICA), wobei unabhängige Signale durch Maximierung der Entropie gefunden werden.[4][5]
Seamless Wikipedia browsing. On steroids.
Every time you click a link to Wikipedia, Wiktionary or Wikiquote in your browser's search results, it will show the modern Wikiwand interface.
Wikiwand extension is a five stars, simple, with minimum permission required to keep your browsing private, safe and transparent.