Loading AI tools
З Вікіпедії, вільної енциклопедії
T-розподілене вкладення стохастичної близькості (англ. t-distributed Stochastic Neighbor Embedding, t-SNE) — це метод машинного навчання візуалізації даних, розроблений Лоренсом ван дер Маатеном і Джефрі Гінтоном.[1] Це зручний метод нелінійного зниження розмірності[en] шляхом вкладення багатовимірних даних у дво- або тривимірний простір для подальшої візуалізації. Зокрема, він відображає кожну точку багатовимірного простору в дво- або тривимірну точку евклідового простору так, що подібні об'єкти розташовуються поруч, а несхожі об'єкти відповідають віддаленим точкам з високою ймовірністю.
Алгоритм t-SNE складається з двох основних етапів. Спочатку, t-SNE створює розподіл імовірностей по парах багатовимірних об'єктів таким чином, що подібні об'єкти мають високу ймовірність бути вибраними, у той час як несхожі точки мають надзвичайно малу ймовірність бути вибраними разом. Далі, t-SNE визначає подібний розподіл ймовірностей для точок у карті низьковимірного простору та мінімізує розбіжності за відстанню Кульбака–Лейблера між двома розподілами за місцем розташування точок на карті. Зверніть увагу, що хоч оригінальний алгоритм і використовує евклідову відстань між об'єктами, як основну метрику подібності об'єктів, проте, вона може бути змінена при необхідності.
t-SNE використовується для візуалізації в різноманітних застосунках, таких як дослідження по комп'ютерній безпеці,[2] аналізу музики,[3] дослідженнях раку[en],[4] біоінформатики,[5] та біомедичній обробці сигналів.[6] Він часто використовується для візуалізації високорівневих представлень, отриманих за допомогою штучної нейронної мережі.[7]
Хоча візуалізації отримані за допомогою t-SNE часто використовуються для відображення кластерів, отримане зображення може суттєво залежати від обраної параметризації і тому потрібне глибоке розуміння параметрів, які використовуються для t-SNE. Навіть для некластеризованих даних можуть з'явитись «кластери»[8], що може привести до помилкових висновків. Тим самим, для правильного підбору параметрів і перевірки результатів може бути потрібне інтерактивне дослідження даних.[9][10] Було продемонстровано, що t-SNE часто здатний відновлювати добре розділені кластери, та зі спеціальним вибором параметрів, він наближається до простої форми спектральної кластеризації.[11]
Для даного набору багатовимірних об'єктів t-SNE спочатку обчислює ймовірності пропорційні схожості і наступним чином:
Ван дер Маатен та Гінтон пояснюють такий вибір відстані наступним чином: «подібність точки даних до точки даних — це умовна ймовірність, , що вибрав би як свого сусіда, якби сусіди були обрані пропорційно їх гаусовій густині ймовірності з центром в .»[1]
Більш того, коли , ймовірності дорівнюють нулю:
Пропускна здатність Гаусового ядра встановлюється за допомогою методу бісекції так, що перплексивність умовного розподілу дорівнює попередньо визначеній перплексивності. У результаті пропускна здатність адаптується до густини даних: менші значення використовуються у більш густих частинах даних.
Через те що Гаусове ядро використовує евклідову відстань , то, у випадку дуже високої розмірності даних, слід мати на увазі ефект прокляття розмірності, коли відстані втрачають здатність до розділення і стають дуже схожими (асимптотично, вони збігаються до константи). Для пом'якшення цього ефекту запропоновано[12] регулювати відстані степеневим перетворенням, спираючись на внутрішню розмірність[en] кожної точки.
t-SNE намагається дізнатись -вимірне відображення (де ), яке відображає подібність наскільки це можливо. З цією метою він вимірює схожість між двома точками відображення та за допомогою аналогічного підходу. Зокрема, визначається як:
Тут використовується T-розподіл Стьюдента з обважнілим кінцем (з одним ступенем свободи, який є по суті розподілом Коші) для вимірювання подібностей між точками у низьковимірному просторі для того, щоб різнорідні об'єкти були змодельовані далеко один від одного при відображенні. Зверніть увагу, що в даному випадку ми прирівнюємо
Координати точок при відображенні визначаються шляхом мінімізації (несиметричної) відмінності по мірі Кульбака–Лейблера розподілу від розподілу , тобто:
Мінімізація розбіжностей Кульбака–Лейблера по точкам здійснюється за допомогою градієнтного спуску. Результатом такої оптимізації є відображення, яке добре зберігає подібність між входовими даними високої розмірності.
Seamless Wikipedia browsing. On steroids.
Every time you click a link to Wikipedia, Wiktionary or Wikiquote in your browser's search results, it will show the modern Wikiwand interface.
Wikiwand extension is a five stars, simple, with minimum permission required to keep your browsing private, safe and transparent.