Простір масштабів

Теорія про́стору масшта́бів (англ. scale-space theory) — це основа для багатомасштабного подання сигналів, розроблена спільнотами комп'ютерного бачення, обробки зображень та обробки сигналів з доповняльними мотивами з фізики та біологічного бачення. Це формальна теорія для роботи зі структурами зображень на різних масштабах^[en] шляхом подавання зображення як однопараметрового сімейства згладжених зображень, масштабопросторо́вого подання́ (англ. scale-space representation), параметрованого розміром ядра згладжування^[en], яке використовують для пригнічування дрібномасштабних структур.^{[1][2][3][4][5][6][7][8]} Параметр ${\displaystyle t}$ у цьому сімействі називають параметром масштабу (англ. scale parameter) з інтерпретацією, що у просторі масштабів структури зображення просторового розміру менше за приблизно ${\displaystyle {\sqrt {t}}}$ було значною мірою згладжено на масштабі ${\displaystyle t}$.

Простір масштабів
Масштабопросторові аксіоми
Втілення простору масштабів
Виявляння ознак
Виявляння контурів
Виявляння плям
Виявляння кутів
Виявляння хребтів
Виявляння особливих точок
Обирання масштабу
Афінне пристосовування форми
Масштабопросторове сегментування

Основним типом простору масштабів є лінійний (гауссів) простір масштабів, який має широку застосовність, а також привабливу властивість можливості виведення з невеликого набору масштабопросторових аксіом. Відповідна масштабопросторова система охоплює теорію операторів гауссових похідних, які можливо використовувати як основу для вираження великого класу зорових операцій для комп'ютеризованих систем обробки зорової інформації. Ця система також дозволяє робити зорові операції масштабоінваріантними, що необхідно для роботи з варіаціями розміру, які можуть траплятися в даних зображень, оскільки реальні об'єкти можуть мати різні розміри, та й відстань між об'єктом і камерою може бути невідомою й може змінюватися залежно від обставин.^[9][10]

Визначення

Поняття простору масштабів застосовують до сигналів довільної кількості змінних. Найпоширеніший випадок у літературі стосується двовимірних зображень, що й подано тут. Для заданого зображення ${\displaystyle f(x,y)}$ його лінійне (гауссове) масштабопросторове подання — це сімейство похідних сигналів ${\displaystyle L(x,y;t)}$, визначене згорткою ${\displaystyle f(x,y)}$ таким двовимірним гауссовим ядром

${\displaystyle g(x,y;t)={\frac {1}{2\pi t}}e^{-(x^{2}+y^{2})/2t}\,,}$

що

${\displaystyle L(\cdot ,\cdot ;t)\ =g(\cdot ,\cdot ;t)*f(\cdot ,\cdot ),}$

де крапка з комою в аргументі ${\displaystyle L}$ означає, що згортка виконується лише над змінними ${\displaystyle x,y}$, тоді як параметр масштабу ${\displaystyle t}$ після крапки з комою просто вказує, який рівень масштабу визначають. Це визначення ${\displaystyle L}$ працює для континууму масштабів ${\displaystyle t\geq 0}$, але зазвичай розглядають лише скінченний дискретний набір рівнів у масштабопросторовому поданні.

Параметр масштабу ${\displaystyle t=\sigma ^{2}}$ — це дисперсія гауссового фільтра, і в граничному випадку для ${\displaystyle t=0}$ фільтр ${\displaystyle g}$ стає імпульсною функцією, так що ${\displaystyle L(x,y;0)=f(x,y),}$ тобто масштабопросторове подання на рівні масштабу ${\displaystyle t=0}$ це саме зображення ${\displaystyle f}$. Зі збільшенням ${\displaystyle t}$, ${\displaystyle L}$ стає результатом згладжування ${\displaystyle f}$ все більшим і більшим фільтром, таким чином видаляючи все більше деталей, які містить зображення. Оскільки стандартним відхиленням фільтра є ${\displaystyle \sigma ={\sqrt {t}}}$, значно менші за це значення деталі значною мірою видаляються із зображення за параметра масштабу ${\displaystyle t}$, див. графічні ілюстрації в наступному рисунку та в ^[11].

• 
  Масштабопросторове подання ${\displaystyle L(x,y;t)}$ в масштабі ${\displaystyle t=0}$, що відповідає первинному зображенню ${\displaystyle f}$
• 
  Масштабопросторове подання ${\displaystyle L(x,y;t)}$ в масштабі ${\displaystyle t=1}$
• 
  Масштабопросторове подання ${\displaystyle L(x,y;t)}$ в масштабі ${\displaystyle t=4}$
• 
  Масштабопросторове подання ${\displaystyle L(x,y;t)}$ в масштабі ${\displaystyle t=16}$
• 
  Масштабопросторове подання ${\displaystyle L(x,y;t)}$ в масштабі ${\displaystyle t=64}$
• 
  Масштабопросторове подання ${\displaystyle L(x,y;t)}$ в масштабі ${\displaystyle t=256}$

Чому саме гауссів фільтр?

При стиканні із завданням створення багатомасштабного подання можна запитати: чи можливо використовувати для створення простору масштабів будь-який фільтр g на кшталт фільтру низьких частот із параметром t, який визначає його ширину? Відповідь — ні, оскільки дуже важливо, щоби згладжувальний фільтр не вносив нових паразитних структур на грубих масштабах, які не відповідають спрощенням відповідних структур у тонших масштабах. У літературі з простору масштабів було висловлено низку різних способів сформулювати цей критерій точними математичними термінами.

Висновок з кількох різних поданих аксіоматичних виведень полягає в тому, що гауссів простір масштабів становить канонічний спосіб породження лінійного простору масштабів, заснований на істотній вимозі, що при переході від тонкого до будь-якого грубішого масштабу не повинні створюватися нові структури.^{[1][3][4][6][9][12][13][14][15][16][17][18][19]} До умов, званих масштабопросторовими аксіомами, які використовували для виведення унікальності гауссового ядра, належать лінійність^[en], інваріантність щодо зміщення^[en], напівгрупова структура, непосилення локальних екстремумів, масштабова та обертова інваріантність^[en]. У працях ^[15][20][21] цю унікальність, заявлену в аргументах на основі інваріантності щодо масштабу, піддають критиці, й пропонують альтернативні самоподібні масштабопросторові ядра. Гауссове ядро, проте, є унікальним вибором відповідно до масштабопросторової аксіоматики на основі причинності^[3] або непосилення локальних екстремумів.^[16][18]

Альтернативне визначення

Еквівалентно, масштабопросторове сімейство можливо визначити як розв'язок рівняння дифузії (наприклад, у термінах рівняння теплопровідності),

${\displaystyle \partial _{t}L={\frac {1}{2}}\nabla ^{2}L,}$

з початковою умовою ${\displaystyle L(x,y;0)=f(x,y)}$. Це формулювання масштабопросторового подання L означає, що можливо інтерпретувати значення яскравості зображення f як «розподіл температури» в площині зображення, і що процес, який породжує масштабопросторове подання як функцію від t, відповідає дифузії тепла в площині зображення за час t (за припущення, що теплопровідність матеріалу дорівнює довільно обраній сталій ½). Хоча цей зв'язок може здатися поверховим читачеві, не знайомому з диференціальними рівняннями, насправді дійсно основне масштабопросторове формулювання в термінах непосилення локальних екстремумів виражається через умову знаку на частинні похідні в 2+1-вимірному об'ємі, породженому простором масштабів, відтак у рамках диференціальних рівнянь з частинними похідними. Крім того, детальний аналіз дискретного випадку показує, що рівняння дифузії забезпечує об'єднувальний зв'язок між безперервним і дискретним просторами масштабів, що також узагальнюється на нелінійні простори масштабів, наприклад, із застосуванням анізотропної дифузії. Отже, можна сказати, що основним способом породження простору масштабів є рівняння дифузії, і що гауссове ядро виникає як функція Гріна цього конкретного диференціального рівняння в частинних похідних.

Мотивації

Мотивація для породження масштабопросторового подання заданого набору даних походить від базового спостереження, що об'єкти реального світу складаються з різних структур на різних масштабах^[en]. Це означає, що об'єкти реального світу, на противагу до ідеалізованих математичних об'єктів, таких як точки або прямі, можуть виглядати по-різному залежно від масштабу спостереження. Наприклад, поняття «дерево» доречне в масштабі метрів, тоді як такі поняття, як листя та молекули, доречніші в тонших масштабах. Для системи комп'ютерного бачення, яка аналізує невідому сцену, немає способу знати апріорі, які масштаби^[en] підходять для опису цікавих структур у даних зображення. Отже, єдиним розумним підходом є розглядати описи в кількох масштабах, щоб мати можливість вловлювати невідомі варіації масштабу, які можуть мати місце. У граничному випадку масштабопросторове подання розглядає подання на всіх масштабах.^[9]

Інша мотивація концепції простору масштабів походить від процесу виконання фізичних вимірювань на реальних даних. Щоби виділяти будь-яку інформацію з процесу вимірювання, до даних необхідно застосовувати оператори нескінченно малого розміру. В багатьох галузях інформатики та прикладної математики розмір оператора вимірювання при теоретичному моделюванні задачі не враховується. З іншого боку, масштабопросторова теорія явним чином включає потребу в не нескінченно малому розмірі операторів зображення як невід'ємній частини будь-якого вимірювання, а також будь-якої іншої операції, яка залежить від вимірювання в реальному світі.^[5]

Існує тісний зв'язок між масштабопросторовою теорією та біологічним баченням. Багато масштабопросторових операцій демонструють високий ступінь подібності з профілями рецептивних полів, записаними на сітківці й перших етапах зорової кори ссавців. У цьому відношенні систему простору масштабів можливо розглядати як теоретично обґрунтовану парадигму для попередньої обробки зорової інформації, яку до того ж було ретельно перевірено алгоритмами та експериментами.^[4][9]

Гауссові похідні

На будь-якому масштабі в просторі масштабів ми можемо застосовувати до масштабопросторового подання оператори локальних похідних:

${\displaystyle L_{x^{m}y^{n}}(x,y;t)=\left(\partial _{x^{m}y^{n}}L\right)(x,y;t).}$

Через комутативну властивість між оператором похідної та оператором гауссового згладжування такі масштабопросторові похідні (англ. scale-space derivatives) можливо еквівалентно обчислювати шляхом згортання первинного зображення з операторами похідних гауссіанів. З цієї причини їх часто також називають гауссовими похідними (англ. Gaussian derivatives):

${\displaystyle L_{x^{m}y^{n}}(\cdot ,\cdot ;t)=\partial _{x^{m}y^{n}}g(\cdot ,\cdot$ ;\,t)*f(\cdot ,\cdot ).}

Унікальність операторів гауссових похідних як локальних операцій, виведених із масштабопросторового подання, можливо отримати аналогічними аксіоматичними виведеннями, які використовують для виведення унікальності гауссового ядра для масштабопросторового згладжування.^[4][22]

Зорова попередня обробка

Ці оператори гауссових похідних, своєю чергою, можливо об'єднувати за допомогою лінійних або нелінійних операторів у великий спектр різних типів виявлячів ознак, які в багатьох випадках можливо добре моделювати за допомогою диференціальної геометрії. Зокрема, інваріантність (або, точніше, коваріантність) до локальних геометричних перетворень, таких як обертання або локальні афінні перетворення, можливо отримати шляхом розгляду диференціальних інваріантів за відповідного класу перетворень або, як варіант, шляхом унормовування операторів гауссових похідних на локально визначену систему координат, визначену, наприклад, з бажаного спрямування в області зображення, або шляхом застосування бажаного локального афінного перетворення до локального фрагмента зображення (докладніше див. у статті про афінне пристосовування форми).

Коли оператори гауссових похідних та диференціальні інваріанти використовують таким чином як виявлячі базових ознак у кількох масштабах, ці незавершені перші етапи зорової обробки часто називають зоровою попередньою обробкою (англ. visual front-end). Цю загальну систему застосовували до широкого спектру задач комп'ютерного бачення, включно з виявлянням та класифікуванням ознак, сегментуванням та зіставлянням зображень, оцінюванням руху, обчисленням сигналів про форму, та розпізнаванням об'єктів^[en]. Набір операторів гауссових похідних до певного порядку часто називають N-струменем, він становить базовий тип ознак масштабопросторової системи.

Приклади виявлячів

Дотримуючись ідеї вираження зорових операцій у термінах диференціальних інваріантів, обчислюваних на кількох масштабах із застосуванням операторів гауссових похідних, ми можемо виразити виявляч контурів із набору точок, який задовольняє вимогу, щоби величина градієнта

${\displaystyle L_{v}={\sqrt {L_{x}^{2}+L_{y}^{2}}}}$

набувала локального максимуму в напрямку градієнта

${\displaystyle \nabla L=(L_{x},L_{y})^{T}.}$

Шляхом диференціальногеометричних розробок можливо показати,^[4] що цей диференціальний виявляч контурів можливо еквівалентно виразити з перетинів нуля диференціальним інваріантом другого порядку

${\displaystyle {\tilde {L}}_{v}^{2}=L_{x}^{2}\,L_{xx}+2\,L_{x}\,L_{y}\,L_{xy}+L_{y}^{2}\,L_{yy}=0}$

які задовольняють таку умові знаку на диференціальному інваріанті третього порядку:

${\displaystyle {\tilde {L}}_{v}^{3}=L_{x}^{3}\,L_{xxx}+3\,L_{x}^{2}\,L_{y}\,L_{xxy}+3\,L_{x}\,L_{y}^{2}\,L_{xyy}+L_{y}^{3}\,L_{yyy}<0.}$

Аналогічно, багатомасштабні виявлячі плям на будь-якому заданому фіксованому масштабі^[23][9] можливо отримати з локальних максимумів та мінімумів або оператора Лапласа (що також називають лапласіаном гауссіана)

${\displaystyle \nabla ^{2}L=L_{xx}+L_{yy}\,}$

або визначника матриці Гессе

${\displaystyle \operatorname {det} HL(x,y;t)=(L_{xx}L_{yy}-L_{xy}^{2}).}$

Аналогічним чином виявлячі кутів та виявлячі хребтів і долин можливо виразити як локальні максимуми, мінімуми або перетини нуля багатомасштабних диференціальних інваріантів, визначених із гауссових похідних. Алгебричні вирази для операторів виявляння кутів і хребтів, проте, є дещо складнішими, й читача відсилають по додаткові відомості до статей про виявляння кутів і хребтів.

Масштабопросторові операції також часто використовують для вираження грубо—точних методів (англ. coarse-to-fine methods), зокрема для таких завдань, як зіставляння та багатомасштабне сегментування зображень.

Обирання масштабу

Подана на даний момент теорія описує добре обґрунтовану систему для подавання структур зображень у кількох масштабах. Проте в багатьох випадках також необхідно обирати локально доречні масштаби для подальшого аналізу. Така потреба в обиранні масштабу (англ. scale selection) постає з двох основних причин: (i) об'єкти реального світу можуть мати різний розмір, і цей розмір може бути невідомим системі бачення, та (ii) відстань між об'єктом та камерою може змінюватися, й ця інформація про відстань також може бути невідомою апріорно. Дуже корисною властивістю масштабопросторового подання є те, що подання зображень можливо робити інваріантними до масштабів шляхом автоматичного обирання локального масштабу^{[9][10][23][24][25][26][27][28]} на основі локальних максимумів (або мінімумів) над масштабами масштабонормованих похідних

${\displaystyle L_{\xi ^{m}\eta ^{n}}(x,y;t)=t^{(m+n)\gamma /2}L_{x^{m}y^{n}}(x,y;t)}$

де ${\displaystyle \gamma \in [0,1]}$ — параметр, пов'язаний з розмірністю ознаки зображення. Цей алгебричний вираз для операторів масштабонормованих гауссових похідних походить із введення ${\displaystyle \gamma }$-нормованих похідних відповідно до

${\displaystyle \partial _{\xi }=t^{\gamma /2}\partial _{x}\quad }$ і ${\displaystyle \quad \partial _{\eta }=t^{\gamma /2}\partial _{y}.}$

Може бути теоретично показано, що модуль обирання масштабу, який працює за цим принципом, задовольнятиме такій властивості коваріантності щодо масштабу (англ. scale covariance property): якщо для певного типу ознаки зображення передбачається локальний максимум у певному зображенні на певному масштабі ${\displaystyle t_{0}}$, то за масштабування зображення коефіцієнтом масштабу ${\displaystyle s}$ цей локальний максимум над масштабами у зміненому зображенні зміниться до рівня масштабу ${\displaystyle s^{2}t_{0}}$.^[23]

Масштабоінваріантне виявляння ознак

Див. також: Інваріантність щодо масштабу

Дотримуючись цього підходу гамма-нормованих похідних, можливо показати, що можливо виразити різні типи масштабопристосованих та масштабоінваріантних виявлячів ознак^{[9][10][23][24][25][29][30][27]} для таких завдань як виявляння плям, кутів, хребтів, контурів та просторово-часових особливих точок (докладний опис формулювання цих масштабоінваріантних виявлячів ознак див. у конкретних статтях на ці теми). Крім того, рівні масштабу, отримувані автоматичним обиранням, можливо використовувати, щоби визначати особливі області для подальшого Афінне пристосовування форми^[31] для отримання афінноінваріантних особливих точок,^[32][33] або для визначення рівнів масштабу для обчислення пов'язаних описувачів зображення^[en], таких як локально масштабопристосовані N-струмені.

Нещодавні праці показали, що таким чином можливо виконувати й складніші операції на кшталт масштабонезалежного розпізнавання об'єктів^[en], обчислюючи локальні описувачі зображення (N-струмені чи локальні гістограми спрямування градієнтів) у масштабопристосованих особливих точках, отриманих із масштабопросторових екстремумів нормованого оператора Лапласа (див. також масштабоінваріантне ознакове перетворення^[34]) або визначника матриці Гессе (див. також прискорені стійкі ознаки);^[35] див. також статтю Scholarpedia про масштабоінваріантне ознакове перетворення^[36] про загальніший погляд на підходи до розпізнавання об'єктів на основі відгуків рецептивних полів^{[19][37][38][39]} у термінах операторів гауссових похідних або їхніх наближень.

Пов'язані багатомасштабні подання

Піраміда зображення — це дискретне подання, в якому простір масштабів дискретизують як у просторі, так і в масштабі. Для масштабоінваріантності коефіцієнти масштабу слід вибирати експоненційно, наприклад, як цілі степені 2 або √2. За правильної побудови, відношення частот дискретизації у просторі та масштабі залишають сталим, тоді імпульсний відгук ідентичний на всіх рівнях піраміди.^{[40][41][42][43]} Існують швидкі, Ο(N), алгоритми для обчислювання масштабоінваріантної піраміди зображення, в якій зображення або сигнал багаторазово згладжується, і відтак субдискретизується. Значення для простору масштабів між зразками в піраміді можливо легко оцінювати, застосовуючи інтерполяцію в межах масштабів і між ними, й уможливлюючи оцінки масштабу та положення з екстрароздільністю.^[43]

У масштабопросторовому поданні існування безперервного параметра масштабу дозволяє відстежувати перетини нуля над масштабами, що дає так звану глибоку структуру (англ. deep structure). Для ознак, визначених як перетини нуля^[en] диференціальними інваріантами, теорема про неявну функцію безпосередньо визначає траєкторії крізь масштаби,^[4][44] і на тих масштабах, де відбуваються розгалуження, локальну поведінку можливо моделювати за допомогою теорії особливостей^[en].^{[4][44][45][46][47]}

Розширення теорії лінійного простору масштабів стосуються формулювання нелінійних масштабопросторових концепцій, краще пристосованих до конкретних цілей.^[48][49] Ці нелінійні простори масштабів (англ. non-linear scale-spaces) часто починаються з еквівалентного дифузійного формулювання концепції простору масштабів, яке згодом розширюють нелінійним чином. Таким чином було сформульовано велику кількість еволюційних рівнянь, умотивованих різними специфічними вимогами (додаткову інформацію див. у вищезгаданій літературі). Проте слід зазначити, що не всі ці нелінійні простори масштабів задовольняють подібним «приємним» теоретичним вимогам, як і концепція лінійного гауссового простору масштабів. Тож іноді можуть виникати несподівані артефакти, і слід бути дуже обережними, щоби не використовувати термін «масштабопросторове» для взагалі будь-якого типу однопараметрових сімейств зображень.

Розширення першого порядку ізотропного гауссового простору масштабів забезпечує афінний (гауссів) простір масштабів.^[4] Один із мотивів цього розширення витікає із загальної потреби в обчисленні описувачів зображень для об'єктів реального світу, які розглядають за перспективної моделі камери. Щоб обробляти такі нелінійні деформації локально, часткової інваріантності (або, правильніше, коваріантності^[en]) до локальних афінних деформацій^[en] може бути досягнуто шляхом розгляду афінних гауссових ядер, форми яких визначаються локальною структурою зображення;^[31] теорію та алгоритми див. у статті про афінне пристосовування форми. Справді, цей афінний простір масштабів також можливо виразити з неізотропного розширення лінійного (ізотропного) рівняння дифузії, все ще перебуваючи в класі лінійних диференціальних рівнянь з частинними похідними.

Існує загальніше розширення гауссової масштабопросторової моделі на афінні та просторово-часові простори масштабів.^{[4][31][18][19][50]} На додачу до змінюваності над масштабами, для обробки яких було розроблено первинну масштабопросторову теорію, ця узагальнена масштабопросторова теорія (англ. generalized scale-space theory)^[19] охоплює також й інші типи змінюваності, викликанні геометричними перетвореннями в процесі формування зображення, включно зі змінюваністю в напрямку огляду, наближуваною локальними афінними перетвореннями, та відносним рухом об'єктів світу та спостерігача, наближуваним локальними перетвореннями Галілея. Ця узагальнена масштабопросторова теорія веде до передбачень щодо профілів рецептивних полів, які мають добре якісне узгодження з профілями рецептивних полів, вимірюваними за допомогою записів нейронів у біологічному зорі.^{[51][52][50][53]}

Існують тісні взаємозв'язки між масштабопросторовою та вейвлетною теоріями, хоч ці два поняття багатомасштабного подання й було розроблено з дещо різних посилок. Була також робота й над іншими багатомасштабними підходами, такими як піраміди та різноманітні інші ядра, які не використовують або не вимагають тих же вимог, що й справжні масштабопросторові описи.

Відношення до біологічного зору та слуху

Існують цікаві зв'язки між масштабопросторовим поданням та біологічним зором і слухом. Нейрофізіологічні дослідження біологічного зору показали, що існують профілі рецептивних полів у сітківці й зоровій корі ссавців, які можливо добре моделювати лінійними операторами гауссових похідних, у деяких випадках також доповненими неізотропною афінною масштабопросторовою моделлю, просторово-часовою масштабопросторовою моделлю, та/або нелінійними комбінаціями таких лінійних операторів.^{[18][51][52][50][53][54][55][56][57]}

Стосовно біологічного слуху, існують профілі рецептивних полів у нижньому двогорб'ї^[en] та первинній слуховій корі^[en], які можливо добре моделювати спектрально-часовими рецептивними полями, які можливо добре моделювати гауссовими похідними над логарифмічними частотами та віконними перетвореннями Фур'є над часом, де віконні функції є часовими масштабопросторовими ядрами.^[58][59]

Глибоке навчання та простір масштабів

У сфері класичного комп'ютерного зору масштабопросторова теорія зарекомендувала себе як теоретична основа для попередньої зорової обробки, при цьому гауссові похідні становлять канонічну модель для першого шару рецептивних полів. З появою глибокого навчання також розпочалася робота над використанням гауссових похідних або гауссових ядер як загальної основи для рецептивних полів у глибоких мережах.^{[60][61][62][63][64]} Використовуючи перетворювальні властивості гауссових похідних та гауссових ядер при масштабувальних перетвореннях, можливо отримати масштабову коваріантність/еквіваріантність та масштабоінваріантність глибокої мережі для обробки структур зображення в різних масштабах теоретично обґрунтованим чином.^[62][63] Також було розроблено підходи для отримання масштабової коваріантності/еквіваріантності та масштабоінваріантності за допомогою навчених фільтрів у поєднанні з декількома масштабовими каналами.^{[65][66][67][68][69]} Зокрема, використовуючи поняття масштабової коваріантності/еквіваріантності та масштабоінваріантності, можливо забезпечувати надійне функціювання глибоких мереж на масштабах, не охоплених тренувальними даними, таким чином забезпечуючи масштабове узагальнювання.^{[62][63][67][69]}

Нюанси втілювання

При втілюванні масштабопросторового згладжування на практиці існує низка різних підходів, які можливо застосовувати в термінах безперервного або дискретного гауссового згладжування, втілення в області Фур'є, в термінах пірамід на основі біноміальних фільтрів, що наближують гауссів, або з використанням рекурсивних фільтрів. Докладніше це висвітлено в окремій статті про Втілення простору масштабів.

Див. також

• Різниця гауссіанів
• Функція Гаусса
• MIP-текстурування

Примітки

1. Ijima, T. "Basic theory on normalization of pattern (in case of typical one-dimensional pattern)". Bull. Electrotech. Lab. 26, 368– 388, 1962. (яп.)
2. Witkin, A. P. "Scale-space filtering", Proc. 8th Int. Joint Conf. Art. Intell., Karlsruhe, Germany,1019–1022, 1983. (англ.)
3. Koenderink, Jan "The structure of images", Biological Cybernetics, 50:363–370, 1984 (англ.)
4. Lindeberg, T., Scale-Space Theory in Computer Vision, Kluwer Academic Publishers, 1994, ISBN 0-7923-9418-6 (англ.)
5. T. Lindeberg (1994). Scale-space theory: A basic tool for analysing structures at different scales. Journal of Applied Statistics (Supplement on Advances in Applied Statistics: Statistics and Images: 2). Т. 21, № 2. с. 224—270. doi:10.1080/757582976. (англ.)
6. Florack, Luc, Image Structure, Kluwer Academic Publishers, 1997. (англ.)
7. Sporring, Jon et al. (Eds), Gaussian Scale-Space Theory, Kluwer Academic Publishers, 1997. [Архівовано 2006-02-11 у Wayback Machine.] (англ.)
8. ter Haar Romeny, Bart M. (2008). Front-End Vision and Multi-Scale Image Analysis: Multi-scale Computer Vision Theory and Applications, written in Mathematica. Springer Science & Business Media. ISBN 978-1-4020-8840-7. (англ.)
9. Lindeberg, Tony (2008). Scale-space. У Benjamin Wah (ред.). Encyclopedia of Computer Science and Engineering. Т. IV. John Wiley and Sons. с. 2495—2504. doi:10.1002/9780470050118.ecse609. ISBN 978-0470050118. (англ.)
10. T. Lindeberg (2014) "Scale selection", Computer Vision: A Reference Guide, (K. Ikeuchi, Editor), Springer, pages 701–713. (англ.)
11. Graphical illustration of basic ideas of scale-space representation at http://www.csc.kth.se/~tony/cern-review/cern-html/node2.html (англ.)
12. J. Babaud, A. P. Witkin, M. Baudin, and R. O. Duda, Uniqueness of the Gaussian kernel for scale-space filtering. IEEE Trans. Pattern Anal. Machine Intell. 8(1), 26–33, 1986. (англ.)
13. A. Yuille, T.A. Poggio: Scaling theorems for zero crossings. IEEE Trans. Pattern Analysis & Machine Intelligence, Vol. PAMI-8, no. 1, pp. 15–25, Jan. 1986. (англ.)
14. Lindeberg, T., "Scale-space for discrete signals," IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. PAMI-12, No. 3, March 1990, pp. 234–254. (англ.)
15. Pauwels, E., van Gool, L., Fiddelaers, P. and Moons, T.: An extended class of scale-invariant and recursive scale space filters, IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 17, No. 7, pp. 691–701, 1995. (англ.)
16. Lindeberg, T.: On the axiomatic foundations of linear scale-space: Combining semi-group structure with causality vs. scale invariance. In: J. Sporring et al. (eds.) Gaussian Scale-Space Theory: Proc. PhD School on Scale-Space Theory, (Copenhagen, Denmark, May 1996), pages 75–98, Kluwer Academic Publishers, 1997. (англ.)
17. Weickert, J. Linear scale space has first been proposed in Japan. Journal of Mathematical Imaging and Vision, 10(3):237–252, 1999. (англ.)
18. Lindeberg, T. Generalized Gaussian scale-space axiomatics comprising linear scale-space, affine scale-space and spatio-temporal scale-space, Journal of Mathematical Imaging and Vision, 40(1): 36–81, 2011. (англ.)
19. Lindeberg, T. Generalized axiomatic scale-space theory, Advances in Imaging and Electron Physics, Elsevier, volume 178, pages 1–96, 2013. (англ.)
20. M. Felsberg and G.Sommer "The Monogenic Scale-Space: A Unifying Approach to Phase-Based Image Processing in Scale Space", Journal of Mathematical Imaging and Vision, 21(1): 5–28, 2004. (англ.)
21. R. Duits, L. Florack, J. de Graaf and B. ter Haar Romeny "On the Axioms of Scale Space Theory", Journal of Mathematical Imaging and Vision, 20(3): 267–298, 2004. (англ.)
22. Koenderink, Jan and van Doorn, Ans: "Generic neighbourhood operators", IEEE Transactions on Pattern Analysis and Machine Intelligence, vol 14, pp 597–605, 1992. (англ.)
23. Lindeberg, Tony "Feature detection with automatic scale selection", International Journal of Computer Vision, 30, 2, pp 77–116, 1998. (англ.)
24. Lindeberg, Tony "Edge detection and ridge detection with automatic scale selection", International Journal of Computer Vision, 30, 2, pp 117–154, 1998. (англ.)
25. Lindeberg, Tony, "Principles for automatic scale selection", In: B. Jähne (et al., eds.), Handbook on Computer Vision and Applications, volume 2, pp 239—274, Academic Press, Boston, USA, 1999. (англ.)
26. T. Lindeberg "Temporal scale selection in time-causal scale space", Journal of Mathematical Imaging and Vision, 58(1): 57–101, 2017. (англ.)
27. T. Lindeberg "Spatio-temporal scale selection in video data", Journal of Mathematical Imaging and Vision, 60(4): 525–562, 2018. (англ.)
28. T. Lindeberg "Dense scale selection over space, time and space-time", SIAM Journal on Imaging Sciences, 11(1): 407–441, 2018. (англ.)
29. T. Lindeberg ``Scale selection properties of generalized scale-space interest point detectors", Journal of Mathematical Imaging and Vision, 46(2): 177–210, 2013. (англ.)
30. T. Lindeberg ``Image matching using generalized scale-space interest points", Journal of Mathematical Imaging and Vision, 52(1): 3–36, 2015. (англ.)
31. Lindeberg, T. and Garding, J.: Shape-adapted smoothing in estimation of 3-D depth cues from affine distortions of local 2-D structure, Image and Vision Computing, 15,~415–434, 1997. (англ.)
32. Baumberg, A.: Reliable feature matching across widely separated views, Proc. Computer Vision Pattern Recognition, I:1774–1781, 2000. (англ.)
33. Mikolajczyk, K. and Schmid, C.: Scale and affine invariant interest point detectors, Int. Journal of Computer Vision, 60:1, 63 – 86, 2004. (англ.)
34. Lowe, D. G., “Distinctive image features from scale-invariant keypoints”, International Journal of Computer Vision, 60, 2, pp. 91–110, 2004. (англ.)
35. H. Bay, A. Ess, T. Tuytelaars and L. van Gool, "Speeded-up robust features (SURF)", Computer Vision and Image Understanding, 110:3, 2008, pages 346–359 (англ.)
36. Lindeberg, T. “Scale-invariant feature transform”, Scholarpedia, 7(5):10491, 2012. (англ.)
37. B. Schiele and J. L. Crowley "Recognition without correspondence using multidimensional receptive field histograms", International Journal of Computer Vision, 36:1, 31–50, 2000 (англ.)
38. O. Linde and T. Lindeberg "Object recognition using composed receptive field histograms of higher dimensionality", Proc. International Conference on Pattern Recognition (ICPR'04), Cambridge, U.K. II:1–6, 2004. (англ.)
39. O. Linde and T. Lindeberg "Composed complex-cue histograms: An investigation of the information content in receptive field based image descriptors for object recognition", Computer Vision and Image Understanding, 116:4, 538–560, 2012. (англ.)
40. Burt, Peter and Adelson, Ted, "The Laplacian Pyramid as a Compact Image Code [Архівовано 2022-01-23 у Wayback Machine.]", IEEE Trans. Communications, 9:4, 532–540, 1983. (англ.)
41. Crowley, J. L. and Stern, R. M. (1984) Fast Computation of the Difference of Low Pass Transform, IEEE Transactions on Pattern Analysis and Machine Intelligence 6:212-222 (англ.)
42. Crowley, J. L. and Sanderson, A. C. "Multiple resolution representation and probabilistic matching of 2-D gray-scale shape", IEEE Transactions on Pattern Analysis and Machine Intelligence, 9(1), pp 113–121, 1987. (англ.)
43. T. Lindeberg and L. Bretzner (2003) "Real-time scale selection in hybrid multi-scale representations", Proc. Scale-Space'03, Isle of Skye, Scotland, Springer Lecture Notes in Computer Science, volume 2695, pages 148–163. (англ.)
44. T. Lindeberg (1992) Scale-space behaviour of local extrema and blobs, J. of Mathematical Imaging and Vision, 1(1), pages 65—99. (англ.)
45. Jan Koenderink and Andrea van Doorn, A. J. (1986), ‘Dynamic shape’, Biological Cybernetics 53, 383–396. (англ.)
46. Damon, J. (1995), ‘Local Morse theory for solutions to the heat equation and Gaussian blurring’, Journal of Differential Equations 115(2), 386–401. (англ.)
47. Florack, L., Kuijper, A. The topological structure of scale-space images. Journal of Mathematical Imaging and Vision 12, 65–79, 2000. (англ.)
48. ter Haar Romeny, Bart M. (Editor), Geometry-Driven Diffusion in Computer Vision, Kluwer Academic Publishers, 1994. (англ.)
49. Weickert, J Anisotropic diffusion in image processing, Teuber Verlag, Stuttgart, 1998. (англ.)
50. T. Lindeberg (2016) "Time-causal and time-recursive spatio-temporal receptive fields", Journal of Mathematical Imaging and Vision, 55(1): 50–88. (англ.)
51. Lindeberg, T. A computational theory of visual receptive fields, Biological Cybernetics, 107(6): 589–635, 2013. (англ.)
52. Lindeberg, T. Invariance of visual operations at the level of receptive fields, PLoS ONE 8(7):e66990, 2013 (англ.)
53. Lindeberg, T. (2021) Normative theory of visual receptive fields, Heliyon 7(1): e05897 (англ.)
54. DeAngelis, G. C., Ohzawa, I., and Freeman, R. D., "Receptive-field dynamics in the central visual pathways", Trends Neurosci. 18: 451–458, 1995.^{[недоступне посилання]} (англ.)
55. Young, R. A. "The Gaussian derivative model for spatial vision: Retinal mechanisms", Spatial Vision, 2:273–293, 1987. (англ.)
56. Young R.A., Lesperance R.M., Meyer W.W. (2001) The Gaussian derivative model for spatio-temporal vision: I. Cortical model. Spat. Vis. 14: 261-319 (англ.)
57. Young R.A. Lesperance R.M. (2001) The Gaussian derivative model for spatio-temporal vision: II. Cortical data. Spat. Vis. 14: 321-389 (англ.)
58. T. Lindeberg and A. Friberg "Idealized computational models of auditory receptive fields", PLOS ONE, 10(3): e0119032, pages 1–58, 2015 (англ.)
59. T. Lindeberg and A. Friberg (2015) ``Scale-space theory for auditory signals", Proc. SSVM 2015: Scale-Space and Variational Methods in Computer Vision, Springer LNCS 9087: 3–15. (англ.)
60. Jacobsen, J.J., van Gemert, J., Lou, Z., Smeulders, A.W.M. (2016) Structured receptive fields in CNNs. In: Proceedings of Computer Vision and Pattern Recognition, pp. 2610–2619. (англ.)
61. Worrall, D., Welling, M. (2019) Deep scale-spaces: Equivariance over scale. In: Advances in Neural Information Processing Systems (NeurIPS 2019), pp. 7366–7378. (англ.)
62. Lindeberg, T. (2020) Provably scale-covariant continuous hierarchical networks based on scale-normalized differential expressions coupled in cascade. J. Math. Imaging Vis. 62, 120–148. (англ.)
63. Lindeberg, T. (2022) Scale-covariant and scale-invariant Gaussian derivative networks. J. Math. Imaging Vis. 64, 223–242. (англ.)
64. Pintea, S. L., Tömen, N., Goes, S. F., Loog, M., & van Gemert, J. C. (2021). Resolution learning in deep convolutional networks using scale-space theory. IEEE Transactions on Image Processing, 30, 8342-8353. (англ.)
65. Sosnovik, I., Szmaja, M., Smeulders, A. (2020) Scale-equivariant steerable networks. In: International Conference on Learning Representations. (англ.)
66. Bekkers, E.J.: B-spline CNNs on Lie groups (2020) In: International Conference on Learning Representations. (англ.)
67. Jansson, Y., Lindeberg, T. (2021) Exploring the ability of CNNs to generalise to previously unseen scales over wide scale ranges. In: International Conference on Pattern Recognition (ICPR 2020), pp. 1181–1188. (англ.)
68. Sosnovik, I., Moskalev, A., Smeulders, A. (2021) DISCO: Accurate discrete scale convolutions. In: British Machine Vision Conference. (англ.)
69. Jansson, Y., Lindeberg, T. (2022) Scale-invariant scale-channel networks: Deep networks that generalise to previously unseen scales, Journal of Mathematical Imaging and Vision, dot:10.1007/s10851-022-01082-2. (англ.)

Література

• Lindeberg, Tony (2008). Scale-space. У Benjamin Wah (ред.). Encyclopedia of Computer Science and Engineering. Т. IV. John Wiley and Sons. с. 2495—2504. doi:10.1002/9780470050118.ecse609. ISBN 978-0470050118. (англ.)
• Lindeberg, Tony: Scale-space theory: A basic tool for analysing structures at different scales, in J. of Applied Statistics, 21(2), pp. 224–270, 1994. (довший pdf-посібник з простору масштабів) (англ.)
• Lindeberg, Tony: Scale-space: A framework for handling image structures at multiple scales, Proc. CERN School of Computing, 96(8): 27-38, 1996. (англ.)
• Romeny, Bart ter Haar: Introduction to Scale-Space Theory: Multiscale Geometric Image Analysis, Tutorial VBC ’96, Hamburg, Germany, Fourth International Conference on Visualization in Biomedical Computing. (англ.)
• Florack, Luc, Romeny, Bart ter Haar, Viergever, Max, & Koenderink, Jan: Linear scale space, Journal of Mathematical Imaging and Vision volume 4: 325–351, 1994. (англ.)
• Lindeberg, Tony, "Principles for automatic scale selection", In: B. Jähne (et al., eds.), Handbook on Computer Vision and Applications, volume 2, pp 239—274, Academic Press, Boston, USA, 1999. (посібник із підходів до автоматичного обирання масштабу) (англ.)
• Lindeberg, Tony: "Scale-space theory" In: Encyclopedia of Mathematics, (Michiel Hazewinkel^[en], ed) Kluwer, 1997. (англ.)
• Web archive backup: Lecture on scale-space at the University of Massachusetts (pdf) (англ.)

Посилання

• Степені десяти, інтерактивний Java-посібник на вебсайті Molecular Expressions (англ.)
• Ohzawa, Izumi. Space-Time Receptive Fields of Visual Neurons. Osaka University. Архів оригіналу за 18 лютого 2006. (англ.)
• Виявляння піків в одновимірних даних з використанням масштабопросторового підходу, з ліцензією BSD MATLAB