畳み込み

プログラミングにおける畳み込みについては「重畳関数」をご覧ください。

畳み込み（たたみこみ、英: convolution）とは、関数 g を平行移動しながら関数 f に重ね足し合わせる二項演算である。あるいはコンボリューションとも呼ばれる。

2つの正方形による畳み込み。解として得る波形は三角波となる。黄色の領域で示されている面積が2つの方形波の合成積である。

正方形がRC回路に入力された場合の出力信号波形を得るために、RC回路のインパルス応答と方形波の畳み込みを行っている。 黄色の領域で示されている面積が合成積である。

定義

一次元

連続

連続関数 f, g の畳み込み f ∗ g は以下のように定義される：

${\displaystyle (f*g)(t)=\int f(\tau )g(t-\tau )\,d\tau }$

積分を用いて2つの関数を合わせることから畳み込み積分、合成積、重畳積分とも呼ばれる。

積分範囲は関数の定義域に依存する。通常は区間 (−∞, +∞) で定義される関数を扱うことが多いので、積分範囲は −∞ から +∞ で計算されることが多い。一方 f, g が有限区間でしか定義されない場合には、g(t − τ) が定義域内に入るように f, g を周期関数と見なして計算される。この周期関数と見なして畳み込みをすることを循環畳み込み（じゅんかんたたみこみ、英: cyclic convolution）と呼ぶ。

離散

離散信号 f, g の畳み込み f ∗ g は以下のように定義される：

${\displaystyle (f*g)(m)=\sum _{n}{f(n)\,g(m-n)}}$

すなわち積分のかわりに総和を使って同様に定義される。そのため畳み込み和・重畳和とも呼ばれる。

総和の範囲も関数の定義域に依存し、関数が有限区間でしか定義されていない場合は周期関数とみなして畳み込み演算が行われる。また定義域外の値を 0 と定義し直した関数での畳み込みがよく行われる。これを線形畳み込み（せんけいたたみこみ、英: linear convolution）あるいは直線畳み込み（ちょくせんたたみこみ）と呼ぶ。

高次元

R^d 上の複素数値函数 fと g の畳み込みは、それ自身が R^d 上の複素数値函数として

${\displaystyle (f*g)(x)=\int _{\mathbf {R} ^{d}}f(y)g(x-y)\,dy=\int _{\mathbf {R} ^{d}}f(x-y)g(y)\,dy}$

で定義されるものであるが、右辺の積分が存在してこれが定義可能となるには、fと g が無限遠において十分急速に減少する（英語版）必要がある。とはいえ、たとえば g が無限遠において爆発するとしても、その影響は f が十分に急減少であれば容易に打ち消すことができるから、この積分の存在条件は込み入ったものも考え得る。この問題をクリアする函数の条件としてよく用いられる場合を以下に挙げる。

コンパクト台付き函数

函数 f と g がともにコンパクト台連続函数ならば、それらの畳み込みは存在して、やはりコンパクト台連続函数となる^[1]。より一般に、一方がコンパクト台、他方が局所可積分函数ならば、畳み込み f ∗ g が定義されて連続である。

R 上では両者が局所自乗可積分の場合、あるいは両者がともに半無限区間 [a, +∞) (あるいはともに (-∞, a]) に台を持つ場合でも畳み込みが定まる。

可積分函数

函数 f と g がともにL¹(R^d)に属するルベーグ可積分函数ならば、それらの畳み込み f ∗ g が存在してやはり可積分である^[2]。これはトネリの定理の帰結である。このことは ℓ¹ に属する数列の離散畳み込みや、より一般の群上の L¹ の畳み込みでも成立する。

同様にして、 f ∈ L¹(R^d) と g ∈ L^p(R^d) が 1 ≤ p ≤ ∞ のとき、 f ∗ g ∈ L^p(R^d) かつ

${\displaystyle \|{f}*g\|_{p}\leq \|f\|_{1}\|g\|_{p}}$

を満たす。特に p = 1 のとき、これにより L¹ は畳み込みを積としてバナッハ代数を成す(また、等号成立は f と g がともに殆ど至る所非負のときである。)

より一般に、畳み込みに対するヤングの不等式により、畳み込み積は適当な L^p-空間上の連続双線型演算となることが従う。具体的に書けば、 1 ≤ p,q,r ≤ ∞ が

${\displaystyle {\frac {1}{p}}+{\frac {1}{q}}={\frac {1}{r}}+1}$

なる関係を満足するとして、

${\displaystyle \lVert f*g\rVert _{r}\leq \lVert f\rVert _{p}\,\lVert g\rVert _{q}\quad (f\in L^{p}(\mathbb {R} ^{d}),\,g\in L^{q}(\mathbb {R} ^{d}))}$

となるから、畳み込み積は L^p × L^q → L^r なる連続双線型写像を定めている。

畳み込みに対するヤングの不等式、循環畳み込みや離散畳み込みなどほかの文脈でも成立する。また、 R 上では先に掲げた不等式はより厳しく評価できる: 先と同様の関係を持つ 1 < p, q, r < ∞ に対し、定数 B_p,q < 1 が存在して

${\displaystyle \lVert f*g\rVert _{r}\leq B_{p,q}\lVert f\rVert _{p}\,\lVert g\rVert _{q}\quad (f\in L^{p}(\mathbb {R} ),\,g\in L^{q}(\mathbb {R} )).}$

B_p,q の最適値は Beckner (1975) にある^[3]。より強い評価として 1 < p, q, r < ∞ に対し

${\displaystyle \lVert f*g\rVert _{r}\leq C_{p,q}\lVert f\rVert _{p}\,\lVert g\rVert _{q,w}}$

も得られる。ただし、 ‖ g ‖_q,w は弱 L^p-ノルムである。 1 < p, q, r < ∞ に対し弱い版のヤング不等式

${\displaystyle \|f*g\|_{r,w}\leq C_{p,q}\|f\|_{p,w}\|g\|_{r,w}}$

を考えれば、畳み込みは連続双線型写像 ${\displaystyle L^{p,w}(\mathbb {R} )\times L^{q,w}(\mathbb {R} )\to L^{r,w}(\mathbb {R} )}$ とも見られる^[4]。

急減少函数

コンパクト台付きや可積分な函数と同様に、函数が無限遠で十分急速に減少（英語版）すれば畳み込みができて、それらの畳み込みもまた急速に減少することは重要な性質である。とくに f と g が急減少函数ならば、それらの畳み込み f ∗ g もまた急減少函数となる。このことを、畳み込みが微分と可換であるという事実と組み合わせれば、シュヴァルツ函数のクラスが畳み込みで閉じていることが導かれる^[5]。

分布

→詳細は「シュヴァルツ超函数」を参照

適当な条件の下で、函数と分布あるいは分布同士の畳み込みが定義できる。 f がコンパクト台付き函数で G が分布ならば f ∗ G は、函数の畳み込みの式を分布版にした

${\displaystyle \int _{\mathbf {R} ^{d}}f(x-y)dG(y)}$

で定義される滑らかな函数である (G が密度函数 g を持てば通常の函数の畳み込みに書き直せる)。より一般に、試験函数 φ に対して結合律

${\displaystyle f*(g*\varphi )=(f*g)*\varphi }$

が成り立つような一意的な方法で畳み込みの定義を拡張することができて、それは f が分布、 g がコンパクト台付き分布のときには有効である^[6]。

測度

二つの有界変動ボレル測度 μ と ν の畳み込みとは、

${\displaystyle \int _{\mathbf {R} ^{d}}f(x)d\lambda (x)=\int _{\mathbf {R} ^{d}}\int _{\mathbf {R} ^{d}}f(x+y)\,d\mu (x)\,d\nu (y)}$

で定義される測度 λ を言う^[7]。これは μ と ν を分布と見るとき、前節にいう分布の畳み込みに一致する。また μ と ν がルベーグ測度に関して絶対連続であるとき、それらの密度函数の L¹-函数としての畳み込みとも一致する。

測度の畳み込みは、測度の全変動（英語版）をノルムとして

${\displaystyle \lVert \mu *\nu \rVert \leq \lVert \mu \rVert \,\lVert \nu \rVert }$

を満たすという意味でのヤングの不等式が成立する。有界変動測度の空間はバナッハ空間であるから、測度の畳み込みは函数解析学の標準的な (分布の畳み込みに対しては適用できない) 方法で扱うことができる。

群上の畳み込み

適当な測度 λ を備えた群 G とその上の実または複素数値ルベーグ可積分函数 f と g が与えられれば、それらの畳み込みを

${\displaystyle (f*g)(x)=\int _{G}f(y)g(y^{-1}x)\,d\lambda (y)}$

で定義することができる。しかし一般には可換性が成り立たないことに注意すべきである。

局所コンパクト群上の不変積分の場合

典型的な場合として、 G が局所コンパクトハウスドルフ位相群で λ が左ハール測度（左不変測度）の場合である。右不変測度 ρ に対しても同様の積分

${\displaystyle \int f(xy^{-1})g(y)\,d\rho (y)}$

を考えることができるが、 G が単模でないならば両者は一致しない。前者の定義では、固定した函数 g による畳み込みが群への左移動作用と可換:

${\displaystyle L_{h}(f*g)=(L_{h}f)*g}$

となることからよく選ばれる。さらにこの定義では後で述べる測度の畳み込みの定義と矛盾しない。一方、左不変ではなく右不変測度を取り、後者の定義を用いれば右移動作用と可換になる。

よく知られた例の導出

局所コンパクトアーベル群上で、ある種の畳み込み定理（英語版） (畳み込みのフーリエ変換はフーリエ変換の点ごとの積に一致する) が成立する。

円周群 T にルベーグ測度を考えたものはよく知られた循環畳み込みの場合の例を与える: g ∈ L¹(T) を固定して、ヒルベルト空間 L²(T) に作用するよく知られた作用素:

${\displaystyle T{f}(x)={\frac {1}{2\pi }}\int _{\mathbf {T} }{f}(y)g(x-y)\,dy}$

がとれる。作用素 T はコンパクト作用素である。直接計算により、その随伴作用素 T* は g(−y) による畳み込みであることが示せる。上で掲げた可換性により、 T は正規作用素 (T*T = TT* である。また T は平行移動作用素とも可換である。そのような畳み込み作用素と平行移動作用素全体の成す作用素族を S とすれば、 S は正規作用素からなる可換族である。ヒルベルト空間上のスペクトル論に従えば、 S を同時対角化する正規直交基底 {h_k} が存在して、これが円周上の畳み込みを特徴付ける。具体的には

${\displaystyle h_{k}(x)=e^{ikx}\quad (k\in \mathbb {Z} )}$

がちょうど T の指標の全体の成す集合に一致する。この基底に属する各畳み込み作用素がコンパクト乗算作用素であることが、上で述べた循環畳み込みに対する畳み込み定理としてみることができる。

離散畳み込みの例は位数 n の有限巡回群をとる。この場合の畳み込み作用素は巡回行列によって表現され、離散フーリエ変換によって対角化することができる。

同様の結果が (アーベルとは限らない) コンパクト群 G に対しても知られている: 有限次元ユニタリ表現の行列要素の全体が L²(G) の正規直交基底を成し (ピーター–ワイルの定理（英語版）)、適当な意味での畳み込み定理が (フーリエ変換に基づく調和解析の他の多くの側面とともに) 引き続き満足される。

群上の測度の畳み込み

位相群 G 上の有限ボレル測度 μ と ν に対し、それらの畳み込み μ ∗ ν は G の各可測部分集合 E に対して

${\displaystyle (\mu *\nu )(E)=\iint 1_{E}(xy)\,d\mu (x)\,d\nu (y)}$

で定義され、やはり有限測度となる。実際、全変動に関するヤングの不等式

${\displaystyle \lVert \mu *\nu \rVert \leq \lVert \mu \rVert \,\lVert \nu \rVert }$

が満足される。 G が局所コンパクト群で左ハール測度 λ を持ち、 μ と ν が λ に関して絶対連続で各々密度函数を持つ場合には、畳み込み μ ∗ ν もまた絶対連続で、その密度函数は各測度の密度函数の (通常の函数としての) 畳み込みに一致する。

考える位相群が実数の加法群 (R, +) のとき、その上の確率測度 μ と ν をとれば、測度の畳み込み μ ∗ ν は、分布 μ および ν に従う独立確率変数 X および Y の和 X + Y の確率分布に対応する。

性質

積分演算に由来する性質として以下の性質がある。

• 交換律: ${\displaystyle f*g=g*f}$
• 結合律: ${\displaystyle (f*g)*h=f*(g*h)}$
• 分配律: ${\displaystyle f*(g+h)=(f*g)+(f*h)}$
• スカラー倍: ${\displaystyle a(f*g)=(af)*g=f*(ag)}$, a は任意の複素数。
• 微分: ${\displaystyle {\rm {D}}(f*g)={\rm {D}}f*g=f*{\rm {D}}g}$, D は微分演算子（離散系の場合は Df(n) = f(n + 1) − f(n)）
• 畳み込み定理（英語版）: ${\displaystyle {\mathcal {F}}(f*g)={\mathcal {F}}(f)\cdot {\mathcal {F}}(g)}$, ${\displaystyle {\mathcal {F}}(f)}$ はフーリエ変換

畳み込み定理

畳み込み定理（英語版）は次の式で示される。

${\displaystyle {\mathcal {F}}(f*g)={\mathcal {F}}(f)\cdot {\mathcal {F}}(g)}$

ここで ${\displaystyle {\mathcal {F}}(f)}$ はフーリエ変換である。この定理によりフーリエ変換を使って畳み込み演算を単純な掛け算に変換することが出来る。この定理はラプラス変換・Z変換やメリン変換といった変換に対しても適用できる。

計算

畳み込み演算を実際に計算する際には様々な技法が利用される。

離散時間信号

離散時間信号の畳み込み和は定義通りの畳み込み計算でなく、畳み込み定理（英語版）を利用して計算される場合が多い。

離散時間信号では高速フーリエ変換 (FFT) を用いることで少ない計算量でフーリエ変換を実行できる。ゆえに関数 f, g をFFTにより周波数表現へ変換し、その積を取って、最後にIFFTで時間表現へ戻すことで高速に畳み込み和を計算できる。

有限直線畳み込み

有限長信号の直線畳み込みは「範囲外が0埋めされた関数」と見なすことで通常の直線畳み込み演算を適用できる。しかし値が0と事前に確定している領域を実際に計算するのは無駄であり、実践的には有限区間に限って計算がおこなわれる。畳み込みは2つの関数を重ね合わせる演算であるため「0埋めした領域を畳み込んだ場合に出力扱いするか」にバリエーションが存在する。以下はその一例である^[8][9][10]。

• valid: 両関数が非ゼロの領域のみ出力 (L=N-M+1)
• full: 両関数が非ゼロでない限り出力 (L=N+M-1)
• same: 中央部分を入力と同じ長さだけ出力 (L=N)

fullは「両側 M-1 ゼロパディング+valid直線畳み込み」と同義であり、sameは「両側 (M-1)/2 ゼロパディング+valid直線畳み込み」と同義である。

応用

確率測度における畳み込み

集合関数の一種である確率測度の畳み込みは次のように表現される。確率測度 μ₁, μ₂ において任意のボレル集合 B に対し、

${\displaystyle (\mu _{1}*\mu _{2})(B)=\int 1_{B}(x+y)\ \mu _{1}(dx)\mu _{2}(dy)}$

と表現される。ここで1_BはBの定義関数である。これは μ₁, μ₂ を集合関数として捉えて、変数変換することで求まる。これにより、μ₁, μ₂ を分布に持つ確率変数 X, Y においてその和 X + Y の分布が畳み込みにあたることが分かる。

多項式の掛け算

多項式の掛け算の結果の係数列は、元の多項式の係数列の線形畳み込みになる。実際

${\displaystyle \left(\sum _{i=0}^{m}a_{i}x^{i}\right)\left(\sum _{j=0}^{l}b_{j}x^{j}\right)=\sum _{k=0}^{m+l}\left(\sum _{i+j=k}a_{i}b_{j}\right)x^{k}=\sum _{k=0}^{m+l}\left(\sum _{i=0}^{k}a_{i}b_{k-i}\right)x^{k}}$

であり、掛け算の結果の係数が a*b となる。

線形システム

電気回路といった古典的な時不変（シフト不変）線形システムは、任意の入力 x(t) に対する出力 y(t) が x(t) とインパルス応答 h(t) の畳み込みで記述できる：

${\displaystyle y(t)=h(t)*x(t)}$

ここで特に、入力 x(t) がデルタ関数 δ(t) のとき出力は h(t) そのものになる。

ここで上式の両辺をフーリエ変換もしくはラプラス変換（離散系の場合はZ変換）すると畳み込み定理より下式のようになる。

${\displaystyle Y=HX}$

ここで、

${\displaystyle H={\frac {Y}{X}}}$

を伝達関数といい、この式は古典制御論の基礎となっている。

音響学

エコーは元の音波と、音を反射するさまざまな物体に因る特性（インパルス応答）との畳み込みで記述される。カラオケやシンセサイザーに搭載されているエコー機能は、この畳み込みの効果を電気回路もしくはコンピュータでシミュレートすることで実現している。

光学および画像処理

撮像時のブレなどの多くのぶれ (blur) は畳み込みで記述できる。例えば、ピントがぼけた写真は、ピントがあった仮想的な画像と、絞りの特性を示す円との畳み込みである。また被写体等の動きによるブレも、静止した仮想的な画像と動きの特性との畳み込みであり、グラフィックソフトウェアのモーションブラーはこの畳み込み演算を計算によりシミュレートすることで実現している。

画像認識においても、異なるスケールの画像を認識するにあたり、畳み込みでぶれをつくってから、画像処理することがある。

統計学

X, Y がそれぞれ独立な連続型確率変数とすると、和の ${\displaystyle S=X+Y}$ の確率密度関数は畳み込みによって与えられる。X, Y の確率密度関数をそれぞれ ${\displaystyle f_{X},f_{Y}}$ と表記すると、S の密度関数は以下の式で与えられる。

${\displaystyle f_{S}(s)=\int _{-\infty }^{\infty }f_{X}(x)f_{Y}(s-x)\,dx}$

歴史

畳み込み積分が用いられた最初期の例の一つは d'Alembert (1754) Recherches sur différents points importants du système du monde におけるテイラーの定理の導出にある^[11]。また

${\displaystyle \int f(u)\cdot g(x-u){\mathit {du}}}$

の形の式は Lacroix（英語版） Treatise on differences and series^{[注釈 1]} の505頁で用いられ^[12]、そのすぐ後にLaplace、Fourier、Poissonらの研究に畳み込み演算が現れている。名称自体が広く用いられるようになるには1950年代あるいは1960年代を待たなければならない。それに先立ってはドイツ語: faltung（「畳み込み」）、composition product（「合成積」）、 superposition integral（「重ね合わせ積分」）などとも呼ばれ、あるいはカールソンの積分 (Carson's integral)^[13] とも言った。現代的な定義がより古い用例に馴染むわけでもないが、それでも早くは1903年ごろには出現している^[14][15]。

合成積の特別の場合としての演算

${\displaystyle \int _{0}^{t}\varphi (s)\psi (t-s){\mathit {ds}}\quad (0\leq t<\infty )}$

は Volterra (1913) "Leçons sur les fonctions de lignes" にある^[16]

脚注

[脚注の使い方]

注釈

1. 百科辞典シリーズ Traité du calcul différentiel et du calcul intégral, Chez Courcier, Paris, 1797-1800. の最後の三巻

出典

1. Hörmander 1983, Chapter 1.
2. Stein & Weiss 1971, Theorem 1.3.
3. Beckner, William (1975), "Inequalities in Fourier analysis", Ann. of Math. (2) 102: 159–182. Independently, Brascamp, Herm J. and Lieb, Elliott H. (1976), "Best constants in Young's inequality, its converse, and its generalization to more than three functions", Advances in Math. 20: 151–173. See Brascamp–Lieb inequality
4. Reed & Simon 1975, IX.4.
5. Stein & Weiss 1971, Theorem 3.3.
6. Hörmander 1983, §4.2.
7. Rudin 1962.
8. "mode : {‘full’, ‘valid’, ‘same’}" NumPy. numpy.convolve. NumPy v1.24 docs. 2023-03-23閲覧.
9. "mode : str {‘full’, ‘valid’, ‘same’}" SciPy. scipy.signal.convolve. NumPy v1.10.1 docs. 2023-03-23閲覧.
10. "mode (str, optional) – Must be one of (“full”, “valid”, “same”)." TorchAudio. TORCHAUDIO.FUNCTIONAL.CONVOLVE. TorchAudio 2.0.1 docs. 2023-03-23閲覧.
11. Dominguez-Torres 2010, p. 2.
12. Dominguez-Torres 2010, p. 4.
13. R. N. Bracewell (2005), “Early work on imaging theory in radio astronomy”, in W. T. Sullivan, The Early Years of Radio Astronomy: Reflections Fifty Years After Jansky's Discovery, Cambridge University Press, p. 172, ISBN 978-0-521-61602-7, https://books.google.co.jp/books?id=v2SqL0zCrwcC&pg=PA172
14. John Hilton Grace and Alfred Young (1903), The algebra of invariants, Cambridge University Press, p. 40, https://books.google.co.jp/books?id=NIe4AAAAIAAJ&pg=PA40
15. Leonard Eugene Dickson (1914), Algebraic invariants, J. Wiley, p. 85, https://books.google.co.jp/books?id=LRGoAAAAIAAJ&pg=PA85
16. Lothar von Wolfersdorf (2000), "Einige Klassen quadratischer Integralgleichungen", Sitzungsberichte der Sächsischen Akademie der Wissenschaften zu Leipzig, Mathematisch-naturwissenschaftliche Klasse, volume 128, number 2, 6–7

参考文献

• Dominguez-Torres, Alejandro (Nov 2, 2010). "Origin and history of convolution". 41 pgs. http://www.slideshare.net/Alexdfar/origin-adn-history-of-convolution. Cranfield, Bedford MK43 OAL, UK. Retrieved Mar 13, 2013.
• Hörmander, L. (1983), The analysis of linear partial differential operators I, Grundl. Math. Wissenschaft., 256, Springer, ISBN 3-540-12104-8, MR0717035
• Stein, Elias; Weiss, Guido (1971), Introduction to Fourier Analysis on Euclidean Spaces, Princeton University Press, ISBN 0-691-08078-X
• Reed, Michael; Simon, Barry (1975), Methods of modern mathematical physics. II. Fourier analysis, self-adjointness, New York-London: Academic Press Harcourt Brace Jovanovich, Publishers, pp. xv+361, ISBN 0-12-585002-6, MR0493420
• Rudin, Walter (1962), Fourier analysis on groups, Interscience Tracts in Pure and Applied Mathematics, No. 12, Interscience Publishers (a division of John Wiley and Sons), New York–London, ISBN 0-471-52364-X, MR0152834.

関連項目

• 逆畳み込み
• ブラインド・デコンボリューション
• インパルス応答 - 伝達関数
• フーリエ変換 - ラプラス変換
• 軟化子
• 基本解
• 自己回帰移動平均モデル
• 巡回行列
• アナログ信号処理
• コーシー積
• 積和演算

外部リンク

• 『合成積（畳み込み）の意味と応用３つ』 - 高校数学の美しい物語
• Weisstein, Eric W. "Convolution". mathworld.wolfram.com (英語).
• convolution - PlanetMath.（英語）
• Hazewinkel, Michiel, ed. (2001), “Convolution of functions”, Encyclopedia of Mathematics, Springer, ISBN 978-1-55608-010-4, https://www.encyclopediaofmath.org/index.php?title=Convolution_of_functions
• Hazewinkel, Michiel, ed. (2001), “Convolution transform”, Encyclopedia of Mathematics, Springer, ISBN 978-1-55608-010-4, https://www.encyclopediaofmath.org/index.php?title=Convolution_transform
• The Joy of Convolution Java Applet を使った視覚的な畳み込みの説明
• Examples of sampled impulse responses to be used in convolution reverbs (Fokke Van Saane)
• Examples of impulse responses synthesized from oscillator spectra, to be used in convolution reverbs (Emmanuel Deruty)
• BruteFIR; A software for applying long FIR filters to multi-channel digital audio, either offline or in realtime.
• Freeverb3 Reverb Impulse Response Processor: DSP library with convolution engines.