資料增強

資料增強（英語：Data augmentation）是一種統計技術，允許從不完整資料中進行最大似然估計^[1][2]。資料增強在貝葉斯推斷中有重要應用^[3]，並且在機器學習中廣泛使用，通過訓練模型使用已有資料的幾個略微修改的副本在訓練機器學習模型時減少過適^[4]。

圖像分類中的資料增強

在20世紀90年代中期，當卷積神經網路變得更加複雜時，資料量不足成為一個問題，特別是考慮到需要留出一部分資料用於後續測試。為了解決這個問題，有研究提議使用仿射變換擾動現有資料，以建立帶有相同標籤的新範例^[5]。隨後，2003年引入了所謂的彈性失真（英語：Elastic deformation）^[6]，到了2010年代，這些技術被廣泛採用^[7]。資料增強可以提升卷積神經網路的效能，並且作為對抗卷積神經網路分析攻擊的一種對策^[8]。

資料增強在圖像分類中已成為一種基礎工具，用來豐富訓練資料集的多樣性，以提升模型的泛化能力和效能。幾何變換、顏色空間調整和雜訊注入等是資料增強在圖像分類中的常用工具^[9]。

參見

• 資料分析中的過取樣和欠取樣（英語：Oversampling and undersampling in data analysis）
• 生成對抗網路
• 變分自編碼器
• 卷積神經網路
• 正則化 (數學)

參考來源

1. Dempster, A.P.; Laird, N.M.; Rubin, D.B. Maximum Likelihood from Incomplete Data Via the EM Algorithm. Journal of the Royal Statistical Society. Series B (Methodological). 1977, 39 (1): 1–22 [2024-08-07]. doi:10.1111/j.2517-6161.1977.tb01600.x. （原始內容存檔於2022-10-10）.
2. Rubin, Donald. Comment: The Calculation of Posterior Distributions by Data Augmentation. Journal of the American Statistical Association. 1987, 82 (398) [2024-08-07]. JSTOR 2289460. doi:10.2307/2289460. （原始內容存檔於2024-08-07）.
3. Jackman, Simon. Bayesian Analysis for the Social Sciences. John Wiley & Sons. 2009: 236. ISBN 978-0-470-01154-6.
4. Shorten, Connor; Khoshgoftaar, Taghi M. A survey on Image Data Augmentation for Deep Learning. Mathematics and Computers in Simulation (springer). 2019, 6: 60. doi:10.1186/s40537-019-0197-0 .
5. Yann Lecun; et al. Learning algorithms for classification: A comparison on handwritten digit recognition (Conference paper). nyuscholars.nyu.edu (World Scientific). 1995: 261–276 [2023-05-14].
6. Simard, P.Y.; Steinkraus, D.; Platt, J.C. Best practices for convolutional neural networks applied to visual document analysis. Seventh International Conference on Document Analysis and Recognition, 2003. Proceedings. 1. 2003: 958–963. ISBN 0-7695-1960-1. S2CID 4659176. doi:10.1109/ICDAR.2003.1227801.
7. Hinton, Geoffrey E.; Srivastava, Nitish; Krizhevsky, Alex; Sutskever, Ilya; Salakhutdinov, Ruslan R. Improving neural networks by preventing co-adaptation of feature detectors. 2012. arXiv:1207.0580  [cs.NE].
8. Cagli, Eleonora; Dumas, Cécile; Prouff, Emmanuel. Convolutional Neural Networks with Data Augmentation Against Jitter-Based Countermeasures: Profiling Attacks Without Pre-processing. Fischer, Wieland; Homma, Naofumi (編). Cryptographic Hardware and Embedded Systems – CHES 2017. Lecture Notes in Computer Science 10529. Cham: Springer International Publishing. 2017: 45–68. ISBN 978-3-319-66787-4. S2CID 54088207. doi:10.1007/978-3-319-66787-4_3 （英語）.
9. Shorten, Connor; Khoshgoftaar, Taghi M. A survey on Image Data Augmentation for Deep Learning. Journal of Big Data. 2019-07-06, 6 (1): 60. ISSN 2196-1115. doi:10.1186/s40537-019-0197-0 .