三元组损失

三元组损失是机器学习算法中的一种损失函数，该损失函数将锚点（anchor）样本与正（positive）样本和负（negative）样本进行比较。具体做法是，将锚点样本与正样本之间的距离最小化，将锚点样本与负样本之间的距离最大化。 ^{[1] [2]} 2003 年，早期的三元组损失公式（未使用锚点样本）由 M. Schultze 和 T. Joachims 依照相对比较法提出，将其用于度量学习。 ^[3]

该损失函数可以用欧几里德距离函数来表示

${\displaystyle {\mathcal {L}}\left(A,P,N\right)=\operatorname {max} \left({\|\operatorname {f} \left(A\right)-\operatorname {f} \left(P\right)\|}^{2}-{\|\operatorname {f} \left(A\right)-\operatorname {f} \left(N\right)\|}^{2}+\alpha ,0\right)}$

其中${\displaystyle A}$是一个锚点样本， ${\displaystyle P}$是与${\displaystyle A}$同类的正样本, ${\displaystyle N}$是与${\displaystyle A}$不同类别的负样本, ${\displaystyle \alpha }$是正负样本对之间的松弛边距，${\displaystyle \operatorname {f} }$是嵌入向量。

3 sources

参见

• 孪生神经网络
• t-分布随机相邻嵌入
• 学习排名
• 相似性学习

参考

1. Chechik, G.; Sharma, V.; Shalit, U.; Bengio, S. Large Scale Online Learning of Image Similarity Through Ranking (PDF). Journal of Machine Learning Research. 2010, 11: 1109–1135.
2. Schroff, F.; Kalenichenko, D.; Philbin, J. FaceNet: A unified embedding for face recognition and clustering. 2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). June 2015: 815–823. ISBN 978-1-4673-6964-0. arXiv:1503.03832 . doi:10.1109/CVPR.2015.7298682.
3. Schultz, M.; Joachims, T. Learning a distance metric from relative comparisons (PDF). Advances in Neural Information Processing Systems. 2004, 16: 41–48 [2021-09-08]. （原始内容存档 (PDF)于2020-10-28）.