本文整理、总结了常见softmax（如A-Softmax,AM-Softmax,ArcFace）的公式、论文出处等。
先总结几个重要的点：

• L-Softmax 提出了angular margin的概念，重新思考，引入cos角，认为各类之间的夹角需要有个margin。
• A-Softmax将weight归一化，使得特征上的点映射到单位超球面上。
• AM-Softmax将角度上的倍数关系改为cos值的比较。
• Arcface将margin由cos值改为值的比较。（和AM-Softmax比较下，两者的m前面的符号是不同的）

Name	Loss公式	权重/特征归一	论文
softmax		N/N
NormFace	同softmax	Y/Y	arxiv ACMMM 2017
L softmax	首次提出angular margin	N/N	arxiv ICML 2016
A softmax	增加weight norm	Y/N	arxiv CVPR 2017
AM softmax	增加feat norm和scale，margin由乘法变为加法	Y/Y	arxiv ICLRw 2018
CosFace	同AM-Softmax，和AM-Softmax接近同时发布	Y/Y	arxiv CVPR 2018
ArcFace	类似AM softmax，将margin由cos外移到内	Y/Y	arxiv CVPR 2019
Adaptive Face	将margin参数化，与类别相关	Y/Y	pdf CVPR 2019

todo Decision Boundary