【深度学习】L1、L2损失和 L1、L2正则化

损失函数：L1损失：即平均绝对误差（MAE）：MAE = 1/n*∑ | yi - yi^ |L2损失：即均方误差（MSE）：MSE = 1/n*∑ (yi - yi^ )^2正则化：L1正则化：即对权重矩阵的每个元素绝对值求和，λ * ||W||L2正则化：即对权重矩阵的每个元素求平方和（先平方，后求和），1/2 * λ * ||W||^2注意：正则化项不需要求平...

Mister Zhu

3857人浏览 · 2018-08-29 13:02:48

Mister Zhu · 2018-08-29 13:02:48 发布

损失函数：

L1损失：

n个样本的平均绝对误差（MAE）：

$MAE=\frac{1}{n}\sum_{i=1}^n {|y_i-\hat{y_i}|}$

即，真实值 $y_i$ 和预测值 $\hat{y_i}$ 之间的差值的绝对值的和。

使用L1损失函数，就是最小化MAE。

L2损失：

n个样本的均方误差（MSE）：

$MSE=\frac{1}{n}\sum_{i=1}^n {{(y_i-\hat{y_i})}^2}$

即，真实值 $y_i$ 和预测值 $\hat{y_i}$ 之间的差值的平方的和。

使用L2损失函数，就是最小化MSE。

正则化：

L1正则化：即对权重矩阵的每个元素绝对值求和:

$\lambda*||W||$

L2正则化：即对权重矩阵的每个元素求平方和（先平方，后求和）:

$\frac{1}{2}*\lambda*{||W||}^2$

注意：正则化项不需要求平均数，因为权重矩阵和样本数量无关，只是为了限制权重规模。

九章云极普惠算力

更多推荐

AITemplate与Azure ML集成：云端推理实验管理终极指南

AITemplate作为高性能AI推理框架，与Azure Machine Learning的深度集成为开发者提供了强大的云端推理实验管理能力。本文将详细介绍如何利用AITemplate在Azure ML环境中构建高效推理管道，实现模型部署与性能优化的完整流程。AITemplate通过将神经网络转换为CUDA/HIP C++代码，在云端GPU环境中实现接近硬件极限的推理性能。## 🚀 为什么选

九章云极普惠算力

s3cmd安全性最佳实践：保护你的AWS凭证和敏感数据

作为一款强大的命令行工具，s3cmd在管理Amazon S3和CloudFront服务时扮演着重要角色。然而，**AWS凭证和敏感数据的安全性**往往被用户忽视，这可能导致严重的安全风险。本文将为你提供完整的s3cmd安全性配置指南，确保你的云存储操作始终处于安全保护之下。🚀## 🔐 为什么s3cmd安全性如此重要s3cmd需要访问你的AWS凭证才能执行操作，这些凭证包括Access