admin 管理员组

文章数量: 887039

基础知识

  • 模型假设空间 F \mathcal{F} F的最优解 f ~ = a r g m i n f ∈ F R ( f ) \tilde{f}=\underset{f\in \mathcal{F}}{argmin}R(f) f~​=f∈Fargmin​R(f)，假设真实世界的最优解为 f ∗ f^* f∗，我们在假设空间中的通过算法得到的最优解为 f n f_n fn​；

  • 近似误差[approximation error]：
    R ( f ~ ) − R ( f ∗ ) R(\tilde{f})-R(f^*) R(f~​)−R(f∗)
    真实世界的最优解 f ∗ f^* f∗与假设空间中最优解 f ~ \tilde{f} f~​的误差；只与假设空间 F \mathcal{F} F有关；理论上假设空间若可达到无限大，则可消除近似误差；

  • 估计误差[estimation error]：
    R ( f n ) − R ( f ~ ) R(f_n)-R(\tilde{f}) R(fn​)−R(f~​)
    搜索到的最优解 f n f_n fn​与假设空间中的最优解 f ~ \tilde{f} f~​的误差；比如优化器的设计，新的初始化方法是在优化估计误差；

  • 泛化误差[generalization error]：算法搜索得到的最优解 R ( f n ) R(f_n) R(fn​)与真实世界的最优解 R ( f ∗ ) R(f^*) R(f∗)的误差；

  • 过拟合[Overfitting]： F \mathcal{F} F太大，模型复杂度高，估计误差较小，近似误差较大；

  • 欠拟合[Underfitting]： F \mathcal{F} F太小，模型复杂度小，估计误差较大，近似误差较小；

Reference:

  1. 如何理解和区分近似误差和估计误差?

本文标签： 基础知识

版权声明：本文标题：基础知识 内容由网友自发贡献，该文观点仅代表作者本人， 转载请联系作者并注明出处：http://www.freenas.com.cn/jishu/1686529654h6429.html， 本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。