机器学习中的数学:微积分与最优化

机器学习中的数学:微积分与最优化

张雨萌 · 清华大学硕士/机器学习书籍作者

1415人已买
详情
目录(11)

专栏亮点

  • 篇幅短小精悍,帮你提炼重点:这不是一个大而全的高等数学课程,而是一个简明扼要的专栏,解决的是机器学习中最优化问题所需要的核心基础概念,但对于最重要的微分基础多元分析优化基础多元极值四部分知识,我们则进行庖丁解牛式的透彻讲解。
  • 使用 Python 工具,无缝对接工程:教你用熟、用好 NumPy、SciPy、Matplotlib、Pandas 等工具库,无缝对接工程实践应用。
  • 结合优化算法,提升学习效率: 结合实际的典型优化算法,分析、讲解微积分内容,通过更强的导向性和目标性,大幅度提升学习效率。

为什么要学习微积分?

机器学习是一个综合性强、知识栈长的学科,需要大量的前序知识作为铺垫,绝大多数算法模型和实际应用都依赖于以概率统计线性代数微积分为代表的数学基础。

《机器学习里的数学》系列的第三季,我们开始讨论机器学习里的微积分与最优化

微积分与最优化,是机器学习模型中问题最终解决方案的落地手段。当我们分析具体问题,并建立好算法模型后,问题的最终求解过程往往都会涉及到优化问题,因此我们需要去探寻数据空间中的极值。这一切如果没有微分理论和计算方法作为支撑,任何漂亮的模型都无法落地。因此夯实多元微分的基本概念,掌握最优化的实现方法,是通往问题最终解决方案的必经之路。

在机器学习的实践中,对于一个函数,尤其是多元函数而言,读者需要面对许多非常重要的概念和方法问题:

  • 我们常说的导数和微分的背后的几何含义是什么?我们常常听说的链式法则又是如何运转的?
  • 对于一个连续的函数,我们是如何基于不同阶数的导数,在指定点处,利用有限的级数项之和对函数进行近似?
  • 多元函数中的梯度指示出了怎样的重要信息?我们如何利用它去寻找函数的极值?
  • 利用程序进行函数极值求解时,如何利用不断迭代的方法在连续的函数中实现我们的目标?
  • 梯度法、最速下降法、牛顿法,这些极值求解的具体方法是如何实现的?各有什么优点和不足?

这些微积分中的重要问题和概念,是理解和实现优化方法的重中之重。

因此,在《机器学习中的数学:微积分与最优化》中,我们将重点落实微分基础多元分析优化基础多元极值这四部分内容,一次讲清楚优化算法中最为关键的基本概念和方法。

专栏大纲

我们将通过专栏的四大核心板块向你依次展现机器学习所需的微积分核心内容。

第 1 部分:微分基础。这一部分从一元函数的导数和微分入手,快速理清连续与可微、切线与导数等重要概念,巩固核心基础,同时从切线的几何意义出发顺势引出微分的数值求法。在此基础上进一步讨论一元函数的泰勒近似,引导读者利用高阶导数基于有限的级数项,在指定点对函数进行近似处理。

第 2 部分:多元分析。这一部分由一元过渡到多元函数,导数与微分的概念得以进一步完善和深化,引出多元函数的极限、连续以及偏导数,并在多元微分的几何意义的基础上,讨论了多元函数的泰勒近似。同时从偏导数的几何意义出发,引出这一部分最为重要的概念:多元函数的梯度向量和黑塞矩阵,探究梯度与函数值变化的重要关系,为后面的优化方法打好基础。

第 3 部分:优化基础。这一部分讨论了最优化的概念基础,首先我们分析最优化问题的由来和背景,然后重点讨论函数极值存在的条件以及探索函数极值过程中常用的迭代法。

第 4 部分:多元极值。这一部分面向几个典型的实际算法,分别举了多元函数极值求取的一阶方法和二阶方法的典型例子,对许多材料中耳熟能详、反复出现的梯度法、最速下降法以及牛顿法都进行了深入的介绍和完整的实现。同时综合整个四部分内容,整合微分与优化的完整知识闭环。

avatar

作者介绍

avatar

适宜人群

  • 对人工智能感兴趣的开发者
  • 想入门机器学习的初学者
  • 想加强数学基本功的读者

购买须知

  • 本专栏为图文内容,共计 11 篇。
  • 付费用户可享受文章永久阅读权限。
  • 本专栏为虚拟产品,一经付费概不退款,敬请谅解。
  • 本专栏可在 GitChat 服务号、App 及网页端 gitbook.cn 上购买,一端购买,多端阅读。

订阅福利

  • 凡订阅过张雨萌的其他专栏或 Chat 的付费用户,即可 12.9 元订阅本专栏。

  • 订购本专栏可获得专属海报(在 GitChat 服务号领取),分享专属海报每成功邀请一位好友购买,即可获得 25% 的返现奖励,多邀多得,上不封顶,立即提现。

  • 提现流程:在 GitChat 服务号中点击「我-我的邀请-提现」。

  • 购买本专栏后,服务号会自动弹出入群二维码和暗号。如果你没有收到那就先关注微信服务号「GitChat」,或者加我们图上的小助手微信进行咨询。(入群方式可查看第 3 篇文末说明)。

购买须知

  • 本课程内容版权归北京码字科技发展有限公司独家所有,未经授权,不得转载。
  • 本课程为虚拟产品,一经付费概不退款,敬请谅解。
  • 添加 GitChat 助教俏俏(微信 ID: gitchat2025),加入免费技术交流群。
× 订阅 Java 精选频道
¥ 元/月
订阅即可免费阅读所有精选内容