机器学习中的数学(全集)

机器学习中的数学(全集)

张雨萌 · 清华大学硕士/机器学习书籍作者

669人已买
详情
目录(71)

在当下,机器学习、人工智能领域吸引了许多同学投身其中,其中包含了大量非科班出身或者从其他行业切换赛道转行而来的朋友们,大家在学习的过程中发现学习曲线陡峭、难度较大,普遍的心声就是:机器学习难,首要就是数学知识需要的太多了

大学学过数学,为什么还是不会用、用不好?

其实在大学阶段,大家都学过概率论、线性代数和微积分的课程,为什么到了机器学习领域需要使用的时候,却难以支撑了呢?我感觉有以下几点原因,相信你也曾经感同身受。

第一,大学课程中的知识点并没有完全覆盖机器学习领域所需。 回想一下大学概率统计课程内容的内容,虽然很重要,但其实远远不够。事实上,我们还需要补充随机过程随机理论蒙特卡洛思想采样方法概率图等一些重要的基础知识,才能说知识结构相对完整。同样的,大学本科的线性代数中一般也不会介绍相似矩阵矩阵分解数据降维等重要内容,最优化的思想和应用在高等数学中也鲜有涉及。

第二,大学课程的学习重计算技巧,轻内在逻辑。 大家一定都有这种感觉,学习大学数学的时候,我们是不是一天到晚苦于去计算行列式、特征值;去求微分、求积分;去罗列很多种分布,然后算期望、算方差、算事件概率。这样的结果就是数学变成了算术,还是在不停的做程序一秒钟就能做的事儿。至于说知识背后的内在逻辑和应用方法,基本上是非常欠缺的,因此大家很容易考完就忘。

第三,大学学了数学,却不知道学了能干什么。几十年如一日的教学内容没能深刻挖掘学科与当下前沿技术的交汇点,使得同学们常常有这样的困惑:这门课学了之后有什么用?自然学完之后,很快也就还给老师了。同时大学开设的数学基础课目的是讲授基础理论,本来也不是为了给大家打牢机器学习的数学基础。

这个专栏和传统的数学教材有何不同?

首先,我们会集中力量紧紧围绕机器学习核心算法中所涉及到的数学知识展开介绍,做好精确打击。 我们的讲解会结合好数学的本质内涵,用浅显易懂的语言讲透深刻的数学思想,构建起整个专栏理论体系。

然后,我们还会加强基础知识与算法、应用案例之间的联系。 我们在讲解数学内容的时候会注重延伸到后续的算法应用场景,将其进行相互关联,形成学以致用的实践导向。

同时,我们会运用好 Python 工具,做好和工程应用的无缝对接。 整个专栏内容都以 Python 语言为工具进行教学内容的实践,利用numpy、scipy、matplotlib、pandas 等工具强化知识的理解、提升工作的效率。

此外,我们还十分重视专栏本身的写作技巧。作者深入浅出的讲解技巧和逻辑严密的写作文风也将助你在充满挑战的学习道路上不断前进。

专栏作者

avatar

专栏的设计思路

我们会按照概率统计、线性代数、微积分与最优化以及概率图与随机过程的顺序来安排专栏内容。

avatar

第一篇:概率统计

第 01 部分:概率思想。这一部分里,我们首先从条件概率和贝叶斯方法入手,阐明条件、独立、相关这些基本概念,掌握联合、边缘的计算方法,和大家一起构建起认知世界的概率思维体系。

第 02 部分:随机变量。这里,我们将重点介绍随机变量主干内容,从单一随机变量的分布过渡到多元随机变量的分析,最后重点围绕大数定理和中心极限定理,并初步接触蒙特卡洛方法,带领读者建立重要的极限思维。

第 03 部分:统计推断。这一部分我们关注的是如何从部分的样本集合中去推断出我们关心的总体特征,这在现实世界中的意义非常重要。在介绍参数估计的思想方法基础上,我们重点关注极大似然估计和贝叶斯估计这两种方法。

第 04 部分:随机过程。这一部分我们会关注由一组随机变量构成的集合,即:随机过程。股票的波动、语音信号、视频信号、布朗运动等都是随机过程在现实世界中的实例。我们在随机过程的基本概念之上,重点分析马尔科夫链,梳理由静到动的演变,探索变化的过程和不变的稳态。

第 05 部分:采样理论。这一部分重点关注如何获取服从目标分布的近似采样方法,从基本的接受-拒绝采样入手,逐渐深入到马尔科夫链-蒙特卡洛方法,在动态的过程中进一步深化对随机过程、随机理论与极限思想的理解。

第 06 部分:概率模型。这一部分介绍概率图模型中的一种典型模型:隐马尔科夫模型,熟悉状态序列的概率估计和状态解码的基本方法,为后续进一步拓展概率图模型的学习打好基础。

第二篇:线性代数

第 07 部分:构筑空间。这一部分我们将从空间坐标表示与线性变换入手,快速建立线性代数直观感受,理解向量和矩阵运算的几何意义;同时探索空间——这个线性代数的概念基石,理解空间中的映射和变换的本质,深入学习矩阵在其中的灵魂作用;

第 08 部分:空间投影。这一部分我们将从空间投影的现象入手,很好的将理论和工程进行紧密的结合,掌握线性代数在近似与拟合中的理论基础,学习最小二乘法的原理与实际应用,并实践线性拟合、无解方程组的近似解问题;

第 09 部分:矩阵特征。这一部分是矩阵分析的核心重点,我们需要深刻领会矩阵相似性的几何意义以及特征值、特征向量的提取方法,用以打好数据降维的理论基础;

第 10 部分:数据降维。这一部分是整个线性代数知识脉络的交汇点,可以说是矩阵分析中最为精彩的地方,利用前三部分打下的良好概念基础,我们应该去深入的学习特征值分解和奇异值分解的方法,并利用这些工具进行数据的压缩和降维,实现对样本数据的主成分分析。

第三篇:微积分与最优化

第 11 部分:微分基础。这一部分从一元函数的导数和微分入手,迅速理清连续与可微、切线与导数等重要概念,巩固好核心基础,同时从切线的几何意义出发顺势引出微分的数值求法。在此基础上进一步讨论一元函数的泰勒近似,引导读者利用高阶导数基于有限的级数项在指定点对函数进行近似处理;

第 12 部分:多元分析。这一部分由一元过渡到多元函数,导数与微分的概念得以进一步全面和深化,引出了多元函数的极限、连续以及偏导数,并在多元微分的几何意义的基础上,讨论了多元函数的泰勒近似。同时从偏导数的几何意义出发,引出了这一部分最为重要的概念:多元函数的梯度向量和黑塞矩阵,探究梯度与函数值变化的重要关系,为优化方法的介绍打好基础。

第 13 部分:优化基础。这一部分讨论了最优化的概念基础,首先我们分析最优化问题的由来和背景,然后重点讨论函数极值存在的条件以及探索函数极值过程中常用的迭代法。

第 14 部分:多元极值。这一部分面向几个典型的实际算法,分别举了多元函数极值求取的一阶方法和二阶方法的典型例子,对许多材料当中耳熟能详、反复出现的梯度法、最速下降法以及牛顿法都进行了深入的介绍和完整的实现,综合了整个四部分内容,形成了微分与优化的完整知识闭环。

第四篇:概率图与随机过程

第 15 部分:模型中的单点——入手高斯分布:勾画概率模型核心概念:从最基础的单中心高斯分布入手展开,通过一维及多维高斯分布的形态、性质、由来及应用串联起随机变量、分布特征、参数估计、极大似然等核心概念,并分门别类的梳理典型的判别模型和生成模型。

第 16 部分:模型中的多点——混合模型与隐变量:EM的迭代探索:接着进入到概率模型中的“多点”,即以多中心高斯混合模型为例,由复杂模型中的隐变量所带来的参数估计困境,牵引出EM算法以及迭代探索的重要思想;

第 17 部分:模型中的线——剖析随机过程:一组变量观测:然后由点到线,介绍随机过程---即一组随机变量的呈现形式,主要介绍马尔科夫过程和高斯过程,并基于马尔科夫链的性质重点介绍统计推断中的随机近似方法;

第 18 部分:模型中的面——详解概率图模型:解构复杂概率关系:最后进入到概率模型中的面:反映随机变量复杂关联关系的概率图模型,深刻剖析概率图模型背后的概率原理,重点介绍四类典型概率图模型以及推断、学习与滤波等问题。

适宜人群

  • 对人工智能感兴趣的开发者
  • 想入门机器学习的初学者
  • 想加强数学基本功的读者

订阅须知

  • 本专栏为图文内容,共计 71 篇。
  • 本专栏为虚拟产品,一经付费概不退款,敬请谅解。
  • 本专栏可在 GitChat 服务号、App 及网页端 gitbook.cn 上购买,一端购买,多端阅读。

订阅福利

购买须知

  • 本课程内容版权归北京码字科技发展有限公司独家所有,未经授权,不得转载。
  • 本课程为虚拟产品,一经付费概不退款,敬请谅解。
  • 添加 GitChat 助教俏俏(微信 ID: gitchat2025),加入免费技术交流群。
× 订阅 Java 精选频道
¥ 元/月
订阅即可免费阅读所有精选内容