深度学习资源汇总 1. 课程 课程名 单位 说明 深度学习基石 马里兰大学 最近在看这门课，感觉讲的挺好的。这门课程的主页是：CMSC828W。这门课已经将课程视频公开到 youtube 上了，不过也有人将其搬运到 b 站上了，没有魔法的同学可以上 b 站看（b 站网址）。 深度学习与自然语言处理 李宏毅老师 李宏毅老师这几年讲了一系列机器学习和深度学习的课程，反响都很不错，可以去李宏毅老师课程主 2021-07-25 Technique DeepLearning Technique DeepLearning
机器学习资料汇总 1. 课程 1.1 吴恩达老师的「机器学习」 吴恩达老师的《机器学习》课程可以说是最火的机器学习课程之一，讲的很浅显易懂，深受大家的喜爱。吴恩达老师的《机器学习》课程主要在 coursera 上公开，具体可以参考吴恩达老师的主页。很多视频平台也都有搬运，比如 b 站，毕竟国内访问 coursera 还是有点慢。 1.2 李宏毅老师的「机器学习」 李宏毅老师这几年讲了一系列机器学习和深度学习的课程， 2021-07-25 Technique MachineLearning Technique MachineLearning
Hexo实用主题及插件 1. 简介 Hexo 博客框架自开发到现在，已成为广大博主建站的主流。而且随着 Hexo 框架的推广，涌现出一堆实用的博客主题和插件工具。面对如此多纷繁的选择，可能大多数人在一开始就会陷入抉择困境，这里我就结合自身的使用推荐一些比较实用的主题和插件。 2. 实用主题 2.1 Next 官方源码 官方文档 2.2 Butterfly 官方源码 官方文档 2.3 Fluid 官方源码 官方文 2021-07-25 Technique Hexo Technique Hexo
雅可比矩阵和黑赛矩阵 1. Jacobian matrix 1.1 定义 如果函数 f:Rn→Rm \boldsymbol{f}: \mathbb{R}^n \rightarrow \mathbb{R}^m f:Rn→Rm 在点 x\boldsymbol{x}x 可微，则在点 x\boldsymbol{x}x 的 Jacobian 矩阵（雅可比矩阵）即为该函数在该点的最佳线性逼近，也被称为向量值多变数函数 f\bold 2021-07-20 Technique Math Theory 矩阵 Technique Math Theory 矩阵
均值不等式 1. 简介 均值不等式（inequality of arithmetic and geometric means，简称 AM-GM 不等式）是数学中常用的基本不等式之一。 2. 表述 2.1 算术均值 对于 nnn 个实数 x1,x2,⋯ ,xn∈Rx_1,x_2,\cdots,x_n \in \mathbb{R}x1,x2,⋯,xn∈R，它们的算术均值定义为 x1+x2+⋯+xnn\beg 2021-07-18 Technique Math Theory 不等式 Technique Math Theory 不等式
霍夫丁引理 1. 简介 在概率论中，霍夫丁引理是一个不等式，它限制了任何有界随机变量的矩生成函数。 2. 定义 设 X\boldsymbol{X}X 是具有期望值 E(X)=ηE(\boldsymbol{X}) = \etaE(X)=η 的任一实值随机变量，使得 a≤X≤ba \leq \boldsymbol{X} \leq ba≤X≤b 依概率 111 成立，则对任意 λ∈R\lambda \in \bol 2021-07-18 Technique Math Theory 不等式 Technique Math Theory 不等式
霍夫丁不等式 1. 简介 在概率论中，霍夫丁不等式（Hoeffding's Inequality）给出了有界独立随机变量之和偏离其均值超过一定数量的概率上界。霍夫不等式是切比雪夫界的推广，同时又是吾妻不等式和McDiarmid不等式（还没给出标准的中文翻译2333）。霍夫丁不等式是机器学习的基础理论。 2. 定义 假设 X1,X2,⋯ ,XN\boldsymbol{X}_1,\boldsymbol{X}_2,\ 2021-07-18 Technique Math Theory 不等式 Technique Math Theory 不等式
马尔可夫不等式 1. 简介 在概率论中，马尔可夫不等式（Markov's Inequality）给出了随机变量大于等于某正数的概率上界。马尔可夫不等式把概率关联到数学期望，给出了随机变量累计分布函数一个宽泛但仍有用的上界。 2. 定义 假设 X\boldsymbol{X}X 是一个非负的随机变量，常数 a>0a \gt 0a>0，则有以下马尔可夫不等式： P(X≥a)≤E(X)a\begin{arra 2021-07-18 Technique Math Theory 不等式 Technique Math Theory 不等式
泛化能力 【注】学习笔记参考自《统计学习方法第二版》——李航。 1. 简介 学习方法的泛化能力是指由该方法学习到的模型对未知数据的预测能力，是学习方法本质上重要的性质。现实中采用最多的办法是通过测试误差来评价学习方法的泛化能力，但这种评价是依赖于测试数据集的。因为测试数据集是有限的，很有可能由此得到的评价结果是不可靠的。 2. 泛化误差 假设学习到的模型为 f^\hat{f}f^，那么用这个模型对未知数据 2021-07-18 Technique StatisticalLearning Technique StatisticalLearning
正则化与交叉验证 【注】学习笔记参考自《统计学习方法第二版》——李航。 1. 简介 对于一般的统计模型来说，下图描述了训练误差和测试误差与模型的复杂度之间的关系： 当模型的复杂度增大时，训练误差会逐渐减小并趋向于 000，而测试误差会先减小，达到最小值后增大；当选择的模型复杂度过大时，过拟合现象就会出现。因此，在学习时就要防止过拟合，进行最优的模型选择，即选择复杂度适当的模型，以达到使测试误差最小的学习目的。常用 2021-07-17 Technique StatisticalLearning Technique StatisticalLearning