霍夫丁引理 1. 简介 在概率论中，霍夫丁引理是一个不等式，它限制了任何有界随机变量的矩生成函数。 2. 定义 设 X\boldsymbol{X}X 是具有期望值 E(X)=ηE(\boldsymbol{X}) = \etaE(X)=η 的任一实值随机变量，使得 a≤X≤ba \leq \boldsymbol{X} \leq ba≤X≤b 依概率 111 成立，则对任意 λ∈R\lambda \in \bol 2021-07-18 Math Theory 不等式 Math Theory 不等式
霍夫丁不等式 1. 简介 在概率论中，霍夫丁不等式（Hoeffding's Inequality）给出了有界独立随机变量之和偏离其均值超过一定数量的概率上界。霍夫不等式是切比雪夫界的推广，同时又是吾妻不等式和McDiarmid不等式（还没给出标准的中文翻译2333）。霍夫丁不等式是机器学习的基础理论。 2. 定义 假设 X1,X2,⋯ ,XN\boldsymbol{X}_1,\boldsymbol{X}_2,\ 2021-07-18 Math Theory 不等式 Math Theory 不等式
马尔可夫不等式 1. 简介 在概率论中，马尔可夫不等式（Markov's Inequality）给出了随机变量大于等于某正数的概率上界。马尔可夫不等式把概率关联到数学期望，给出了随机变量累计分布函数一个宽泛但仍有用的上界。 2. 定义 假设 X\boldsymbol{X}X 是一个非负的随机变量，常数 a>0a \gt 0a>0，则有以下马尔可夫不等式： P(X≥a)≤E(X)a{\begin{arr 2021-07-18 Math Theory 不等式 Math Theory 不等式
泛化能力 【注】学习笔记参考自《统计学习方法第二版》——李航。 1. 简介 学习方法的泛化能力是指由该方法学习到的模型对未知数据的预测能力，是学习方法本质上重要的性质。现实中采用最多的办法是通过测试误差来评价学习方法的泛化能力，但这种评价是依赖于测试数据集的。因为测试数据集是有限的，很有可能由此得到的评价结果是不可靠的。 2. 泛化误差 假设学习到的模型为 f^\hat{f}f^，那么用这个模型对未知数据 2021-07-18 StatisticalLearning StatisticalLearning
正则化与交叉验证 【注】学习笔记参考自《统计学习方法第二版》——李航。 1. 简介 对于一般的统计模型来说，下图描述了训练误差和测试误差与模型的复杂度之间的关系： 当模型的复杂度增大时，训练误差会逐渐减小并趋向于 000，而测试误差会先减小，达到最小值后增大；当选择的模型复杂度过大时，过拟合现象就会出现。因此，在学习时就要防止过拟合，进行最优的模型选择，即选择复杂度适当的模型，以达到使测试误差最小的学习目的。常用 2021-07-17 StatisticalLearning StatisticalLearning
统计学习方法 【注】学习笔记参考自《统计学习方法第二版》——李航。 1. 简介 统计学习方法由三要素构成，即：方法=模型+策略+算法。 2. 模型 统计学习首要考虑的问题是学习什么样的模型。在监督学习中，模型就是所有要学习的条件概率分布或决策函数。模型的假设空间包含所有可能的条件概率分布或决策函数。 假设空间用 F\mathcal{F}F 表示，可以定义为决策函数的集合： F={f∣Y=fθ(X),θ∈Rn 2021-07-17 StatisticalLearning StatisticalLearning
统计学习概述 【注】学习笔记参考自《统计学习方法第二版》——李航。 1. 定义 统计学习是关于计算机基于数据构建概率统计模型并运用模型对数据进行预测与分析的一门学科，统计学习也称为统计机器学习。 赫尔伯特・西蒙曾对「学习」给出以下定义：“如果一个系统能够通过执行某个过程改进它的性能，这就是学习。” 按照这一观点，统计学习就是计算机系统通过运用数据及统计方法提高系统性能的机器学习。 2. 特点 统计学习以计 2021-07-17 StatisticalLearning StatisticalLearning
Linux下各种安装包打包工具 1. Deb 包 Deb 包是 Debian 系 Linux 发行版的软件包格式。 1.1 Debreate 官网 文档 仓库 2021-07-16 Linux Sundry Linux Sundry
KaliLinux下安装deepinwine软件 1. 简介 Deepin 团队开发的一系列基于 deepinwine 的国产软件越来越好用，但多数 Linux 发行版并不支持直接安装，目前已知除了 Deepin 系统本身外，仅有 Arch 系的 Linux 发行版依靠 AUR 源可直接进行安装，Debian 系的其他 Linux 发行版均无法直接安装。目前有几种比较好的解决方案：星火应用商店、deepin-wine.i-m.dev。 2. 星火 2021-07-16 Linux KaliLinux Linux KaliLinux
ArchLinux下VSCode无法联网下载扩展 1. 简介 VSCode 作为「宇宙最强编辑器」，在日常生活办公中自然不可或缺。VSCode 目前有好几个版本，分别是 Code-OSS、Visual-Studio-Code 以及 VSCodium，它们的区别是： Code-OSS 是通过官方源码编译的开源版本。 Visual-Studio-Code 是微软官方版本，专有软件。 VSCodium 是社区驱动的完全开源版本。 至于它们具体的功能 2021-07-16 Linux ArchLinux Linux ArchLinux