相对熵和交叉熵

1. 相对熵 1.1 简介 相对熵也称为 KL 散度（Kullback-Leibler divergence），相对熵是两个概率分布 PPP 和 QQQ 差别的度量。具体来说，PPP 和 QQQ 的相对熵是用来度量使用基于 QQQ 的分布来编码服从 PPP 的分布的样本所需的额外平均比特数。典型情况下，PPP 表示真实分布，QQQ 表示数据的理论分布或者是估计的模型分布。 1.2 定义 对于离

Technique InformationTheory
Technique InformationTheory

2017-ICLR-End-to-end Optimized Image Compression

1. 摘要 本文[1]提出了一种图像压缩框架，其由一个非线性分析变换、一个均匀量化器和一个非线性综合变换组成。这些变换都三层结构，每一层由一个卷积线性过滤器和非线性的激活函数构成。与大多数卷积神经网络不同的是，这些联合的非线性是用来实现一种局部增益控制，这种局部增益控制最初是来源于生物神经元领域的发现（局部增益控制已经成为生物神经元建模的一种方法）。作者使用随机梯度下降方法来联合优化整个模型的率失

Research ImageCompression VAE
Research ImageCompression VAE

2016-ICLR-Density Modeling of Images using a Generalized Normalization Transformation

1. 摘要 这篇文章[1]提出了一个参数化的非线性变换(GDN, Generalized Divisive Normalization)，用来高斯化图像数据（高斯化图像数据有许多好处，比如方便压缩）。整个非线性变换的架构为：数据首先经过线性变换，然后通过合并的活动度量对每个分量进行归一化（这个活动度量是对整流和取幂分量的加权和一个常数进行取幂计算）。作者利用负熵度量对整个非线性变换进行优化。优化后

Research ImageCompression Others
Research ImageCompression Others

2016-PCS-End-to-end optimization of nonlinear transform codes for perceptual quality

1. 摘要 这篇文章[1]提出了一个通用的变换编码框架，用于提升假定使用标量量化的端到端的非线性变换编码的率失真性能。结合任意可微的感知度量，这个框架可以用于优化任意可微的分析变换和综合变换对。 2. 变换编码框架 这篇文章提出的变换编码框架的可视化如下图所示： 2.1 编解码流程 编码时，图像向量 x\boldsymbol{x}x 经过可微变换 gag_aga​ 得到编码向量 y=ga(x;ϕ

Research ImageCompression Others
Research ImageCompression Others

Linux普通用户使用Docker

1. 简介 Docker 是一款开源的应用容器引擎，让开发者可以打包他们的应用以及依赖包到一个可移植的镜像中，然后发布到任何流行的 Linux 或 Windows 操作系统的机器上，也可以实现虚拟化。容器是完全使用沙箱机制，相互之间不会有任何接口。 以上摘自**《百度百科——Docker》** Docker 为开发者带来了极大便利性，因此被广泛使用于工作学习中。然而，Docker 默认只有拥于

Technique Docker
Technique Docker

CentOS7服务器搭建Xray

1. 简介 不同于桌面系统，服务器系统更便重于稳定性和可靠性。鉴于 CentOS 是目前使用最广泛的 Linux 服务器系统之一，本人也在自己的 VPS 上安装了 CentOS。虽然不幸的是， CentOS 官方在 2021 年底已经宣布停止维护 CentOS 8，但目前并不影响我们当下继续使用 CentOS 7，CentOS 7 的维护周期到 2024 年才截止。有关 Xray 的介绍可以参见「

Technique Linux CentOS
Technique Linux CentOS