【深度学习基础6】自编码器及其变体
一、Autoencoder基础
1. 基本概念
自编码器是一类特殊的前馈神经网络，Encodes 输入 𝐱𝐢得到隐含表示 h，Decodes 以h作为输入。任务：最小化特定的损失函数确保 ̂𝐱𝐢 接近于 𝐱i
当 dim(𝐡) < dim(𝐱𝐢) 时，称为 under complete autoencoder，如左图所示。当 dim(𝐡) ≥ dim(𝐱𝐢) 时，称为 over complete autoencoder，如右图所示。
2. 选择 𝑓(𝐱𝐢) 和 𝑔(𝐱𝐢)
假定所有的输入是二值的 ( 𝑥𝑖𝑗 ∈ {0, 1})，𝑔 通常被选择为 sigmoid function，即g选用Logistic 函数更适合。因为它将所有输出限定在 0 和 1 之间。