循环神经网络

循环神经网络（Recurrent Neural Networks，RNN）是一种常用的神经网络结构，其在处理和预测序列数据的问题上有着良好的表现。RNN最重要的结构是长短时记忆网络（LSTM），它可以帮助网络记住任意长度的输入序列，并输出相应长度的输出序列。RNN在自然语言处理、语音识别、股票预测等领域都有广泛的应用。

序列模型

序列模型的现象：

1. 锚定效应：基于其他人的意见做出评价
2. 享乐适应：人们迅速适应一种更好或更坏的情况作为新的常态
3. 季节性

统计工具

1. 自回归模型
2. 马尔可夫模型
3. 因果关系

预测一个序列未来值：

自回归模型

1. 自回归模型：在现实情况下是不必要的，我们假设在时，x_t~P(x_t|x_{t-1},…,x_{t-\tau})
2. 隐变量自回归模型：保留一些对过去观测的总结，这样就产生了基于

马尔可夫模型

只要上述自回归模型是近似精确的，我们就说序列满足马尔可夫条件。这样的模型可以使用动态规划沿着马尔可夫链精确的计算结果。

利用这样的事实，我们只需要考虑过去观察中的一个非常短的历史。

因果关系

解释应当比解释更容易

文本预处理

1. 将文本作为字符串加载到内存中
2. 将字符串拆分为词元（一般使用等分词器
3. 建立一个词表，将拆分的词元映射到数字索引
4. 将文本转换为数字索引序列，以方便模型操作

未知词元：<>

填充词元：<>

序列开始词元：<>

序列结束词元：<>

语言模型

文本序列可以看做词元的序列，，其中可以看做文本序列在时间步处的观测指标。

学习语言模型

基本概率规则：

拉普拉斯平滑：（解决数据集过小或单词罕见的问题）

其中，表示训练集中单词总数，表示唯一单词的数量

马尔可夫模型与元语法

如果，则序列上的分布满足一阶马尔可夫性质。阶数越高，对应的依赖关系链就越长。

自然语言统计

齐普夫定律：第个常用的单词的频率满足

上述公式等价于：

其中，是描述分布的指数，是常数。

循环神经网络

无隐状态的神经网络

有隐状态的循环神经网络

其中表示自变量，表示隐藏层的权重参数，代表偏置

困惑度

使用个词元的交叉熵损失函数来衡量：

困惑度即为：