学习笔记 卷积神经网络基础;leNet;卷积神经网络进阶 0x01卷积神经网络基础 卷积神经网络(Convolutional Neural Network, CNN)是一种前馈神经网络,它的人工神经元可以响应一部分覆盖范围内的周围单元,对于大型图像处理有出色... 02月17日 1,357 ℃ 发表评论 阅读全文
学习笔记 循环神经网络进阶;机器翻译及相关技术;注意力机制与Seq2seq模型;Transformer 0x01循环神经网络进阶 1. 什么是GRU 在循环神经⽹络中的梯度计算⽅法中,我们发现,当时间步数较⼤或者时间步较小时,循环神经⽹络的梯度较容易出现衰减或爆炸。虽然裁剪梯度可以应对梯度爆炸,但⽆法解... 02月15日 1,334 ℃ 发表评论 阅读全文
学习笔记 文本预处理;语言模型;循环神经网络基础 0x01文本预处理 文本预处理步骤:1.读入文本2.分词3.构建字典,将每个词映射到一个唯一的索引(index) 4. 将文本从词的序列转换为索引的序列,方便输入模型 读入文本 import re w... 02月14日 1,561 ℃ 发表评论 阅读全文
Algorithm 过拟合、欠拟合及其解决方案;梯度消失、梯度爆炸; 0x00前言:这三天内容太硬核,说实话学起来太难受了,看得懂,听得懂,但要自己去写完全不会,很难受,没法消化转化成自己的,只有一个法子反复看~哎,暂且先这样把。 0x01过拟合、欠拟合及其解决方案 训... 02月14日 991 ℃ 发表评论 阅读全文