学习收益:
1. 了解基本: 有哪些经典问题,哪些经典模型,哪些经典技巧。
2. 增强直觉:能够做到在脑子中模拟所有模型的训练和推理过程,能够将各种模型统一在尽量少的几个框架之中。
3. 有码可依:能够从0到1的建立起一份自己的Tensorflow的seq2seq模型。
4. 摸到前沿:快速推进自己的自然语言知识,能够看懂现阶段大部分的论文。
5. 转型深度:掌握seq2seq模型,深度学习在自然语言应用最广泛,最成功的模型。
主讲老师: 史 兴 美国南加州大学 计算机博士
毕业于清华大学,现在美国南加州大学攻读计算机博士学位,师从自然语言处理领域专家Kevin Knight教授。先后在AAAI, ACL, EMNLP 等会议发表多篇论文。主要研究方向为神经机器翻译及seq2seq模型的解析及改进。
开课时间:2017年6月28日
学习方式:
在线直播,共10次
每周2次(周三、五晚上20:00-22:00)
直播后提供录制回放视频,在线反复观看,有效期1年
课程简介:
自然语言处理作为人工智能的完备问题(AI-complete )之一,其目标在于帮助机器理解,处理以及生成人类的语言。互联网上的数据目前绝大多数为自然语言,具有丰富的挖掘价值。
本次课程主要覆盖自然语言处理中的三种模型:基本分类器(1课时 ),经典序列模型(3课时)和神经序列模型(5课时)。课程中,除了基本的算法推导,更加强调直觉上的理解。同时,我们会结合5个实践项目来探讨具体模型的实现细节以及参数调试经验。
课程大纲
第一课: 自然语言处理概论
1. 自然语言处理的难点
2. 经典问题以及解决问题的经典思路
3. 本次课程覆盖的主要范围:基本分类器,经典序列模型,神经序列模型。
第二课: 基本分类器
1. Naive Bayes / Perceptron / SVM / Decision Tree / GBT
2. Quora相似问题判断:
a. 数据清理
b. "人眼"智能
c. 特征提取
d. 各个分类器的表现:速度,内存,准确率
第三课: 经典序列模型 I:
1. EM 算法
2. HMM 隐马尔科夫模型
3. Conditional Random Field (CRF)
4. 如何用Lattice来统一理解以上模型
第四课: 经典序列模型 II:
1. 自动机(WFSA, WFST)
2. 利用 EM 算法来实现WFST的参数的推倒
3. 实践展示:教中国人说外语 (语音拟合)
第五课: 经典序列模型 III:
1. 语言模型
2. OOV及平滑方法 (Modified Kneser-Ney Smoothing)
3. 神经语言模型简介
4. 实践展示:KenLM 语言模型
第六课: 神经序列模型 I:
1. 基础的神经网络回顾:
a. Forward / backward propagation;
b. 计算能力的衡量
c. Word2vec 以及 King:Man = Queen:Women的本质解释
2. RNN 基本概念以及问题:
a. Gradients Vanishing / Explosion
3. RNN 变种: LSTM
a. Gate的作用
b. 可视化: 在机器翻译以及语言模型中产生的特殊的gate
第七课: 神经序列模型 II:
1. LSTM语言模型的实现
a. Tensorflow 框架理解
b. Padding, Bucketing 以及最佳Bucket算法
c. Dropout 作用
d. 多GPU实现
e. 多种优化方法对比:SGD, Adagrad 等
f. 超参数测试策略
2. 实践展示:LSTM语言模型
第八课: 神经序列模型 III:
1. Seq2Seq模型及神经机器翻译
2. Decoding: Beam search
3. Attention 机制
4. 实践展示:英法翻译系统
第九课: 神经序列模型 IV:
1. Seq2Seq 模型的提速
a. 训练提速:NCE
b. 测试提速:利用Word Alignment / LSH
c. Knowledge Distillation
d. 最近前沿架构
第十课: 神经序列模型 V:
1. Sequence + FSA
2. 对话生成
3. 情感分类 Supervised / Unsupervised
4. 实践展示:基于LSTM的推荐系统
常见问题:
Q:参加本门课程有什么要求?
A: 需要有大学数学、统计相关知识,掌握Python语言编程和使用TensorFlow。建议你已经有了相关机器学习和深度学习的基础,衔接本课程会比较轻松。
Q: 课程中使用的软件工具是什么?会提供课程中使用的代码吗?
A: 学员需要自己在本地电脑配置和使用Python 2.7和TensorFlow,提供代码和数据集。
扫码加客服报名,咨询↓
- 我的微信
- 这是我的微信扫一扫
- 我的微信公众号
- 我的微信公众号扫一扫