人工智能讲师叶梓：人工智能之最新自然语言处理技术与实战

讲师资历

课程目标

课程大纲

l  课程介绍：自然语言处理(简称 NLP)是计算机科学和人工智能研究的一个重要方向，研究计算机和理解和运用人类语言进行交互的问题，它是集语言学、机器学习、统计学、大数据于一体的综合学科。本课程主要介绍了NLP中的常用知识点：分词、词法分析、句法分析、向量化方法、经典的NLP机器学习算法，还重点介绍了NLP中最近两年来基于大规模语料预训练的词嵌入模型及应用。同时本课程偏重于实战，不仅系统地介绍了 NLP的知识点，还讲解如何实际应用和开发，每章节都有相应的实战代码。 l  课程时间：4天 l  学习对象1.希望从事NLP工作的IT技术人员、开发人员等。2.高校、科研院涉及NLP工作的学生和研究人员。 l  学习目标： 1.掌握NLP基础； 2.分词；词法、句法分析 3.文本向量化4.HMM与CRF5.基于深度学习NLP算法；6.神经语言模型7.词嵌入方法8.基于大规模语料预训练的词嵌入 l  课程大纲第一天：传统的NLP一、NLP基础知识1、自然语言处理简介2、中文NLP的主要任务3、常见的NLP系统4、NLP的研究机构与资源二、中文分词1、基于字符串匹配的分词2、统计分词法与分词中的消歧3、命名实体识别4、常用分词工具：JIEBA三、文本的相似性1、VSM2、TF-IDF3、初步情感分析四、隐马尔科夫模型1、形式化定义2、三个问题3、评估问题与向前向后算法4、解码问题：维特比算法5、学习问题：Baum-Welch算法五、条件随机场1、最大熵原理2、无向图模型3、最大团上的势函数4、工具：CRF++ 第二天：从传统到现代一、从LSA到LDA1、LSA与SVD分解2、pLSA3、LDA二、神经网络语言模型1、维数的诅咒2、n-gram语言模型3、NNLM的具体实现4、改进的思路三、word2vec1、one-hot与Distributed2、CBOW3、skip-gram4、Hierachical Softmax5、Negative Sampling四、循环神经网络（RNN）1、RNN的基础架构2、RNN的示例3、LSTM4、GRU 第三天：预训练模型之一（变形金刚、芝麻街、独角兽及其他）一、GloVe1、与word2vec的区别2、统计共现矩阵3、用GloVe训练词向量二、Transformer1、所有你需要的仅仅是“注意力”2、Transformer中的block3、自注意力与多头注意力4、位置编码（为什么可以抛弃RNN）三、三大特征抽取器的比较1、CNN、RNN与Transformer的比较2、融合各种模型四、Elmo1、双向语言模型2、工作原理3、Elmo的应用场景五、GPT1、“一定会有人用它干坏事”2、GPT的内部架构3、Transformer的演示4、自注意力机制的改进5、GPT的应用场景 第四天：预训练模型之二（站上BERT的肩头）一、BERT的前世今生1、之前介绍的模型回顾2、现代NLP的最新应用场景3、条条大路通BERT二、BERT详解1、原理与方法2、BERT的应用场景3、BERT源码简介三、站在BERT肩膀上的新秀们1、ERNIE2、XLnet