深度学习与 NLP(一)

人工智能的目的是使得电脑能听、会说、理解语言、会思考、解决问题,甚至会创造。

2018 年谷歌 BERT 模型横空出世,预示着自然语言处理的时代已经到来。 enter image description here 图片来自网络

这篇 Chat 主要带领大家一起:

  • 了解自然语言处理 NLP 的概念
  • 认识自然语言处理 NLP 的应用范围和意义
  • 了解深度学习与 NLP 结合的“功效”
  • 通过词向量的理解,正式叩开 NLP 的大门

什么是自然语言处理

自然语言处理是一门计算机科学、人工智能以及语言学的交叉学科。虽然NLP只是人工智能的应用一部分(人工智能还包括计算机视觉、智能控制等),但它是非常独特的,具有十分重要的的意义。

自然语言处理的目标是让计算机处理或说“理解”我们人类的语言(声音、文字、甚至肢体),以完成有意义的任务,比如订机票购物或问答、聊天等。然而,完全理解和表达语言是极其困难的,完美的语言理解是NLP处理的终极目标。

自然语言处理涉及的五个层次:

enter image description here

语音与文本 自然语言处理输入一共有两个来源。 第一级是语音识别和 OCR 或分词。 语言的产生源头就是声音、文字、动作(唇语和肢体语言)。我们主要处理的是语音和文本信息。

形态学 对于形态学,李航老师的《统计自然语言处理》中这样定义:

形态学(morphology):形态学(又称“词汇形态学”或“词法”)是语言学的一个分支,研究词的内部结构,包括屈折变化和构词法两个部分。由于词具有语音特征、句法特征和语义特征,形态学处于音位学、句法学和语义学的结合部位,所以形态学是每个语言学家都要关注的一门学科。

句法分析 句法分析是自然语言处理(NLP)中的关键底层技术之一,其基本任务是确定句子的句法结构或者句子中词汇之间的依存关系。

语义分析 一段文本通常由词、句子和段落来构成任何对语言的理解都可以归为语义分析的范畴。 根据理解对象的语言单位不同, 语义分析又可进一步分解为词汇级语义分析、句子级语义分析以及篇章级语义分析。

标记处理 需要根据上文下文语境理解语言中的含义。

本系列 chat 主要关注句法分析,语义分析两大快内容,虽然会涉及语言识别等内容,但是核心还是为围绕“句法分析,语义分析”展开。

自然语言处理 NLP 的意义

计算机领域的泰斗级任务是如此评价自然语言处理的重要性的:

微软创始人比尔盖茨:

“语言理解是人工智能皇冠上的明珠”。自然语言处理(NLP,Natural Language Processing)的进步将会推动人工智能整体进展。

斯坦福大学人工智能实验室主任,NLP 权威专家,Manning:

人类与动物最大的区别就是语言,我们的目标就是让机器掌握了语言能力。

机器学习权威,卷积神经网络CNN之父——Facebook AI 实验室主任:Yann-Lecun 说:

Facebook AI 实验室就是要用最先进的AI技术去做新的应用:它们包括:“计算机视觉、虚拟助理、语音识别、自然语言理解、机器翻译等。”

Yann-Lecun 提及的新的应用除了第一项:计算机视觉,其余全部是NLP领域的应用。

斯坦福大学人工智能实验室主任:Manning 是这样评价 NLP :

这个星球上有许多生物拥有超过人类的视觉系统,但只有人类才拥有这么高级的语言。

NLP 是人工智能领域中的重要一环,是感知智能的一部分,NLP的进步将推动人工智能的发展。

NLP 技术和商业落地明显相对与计算机视觉、智能控制等领域发展缓慢,一直处于

收藏 收藏
分享
购买文章 ¥9.9