天才一秒记住【畅想小说网】地址:http://www.cxtra.net
第一节自然语言处理概述
banner"
>
微软的创始人比尔·盖茨曾把语言理解誉为“人工智能皇冠上的明珠”
,一方面说明自然语言处理用处广泛,是很多领域迫切希望解决的问题;另一方面也说明这是一个极有难度的方向。
随着深度学习的发展,在计算机视觉和语音识别领域,人工智能在特定问题上的能力已经超越了人类水平。
但是时至今日,在自然语言处理领域中仍有很多具有挑战性的基本问题未被解决。
如果把人工智能研究的内容分为感知和认知两部分,那么计算机视觉和语音识别等领域属于感知的部分,而自然语言处理则属于认知部分。
对于智能系统来说,仅仅具有感知能力显然是不够的,具有能够理解和消化内容的认知能力才是智能系统真正意义上的核心。
有观点认为,自然语言处理体现了人工智能的最高境界,当计算机具备了完全的处理自然语言的能力时,才算实现了真正的智能。
所谓“自然语言”
,指的是人们在日常交流中所使用的语言,如汉语、英语、德语等。
由于自然语言具有多样性,又有复杂的含义及语法变化,很难完全通过明确的规则进行描述。
而人工智能中的自然语言处理,恰恰是希望通过数学符号和编程语言这种规则化的方式,来理解自然语言这种不完全规则化的语言。
它基于大量的数据、人工智能算法、语言学及其他相关学科的知识,大体可以分为语言理解和语言生成两大任务。
语言理解包含对词法、句法、语义的分析,对文本内容的理解、文本情感的分析等内容,语言生成包含文本到语音的转换(TTS)、文本摘要、写作等内容。
虽然当前这些目标还不能完全实现,但是现有的技术已经可以理解文本的写作风格,理解词性及词汇之间的关联,在人机对话中对人说出的话做出部分有效的反应,实现不同语种的语言之间的翻译工作,使用机器生成可以媲美人声的音频,通过机器实现特定领域的文本写作等。
自然语言处理的应用场景非常广泛。
例如,电脑及手机输入法的拼写检查及联想提示、搜索引擎对非结构化文本中信息的提取、商品评论的情绪分析、推荐系统、机器翻译、智能客服、机器写作、智能音箱等。
对指定的文本,尝试理解其内容之前首先需要对文本进行处理。
以中文文本处理为例,词与词之间并没有明显的边界(英文单词之间以空格分隔),并且同一个句子存在多种划分方式(切分歧义)。
例如,“中外科学名著”
本章未完,请点击下一章继续阅读!若浏览器显示没有新章节了,请尝试点击右上角↗️或右下角↘️的菜单,退出阅读模式即可,谢谢!