自然语言处理（NLP）是什么，它是如何工作的？

自然语言处理（nlp）是语言学、计算机科学和人工智能的一个子领域，它使用各种模型使计算机能够理解人类语言。通过使用nlp，计算机具备理解自然口语和书面人类语言的能力。

在大数据时代和各种形式的人工智能兴起的背景下，你可能会认为nlp是新的。然而，以其各种形式而言，nlp已经存在了七十多年。最近发生的是nlp开始得到更广泛的使用。这一趋势在未来几年只会增加。

回顾过去，nlp取得的进展似乎令人难以置信。也就是说，今天的计算机能够用人类的语言与人类进行交流，听到并解释语音，然后决定哪些信息是重要的或琐碎的。

什么是自然语言处理：完整解释

nlp旨在使计算机像人类一样理解自然人类语言。通过使用人工智能，nlp使计算机能够理解书面和口语语言。在数据收集之后，nlp使用人工智能来处理数据以帮助计算机理解它。

nlp模拟了人类收集和处理信息的方式。人类通过听、看和阅读来收集数据。

同样，计算机配备了能够读取的程序和收集音频数据的麦克风。并且就像人脑处理信息一样，计算机也有处理数据的程序。

自然语言处理：确切的定义

自然语言处理是利用机器学习技术分析和合成自然语音和语言的使用。

自然语言处理的历史

nlp始于二战后。那些发展它的人主要是对创建能够自动从一种语言翻译为另一种语言的机器感兴趣。

神经网络、机器学习和nlp是与语言模型研究相关的术语。

著名的语言学家如诺姆·乔姆斯基在20世纪50年代推动了nlp的发展。从他们的研究中，人们可以看出，尽管计算机可以执行一些翻译任务，但它们受到人类语言复杂性的限制。

如今，nlp主要关注从广阔的互联网资源中提取信息。由于有如此多的信息可用，处理它是不可能的。企业主拥有大量需要处理的数据，要理清如此庞大的数据量，唯一的方法就是通过nlp。

自然语言处理如何工作？

nlp有两个主要组成部分：自然语言生成（nlg）和自然语言理解（nlu）。通过nlg，数据被转化为类似自然语言的有意义的句子和短语。nlg过程通过三个阶段进行：

文本规划：这是指检索所需数据。
句子规划：句子和短语的形成以及语调的创造。
文本实现：句子结构的发展。

自然语言理解（nlu）帮助计算机理解来自数据输入的人类语言。nlu分析人类语言的不同方面，并将输入数据转换为有效的自然语言。

困难

虽然自然语言理解（nlu）旨在帮助机器理解人类语言，但由于所有人类语言中存在的歧义，这个过程变得复杂起来。计算机必须接受训练以理解一个词或短语的确切含义。以下是一些困难的情况：

一个词有几个含义：像“bark”（树皮）、“match”（比赛）、“park”（停车场）、“chair”（椅子）和“left”（左边）这样的词都有多个含义。例如，“bark”可以指树皮或狗的叫声。“park”可以指停车或一个休闲场所，“left”可以表示离开或左边等。
一个短语有几个含义：具有多个含义的短语称为双关语短语。例如，“children make good snacks”这个短语可以指儿童制作小吃的行为，也可以指某人或某物将儿童用作小吃。
一个短语或词指代两个或更多不同的事物：这被称为引用的歧义性，例如句子“george slapped tom and then he started screaming.”，我们无法确定是george还是tom开始尖叫。

为了消除人类语言中的歧义，自然语言处理（nlp）采用了几种技术。一些可以消除歧义、使词或短语的意思清晰的技术包括词义消歧、词性标注和隐马尔可夫模型（hmm）标注。

自然语言处理的应用有哪些？

在大数据时代，组织可以访问的数据量非常庞大，如果没有机器的帮助，将无法处理这些数据。但由于nlp的存在，今天的企业拥有无数利用人工智能运行的应用程序。其中一些最重要的应用包括以下内容。

情感分析

现代企业无法忽视社交媒体上充斥着的提及、点赞、分享和其他活动。企业希望了解其产品或服务在客户中的评价。

通过社交媒体，企业可以获取无价的洞察力，了解如何改进产品和服务。通过情感分析，nlp正在帮助产品设计和营销活动的准备。

聊天机器人

聊天机器人是一种使用nlp来理解和回应人类语言输入的对话代理。

©tippapatt/shutterstock.com

一些企业面临处理大量客户查询的任务，如果只依靠客户服务代表来处理这些查询，将需要大量的时间和资源。聊天机器人通过回答问题和提供组织服务的基本信息，节省了公司的时间和资源。

通过使用聊天机器人，公司可以将客户服务代表配置为只处理需要真正的人类干预的复杂查询。

垃圾邮件和网络钓鱼检测

nlp对文本进行分类，并检测可能是垃圾邮件的邮件。机器经过训练，可以立即将使用不当语法、大额承诺、威胁和恐吓的电子邮件分类为最有可能是垃圾邮件的。

其他可能是垃圾邮件的指标包括来自可疑公司和个人的邮件，这些邮件是未经请求和无关的。通过过滤垃圾邮件，nlp帮助个人和组织避免了此类邮件带来的风险和烦恼。

文本摘要生成

在互联网上有如此多的数据可用，几乎没有一个组织或个人有足够的时间来阅读大量的数据。

研究机构等组织通常需要处理大量的数据，这些数据可能无法阅读。 nlp对这些数据进行摘要，并提供可用于创建索引的摘要。

翻译

虽然nlp在实现不同语言之间的翻译方面取得了很大进展，但是要记住全球有6500多种语言，还有很多工作要做。但是nlp已经使一些广泛使用的语言的翻译成为可能。

通过nlp语言翻译，你不仅仅是得到两种语言的等效词汇。相反，为了被认为是有效的翻译，它必须捕捉到一个词或短语的语气和确切含义。

nlp中使用的机器学习算法越来越准确，我们正在展望一个可以信任它们提供完美翻译的未来。

自然语言处理在现实世界中的例子

全世界每天有数十亿人使用自然语言处理。事实上，我们已经对数字设备如此习以为常，以至于我们几乎意识不到自然语言处理已经成为日常生活的一部分。以下是一些自然语言处理应用的真实世界例子。

搜索引擎结果

为了找到你现在正在阅读的文章，你可能在谷歌搜索引擎中键入了一些关键词。你会注意到，当你开始输入搜索内容时，搜索引擎已经可以预测你可能要搜索的内容并给出选项。

通过使用nlp，搜索引擎提供由你的搜索历史和其他人进行的类似搜索指导的结果。此外，搜索引擎可以预测你的意图并提供可能的结果列表。

自动电话

许多组织今天使用利用nlp回答查询或将客户引导到人工客户关怀代表的机器，而不是雇用人员来接听和回答电话。 nlp不仅用于提供此服务，还使机器能够以与人类声音非常相似的声音说话。

预测文本

当在智能手机上输入时，你可能已经注意到搜索引擎通过完成单词、纠正拼写并提供替代词来帮助。这就是nlp的工作，它节省时间。

通过预测文本，根据你的写作历史，nlp已经能够推测出你可能尝试表达的内容，并提供你可能正在寻找的词汇。

在线消费计算平台助手

如果你在亚马逊上购物，你一定知道alexa提供的服务。如今，我们已经习惯于询问智能在线助手，例如alexa或苹果的siri各种问题。

最后的想法

在几年的时间里，自然语言处理彻底改变了我们与机器的互动方式。通过使用nlp，个人和组织已将例行任务委托给机器。

由于计算机能够以极高的准确性分析难以想象的大量数据，我们只能预计它们在未来会更广泛地使用。虽然机器永远无法取代人类，但它们在我们生活中的使用是明确的，人与机器之间的互动是不可逆转的。