自然语言处理NLP,全称Nature Language Processing,是将人类语言转换成计算机能够理解的符号或反过来将机器符号转换成人可以理解的语言,是人工智能领域中的一个重要方向,也正在逐步成为我们日常生活的一部分,比如,我们常会说:“嗨siri,帮我定个明早七点半的闹钟。”
机器学习ML,全称Machine Learning,属于人工智能的一个分支也是核心。通过设计和分析一些让机器机可以自动“学习”的算法,利用计算机从数据中找出规律,从而应用于对不确定场景的决策。
因为人类语言的复杂性,NLP在进行自然语言和机器语言之间互相转换的过程中,不可能按照对应表格做简单映射和选择,机器需要学习人类在语言交流时如何做到理解和表达,此时ML就用在了NLP中,例如Alexa、Siri和Google Assistant支持语音的应用程序,回答我们的问题、将活动添加到日历并呼叫语音指令中的联系人,这个过程就是使用了NLP和ML技术,NLP不仅让我们的生活更轻松,而且彻底改变了我们的工作、生活和娱乐方式。要理解自然语言处理NLP和机器学习ML的关系,首先需要理解人工智能AI,全称Artificial intelligence,AI是可以模拟人类智能的机器的总称,它使计算机能够解决以前只能由生物系统处理的问题。人工智能广泛领域中包括很多子领域(维基百科定义):推理、知识、计划、学习、自然语言处理(交流)、感知、行动能力和控制物体的能力。而ML和NLP就是这些子领域中的两个。
自然语言处理NLP是一种人工智能形式,它使机器不仅能够阅读,而且能够理解和解释人类语言。借助NLP,机器可以理解书面或口头文本,并执行包括语音识别、情感分析和自动文本摘要在内的任务。阅读“情感分析引擎”了解更多。
我们来通过一个最简单的AI示例了解一下NPL和ML之间的关系,假如,让一个电脑算法玩Tic-Tac-Toe(井字棋)游戏,你可以把规则给到计算机,并且手把手教它怎么玩。例如,告诉它用深度优先算法(Depth-First algorithm)或者最小最大算法(min-max)来搞清楚如果把棋下到某处你会输还是赢。但这么做的前提是,前提条件是你擅长井字棋游戏,才能设计出一个擅长井字棋的软件。而在ML的方法中,你可能不知道如何玩井字棋游戏,但你仍然能够建立算法来玩。不像AI方法,你需要给出已有的游戏示例并让它从这些例子中学习。而是给电脑输入唯一规则就是如何学习,但是让它自己根据提供的例子来决定学习什么。对于NLP的应用,计算机在获得一段人类语言输入的时候,根据它的理解,不断反馈给它正确或者错误的结果,让它持续地在反馈中调整理解的准确度,从而通过这个ML的过程完成理解自然语言的目标。苹果在把siri正式推出前用16000小时的带注释的样本,其中5000小时的音频有语音标签(其余的为说话人标签),同时用100个人来判断并纠正siri的理解错误。正式推出后,全世界用户每次对siri的交互也作为训练被分析和优化。这样才有了现在智能化的语音助手,可以说siri也是在ML的过程中长大的。
自然语言处理的应用
基于NLP的解决方案包括:翻译、语音识别、情感分析、问答系统、聊天机器人、自动文本摘要、市场情报、自动文本分类和自动语法检查。这些技术的应用可以帮助组织完成数据分析、发现见解、优化耗时的流程并最终提升竞争优势。再结合MLS系统开发过程中涉及的情感分析、市场预测、文本分类、字符识别、拼写检查等应用,进行详细说明。
情感分析:
情感分析是一种有趣的NLP和数据挖掘任务,用于衡量人们的观点倾向。例如:我们可以对新闻文章、推文、商品评论或由该评论引起的情绪状态进行分析,识别正面、负面和中立的意见,以确定客户对品牌、产品或服务的看法,衡量公众舆论、监控品牌声誉并更好地了解客户体验。情感分析能够帮助企业管理者检查顾客对商品或服务的满意度。传统的民意调查早已淡出人们的视线,即使是那些想要支持品牌或政治候选人的人也不太愿意花时间填写问卷。但是人们愿意在社交网络上分享观点。搜索负面文意在识别主要的投诉,对于帮助改变概念、改进产品和广告有显著效果,并减少不满意的程度。反之,明确的正面评论也会提高销售和需求。
市场情报的核心是使用多种信息来源全面了解公司的现有市场、客户、问题、竞争力以及新产品和服务的增长潜力。用于分析的原始数据来源于销售记录、调查和社交媒体等。
NLP构建模型的应用,可以提供给营销人员搜索有意向或明确打算购买的人,还可以帮助营销人员决定停止哪些产品或服务或定位哪些客户。互联网上的行为、社交网站上的页面内容、对搜索引擎的查询等非结构化的客户数据,google可以通过分析这些数据中的主题、情绪、关键词和意图,向互联网用户推送适合的广告,每当访问者点击广告时,广告商就会向google付费。点击的成本从几美分到超过50美元不等。
一个文本(以下基本不区分“文本”和“文档”两个词的含义)分类问题就是将一篇文档归入预先定义的几个类别中的一个或几个,而文本的自动分类则是使用计算机程序来实现这样的分类。
使用NLP技术,文本分类器可以自动分析文本、然后根据内容分配一组预定义标准或类别。
NPL为跨境电商带来什么?
自语言处理带来的最直接的好处是帮助品牌改善用户体验-CX。这在CEM数据平台中的语义分析中非常重要,能够帮助计算机识别同一个词在不同语句中的情绪。比如在我们的MLS市场聆听系统对评论的监测中我们发现一个词语组合“cheap product”即便宜的产品,通过对不同评价的分析解读,我们发现有些评论是赞许产品“性价比高”的含义,而有一些则是“廉价产品”的意思。有了自然语言处理工具,这不需您在网页上逐一寻找,在我们的评论模块中您可以直接找到这些已经“清洗“好的评论。不同的含义意味着截然相反的客户体验,如果能识别有效信息,不仅能对“负面”预警及时作出反馈,也能帮助企业管理者为在线用户体验-CX的改进策略起到帮助作用。同时也缩减了您在相关工作上的人力和资金。
希望本期对自然语言处理的解读,能为您的数字营销策略带来更多灵感。博鼎国际adtarg系统,基于精确的语义分析,囊括CIS/VOC/MLS多角度多渠道全方位对您的销售情况做出分析指导,助力跨境电商的品牌成长!