NLPIR大数据语义系统KGB技术引领新方向

随着网络时代的到来和普及，现在大量的信息扎堆，在给人们代理快捷方便的同时也给我们带来一个难题，就是大量的数据如何消化以及真假的辨别，其次是这些信息的安全性如何保证，再就是他们的统一处理方式方法。这时一个新的名词出现了——数据挖掘技术。

数据挖掘就是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中，提取隐含在其中的、人们事先不知的、但又是潜在有用的信息和知识的过程。由于商业领域采用计算机技术处理业务，产生了大量的业务数据，分析这些数据也不再是单纯为了研究的需要，更主要是为商业决策提供真正有价值的信息。要从海量数据中获得有利于商业运作、提高竞争力的信息，就像从矿石中淘金一样，数据挖掘也因此而得名。

数据挖掘方法是由人工智能、机器学习的方法发展而来，结合传统的统计分析方法、模糊数学方法以及科学计算可视化技术，以数据库为研究对象，形成的数据挖掘的方法和技术。数据挖掘是数据和信息系统及其应用的学科前沿，是综合了数据库、专家系统和可视化等领域的相关技术的多学科和多种网络技术交叉结合的新领域。

数据挖掘过程一般包括以下几个步骤：

(1)数据准备：一般存储在数据库系统中的是长期积累的大量的数据，往往不适合利用这些进行处理，需要做数据准备工作，一般包括数据的选择、净化、推测、转换、数据缩减，通过这些工作生成数据仓库。数据准备是否做好将影响到数据挖掘的效率和准确度以及最终模式的有效性。

(2)数据挖掘：在前面步骤所获得的数据集上进行数据挖掘，可以单独利用也可以综合利用各种数据挖掘方法对数据进行分析，根据数据挖掘的目的。选定数据挖掘算法，选择某个特定数据挖掘算法(如汇总、分类、回归、聚类等)用于搜索数据中的模式。

(3)结果的分析和同化;上面得到的模式模型，有可能是没有实际意义或没有使用价值的。因此需要评估，确定哪些是有效的、有用的模式。评估可以根据用户多年的经验，有些模式也可以直接用数据来检验其准确性。对数据挖掘出的结果进行解释和评价，转换成为能够最终被用户理解的知识。

例如，北京理工大学搜索与挖掘实验室张华平主任研发的NLPIR大数据语义智能分析技术是对语法、词法和语义的综合应用。NLPIR大数据语义智能分析平台平台是根据中文数据挖掘的综合需求,融合了网络精准采集、自然语言理解、文本挖掘和语义搜索的研究成果,并针对互联网内容处理的全技术链条的共享开发平台。其中KGB(Knowledge Graph Builder)知识图谱引擎是我们自主研发的知识图谱构建与推理引擎，基于汉语词法分析的基础上，采用KGB语法实现了实时高效的知识生成，可以从非结构化文本中抽取各类知识，并实现了从表格中抽取指定的内容等。KGB同时可以定义不同的动作，如抽取动作，并能自定义各类后处理程序。

数据挖掘技术是一个充满希望的研究领域，商业利益的强大驱动力将会不停地促进它的发展。每年都有新的数据挖掘方法和模型问世，人们对它的研究正日益广泛和深入。对海量文本信息进行有效的数据挖掘已经是自然语言处理、信息检索、信息分类、信息过滤、语义挖掘、文本的机器学习等诸多应用领域基础且关键的研究问题，它影响着上层信息服务与信息共享的质量和水平。NLPIR大数据语义智能技术将对中文数据挖掘技术进行深入研究，必将提供出高质量、多功能的中文数据挖掘算法并促进自然语言理解系统的广泛应用。