该技术已申请专利。仅供学习研究,如用于商业用途,请联系技术所有人。

1.本技术实施例涉及自然语言处理领域,具体涉及一种提取关键词的方法、电子设备及介质。
背景技术:2.关键词抽取是指从文档中确定一些能够描述文档含义的术语的过程。相关技术中,使用textrank算法进行关键词提取。文本排序(textrank)算法是一种基于拓扑图抽取关键词和文档摘要的排序算法,它根据词之间的共现关系提取关键词。但是,仅使用词之间的共现关系对关键词进行提取导致提取的关键词准确率不高。
3.因此,如何提升提取关键词的准确性成为需要解决的问题。
技术实现要素:4.本技术实施例提供一种提取关键词的方法、电子设备及介质,通过本技术的一些实施例能够将字符串共同出现的次数和语义依存关系相结合,从而能够提升提取关键词的准确性。
5.第一方面,本技术提供了一种提取关键词的方法,所述方法包括:获取待提取文档并且将所述待提取文档进行分词处理,获得多个候选字符串;获取第一候选字符串邻域范围内的至少一个候选字符串,其中,所述第一候选字符串为所述多个候选字符串中的任意一个;基于在邻域范围内所述第一候选字符串与所述至少一个候选字符串中各候选字符串共同出现的次数和语义依存关系,计算所述第一候选字符串的权重值,其中,所述权重值用于表征所述第一候选字符串对于获取所述待提取文档的语义的重要性;依据所述权重值从所述多个候选字符串中筛选出关键词。
6.因此,与相关技术中仅使用各字符串的共同出现次数来提取关键词不同的是,本技术实施例通过邻域内字符串之间的共同出现次数和语义依存关系,能够计算得到准确的权重值,从而能够提取得到准确的关键词。
7.结合第一方面,在本技术的一些实施方式中,所述获取第一候选字符串邻域范围内的至少一个候选字符串,包括:通过滑动预置长度的滑窗限定所述领域范围;获取与所述第一候选字符串共同出现在所述滑窗内的所述至少一个候选字符串。
8.因此,本技术实施例通过滑动预置长度的滑窗,能够明确领域范围并且准确的获取到与第一候选字符串存在关联关系的至少一个候选字符串。
9.结合第一方面,在本技术的一些实施方式中,所述至少一个候选字符串包括第二候选字符串,其中,所述第二候选字符串为所述至少一个候选字符串中的任意一个;所述基于在邻域范围内所述第一候选字符串与所述至少一个候选字符串中各候选字符串共同出现的次数和语义依存关系,计算所述第一候选字符串的权重值,包括:统计所述第一候选字符串与所述第二候选字符串在所述滑窗中共同出现的次数总和,得到共现次数;获取与所述第一候选字符串存在语义依存关系的第二候选字符串得到目标第二候选字符串,并且依
据所述目标第二候选字符串对应的预设赋值得到语义依存分数;根据所述共现次数与所述语义依存分数计算所述第一候选字符串的权重值。
10.因此,本技术实施例通过获取与第一候选字符串存在语义依存关系的第二候选字符串,能够通过第二候选字符串计算第一候选字符串的权重值,从而提升权重计算的准确率。
11.结合第一方面,在本技术的一些实施方式中,所述根据所述共现次数与所述语义依存分数计算所述第一候选字符串的权重值,包括:通过所述共现次数与所述语义依存分数计算所述第二候选字符串对应的权重值;将每个所述第二候选字符串对应的权重值输入到字符串权重模型中,通过所述字符串权重模型计算所述第一候选字符串的权重值。
12.结合第一方面,在本技术的一些实施方式中,所述通过所述共现次数与所述语义依存分数计算所述第二候选字符串对应的权重值,包括:将所述共现次数与共现次数权重相乘,获得第一乘积;将所述语义依存分数与语义依存分数权重相乘,获得第二乘积;将所述第一乘积与所述第二乘积相加,获得所述第二候选字符串对应的权重值。
13.因此,本技术实施例通过将第一乘积与第二乘积相加,能够计算准确的第二候选字符串对应的权重值,从而能够提升第一候选字符串计算的准确率。
14.结合第一方面,在本技术的一些实施方式中,每个所述存在语义依存关系的第二候选字符号串的所述预设赋值均为1;所述依据所述目标第二候选字符串对应的预设赋值得到语义依存分数,包括:统计所述目标第二候选字符串的个数,并且将所述个数作为所述语义依存分数。
15.因此,本技术实施例通过统计语义依存分数,能够量化的表征第二候选字符串的语义依存关系。
16.结合第一方面,在本技术的一些实施方式中,在所述获得多个候选字符串之前所述方法还包括:通过筛选规则对分词处理后的字符串进行筛选,获得所述多个候选字符串。
17.因此,本技术实施例通过对分词处理后的字符串进行筛选,能够减少干扰字符串,能够进一步的提升提取关键词的准确率。
18.结合第一方面,在本技术的一些实施方式中,在依据所述权重值从所述多个候选字符串中筛选出关键词之后,所述方法还包括:将所述关键词标记在所述待提取文档中,并且将相邻的多个关键词进行合并,获得目标关键词。
19.第二方面,本技术提供了一种提取关键词的装置,所述装置包括:
20.分词获取模块,被配置为获取待提取文档并且将所述待提取文档进行分词处理,获得多个候选字符串;
21.字符串获取模块,被配置为获取第一候选字符串邻域范围内的至少一个候选字符串,其中,所述第一候选字符串为所述多个候选字符串中的任意一个;
22.权重值计算模块,被配置为基于在邻域范围内所述第一候选字符串与所述至少一个候选字符串中各候选字符串共同出现的次数和语义依存关系,计算所述第一候选字符串的权重值,其中,所述权重值用于表征所述第一候选字符串对于获取所述待提取文档的语义的重要性;
23.关键词筛选模块,被配置为依据所述权重值从所述多个候选字符串中筛选出关键词。
24.结合第二方面,在本技术的一些实施方式中,所述字符串获取模块被配置为:通过滑动预置长度的滑窗限定所述领域范围;获取与所述第一候选字符串共同出现在所述滑窗内的所述至少一个候选字符串。
25.结合第二方面,在本技术的一些实施方式中,所述至少一个候选字符串包括第二候选字符串,其中,所述第二候选字符串为所述至少一个候选字符串中的任意一个;所述权重值计算模块被配置为:统计所述第一候选字符串与所述第二候选字符串在所述滑窗中共同出现的次数总和,得到共现次数;获取与所述第一候选字符串存在语义依存关系的第二候选字符串得到目标第二候选字符串,并且依据所述目标第二候选字符串对应的预设赋值得到语义依存分数;根据所述共现次数与所述语义依存分数计算所述第一候选字符串的权重值。
26.结合第二方面,在本技术的一些实施方式中,所述权重值计算模块被配置为:通过所述共现次数与所述语义依存分数计算所述第二候选字符串对应的权重值;将每个所述第二候选字符串对应的权重值输入到字符串权重模型中,通过所述字符串权重模型计算所述第一候选字符串的权重值。
27.结合第二方面,在本技术的一些实施方式中,所述权重值计算模块被配置为:将所述共现次数与共现次数权重相乘,获得第一乘积;将所述语义依存分数与语义依存分数权重相乘,获得第二乘积;将所述第一乘积与所述第二乘积相加,获得所述第二候选字符串对应的权重值。
28.结合第二方面,在本技术的一些实施方式中,每个所述存在语义依存关系的第二候选字符号串的所述预设赋值均为1;所述权重值计算模块被配置为:统计所述目标第二候选字符串的个数,并且将所述个数作为所述语义依存分数。
29.结合第二方面,在本技术的一些实施方式中,分词获取模块被配置为通过筛选规则对分词处理后的字符串进行筛选,获得所述多个候选字符串。
30.结合第二方面,在本技术的一些实施方式中,关键词筛选模块被配置为:将所述关键词标记在所述待提取文档中,并且将相邻的多个关键词进行合并,获得目标关键词。
31.第三方面,本技术提供了一种电子设备,包括:处理器、存储器和总线;所述处理器通过所述总线与所述存储器相连,所述存储器存储有计算机程序,所述计算机程序由所述处理器执行时可实现如第一方面任意实施例所述方法。
32.第四方面,本技术提供了一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被执行时可实现如第一方面任意实施例所述方法。
附图说明
33.图1为本技术实施例示出的一种提取关键词的场景组成示意图;
34.图2为本技术实施例示出的一种提取关键词的方法流程图;
35.图3为本技术实施例示出的一种字符串拓扑图;
36.图4为本技术实施例示出的一种字符串语义依存关系图;
37.图5为本技术实施例示出的一种提取关键词的装置组成示意图;
38.图6为本技术实施例示出的一种电子设备组成示意图。
具体实施方式
39.为使本技术实施例的目的、技术方案和优点更加清楚,下面将结合本技术实施例中附图,对本技术实施例中的技术方案进行清楚、完整的描述,显然,所描述的实施例仅仅是本技术的一部分实施例,而不是全部实施例。通常在此处附图中描述和示出的本技术实施例的组件可以以各种不同的配置来布置和设计。因此,以下对附图中提供的本技术的实施例的详情描述并非旨在限制要求保护的本技术的范围,而是仅仅表示本技术的选定实施例。基于本技术的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本技术保护范围。
40.本技术实施例可以应用于对文档中的关键词进行提取的场景,为了改善背景技术中的问题,在本技术的一些实施例中,通过字符串之间共同出现的次数和语义依存关系对待提取文档中的关键词进行提取。例如,在本技术的一些实施例中,首先,对待提取文档进行分词,获得多个候选字符串,然后,获取与第一候选字符串在一个滑窗范围内的至少一个候选字符串,接着,通过第一候选字符串与至少一个候选字符串中各候选字符串的共同出现的次数和语义依存关系,计算第一候选字符串的权重值,最后,依据权重值从多个候选字符串中筛选出关键词。
41.下面结合附图详细描述本技术实施例中的方法步骤。
42.图1提供了本技术一些实施例中的提取关键词的场景组成示意图,该场景包括用户110、客户端120和服务器130。具体的,用户110将待提取文档输入到客户端120中。客户端120在接收到待提取文档之后,将待提取文档发送到服务器130中。服务器130在接收到待提取文档之后,对待提取文档中的关键词进行提取,并且将得到的关键词输入到客户端120中。客户端120在接收到关键词之后进行展示。
43.需要说明的是,待提取文档可以是用户110实时输入的一段文字,也可以是预先存储在客户端120中的一段文字,也可以是网络上的一段文字。本技术对待提取文档的来源不进行限制。
44.与本技术实施例不同的是相关技术中,使用textrank算法进行关键词提取。但是,仅使用词之间的共现关系对关键词进行提取导致提取的关键词准确率不高。而本技术的实施例是通过第一候选字符串与至少一个候选字符串中各候选字符串共同出现的次数和语义依存关系,来提取关键词的,因此本技术能够提高关键词提取的准确率。
45.下文将描述本技术中的一种提取关键词的方法的实施步骤。
46.至少为了解决背景技术中的问题,如图2所示,本技术一些实施例提供了一种提取关键词的方法,该方法包括:
47.s210,获取待提取文档并且将待提取文档进行分词处理,获得多个候选字符串。
48.也就是说,由于待提取文档是一句文字或者是一段文字,所以需要对待提取文档进行分词。若待提取文档是一段文字,则将该待提取文档分成多个句子,之后在对多个句子中的各句子进行分词,获得多个候选字符串。
49.具体的,待提取文档的格式可以是文档格式(即“.doc”),也可以是文本格式(即“.txt”),还可以是字符串格式(即“str”)。首先,将待提取文档的格式统一为字符串格式,然后,将待提取文档按照完整的句子进行分割,获得句子集合t=[s1,s2,...,sm],其中,t为待提取文档,m为待提取文档中句子的个数,可以理解的是,完整的句子是以句号为结尾的
句子,最后,对于句子集合中的每一个句子进行非常分词获得si=[t
i,1
,t
i,2
,...,t
i,n
],其中,si表示句子集合中的任意一个句子,t
i,1
表示任意一个句子中的第一个分词,t
i,2
表示任意一个句子中的第二个分词,t
i,n
表示第一个句子中的第n个分词,n表示任意一个句子中分词的个数。
[0050]
在本技术的一种实施方式中,在将待提取文档进行分词处理之后还包括:通过筛选规则对分词处理后的字符串进行筛选,获得多个候选字符串。
[0051]
也就是说,由于待提取文档中可能存在一些停用词或者与当前场景无关的字符串,因此需要对分词处理后的字符串进行筛选。
[0052]
具体的,可以使用语法过滤器(syntactic filters)对分词处理后的字符串进行优化。语法过滤器的主要作用是将某一类或者某几类的字、词或字符串过滤出来作为多个候选字符串。滤掉停用词,只保留指定词性的词和具有某些特定的语义依存关系词。例如:si=[t
i,1
,t
i,2
,...,t
i,n
]中t
i,2
为句子si中保留下的字符串,这些词组成了多个候选字符串。
[0053]
可以理解的是,语法过滤器中的筛选规则可根据实际情况和场景进行设置,本技术对筛选规则的具体内容不进行限制。
[0054]
s220,获取第一候选字符串邻域范围内的至少一个候选字符串。
[0055]
需要说明的是,第一候选字符串为多个候选字符串中的任意一个。
[0056]
在本技术的一种实施方式中,本技术使用textrank算法为多个候选字符串建立一个词的网络,可以理解的是,textrank算法的基本思想是将待提取文档看作一个以字符串为节点的网络,该网络中的链接表示字符串与字符串之间的语义关系。参考textrank算法,构建由多个候选字符串组成的拓扑图g=(v,e),其中,g表示拓扑图,v表示多个候选字符串中的任意一个,即拓扑图中的任意一个节点,e表示拓扑图中的边,即两个字符串之间的连线。对关键词抽取而言,用于构建节点集v的文本单元可以是句子中的一个或多个字(即多个候选字符串),之后根据这些字符串之间的关系构建边e。
[0057]
获取与第一候选字符串有关联关系的至少一个候选字符串的方法如下所示:
[0058]
在本技术的一种实施方式中,通过滑动预置长度的滑窗限定领域范围,获取与第一候选字符串共同出现在滑窗内的至少一个候选字符串。
[0059]
也就是说,由于本技术需要依据与第一候选字符串有共现关系的字符串建立词网络(即拓扑图),进而进行第一候选字符串权重值的计算,因此,本技术选用了预置长度的滑窗在多个候选字符串中选择与第一候选字符串出现在同一滑窗内的至少一个候选字符串。
[0060]
具体的,采用共现关系(co-occurrence)构造第一候选字符串与至少一个候选字符串中各字符串之间的边,也就是说,当两个字符串共同出现在长度为k的滑窗中时,表示这两个字符串存在共现关系,即两个字符串之间在他们共同出现在同一滑窗的情况下建立边,其中,k可以表示滑窗窗口的大小,即最多在滑窗中共现k个字符串,可以理解的是,k一般取值为2。
[0061]
在本技术的另一种实施方式中,将获取与第一候选字符串存在某些特定的语义依存关系的词。
[0062]
可以理解的是,语义依存关系分为三类:语义角色,即每一种语义角色对应存在一个嵌套关系和反关系;事件关系,即描述两个事件间的关系;语义依附标记,即标记说话者语气等依附性信息。
[0063]
具体的,本技术主要从多个候选字符串中获取与第一候选字符串存在语义角色和事件关系的词,得到至少一个候选字符串。例如,语义角色包括材料角色、意图角色等,事件关系包括并列关系、等同关系、递进关系、顺承关系等。
[0064]
作为本技术一具体实施例,如图3所示,多个候选字符串包括v1、v2、v3、v4、v5和v6,其中,当v1为第一候选字符串时,与v1存在关联关系的字符串包括v2、v3和v4,因此,将v1分别与v2、v3和v4使用边连接起来。
[0065]
需要说明的是,在本技术的一种实施方式中,两个字符串存在关联关系包括这两个字符串共同出现在一个滑框中。在本技术的另一种实施方式中,两个字符串存在关联关系包括两个字符串存在语义依存关系。在本技术的再一实施方式中,两个字符串存在关联关系包括两个字符串共同出现在一个滑框中并且存在语义依存关系。
[0066]
s230,基于在邻域范围内第一候选字符串与至少一个候选字符串中各字符串共同出现的次数和语义依存关系,计算第一候选字符串的权重值。
[0067]
可以理解的是,至少一个候选字符串包括第二候选字符串,其中,第二候选字符串为至少一个候选字符串中的任意一个。
[0068]
在本技术的一种实施方式中,计算第一候选字符串的权重值的具体步骤如下所示:
[0069]
s2301,统计第一候选字符串与第二候选字符串在滑窗中共同出现的次数总和,得到共现次数。
[0070]
例如,第一候选字符串与第二候选字符串在滑窗中共同出现过4次,那么共现次数则为4。
[0071]
s2302,获取与第一候选字符串存在语义依存关系的第二候选字符串得到目标第二候选字符串,并且依据目标第二候选字符串对应的预设赋值得到语义依存分数。
[0072]
也就是说,确认至少一个候选字符串中的各候选字符串是否与第一候选字符串存在语义依存关系,筛选出与第一候选字符串存在语义依存关系的集合,其中,目标第二候选字符串为该集合中的任意一个字符串。之后根据每个目标第二候选字符串的预设赋值进行统计,获得语义依存分数。
[0073]
可以理解的是,目标第二候选字符串的预设赋值与目标第二候选字符串的重要程度呈正比,即越重要的目标第二候选字符串对应的预设赋值越大。
[0074]
在本技术s2302的一种实施方式中,每个存在语义依存关系的第二候选字符号串的预设赋值均为1,统计目标第二候选字符串的个数,并且将个数作为语义依存分数。
[0075]
也就是说,在本实施方式中,每个目标第二候选字符串的重要程度都一样,预设赋值都是1。因此,语义依存分数就等于目标第二候选字符串的个数。例如,目标第二候选字符串的个数为5,则语义依存分数就为5。
[0076]
在本技术s2302的另一种实施方式中,将目标第二候选字符串分为n类,n类中的每一类对应一个预设赋值。在获得目标第二候选字符串之后,对应的获取与该目标第二候选字符串对应的类别,进而确认预设赋值,之后将所有的目标第二候选字符串对应的预设赋值进行加和,获得语义依存分数。
[0077]
可以理解的是,目标第二候选字符串与第一候选字符串在词网络中存在连接关系。
[0078]
s2303,根据共现次数与语义依存分数计算第一候选字符串的权重值。
[0079]
也就是说,首先,通过共现次数与语义依存分数计算第二候选字符串对应的权重值。
[0080]
具体的,将共现次数与共现次数权重相乘,获得第一乘积,将语义依存分数与语义依存分数权重相乘,获得第二乘积,将第一乘积与第二乘积相加,获得第二候选字符串对应的权重值。如公式(1)所示:
[0081]
s(vj)=λ1
×
co-occurrence(wa,wb)+λ2
×
semantic(wa,wb)
ꢀꢀ
(1)
[0082]
其中,vj表示第二候选字符串,λ1表示共现次数权重,co-occurrence(wa,wb)表示第一候选字符串和第二候选字符串之间的共现次数,λ2表示语义依存分数权重,semantic(wa,wb)表示第一候选字符串和第二候选字符串之间的语义依存分数。
[0083]
需要说明的是,λ1可以取值为0.75,λ2可以取值为0.25,λ1和λ2的取值可以根据实际情况进行调整。
[0084]
然后,将每个第二候选字符串对应的权重值输入到字符串权重模型中,通过字符串权重模型计算第一候选字符串的权重值。
[0085]
也就是说,先初始化每个第二候选字符串对应的权重,然后迭代计算每个第二候选字符串的权重,直至收敛,最后,通过每个第二候选字符串的权重值计算第一候选字符串的权重值。
[0086]
具体的,首先对每个第二候选字符串赋予相同的权重,以及计算出每个第二候选字符串的所有出度的次数之和。然后迭代若干次,以确保得到稳定的结果。
[0087]
在每一次迭代中,依次遍历每个第二候选字符串,对于第二候选字符串n(即节点n),首先根据拓扑图得到n的所有入度节点(对于拓扑图,入度节点与出度节点是相同的,都是与节点n相连的节点),计算出这个入度节点的所有出度的次数,而入度节点对于节点n的权值的贡献等于它本身的权值乘以它与节点n的关系分值除以该节点的所有出度的次数,将各个入度节点得到的权值相加,再乘以一定的阻尼系数,即可得到节点n的权值,可参考textrank算法计算公式,即如公式(2)所示:
[0088][0089]
其中,vi表示第一候选字符串,s(vi)表示第一候选字符串的权重值,vj表示,s(vj)表示第二候选字符串的权重值,out(vj)为词vj指向的节点集合,in(vi)为指向vi的节点集合,vj是与vi有共现关系(即在同一滑窗共同出现)的任意一个词,d为阻尼系数,取值范围为0到1,代表从图中某一特定点指向其他任意点的概率,一般取值为0.85。
[0090]
迭代完成后,对每一个第一候选字符串进行归一化,获得归一化后的权重值,之后对归一化后的权重值对第一候选字符串进行排序,获得关键词,例如,基于归一化后的权重值对每个第一候选字符串进行倒序排列,将排在前n个位置对应的第一候选字符串,作为关键词,其中,n为大于或等于1的整数,n的取值可以根据实际情况进行限制,例如,n可以取3,也可以取5。
[0091]
在本技术的一种实施方式中,将关键词标记在待提取文档中,并且将相邻的多个关键词进行合并,获得目标关键词。
[0092]
也就是说,在获得关键词之后,将待提取文档中标记关键词的位置,若形成相邻词
组,则组合成多词关键词。例如,待提取文档为“涉及投被保险人联系电话、地址等仅可告知未脱敏部分的内容”,其中,“联系”和“电话”均属于关键词,因此,将“联系”和“电话”组合成“联系电话”,获得目标关键词。
[0093]
可以理解的是,若待提取文档中不存在能够组合在一起的关键词,则直接将该关键词作为目标关键词。
[0094]
如图4所示,作为本技术一具体实施例,待提取文档为“某品牌隆重推出超级会员日活动打造品牌”,对该待提取文档进行关键词提取的具体过程如下所示:
[0095]
s1:对待提取文档进行分词处理后得到的多个候选字符串包括:“某品牌”、“隆重”、“推出”、“超级”、“会员日”、“活动”、“打造”以及“品牌”。也就是说,拓扑图的节点为s1中的多个候选字符串。
[0096]
s2:获取s1中与多个候选字符串中的任意一个字符串(即第一候选字符串)共同出现在一个滑窗内的字符串,获得至少一个候选字符串。具体的,当第一候选字符串为“推出”时,“推出”对应的至少一个候选字符串为“隆重”、“会员日”、“活动”、“某品牌”、“打造”以及“超级”。
[0097]
s3:在至少一个候选字符串中获取与“推出”存在语义依存关系的字符串,得到目标第二候选字符串。具体的,目标第二候选字符串为“隆重”、“会员日”、“活动”、“某品牌”以及“打造”,其中,“推出”与“隆重”之间的语义依存关系为方式角色,“推出”与“会员日”之间的语义依存关系为客事关系,“推出”与“活动”之间的语义依存关系为嵌套描写角色,“推出”与“打造”之间的语义依存关系为顺承关系,“推出”与“某品牌”之间的语义依存关系为施事关系,另外,“会员日”与“超级”之间的语义依存关系为描写角色,“打造”与“品牌”之间的语义依存关系为成事关系。
[0098]
s4:计算“推出”对应的语义依存分数,也就是说,与“推出”存在语义依存关系的字符串的个数为5,因此,“推出”对应的语义依存分数就为5。
[0099]
s5:使用上述公式(1)和公式(2)计算“推出”的权重值,并且使用同样的步骤(s1-s5)获得图4中各字符串对应的权重值。
[0100]
s6:基于各字符串对应的权重值,得到目标关键词。
[0101]
因此,相关技术中关键词提取是文本挖掘领域的一个分支,是文本检索、文档比较、摘要生成、文档分类和聚类等文本挖掘研究的基础性工作。关键词抽取是指从文档中确定一些能够描述文档含义的术语的过程。textrank算法是基于拓扑图进行关键词抽取和文档摘要的排序算法,它根据词之间的共现关系构造网络。语义依存分析(semantic dependency parsing,sdp),分析句子各个语言单位之间的语义关联,并将语义关联以依存结构呈现。本技术将textrank和sdp相结合,提出了一种无监督关键词抽取方法,通过邻域内字符串之间的共同出现次数和语义依存关系,能够计算得到准确的权重值,从而能够提取得到准确的关键词。
[0102]
上文描述了本技术提取关键词的方法,下文将描述本技术提取关键词的装置。
[0103]
如图5所示,本技术的一些实施例提供一种提取关键词的装置500,该装置包括:分词获取模块510、字符串获取模块520、权重值计算模块530和关键词筛选模块540。
[0104]
分词获取模块510,被配置为获取待提取文档并且将所述待提取文档进行分词处理,获得多个候选字符串。
[0105]
字符串获取模块520,被配置为获取第一候选字符串邻域范围内的至少一个候选字符串,其中,所述第一候选字符串为所述多个候选字符串中的任意一个。
[0106]
权重值计算模块530,被配置为基于在邻域范围内所述第一候选字符串与所述至少一个候选字符串中各候选字符串共同出现的次数和语义依存关系,计算所述第一候选字符串的权重值,其中,所述权重值用于表征所述第一候选字符串对于获取所述待提取文档的语义的重要性。
[0107]
关键词筛选模块540,被配置为依据所述权重值从所述多个候选字符串中筛选出关键词。
[0108]
在本技术的一些实施方式中,所述字符串获取模块520被配置为:通过滑动预置长度的滑窗限定所述领域范围;获取与所述第一候选字符串共同出现在所述滑窗内的所述至少一个候选字符串。
[0109]
在本技术的一些实施方式中,所述至少一个候选字符串包括第二候选字符串,其中,所述第二候选字符串为所述至少一个候选字符串中的任意一个;所述权重值计算模块530被配置为:统计所述第一候选字符串与所述第二候选字符串在所述滑窗中共同出现的次数总和,得到共现次数;获取与所述第一候选字符串存在语义依存关系的第二候选字符串得到目标第二候选字符串,并且依据所述目标第二候选字符串对应的预设赋值得到语义依存分数;根据所述共现次数与所述语义依存分数计算所述第一候选字符串的权重值。
[0110]
在本技术的一些实施方式中,所述权重值计算模块530被配置为:通过所述共现次数与所述语义依存分数计算所述第二候选字符串对应的权重值;将每个所述第二候选字符串对应的权重值输入到字符串权重模型中,通过所述字符串权重模型计算所述第一候选字符串的权重值。
[0111]
在本技术的一些实施方式中,所述权重值计算模块530被配置为:将所述共现次数与共现次数权重相乘,获得第一乘积;将所述语义依存分数与语义依存分数权重相乘,获得第二乘积;将所述第一乘积与所述第二乘积相加,获得所述第二候选字符串对应的权重值。
[0112]
在本技术的一些实施方式中,每个所述存在语义依存关系的第二候选字符号串的所述预设赋值均为1;所述权重值计算模块530被配置为:统计所述目标第二候选字符串的个数,并且将所述个数作为所述语义依存分数。
[0113]
在本技术的一些实施方式中,分词获取模块510被配置为通过筛选规则对分词处理后的字符串进行筛选,获得所述多个候选字符串。
[0114]
在本技术的一些实施方式中,关键词筛选模块540被配置为:将所述关键词标记在所述待提取文档中,并且将相邻的多个关键词进行合并,获得目标关键词。
[0115]
在本技术实施例中,图5所示模块能够实现图1至图4方法实施例中的各个过程。图5中的各个模块的操作和/或功能,分别为了实现图1至图4中的方法实施例中的相应流程。具体可参见上述方法实施例中的描述,为避免重复,此处适当省略详细描述。
[0116]
如图6所示,本技术实施例提供一种电子设备600,包括:处理器610、存储器620和总线630,所述处理器通过所述总线与所述存储器相连,所述存储器存储有计算机可读取指令,当所述计算机可读取指令由所述处理器执行时,用于实现如上述所有实施例中任一项所述的方法,具体可参见上述方法实施例中的描述,为避免重复,此处适当省略详细描述。
[0117]
其中,总线用于实现这些组件直接的连接通信。其中,本技术实施例中处理器可以
是一种集成电路芯片,具有信号的处理能力。上述的处理器可以是通用处理器,包括中央处理器(central processing unit,简称cpu)、网络处理器(network processor,简称np)等;还可以是数字信号处理器(dsp)、专用集成电路(asic)、现成可编程门阵列(fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本技术实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
[0118]
存储器可以是,但不限于,随机存取存储器(random access memory,ram),只读存储器(read only memory,rom),可编程只读存储器(programmable read-only memory,prom),可擦除只读存储器(erasable programmable read-only memory,eprom),电可擦除只读存储器(electric erasable programmable read-only memory,eeprom)等。存储器中存储有计算机可读取指令,当所述计算机可读取指令由所述处理器执行时,可以执行上述实施例中所述的方法。
[0119]
可以理解,图6所示的结构仅为示意,还可包括比图6中所示更多或者更少的组件,或者具有与图6所示不同的配置。图6中所示的各组件可以采用硬件、软件或其组合实现。
[0120]
本技术实施例还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被服务器执行时实现上述所有实施方式中任一所述的方法,具体可参见上述方法实施例中的描述,为避免重复,此处适当省略详细描述。
[0121]
以上所述仅为本技术的优选实施例而已,并不用于限制本技术,对于本领域的技术人员来说,本技术可以有各种更改和变化。凡在本技术的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本技术的保护范围之内。应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
[0122]
以上所述,仅为本技术的具体实施方式,但本技术的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本技术揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本技术的保护范围之内。因此,本技术的保护范围应所述以权利要求的保护范围为准。