该技术已申请专利。仅供学习研究,如用于商业用途,请联系技术所有人。

1.本发明属于计算机技术领域,涉及一种基于融合标签图的双图卷积网络的文本情感多分类方法。
背景技术:2.文本多情感分析是对带有情感色彩的文本进行更细粒度的情感分类,例如快乐、恐惧、愤怒、悲伤等,对于企业市场调研、个人消费选择等具有非常重要的参考价值和研究价值。然而在文本情感分析领域中大多研究是基于二分类或三分类任务进行的,即从积极、消极或中性方面描述文本,缺乏对更细致的情感分类的研究。
3.随着深度学习的发展,神经网络在文本多情感分析取得了较好的性能。例如,2013年,国外的学者r.socher等人提出了用于情感多分类任务的sst-5数据集,同时提出了递归神经张量网络(rntn),该模型基于句子结构构建了整个句子的表示。2015年,国内的研究学者c. zhou等人结合卷积神经网络(cnn)、循环神经网络(rnn)两个网络提出了c-lstm,c-lstm 使用cnn抽取高级的短语表示,然后输入到lstm获得句子表示。peters等人2018年提出了预训练方法elmo,该方法使用一个双向的lstm语言模型,由一个前向和一个后向语言模型构成,利用预训练好的双向语言模型,根据其输入从该语言模型中可以得到上下文依赖的当前词表示。同年,谷歌公司提出一种基于bert的新方法,通过在海量语料库中的无监督学习,获得的预训练上下文相关词向量编码机制用于语言模型,充分考虑到单词的上下文语义信息。在之后的研究中研究者大多通过对bert模型的微调训练,在情感分类中取得了不错的效果。
4.(1)现有的方法主要依赖于句子表示而没有考虑句子的语法信息导致模型分类效果差;
5.(2)通过研究发现在文本情感多分类任务中不同的情感标签之间存在语义相似性,而以往的研究通常将标签视为没有语义的符号,忽略了标签之间的语义关系,导致信息丢失。
技术实现要素:6.有鉴于此,本发明的目的在于提供一种基于融合标签图的双图卷积网络的文本情感多分类方法。
7.为达到上述目的,本发明提供如下技术方案:
8.一种基于融合标签图的双图卷积网络的文本情感多分类方法,该方法包括以下步骤:
9.s1:建立句子编码层;
10.s2:嵌入标签图;
11.s3:建立句法图卷积网络syngcn;
12.s4:建立语义图卷积网络semgcn;
13.s5:进行双仿射变换。
14.可选的,所述s1具体为:
15.为获得每个句子的文本表示,模型采用bert和bilstm作为句子编码器来提取隐藏的上下文表示;采用预训练模型bert来生成词向量,依据单词所在的语境生成动态词向量;然后将bert得到的词向量输入到bilstm计算获得包含上下文信息的表隐藏状态向量表示 h=[h1,h2,...,hn]将得到的隐藏状态向量用于后续模块的输入;其中hi表示一个句子中第i个单词的词向量表示,n表示输入句子的单词个数。
[0016]
可选的,所述s2具体为:
[0017]
将标签图定义为g={v,e};其中v表示图中的结点,即标签的表示[c1,c2,...,cm],ci则表示第i个标签的向量表示,m表示标签的个数,e表示图中的边,即标签之间的语义关系;
[0018]
为获得每个标签的表示,使用标签的文本内容作为输入,使用词向量平均函数来计算标签的词向量表示,计算如公式(1)所示;
[0019][0020]ci
表示第i个情感标签的向量表示,ki表示第i个标签的样本数量hj表示属于第i个标签样本中的第j个句子的隐藏状态向量表示;为得到标签之间的关系,使用标签之间的相关性系数作为标签图的邻接矩阵a
label
;使用两向量之间的余弦相似度计算不同标签之间的相似性,即ci、cj表示两个不同的标签的向量表示,|| ||表示向量的模运算;接着使用gcn更新标签的表示,公式如下:
[0021][0022]
其中l表示图卷积网络的层数,表示图卷及网络第l层的第i个标签的表示,表示图卷积网络第l-1层第j个标签的表示,w和b为学习的权重和偏差,σ为激活函数,m为标签的数量;
[0023]
为有效使用标签语义信息,通过标签注意力计算句子中单词与标签相关的语义成分;计算公式如下:
[0024][0025][0026]hlabel
=hu
t
ꢀꢀꢀ
(5)
[0027]hj
表示句子中第j个单词的向量表示;ci表示公式(2)中经过gcn更新后的标签表示,t 表示向量的转置,α
ij
表示句子中第j个单词特征向量对于第i个标签的信息量; u=[u1,u2,...,um],其中ui表示第i个标签ci在句子中的语义信息携带量;h表示通过 bilstm得
到的上下文隐藏表示;h
label
表示每个句子中每个单词的特定的标签表示。
[0028]
可选的,所述s3具体为:
[0029]
syngcn模块以句子的句法编码作为输入;为对句法信息进行编码,使用句法解析方法 perturbedmasking;给定一个输入文本x=[x1,x2,...,xn],xi表示句子中的第i个单词,将文本中的每个单词xi映射为一个上下文化表示h
θ
(x)i;首先,使用[mask]来替换单词xi,并将替换后的句子x\{xi}输入至bert,得到单词xi的向量表示h
θ
(x\{xi})i;其次,计算xj∈x\{xi} 对h
θ
(x\{xi})i的影响,将xj替换为[mask]来获得第二个句子x\{xi,xj},得到的xj新向量表示 h
θ
(x\{xi,xj})i;基于两个向量的表示,定义函数f(xi,xj);
[0030]
f(xi,xj)=d(h
θ
(x\{xi})i,h
θ
(x\{xi,xj})i)
ꢀꢀꢀ
(6)
[0031]
其中d(x,y)是衡量两个向量距离的函数,使用欧氏距离表示;通过对句子中的单词xi, xj重复执行上述步骤,得到一个影响矩阵a
syn
;将bilstm的隐状态向量h作为语法图中的初始节点表示;然后得到句法图表示的初始节点表示;然后得到句法图表示表示句子中第i个单词的句法表示,句法图中的节点计算如公式(7)所示;
[0032][0033]
其中l表示图卷积网络的层数,表示图卷及网络第l层的第i个单词的表示,w和b 为学习的权重和偏差,σ为激活函数。
[0034]
可选的,所述s4具体为:
[0035]
在semgcn模块中,使用自注意力机制计算每对元素的注意力分数,将得到的注意力得分矩阵a
sem
作为semgcn模块的邻接矩阵,具体的计算公式如下:
[0036][0037]
softmax为归一化指数函数,q、k为注意力机制得到的特征向量,wq、wk为权重矩阵,t表示向量转置,d表示特征向量的维度;
[0038]
然后与syngcn类似,将标签注意力得到的h
label
作为语义图中的初始节点表示;然后得到语义图表示图中的节点计算如公式(9)所示;
[0039][0040]
其中的w和b为学习的权重和偏差,σ为激活函数。
[0041]
可选的,所述s5具体为:
[0042]
为使得syngcn和semgcn模块之间的特征交互用一种双仿射变换mutulabiaffine,具体过程如下:
[0043]hsyn
′
=softmax(h
syn
w1(h
sem
)
t
)h
sem
ꢀꢀꢀ
(10)
[0044]hsem
′
=softmax(h
sem
w2(h
syn
)
t
)h
syn
ꢀꢀꢀ
(11)
[0045]
其中w1和w2是可训练参数;
[0046]
将经过双仿射变换后的syngcn和semgcn模块的输出应用平均池化和连接操作得到最终特征表示,计算公式如下所示:
[0047][0048][0049]
r=[h
syn
,h
sem
]
ꢀꢀꢀ
(14)
[0050]
其中f表示平均池化函数,分别为经过双仿射变换之后得到的第i个单词的语义和句法表示,r表示将语义图卷积网络和句法图卷积网络的输出拼接得到的最终的特征表示;最后使用softmax函数产生一个情感概率分布,将概率值最大的类别作为所分类的类别,计算如公式(15)所示:
[0051]
p(x)=softmax(w
p
r+b
p
)
ꢀꢀꢀ
(15)
[0052]
其中w
p
和b
p
是可学习的权重和偏差。
[0053]
本发明的有益效果在于:
[0054]
(1)本发明针对现有的研究大都只考虑了句子的语义表示,忽略句子的语法信息,发明了一种双图卷积网络,即句法图卷积网络和语义图卷积网络,该方法能同时提取句子的句法信息和语义信息。
[0055]
(2)以往的模型忽略了标签的语义信息,基于此本发明了标签图嵌入,通过将标签图表示和语义图卷积网络融合,使得模型能够学习更加精确的语义表示和捕获标签和文本中单词之间的潜在关系。
[0056]
本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述,并且在某种程度上,基于对下文的考察研究对本领域技术人员而言将是显而易见的,或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。
附图说明
[0057]
为了使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明作优选的详细描述,其中:
[0058]
图1为本发明框架图;
[0059]
图2为本发明流程图。
具体实施方式
[0060]
以下通过特定的具体实例说明本发明的实施方式,本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用,本说明书中的各项细节也可以基于不同观点与应用,在没有背离本发明的精神下进行各种修饰或改变。需要说明的是,以下实施例中所提供的图示仅以示意方式说明本发明的基本构想,在不冲突的情况下,以下实施例及实施例中的特征可以相互组合。
[0061]
其中,附图仅用于示例性说明,表示的仅是示意图,而非实物图,不能理解为对本发明的限制;为了更好地说明本发明的实施例,附图某些部件会有省略、放大或缩小,并不
代表实际产品的尺寸;对本领域技术人员来说,附图中某些公知结构及其说明可能省略是可以理解的。
[0062]
本发明实施例的附图中相同或相似的标号对应相同或相似的部件;在本发明的描述中,需要理解的是,若有术语“上”、“下”、“左”、“右”、“前”、“后”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此附图中描述位置关系的用语仅用于示例性说明,不能理解为对本发明的限制,对于本领域的普通技术人员而言,可以根据具体情况理解上述术语的具体含义。
[0063]
请参阅图1和图2,本发明的具体实施步骤如下:
[0064]
步骤一:利用bilstm和bert计算输入句子输入文本x=[x1,x2,...,xn]的词向量表示 h=[h1,h2,...,hn],然后将句子的隐藏表示分别输入句法图卷积网络模块和语义图卷积网络模块;
[0065]
步骤二:使用词向量平均计算标签的词向量表示。
[0066]
步骤三:使用gcn更新标签的表示
[0067]
步骤四:使用标签注意机制来学习特定于标签的文本表示。
[0068][0069][0070]hlabel
=hu
t
[0071]
步骤五:使用f(xi,xj)=d(h
θ
(x\{xi})i,h
θ
(x\{xi,xj})i)计算句法图的邻接矩阵,将步骤一得到的上下文隐藏表示作为句法图中的初始结点,然后使用图卷积网络对句子句法信息进行编码
[0072]
步骤六:使用自注意力机制获得注意力矩阵作为邻接矩阵,计算公式为同时将经过步骤四得到的句子表示作为语义图中的节点的初始表示。然后使用gcn对句子的语义信息进行编码
[0073]
步骤七:使用双仿射变换将语义图卷积网络和语义图卷积网络之间的特征进行交互。
[0074]hsyn
′
=softmax(h
syn
w1(h
sem
)
t
)h
sem
[0075]hsem
′
=softmax(h
sem
w2(h
syn
)
t
)h
syn
[0076]
步骤八:将步骤七得到使用平均池和连接操作得到最终的特征表示。
[0077]
步骤九:最后使用softmax函数产生一个情感概率分布p(x)=softmax(w
p
r+b
p
)将概率值最大的类别作为所分类的类别。
[0078]
本发明的实验数据集为:goemotions、sst-5
[0079]
评价指标为:精确率、召回率和综合评价指标f1值。
[0080]
实验参数设置为:首先使用bert和bilstm获得句子的特征表示,特征的隐藏大小设置为50;为了减少过拟合,对bilstm的输入词嵌入应用dropout,使用的参数为0.7;syngcn 和semgcn的dropout为0.1;本文中所有的gcn层数为2层;使用adam作为优化器,其学习率为0.002;最终本文的dualgcn模型在50个epoch中进行训练;正则化系数λ1、λ2和λ3设为0.2、0.3和0.0001。
[0081]
实验环境为:intel(r)core(tm)i5-9300hcpu@2.4ghz、16gb内存、win1064位操作系统的笔记本电脑,基于pytorch框架,采用nvidiateslap100gpu训练模型。
[0082]
实验结果如表1和表2所示。
[0083]
表1数据集goemotions上的评估结果
[0084][0085]
表2数据集sst-5上的评估结果
[0086][0087]
最后说明的是,以上实施例仅用以说明本发明的技术方案而非限制,尽管参照较佳实施例对本发明进行了详细说明,本领域的普通技术人员应当理解,可以对本发明的技术方案进行修改或者等同替换,而不脱离本技术方案的宗旨和范围,其均应涵盖在本发明的权利要求范围当中。