Entity Enhanced BERT Pre-training for Chinese NER

张岳老师的文章，关注如何更充分利用实体信息以增强预训练语言模型在中文NER上的表现（EMNLP 2020）。

Overview

• arxiv: https://www.aclweb.org/anthology/2020.emnlp-main.518.pdf
• code: 暂无

Background

在中文NER中引入词典已经被证明是一个有效的方法，但是将实体信息融入BERT这类预训练模型的研究还很少。

论文首先基于互信息的计算，用新词发现策略来识别文档中的entity；然后设计了char-entity自注意力机制来捕捉中文字与实体之间的关系，将字符隐层状态和实体向量组合。

Methodology

New-Word Discovery

采用了Bouma（2009）提出的方法，用互信息计算，不予赘述。

Char-Entity-Transformer

经典的Transformer计算Q、K、V三个矩阵 \[ \{Q^l,K^l,V^l\} = \{h^{l-1}W_q^l,h^{l-1}W_k^l,h^{l-1}W_v^l\} \\ Atten(Q^l,K^l,V^l) = {\rm softmax}(\frac{Q^l {K^l}^T}{\sqrt{d_k}}) \] 本文也是先对给定的字符序列\({\mathcal C} = \{c_1,\dots,c_T\}\)，给定词典\(\mathcal E_{ent}\)，匹配得到对应的实体序列\(\mathcal E = \{e_1,\dots,e_T\}\)。

给定\((l-1)\)层的隐层状态\(\{h_1^{l-1},\dots,h_T^{l-1}\}\)，QKV的计算如下 \[ \begin{align} q_t^l &= h_t^{l-1}W_{h,q}^l; \\ k_t^l &= \begin{cases}{ {h_t^{l-1}}^T W_{h,k}^l}\quad &{\rm if}\space e_t = 0,\\ \frac12({h_t^{l-1}}^T W_{h,k}^l + E_{ent}^T[e_t]W_{e,k}^l)\quad &else; \end{cases} \\ v_t^l &= \begin{cases} {h_t^{l-1}}^T W_{h,v}^l\quad &{\rm if}\space e_t = 0,\\ \frac12({h_t^{l-1}}^T W_{h,v}^l + E_{ent}^T[e_t]W_{e,v}^l)\quad &else; \end{cases} \end{align} \] 其中\(E_{ent}\)表示实体embedding，\(W\)表示可学习的参数。

如果字符没有匹配到实体，那么计算退化为原始的self-attention。

NER任务

针对NER任务，模型使用softmax解码，采用BIO标注方式。

Experiment

论文的实验使用了一个公开数据集CLUENER-2020，和两个自己标注的数据集。

本文还和ERNIE（百度）、Lattice进行了比较，采用的词典和ERNIE一样。