论文笔记 | Simplify the Usage of Lexicon in Chinese NER

阅读量：4290 次

发布时间：2019-05-27

本文共 6728 字，大约阅读时间需要 22 分钟。

作者：刘锁阵

单位：燕山大学

论文地址：https://www.aclweb.org/anthology/2020.acl-main.528.pdf

代码地址：https://github.com/v-mipeng/LexiconAugmentedNER

文章目录

背景介绍

Lattice-LSTM 在多个中文NER数据集上取得了新的基准测试结果。然而，Lattice-LSTM的模型比较复杂，限制了其在工业界的应用(需要实现实时NER响应)。

在本篇工作中，作者提出了一个简单但是有效的方法来将单词词典信息合并到字符表示中。对四个中文NER数据集的基准测试表明，该方法的推理速度比SOTA方法快6.15倍，而且性能更高。实验结果还表明，该方法可能很容易地与预训练模型BERT相结合。

简单介绍两个相关的工作

Softword特征

Softword技术最初被用于合并分词信息到下游任务中。它通过嵌入对应的分词标签来增强字符表示：

x_j^c \leftarrow [x_j^c; e^{seg}(seg(c_j))] \tag{1}

seg(c_j) \in \mathcal{y}_{seg}

表示由词分割器预测的字符

c_j

的分词标签.

e^{seg}

表示将分词标签嵌入到查找表中，通常

y_{seg} = \{B, M, E, S\}

.(Begin, Middle, End, Single)

Lattice-LSTM

Lattice-LSTM将词库信息整合到基于字符的神经NER模型中。相关内容此处不再过多赘述了，网上已有很多分析文章。

模型设计

作者提出了一个方法 $S o f t L e x i c o n$ ：通过简单地调整NER模型的字符表示层来引入词典信息。整个架构如图一所示：

首先，将输入序列中的每个字符映射到一个dense vector中。

接下来，构造 $S o f t L e x c i o n$ 特征，并且添加每个字符的表示。

然后，将添加的字符表示放入序列模型层和CRF层，并获得最终的预测结果。

字符表示层

对于基于字符的中文NER模型，输入句子被视为一个字符序列 ${c_1, c_2, \dots, c_n} \in \mathcal{v}_c$ , 这里 $\mathcal{v}_c$ 是字符字典。每个字符 $c_i$ 都使用一个dense vector(embedding)表示：

x_i^c = e^c (c_i) \tag{4}

e^c

表示字符嵌入查找表。

合并词典信息

单纯地基于字符的NER模型的问题在于：它无法利用单词信息。

为了解决这个问题，作者提出了两个方法来将单词信息引入到字符表示层。在下面的介绍中，任何输入序列

\{c_1, c_2, \dots, c_n\}

w_{i,j}

表示它的子序列

\{c_i, c_{i+1}, \dots, c_j\}

。

ExSoftword特征

首先需要构造 $E x S o f t w o r d$ 特征(是 $S o f t w o r d$ 方法的扩展)，它保留了所有可能的词典匹配的分词结果：

x_j^c \leftarrow [x_j^c; e^{seg}(segs(c_j))] \tag{6}

$segs(c_j)$ 表示所有与 $c_j$ 相关的分词标签

$e^{seg}(segs(c_j))$ 是一个5维的multi-hot vector 每一维都与{B, M, E, S, O}相对应(Begin, Middle, End, Single, Other)。

图2 的例子表示，字符 $c_7$ (“西”) 在 $w_{5,8}$ (“中山西路”)和 $w_{6,7}$ (“山西”)两个单词中出现,并且是在"中山西路"的中间和“山西”的结尾。因此，它对应的分词结果是 ${M, E\}$

M,E}。下面是它的字符表示形式：

x_7^c \leftarrow [x_7^c; e^{seg}(\{M, E\})] \tag{7}

即

e^{seg}

的第二个和第三个维度被设置为1({B,M,E,S,O}中第二维表示M, 第三维表示E)，其它三个维度被设置为0.

该方法的问题是它没有继承Lattice-LSTM的两个优点：

首先，它不能引入预训练的词向量。

第二，它仍然损失了一些匹配结果的信息。

如图2 所示，对于字符 ${c_5, c_6, c_7, c_8\}$

c5,c6,c7,c8}构造的

E x S o f t w o r d

特征是

{\{B\}, \{B, M, E\}, \{M, E\}, \{E\}\}

。然而，给定构造好的序列，存在超过一种对应的匹配结果，例如

{w_{5,6}("中山"), w_{5,7}("中山西"), w_{6,8}("山西路")\}

和

{w_{5,6}("中山"), w_{6,7}("山西"), w_{5,8}("中山西路")\}

。

因此，我们不能判断哪一个是要被存储的正确结果。

SoftLexicon

基于对 $E x s o f t w o r d$ 的分析，作者更近一步开发了 $S o f t L e x i c o n$ 方法来合并词典信息。通过下面三个步骤来构造 $S o f t L e x i c o n$ 特征。

对匹配到的单词分类

首先，为了记录分词信息，每个字符 $c_i$ 的所有匹配的单词被分类到四个单词集合 $B M E S$ 中,即被四个分词标签所标记。对于输入序列 $\{c_1, c_2, \dots, c_n\}$

c1,c2,…,cn}中每个字符

c_i

, 通过以下方法构造四个集合：

B(c_i) = \{w_{i, k}, \forall w_{i,k} \in L, i < k \le n \},\\ M(c_i) = \{w_{j,k}, \forall w_{j,k} \in L, 1 \le j < i < k \le n\},\\ E(c_i) = {w_{j,i}, \forall w_{j,i} \in L, 1 \le j < i},\\ S(c_i) = \{c_i, \exists c_i \in L\}. \tag{8}

在这里，

L

表示我们使用的词典。另外，如果一个单词集合是空的，一个特殊的单词

N O N E

被添加到空的单词集合中。

图3 展示了该分类方法的一个例子。

可以看到，使用该方法，我们不仅引入了word embedding, 而且没有信息损失，因为可以从字符的四个单词集中准确地恢复匹配结果。

压缩词典

在获得每个字符"BMES"单词集合后，每个单词集将被压缩成一个固定维的向量。在本工作中，作者尝试用两种方法来实现该压缩。

第一个实现采用平均池化方法：

v^s (S) = \frac{1}{|S|} \sum\limits_{w\in S}e^w (w) \tag{9}

S

表示一个单词集合，

e^w

表示word embedding lookup table。

然而，如表8 所示，该算法执行效果并不好。

因此，需要引入加权算法来进一步利用单词信息。为了维持计算效率，作者并没有引入动态的加权算法（例如注意力机制）。相反，作者使用每个单词的频率作为权重指标。因为单词的频率是一个静态值，所以它计算每个单词的权重时会非常快。

具体地，让

z (w)

表示一个单词

w

在统计数据中出现的频率。单词结合

S

的权重表示可以通过以下方式获得：

v^s(S) = \frac{4}{Z}\sum\limits_{w\in S}z(w)e^w(w), \tag{10}

这里

\sum_{w\in B \cup M\cup E \cup S} z(w)

。

在这里，对四个单词集进行权重归一化以进行整体比较。

在这个工作中，统计数据集合是由任务的训练和开发数据的组合构成的。当然了，如果任务中有未标记的数据，则可以将未标记的数据集合用作统计数据集。此外，注意如果

w

被另一个与词典的子序列覆盖，则

w

的频率不会增加。这避免了短字的频率总是小于它的长字的频率的问题。

与字符表示相结合

最后一步是将四个单词集的表示形式组合为一个固定维特征，并且将它添加到每个字符的表示中。为了保持尽可能多的信息，作者选择了连接四个单词集合的表示，每个字符的最终表示可能通过以下方式获得：

e^s(B, M, E, S) = [v^s(B); v^s(M); v^s(E); V^s(S)],\\ x^c\leftarrow [x^c;e^s(B, M, E, S)] \tag{11}

在这里，

v^s

表示上面介绍的加权函数。

序列模型层

结合了词典信息，然后将字符表示放入序列建模层，该层对字符之间的依赖关系进行建模。本层的常用的架构包括BiLSTM、CNN和transformer。在本工作中，作者使用的是单层的BiLSTM。

标签推断层

在序列建模层的上面，使用CRF层来执行一次对整个字符序列的标签推断。

$\mathcal{y}_s$ 表示 $s$ 的所有可能的标签序列，

$\phi_t(y', y|s) = exp(W_{y',y}^T, h_t = b_{y',y})$ ，在这里， $w_{y',y}$ 和 $b_{y',y}$ 是可训练参数与标签对 $(y^{'}, y)$ 相对应

$\theta$ 表示模型参数

对于序列推断问题，它寻找给定输入序列 $s$ ，找到最大可能性的标签序列 $y^*$

y^* = _y p(y|s;\theta), \tag{14}

使用

V i t e r b i

算法可以有效的解决该问题。

实验结果

大多数实验设置都与Lattice-LSTM一样，这里简单展示下实验结果。

推理速度比较：

推理速度和句子长度成反比：

准确性：

总结

在本工作中，作者解决了在中文NER中利用单词词典的计算效率问题。为了获得具有较高推理速度的中文NER系统，提出了一种新颖的方法来将词典信息整合到字符表示中。对四个基准中文NER数据集的实验研究表明，与比较的最新方法相比，该方法可以实现更快的推理速度和更好的性能。

Yue Zhang and Jie Yang. 2018. Chinese ner using lattice lstm. Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (ACL), 1554-1564.

Hai Zhao and Chunyu Kit. 2008.Unsupervised segmentation helps supervised learning of character tagging for word segmentation and named entity recognition. In Proceedings of the Sixth SIGHAN Workshop on Chinese Language Processing.

转载地址：http://whmgi.baihongyu.com/

你可能感兴趣的文章

Ubuntu/centos/redhat/SUSE sipp安装（带rtp支持，3.5.1版本）

查看>>

周鸿祎：很多程序员聪明，但我一看就知道他不会成功

查看>>