2020 | X as Expert

Posted on | Post modified: | In | Post Total Visits
Words count in article: 711 | Reading time ≈ 2

Content

  1. Entities as Experts: Sparse Memory Access with Entity Supervision. EMNLP,2020.
  2. Facts as Experts: Adaptable and Interpretable Neural Memory over Symbolic Knowledge. 2020.

Entities as Experts

Title: Entities as Experts: Sparse Memory Access with Entity Supervision
Authors: Thibault Févry, Livio Baldini Soares, Nicholas FitzGerald, Eunsol Choi, Tom Kwiatkowski
Org.: Google Research;
Published: EMNLP,2020.

A. Motivation

  • 捕获语言模型参数中的实体陈述型知识
  • 学习、使用专用的独立的实体表示，可以在使用时，直接对目标entity的memory进行读取

B. Contribution

  • 设计了一个新的模型结构，可以通过文本，和其他的模型参数一起学习实体表示；
  • 在开放域QA数据集和LAMA任务上验证了模型性能

C. Approach

e-expert

监督信号：

  • mention boundary detection loss：BIO分类
  • entity linking loss：用hyperlinked entity去监督entity memory assess？access？
  • masked language modeling loss

D. Experiment

  • QA
  • Knowledge Probing：LAMA、预测Wikipedia hyperlink
  • K近邻的选择

E. Analysis

  • 预定义实体词表，存在unseen entity问题
  • entity memory layer的训练和主体模型训练是耦合的，训练好的entity memory无法迁移
  • 针对Wikipedia领域，factual entity 的学习，对常识知识不敏感
  • 从头训练模型，没有借助任何预先可获取的LM参数

Fact as Experts

Title: Fact as Experts: Adaptable and Interpretable Neural Memory over Symbolic Knowledge
Authors: Pat Verga, Haitian Sun, Livio Baldini Soares, William W. Cohen
Org.: Google Research;
Published: 2020.

A. Motivation

针对问题：

  • 知识以隐式参数的形式存在在模型中，无法检查和解释；
  • 训练语料中事实信息易过时；
  • 存储在模型参数中的知识，容易受到源材料内在bias的影响；
  • 文本中无法包含符号化知识

B. Contribution

  • 本文提出了一个神经语言模型，构建了一个显式的接口，连接符号化可解释事实信息和非符号的神经知识；
    • 将上下文编码和从外部记忆中抽取的知识整合，这些外部的记忆和符号知识相绑定，可以添加和修改；
    • 可以在Inference阶段注入新的记忆，处理在pretrain阶段没有见过的实体
    • 可以用新的事实overwrite先验记忆，迭代更新
  • 本文方法的优势：
    • 模型可以通过操纵其符号化表示来更新，而不需要re-training
      • can be inserted by updating the symbolically bound memory
    • 本文的方法可以实现更好的factual coverage，通过向symbolic memory中插入受信的事实内容

与 Entity As Expert工作的不同：

  • EaE以end-to-end的方式学习实体表示，本文的方法是采用separatly-trained KB embedding
  • 本文对EaE进行扩展，引入关于triplets的符号化记忆

C. Approach

f-expert

fact memory的输入是symbolic KB中的三元组

  • 三元组由EaE学习的entity embedding组合成
  • key-value 记忆的形式
    • key是head set = (subject, realtion)
    • value是tail set = (object)

预训练输入：

  • 构建一个cloze-type QA 任务

D. Experiment

[TBU]

E. Analysis

  • 基于EaE模型之上的工作
**** END of This Post. Thank for Your READING ****
If you have any Question, welcome to Email me or leave your comments below.