Reading Comprehension Skills
An Analysis of Prerequisite Skills for Reading Comprehension.[1]
Prerequisite skills for reading comprehension: Multi-perspective analysis of mctest datasets and systems. AAAI,2017.[2]
Evaluation Metrics for Machine Reading Comprehension: Prerequisite Skills and Readability. ACL,2017.[3]
(从数据的角度)将阅读理解所需要的能力分为两类: 认知能力(prerequisite skill) 和 语言能力(readability)
1.prerequisite skills
认知能力: measure different types of reasoning and knowledge required to answer the question
定义了 13 种认知能力[4], 如下:
- object tracking 目标跟踪
- 同时锁定和跟踪多个目标，如集合或个体，也被称为列举或枚举
- mathematical reasoning 数学推理
- 能够完成统计或者量化操作
- coreference resolution 指代消解
- 将指代词映射到相应的实体上
- logical reasoning 逻辑推理
- 逻辑操作，例如对量词、否定、条件以及转移推理
- analogy 类比
- 能够了解一些隐喻，如转喻和提喻
- causal relation 因果关系
- 理解文本中的因果关系
- spatiotemporal relation 空间关系
- 理解空间或者时间上的关系
- ellipsis 省略
- 识别出文章中隐含或者忽略的信息，如参数、谓词、量词、时间等等
- bridging 间接引用
- 能够根据词法或者句法的信息进行推理
- elaboration 阐述
- 能够根据已有事实/常识进行推理
- meta-knowledge 元知识
- 理解读者、作者或者文体信息（如：谁是这个故事的主人公）
- schematic clause relation 短语关系
- 理解包含有并列、从句或者关系子句的复杂句子
- punctuation 标点符号
- 理解文章中标点符号代表的意义
备注：
- 认知能力与RC的一个联系是：当回答一个问题时，需要用到的认知能力越多，该问题越难回答
- 9和10的区别在于：9利用词项/句法信息还是10通用的常识信息
- 8到11是对Commonsense reasoning的细致分类
- 1-11是涉及到多句的，12-13涉及单句
2.readability
语言能力: 如何将低层次的文本符号（字、词）组合为高层次的含义的能力
measures the text ease of processing and a wide range of linguistic features/human readability measurements are used.
- 词义辨析：正确理解和区分词的意思。
- 句法识别：识别出文本的句法信息，使推理过程不受句法 变化的影响。
- 语义组合：根据句法信息将基本单元（字、词）的语义组 合成高等单元（句子，篇章）的语义。
Metrics/Evaluation
如何评价一个example的难度？