医学AI又一突破，微软开源生物医学NLP基准：BL

微软的研究团队近日在 arxiv.org 发布了论文：《Domain-Specific Language Model Pretraining for Biomedical Natural Language Processing 生物医学特定领域的语言模型预训练》，介绍并开源了一个能够用于生物医学领域 NLP 基准，并命名为 BLURB。

论文地址：https://arxiv.org/pdf/2007.15779.pdf

Biomedical Language Understanding and Reasoning Benchmark 的首字母缩写，即为 BLURB 的命名规则，翻译为生物医学语言理解和推理基准。

医学 NLP 基准，BLURB 身负重任

BLURB 包括 13 个公开可用的数据集，涉及 6 个不同的任务。

为了避免偏重多可用数据集的任务，如命名实体识别（NER），BLURB 的报告和排名，将所有任务的宏观平均数作为主要得分。

图为 BLURB 中使用的数据集、以及团队列出的训练、开发和测试中的实例数量

BLURB 排行榜是不分模型的。任何能够使用相同的训练和开发数据产生测试预测的系统都可以参与。

团队表示 BLURB 的主要目标是：降低生物医学NLP的准入门槛，帮助加快该领域的进展，能对社会和人类产生积极影响。

生物医学 NLP ：必须使用域内文本

研究已经表明生物医学 NLP 可以在医学领域提高数据集的准确性。但是在跨学科的数据集中，准确性又会大大降低。而由于不同医学领域之间（Domain）跨度较大，所以对于 NLP 的预训练会花费非常多的时间。

微软研究人员为了提升 NLP 的训练速度，通过对预训练和特定任务的微调，对生物医学 NLP 应用的影响进行了建模比较，从而评估最适合的预训练方法。

团队对域内文本与混合域外文本进行的对照