周杰伦三词作曲，曹植七步成诗。近年来，约束文本生成任务越来越引起人们的兴趣，该任务涉及在某些前提条件下构造自然语言输出，

　　今晚，论文作者 Steven Y. Feng 将作为代表出席第 14 届 INLG 会议，线上分享自然语言生成的团队研究。

　　除了世界级的研究报告外，今年的会议还将包括研讨会、教程、受邀专家的讲座和一个讨论小组：用户希望从现实世界的 NLG 中获得什么。小组讨论将由目前在计算机学习、NLG 和认知 AI 助手行业工作的学者领导。

　　虽然自然语言生成已经建立了 70 多年，但将其视为业务的基础技术却是在近些年。Gartner 等分析公司最近已认识到 NLG 是一种核心能力，同时 INLG 也表明，会议现已从一个利基学术团体走向学术和商业领域融合的广阔领域。

　　Steven Y. Feng，现为卡耐基梅隆大学（CMU）研究生，对 NLP、机器学习、深度学习和人工智能研究有丰富的经验和热情。

　　论文作者表示，人类能够从常识推理，甚至反演，这种能力可以定义为从一组概念生成逻辑句子来描述日常场景，在这种情况下，这些概念是必须以某种形式在输出文本中表示的单个单词。

　　因此，作者提出了一套简单而有效的概念到文本生成改进方案，称为 SAPPHIRE: 集增强和短语填充、重组。具体来说，SAPPHIRE 由两种主要方法组成 :

　　2 ) 将从 baseline 中提取的短语重组成更流畅、更有逻辑的文本。这些主要是与模型无关的（model-agnostic）改进，分别依赖于数据本身和模型自己的初始代。

　　通过使用 BART 和 T5 模型的实验，他们证明了这两种模型在生成性常识推理，即 CommonGen 任务上的有效性。通过广泛的自动和人工评估，我们发现 SAPPHIRE 显著提高了模型性能。深入的定性分析表明，SAPPHIRE 有效地解决了基线模型生成的许多问题，包括缺乏常识、不够具体和流利性差等问题。

　　如何解决 BL 模型的固有问题，近年来，随着模型改进的研究取得了很大的进展，许多文本生成任务的性能得到了显著改善。

　　在冯团队中，他们设计了两步走战略：通过提取关键字和注意矩阵，在训练期间从参考文献中扩充概念。对于短语重组直觉，提出了基于新训练阶段和掩蔽填充的两个方法。最后，通过综合评估，他们展示了 SAPPHIRE 是如何通过各种指标提高模型性能，以及解决 baseline 在常识、特异性和流畅性方面的问题。

　　他们的第一个方法：Kw-aug 和 Att-aug，分别在训练现成的关键字提取模型注意值时，从参考文献中提取关键字，使用它们在训练时扩展输入概念集。（通过动作联想场景，通过名词联想动作，也就是由名词扩增动词，由动词扩增状语等）

　　概念扩增的方法激发了 Steven Y. Feng 五人的想象力，是否有简单有效的方法可以从数据本身来提高这些自然语言生成的性能 ? 此外，是否有可能利用这些模型本身的输出来进一步提高它们的任务表现——某种 自我反省 ?

　　在第二种方法中，他们从模型输出中提取非重叠的关键短语，然后构建一个新的概念集，其中包含这些关键短语和原始概念集中的其他非重叠概念。

　　如此，机器完成一轮 自我启发 ，虽然并不算是自然语言范畴的 艺术创作 ，却在实验中贯穿了形象思维与抽象思维经过复杂的辩证关系构成的思维方式。想象与联想，灵感与直觉，理智与情感，意识与无意识，它们在未来能否卡定在不同的向量图中，建模、量化，或许一问出口，便已有知。