基于 MCMC 采样的文本生成
· 2 min read
在受限文本生成 (Constrained Text Generation) 任务中,我们需要根据一些特定的信息 来生成目标文本 ,用数学的话说就是 。但是我们无法得到足够多的语料对 去直接监督一个条件语言模型,而只能训练一个无条件的语言模型 ,但是我们可以设计一个指标来定量的描述 和 之间的联系。
举例来说,用关键词造句,那么 就是关键词的集合,我们可以定义示性函数:
在受限文本生成 (Constrained Text Generation) 任务中,我们需要根据一些特定的信息 来生成目标文本 ,用数学的话说就是 。但是我们无法得到足够多的语料对 去直接监督一个条件语言模型,而只能训练一个无条件的语言模型 ,但是我们可以设计一个指标来定量的描述 和 之间的联系。
举例来说,用关键词造句,那么 就是关键词的集合,我们可以定义示性函数: