Skip to main content

One post tagged with "文本生成"

View All Tags

基于 MCMC 采样的文本生成

· 2 min read
PuQing
AI, CVer, Pythoner, Half-stack Developer

在受限文本生成 (Constrained Text Generation) 任务中,我们需要根据一些特定的信息 cc 来生成目标文本 x\boldsymbol{x},用数学的话说就是 p(xc)p(\boldsymbol{x}\mid \boldsymbol{c})。但是我们无法得到足够多的语料对 (x,c)(\boldsymbol{x},\boldsymbol{c}) 去直接监督一个条件语言模型,而只能训练一个无条件的语言模型 p(x)p(\boldsymbol{x}),但是我们可以设计一个指标来定量的描述 x\boldsymbol{x}c\boldsymbol{c} 之间的联系。

举例来说,用关键词造句,那么 x\boldsymbol{x} 就是关键词的集合,我们可以定义示性函数: