在大语言模型中，为什么会有逆转诅咒？

初学者可能会问为什么大语言模型会出现逆转诅咒现象呢这实际上与其训练和预测的方式密切相关。大语言模型的训练核心在于 “下一个词token预测”next token prediction。这一方法指的是在已知一段文本序列的情况下预测序列中的下一个词或 token。例如对于以下文本序列《大语言模型应用指南》这本书写得很棒。在训练过程中我们会将 “棒” 这个词或 token 掩盖起来然后让大语言模型利用 “《大语言模型应用指南》这本书写得很” 来预测出最后一个词或 token—— “棒”。同样地在实际预测时大语言模型也是通过逐步预测下一个词或 token 来进行。例如当输入是 “《大语言模型应用指南》这本书写”模型可能会预测下一个词是 “得” 然后将 “《大语言模型应用指南》这本书写得” 作为新的输入继续预测下一个词是 “很”如此逐步推演下去。因此不难看出由于这种 “下一个词预测” 的训练和预测方式大语言模型的 “思维方式” 呈现出一种线性思维。线性的思维方式使得大语言模型天然存在一些局限性其中之一就是逆转诅咒现象。我们可以通过人类的一些行为来做类比想象你在背诵古诗词。因为我们通常以顺序线性的方式记忆所以能够很快根据前一句回答出后一句。但如果反过来从后一句让你回忆前一句你可能会一时难以反应过来。