增加离散度为何重要上图下方的曲线图表示离散度越高图像生成和重建的质量越好之前VAE和GAN都是将隐变量z设置的连续值VQGAN则是将Z转换为了离散值再进入解码器为什么增加离散度很难1原本左侧是个连续的噪声图如果强行换成离散的2o5sS...后就不存在雅可比行列式了因为离散不可导就没办法训练为什么增加离散度很难2对于GAN模型如果将先转换为离散的字符再输入到判别器那回来对输入的求导就没法求了因为是离散的不可导也实现不了l;我们的模型当前过于依赖微积分为什么不能将token嵌入到连续空间中可以将其离散化到连续空间但是留下的空白太多了学习起来很苦难综上目前最好的模型就是自回归模型接着列了一些自回归模型的有优点列了一些自回归模型的有缺点进主题基于上面说过的自回归的问题重新思考一下基于分数的模型因为这样不用去限制概率和为1这个困难项下来的主题就是怎么将这些模型推广到离散分三步第一是怎么将评分匹配推广到离散空间有了离散评分后怎么生成新样本当我们构建生成模型生成新序列时能评估似然吗目的是与自回归模型做比较。将评分函数推到离散空间使用离散求梯度的方式来转换评分函数优化p(y)/p(x)因为要最大化第10点中的对数的导数因此要遍历p(y)/p(x)找最大值但是量太大改为求局部的用个神经网络来算比率如何学习这个比率用这个分数熵来作为损失函数学习为什么设置这样的损失函数化解x0是干净样本x是加噪后的样本最终化解为最终要么是可抽样的要么是可计算的只有s是需要求的如何用具体评分抽样Q的列和为0Q非对角线上的值非负反向太特么尼玛的复杂了看不懂了到这儿才看一半我就不死磕了等博主把前面的内容整理消化后再来重温它吧后续计划是会出一个专栏来整理CS236各个课程的知识框架主要还是将前面的知识系统化最后再来重温和消化这一课的东西感觉这个讲师是把他的研究成果拿出来分享了一时半会儿无法吸收想想也是人家研究了那么久的东西你凭什么看一堂课就能懂那么在另外一个专栏里再和大家分享更系统化的知识吧。