文本到图像生成中的人类反馈数据集构建与实践

1. 文本到图像生成中的人类反馈数据集构建实践在大型语言模型(LLMs)领域基于人类偏好的学习方法取得了显著成功这启发了我们在文本到图像生成领域采用类似的方法论。传统的图像偏好标注(即从两张图像中选择更好的一张)虽然有用但存在信息量不足的局限性——它无法告诉我们为什么一个图像优于另一个是因为风格更吸引人真实感更强还是与文本提示更匹配我们通过Rapidata平台收集了超过150万条来自15万多名独立标注者的详细反馈构建了一个多维度的文本到图像生成评估数据集。这个数据集不仅包含简单的偏好选择还提供了以下丰富信息基于李克特量表(Likert scale)的三维度评分风格(视觉吸引力)、连贯性(逻辑合理性)和提示对齐度(与文本的匹配程度)对提示中未正确呈现的词语进行标注针对图像中不连贯或不对齐区域的热点图标注这种多维度的反馈机制使我们能够深入分析图像生成模型的优缺点而不仅仅是得到一个好或坏的二元判断。2. 标注系统设计与实现细节2.1 三维评分体系构建我们设计的评分系统包含三个独立维度每个维度采用5分制李克特量表风格评分(1-5分)评估标准图像的视觉吸引力、美学品质5分极具视觉吸引力风格独特且一致1分视觉上不吸引人风格混乱或不一致操作提示要求标注者关注色彩搭配、构图平衡、艺术风格等元素连贯性评分(1-5分)评估标准图像的逻辑合理性和真实感原始评分5分表示最多错误(非常不连贯)1分表示无错误(完全连贯)最终转换为保持评分一致性将分数反转使5分代表高连贯性典型问题扭曲的物体/肢体、物理上不可能的元素、比例失调等对齐度评分(1-5分)评估标准图像与文本提示的匹配程度5分完美匹配提示的所有元素1分与提示严重不符评估要点对象存在性、属性准确性、场景一致性实际操作中发现要求标注者先识别错误再反转评分比直接评估连贯性更可靠。这种方法减少了主观判断的偏差。2.2 细粒度错误标注机制除了整体评分我们还设计了两种细粒度的错误标注方式词语级不对齐标注界面显示文本提示标注者点击未在图像中正确呈现的词语支持多选记录每个词语被选择的频率最终生成词语级别的不对齐热图显示哪些词语最常被忽略或错误呈现区域级问题标注对低分(≤3分)图像要求标注者标记具体问题区域连贯性问题标注扭曲物体、不可能元素等对齐问题标注与提示不符的区域每个标注者可标记最多3个独立点使用高斯核(标准差为图像短边5%)生成热图聚合多人标注结果2.3 质量控制措施为确保数据质量我们实施了多层次的质量控制标注者信任评分系统基于历史表现给标注者分配信任权重低信任度标注者的贡献会被降权定期淘汰持续低质量的标注者验证集机制插入已知质量的验证图像(约10%)检测标注者的一致性和准确性自动暂停不一致的标注任务多样性保障每张图像由至少20个不同标注者评估标注者来自全球不同地区避免单一文化视角主导评价标准3. 数据集构建实战3.1 图像来源与处理我们的数据集包含约13,000张生成图像来自两个主要来源文本到图像模型基准测试集(50%)283个精选提示使用6种主流模型生成Flux1.1-pro/Flux1-proDALL-E 2Stable Diffusion 3Imagen 3Midjourney 5.2每个提示-模型组合生成多个变体扩充集(50%)从DiffusionDB选取约3,000个提示使用Stable Diffusion 3.5-Large生成故意包含重复提示以分析输出变异性所有图像都经过以下预处理统一调整为1024×1024分辨率格式转换为JPEG(质量90)元数据清理(移除生成参数等敏感信息)3.2 标注流程实现我们使用Rapidata Python API搭建完整的标注流水线# 初始化客户端 from rapidata import RapidataClient client RapidataClient() # 从Hugging Face加载数据集 from datasets import load_dataset ds load_dataset(Rapidata/text-2-image-Rich-Human-Feedback, splittrain, streamingTrue) ds ds.select_columns([image, prompt]) # 准备本地存储 import os tmp_folder annotation_images os.makedirs(tmp_folder, exist_okTrue) # 提取样本数据 prompts [] image_paths [] for i, row in enumerate(ds.take(100)): # 取100个样本 prompts.append(row[prompt]) save_path os.path.join(tmp_folder, f{i}.jpg) row[image].save(save_path) image_paths.append(save_path)3.3 三种标注任务配置1. 李克特量表评分任务# 对齐度评分示例 alignment_order client.order.create_classification_order( nameAlignment Rating, instructionHow well does the image match the description?, answer_options[ 1: Not at all, 2: A little, 3: Moderately, 4: Very well, 5: Perfectly ], datapointsimage_paths, contextsprompts, # 显示对应提示 responses_per_datapoint20, # 每图20个评分 selections[ ValidationSelection(valid_set_align), # 验证集ID LabelingSelection(1) # 标注者筛选级别 ] ) alignment_order.run()2. 区域热图标注任务# 对齐问题热图 heatmap_order client.order.create_locate_order( nameAlignment Heatmap, instructionTap areas that dont match the description, datapointsimage_paths, contextsprompts, responses_per_datapoint15, # 每图15个标注 selections[ ValidationSelection(valid_set_heatmap), LabelingSelection(2) # 更高要求的标注者 ] ) heatmap_order.run()3. 错误词语选择任务# 不对齐词语选择 from rapidata import LanguageFilter word_select_order client.order.create_select_words_order( nameMisaligned Words, instructionSelect words not correctly represented in the image, datapointsimage_paths, sentences[p [No_Mistake] for p in prompts], # 添加控制标记 responses_per_datapoint15, filters[LanguageFilter([en])], # 仅英语标注者 selections[ ValidationSelection(valid_set_words), LabelingSelection(2) ] ) word_select_order.run()4. 数据分析与应用4.1 评分分布与模型比较通过对1.5M评分的分析我们发现不同模型在三个维度上表现各异模型平均风格分平均连贯性分平均对齐度分Midjourney 5.24.24.13.9DALL-E 23.84.04.1Stable Diffusion 33.53.73.6Imagen 33.94.24.0风格得分艺术化模型(Midjourney)领先而更注重真实感的模型(DALL-E)稍逊连贯性最新模型普遍表现良好但复杂场景仍会出现物理不合理现象对齐度所有模型在复杂提示(多对象、复杂关系)上表现下降明显4.2 常见问题热图分析热图数据揭示了系统性问题区域物体边缘和接合处手指、肢体连接处高频出现不连贯标记物体交叉区域容易出现不合理的遮挡关系文本相关元素生成文字的错误率极高标志、符号经常被错误呈现复杂空间关系A在B后面等空间提示经常出错透视不一致问题普遍存在4.3 词语对齐分析词语级分析显示某些词类特别容易出错数量词两只猫中的两经常被忽略颜色描述特定色调难以准确呈现抽象概念幸福、恐怖等主观描述实现不一致专业术语特定领域词汇理解不准确5. 挑战与改进方向在实际操作中我们遇到了几个值得注意的挑战标注歧义问题某些不对齐情况难以用点标注准确表达例提示要求三只猫图像中有两只猫和一只狗多数标注者选择标注狗但这不能完全反映问题本质解决方案探索试验多边形标注或自由绘制工具文化差异影响某些美学判断受文化背景影响西方标注者更偏好高对比、鲜艳的风格亚洲标注者可能更欣赏柔和、留白的构图当前方案确保标注者地域多样性计算分区域评分提示模糊性抽象提示(一个快乐的场景)导致评分分歧大改进方向对提示本身进行难度/模糊度分类未来工作将聚焦于引入更灵活的标注方式(自由绘制、区域选择)增加细粒度属性标注(材质、光照、情感)开发动态评分系统适应不同应用场景需求探索自动质量评估与人类反馈的结合这个数据集已在Hugging Face平台开源包含完整的标注数据、分析脚本和可视化工具。我们期待它能推动文本到图像生成技术向更可控、更可靠的方向发展。