NVIDIA-Nemotron-Labs-3-Puzzle-75B-A9B-FP8训练数据集全解析153个数据集详细分析【免费下载链接】NVIDIA-Nemotron-Labs-3-Puzzle-75B-A9B-FP8项目地址: https://ai.gitcode.com/hf_mirrors/nvidia/NVIDIA-Nemotron-Labs-3-Puzzle-75B-A9B-FP8NVIDIA-Nemotron-Labs-3-Puzzle-75B-A9B-FP8是一款由NVIDIA开发的推理优化大型语言模型它继承了Nemotron-3-Super-120B-A12B的强大能力并通过创新的Iterative Puzzle压缩框架实现了显著提升的推理效率。这款模型在保持强大下游准确性的同时将参数从120.7B总量/12.8B激活减少到75.3B总量/9.3B激活为交互式、推理密集型任务提供了卓越的性能表现。 训练数据集概览NVIDIA-Nemotron-Labs-3-Puzzle-75B-A9B-FP8的训练数据集规模令人印象深刻总规模达到15,573,172,908,990个令牌涵盖了153个不同的数据集。这些数据集涵盖了从2013年到2026年2月24日的时间跨度为模型提供了丰富多样的训练素材。数据收集与处理策略模型的训练数据采用混合收集方法包括自动化收集、人工标注和合成生成三种方式。数据标注同样采用混合方法确保了数据质量和多样性。这种精心设计的数据策略是模型能够在多个领域表现出色的关键因素。️ 核心数据集架构基础预训练语料库模型的训练建立在强大的Nemotron-3-Nano语料库基础上主要包括以下几个核心集合数据集集合令牌数量描述Nemotron-CC-v2 v2.19.13T从Common Crawl过滤的大规模英文网页数据包含超过2.5T令牌的新有机、翻译和合成改写内容Nemotron-CC-Code-v1427.9B使用Lynx LLM流水线从Common Crawl提取的高质量代码令牌保留了结构和方程式Nemotron-Pretraining-Code-v1 v21.09T经过多阶段过滤、去重和大规模合成代码数据的精选GitHub代码参考Nemotron-CC-Math-v1133.3B保留LaTeX格式和数学结构的高质量数学预训练数据集Nemotron-Pretraining-Specialized-v1336.4B针对STEM推理和科学编码等专业领域的合成数据集公开数据集资源模型训练使用了大量公开可用的高质量数据集包括学术资源arXiv、BioRxiv、PubMed摘要、PMC开放获取子集数学资源OpenWebMath、MathPile、NuminaMath CoT、FineMath、MegaMath代码资源GitHub爬取数据、Stack Exchange数据转储、OpenCodeReasoning-2问答资源HotpotQA、SQuAD2.0、AI2推理挑战、OpenBookQA对话资源LMSYS-Chat-1M、HelpSteer3、FastChat 数据集分类详解1. 多语言训练数据 模型支持英语、法语、德语、意大利语、日语、西班牙语和中文等多种语言。多语言数据主要来自多语言Common Crawl从三个Common Crawl快照CC-MAIN-2024-51、CC-MAIN-2025-08、CC-MAIN-2025-18中提取的15种语言数据合成翻译数据使用Qwen3-30B-A3B等模型生成的翻译内容多语言维基百科从Wikimedia转储中提取的多语言内容2. 代码与编程训练数据 为了提升模型的编程能力训练数据包含了丰富的代码资源GitHub代码爬取747.4B令牌的原始源代码经过许可过滤合成代码概念7.29B令牌使用gpt-oss-20b和gpt-oss-120b生成CUDA内核100k个合成CUDA内核基于KernelBook、HuggingFace Transformers和FlashInfer软件工程数据集SWE-Gym、R2E-Gym-Subset、SWE-bench_Verified等3. 数学与科学推理数据 数学推理能力是模型的重要特性相关数据集包括数学问题集Art of Problem Solving、美国数学竞赛AMC 8/10、GSM8K高级数学资源Advanced Reasoning Benchmark、PRM800K、SciBench合成数学数据使用DeepSeek-R1、Qwen2.5-Math-72B等模型生成的数学推理轨迹科学数据生物医学文献BioRxiv、PubMed、物理数据集、化学竞赛数据4. 长上下文训练数据 模型支持高达1M令牌的上下文长度这得益于专门的长上下文训练数据长文档处理CORE、PG-19、DOAB CC BY CC BY-SA子集、NDLTD合成长上下文数据使用Qwen3-235B-A22B-Instruct-2507从学术论文和许可书籍生成128Ki和512Ki序列长度训练专门的长上下文恢复阶段 合成数据生成策略NVIDIA采用了创新的合成数据生成方法显著提升了模型质量教师模型蒸馏训练过程中使用了多个先进的教师模型来生成高质量的合成数据DeepSeek系列DeepSeek-V3、DeepSeek-R1、DeepSeek-R1-0528Qwen系列Qwen3-235B-A22B、Qwen2.5-72B、Qwen2.5-32B-Instruct其他先进模型gpt-oss-120b、Mixtral-8x22B-v0.1、Phi-4等数据质量过滤为确保合成数据的质量NVIDIA实施了严格的数据过滤管道结构检查丢弃格式错误的示例例如工具调用存在时缺少工具定义重复检测过滤表现出病态重复的推理轨迹内容过滤应用基于关键词和正则表达式的过滤器移除与特定政治实体对齐的内容 数据集规模与分布令牌数量分布训练数据的总规模为15.57万亿令牌分布在以下主要类别中网页数据超过9万亿令牌Nemotron-CC-v2系列代码数据超过1.5万亿令牌数学数据超过2000亿令牌合成数据超过6万亿令牌语言分布虽然主要语言是英语但模型也接受了其他6种语言的大量训练英语主要训练语言占绝大多数数据法语、德语、意大利语、日语、西班牙语、中文通过翻译和原生内容支持 数据增强技术知识蒸馏恢复Puzzle-75B-A9B-FP8从Nemotron-3-Super-120B-A12B初始化并继承了父模型的预训练和后训练数据。压缩恢复阶段使用知识蒸馏混合了30%的预训练数据和70%的监督微调数据。强化学习恢复模型经过强化学习恢复专注于软件工程和代理能力软件工程RL管道单步工具使用比较训练和端到端沙盒RL多轮交互代理在隔离的执行环境中进行多轮交互权重平均多个RL运行的权重平均以获得最终检查点️ 安全与伦理考虑内容安全数据集模型训练使用了专门的安全数据集来确保负责任的行为Nemotron内容安全数据集V2Gretel合成安全对齐数据集RedTeam-2K和恶意任务数据集偏见缓解策略数据集在人口统计群体代表性方面存在不均衡NVIDIA采取了以下缓解措施偏见审计定期评估模型输出中的偏见平衡数据集微调使用人口统计平衡的数据集进行微调反事实数据增强通过数据增强技术与期望的模型行为对齐 教育与应用数据集教育资源模型训练包含了丰富的教育资源提升了教学和解释能力OpenStaxCC BY-SA子集的开放教育资源开放教材库CC BY-SA和GNU子集的教育材料可汗学院数学关键词数学教育内容专业领域数据模型在多个专业领域接受了专门训练法律领域法院监听器、SEC的EDGAR系统金融领域FinQA、财务报表分析医疗领域MedMCQA、生物医学文献伦理领域社会化学101、道德故事 数据质量保证验证机制所有合成数据都经过严格的自动验证编译器检查代码数据的语法和语义正确性数值检查数学推理的准确性验证语言识别多语言内容的质量控制许可合规性所有训练数据都经过许可检查确保合规使用开源许可MIT、Apache 2.0、CC BY-SA等商业许可确保商业部署的合法性数据来源追踪完整的数据来源记录 部署优化数据集量化训练数据FP8检查点针对Hopper级GPU优化NVFP4检查点针对Blackwell级GPU优化。模型还使用持续的MTP训练来提高推测解码接受长度和增加服务吞吐量。推理优化训练数据特别注重推理效率包括交互式工作负载对话和问答数据推理密集型任务数学和逻辑推理数据集长上下文处理文档理解和总结数据 总结与展望NVIDIA-Nemotron-Labs-3-Puzzle-75B-A9B-FP8的训练数据集代表了当前AI训练数据工程的巅峰之作。153个数据集的精心组合超过15万亿令牌的庞大规模以及创新的合成数据生成策略共同造就了这款在推理、编码、多语言、长上下文和代理基准测试中表现卓越的模型。这款模型的成功不仅在于其先进的架构设计更在于其背后精心策划的训练数据生态系统。从Common Crawl的大规模网页数据到高度专业化的合成数据集每一个数据源都经过精心挑选和处理确保了模型在广泛任务中的卓越表现。随着AI技术的不断发展我们可以期待NVIDIA继续推动训练数据质量的边界为下一代AI模型提供更加丰富、多样和高质量的训练资源。【免费下载链接】NVIDIA-Nemotron-Labs-3-Puzzle-75B-A9B-FP8项目地址: https://ai.gitcode.com/hf_mirrors/nvidia/NVIDIA-Nemotron-Labs-3-Puzzle-75B-A9B-FP8创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考