目录1 Grok-1.5上下文窗口的突破与长文本理解1.1 从8K到128K上下文窗口的量级扩展1.2 长上下文理解能力的评估2 Grok-1.5V视觉理解的引入2.1 多模态架构的设计选择2.2 视觉理解能力的评估3 Grok-2性能的全面跃迁3.1 Grok-2的架构改进与性能突破3.2 Grok-2 mini效率与性能的平衡4 Aurora自回归图像生成的突破4.1 从扩散模型到自回归生成4.2 Aurora的技术特点5 Grok API与生态建设5.1 API的设计与定价5.2 开发者生态的挑战6 从Grok-1.5到Grok-2的技术演进总结6.1 关键技术改进的脉络6.2 Grok-2系列在AI竞赛中的位置参考文献博主智算菩萨专注于人工智能、Python编程、音视频处理及UI窗体程序设计等方向。致力于以通俗易懂的方式拆解前沿技术从零基础入门到高阶实战陪伴开发者共同成长。目前已开设五大技术专栏累计发布多篇原创技术文章深受读者好评。 专栏导航人工智能前沿知识已更144篇深度剖析Transformer架构、生成式AI、强化学习、具身智能、神经符号系统、大模型及智能体Agent技术系统性解析AI核心技术体系与前沿趋势。Python基础小白编程已更232篇从零开始以保姆式教程讲解变量、数据类型、流程控制、函数等核心语法配有大量实战代码与避坑指南真正做到学以致用。机器学习与深度学习125篇系统化拆解线性模型、决策树、随机森林、梯度提升树、神经网络等算法原理与工程实践覆盖从公式推导到代码实现的全链路内容。音频、图像与视频处理理论与实战81篇涵盖FFmpeg多媒体处理、audio_shop开源工具、ComfyUI-WanVideoWrapper视频生成等实用技术从基础操作到高级应用一应俱全。UI窗体程序设计实战78篇深入讲解UI设计、动态窗体生成、游戏UI框架设计等实战技巧提供从配置到编码的完整解决方案。智算菩萨以代码为经以算法为纬在人工智能的星辰大海中做你前行路上最可靠的导航者。Grok国内使用入口是AIGCBAR。1 Grok-1.5上下文窗口的突破与长文本理解1.1 从8K到128K上下文窗口的量级扩展2024年3月xAI发布了Grok-1.5这是Grok系列模型的第一次重大升级。Grok-1.5最引人注目的改进是将上下文窗口从Grok-1的8,192个token扩展到了128,000个token实现了16倍的上下文长度提升。这一扩展不仅仅是简单的参数调整而是涉及多项技术改进的系统性工程。上下文窗口的扩展是大语言模型在2023-2024年最活跃的研究方向之一。从信息论的角度来看上下文窗口决定了模型在单次推理中能够看到的信息量直接影响其在长文档理解、多轮对话、代码分析等任务上的表现。然而扩展上下文窗口面临一个根本性的计算挑战标准Transformer的注意力机制具有O ( L 2 ) O(L^2)O(L2)的计算复杂度L LL为序列长度将上下文从8K扩展到128K意味着注意力计算量增加256倍。Grok-1.5通过多项技术优化来应对这一挑战。首先RoPE位置编码的基频调整base frequency scaling使得模型能够更好地泛化到更长的序列。RoPE的原始设计中旋转角度的计算依赖于基频θ \thetaθθ i 10000 − 2 i / d \theta_i 10000^{-2i/d}θi​10000−2i/d在扩展上下文时xAI采用了动态基频缩放策略将基频从10,000调整到更大的值使得位置编码在长序列上仍然保持足够的区分度。这一方法与Meta在LLaMA系列中使用的RoPE缩放技术一脉相承但在具体参数选择上有所差异。其次Grok-1.5优化了KV缓存的内存管理。在128K上下文下KV缓存的大小将显著增加尤其是在GQA配置下。xAI通过改进KV缓存的分页管理和预取策略减少了长序列推理时的内存峰值占用使得128K上下文推理在合理的硬件配置下成为可能。1.2 长上下文理解能力的评估Grok-1.5在长上下文理解任务上的表现得到了显著提升。xAI报告了Grok-1.5在Needle In A HaystackNIAH测试中的结果——该测试要求模型在长文本中检索特定的信息片段是评估长上下文理解能力的标准基准。Grok-1.5在128K上下文范围内的NIAH测试中实现了接近完美的检索准确率这表明模型确实能够有效利用扩展的上下文窗口而非仅仅看到更多token却无法理解其内容。评估维度Grok-1Grok-1.5提升幅度上下文窗口8,192 tokens128,000 tokens16倍NIAH检索准确率未报告约100%128K内显著提升MATH基准未报告50.6%新增报告GSM8K未报告90%新增报告HumanEval编码未报告88%新增报告在数学推理和编程任务上Grok-1.5也展现了明显的进步。MATH基准得分50.6%GSM8K得分超过90%HumanEval编码基准得分超过88%。这些改进不仅来自上下文窗口的扩展更得益于训练数据的优化和训练配方的改进。xAI在Grok-1.5的训练中增加了数学和编程数据的比例并采用了更精细的数据质量过滤策略。从缩放定律的角度来看这些改进验证了一个重要假设在固定模型规模下训练数据的质量和多样性对模型性能的影响可能比单纯的规模扩展更为显著。2 Grok-1.5V视觉理解的引入2.1 多模态架构的设计选择2024年4月xAI发布了Grok-1.5V这是Grok系列的首个多模态模型具备处理文档、图表、照片和科学图表等视觉输入的能力。Grok-1.5V的架构采用了视觉编码器语言模型的组合方案这是多模态大语言模型的主流设计范式。视觉编码器负责将图像转换为token序列语言模型则负责处理文本和视觉token的联合输入。Grok-1.5V的视觉编码器基于Vision TransformerViT架构将输入图像分割为固定大小的patch如14×14像素然后通过线性投影将每个patch映射为一个视觉token。为了处理不同分辨率的图像Grok-1.5V可能采用了动态分辨率策略——根据图像的宽高比调整patch的数量使得模型能够处理任意大小的图像。视觉token通过一个视觉-语言适配器adapter映射到语言模型的嵌入空间使得语言模型能够像处理文本token一样处理视觉token。多模态对齐训练的核心目标是使视觉编码器和语言模型在共享的嵌入空间中对齐视觉和文本的语义。Grok-1.5V的对齐训练可能采用了对比学习contrastive learning和指令微调instruction tuning的组合策略。对比学习阶段使用图像-文本对数据通过最大化匹配对的相似度和最小化不匹配对的相似度来学习对齐表示。指令微调阶段则使用多模态指令数据训练模型根据视觉输入生成文本回答。2.2 视觉理解能力的评估xAI发布了Grok-1.5V在多个多模态基准上的评估结果。在RealWorldQA基准上Grok-1.5V取得了优于GPT-4V和Claude 3 Opus的成绩展现了在真实世界场景理解方面的优势。RealWorldQA是一个专门评估AI模型对真实世界物理场景理解能力的基准包含关于照片中物体位置、数量和关系的问答对。多模态基准Grok-1.5VGPT-4VClaude 3 OpusRealWorldQA68.7%61.4%58.2%MMMU53.6%56.8%54.2%MathVista52.8%58.1%50.3%TextVQA78.1%82.3%79.5%Grok-1.5V在RealWorldQA上的优势可能来自X平台数据中大量真实世界图像的训练信号。X平台每天产生数以亿计的图片帖子这些图片涵盖了广泛的真实世界场景为视觉理解模型提供了丰富的训练数据。然而在需要更深层次视觉推理的基准如MMMU和MathVista上Grok-1.5V与GPT-4V仍有差距这表明Grok-1.5V的视觉推理能力还有提升空间。3 Grok-2性能的全面跃迁3.1 Grok-2的架构改进与性能突破2024年8月xAI发布了Grok-2和Grok-2 mini这是Grok系列在性能上的又一次重大飞跃。Grok-2在多项基准上达到了与GPT-4o和Claude 3.5 Sonnet相当的水平标志着xAI正式进入了AI竞赛的第一梯队。Grok-2的架构在Grok-1的基础上进行了多项改进包括MoE路由的优化、训练数据的扩展和对齐方法的改进。Grok-2在核心基准上的表现令人瞩目。在MATH基准上Grok-2的得分从Grok-1.5的50.6%大幅提升至76%以上在GPQA研究生水平问答基准上Grok-2达到了56%的准确率在MMLU基准上Grok-2的得分约为88%。这些成绩使得Grok-2在数学推理、专业知识和编程能力方面与GPT-4o和Claude 3.5 Sonnet处于同一水平。基准测试Grok-2GPT-4oClaude 3.5 SonnetGemini 1.5 ProMMLU~88%88.7%88.7%85.9%MATH76%76.6%71.1%67.7%GPQA56%53.6%59.4%51.2%HumanEval88%90.2%92.0%84.1%MMLU-Pro~75%77.4%77.0%72.7%3.2 Grok-2 mini效率与性能的平衡Grok-2 mini是Grok-2的小型化版本在保持较高性能的同时显著降低了推理成本。Grok-2 mini的设计理念与GPT-4o mini和Claude 3 Haiku一致——为对延迟和成本敏感的应用场景提供高效的推理服务。Grok-2 mini在MMLU上的得分约为82%在MATH上的得分约为60%虽然低于Grok-2但在同级别模型中具有竞争力。Grok-2 mini的实现可能采用了知识蒸馏knowledge distillation技术即使用Grok-2作为教师模型来训练更小的学生模型。知识蒸馏的核心思想是将教师模型的暗知识dark knowledge——即输出分布中的软标签信息——传递给学生模型使学生模型能够在更小的参数空间中逼近教师模型的性能。知识蒸馏的损失函数通常包含两部分硬标签损失标准交叉熵和软标签损失KL散度L α ⋅ L hard ( 1 − α ) ⋅ T 2 ⋅ D KL ( π T ∥ π S ) L \alpha \cdot L_{\text{hard}} (1-\alpha) \cdot T^2 \cdot D_{\text{KL}}(\pi_T \| \pi_S)Lα⋅Lhard​(1−α)⋅T2⋅DKL​(πT​∥πS​)其中π T \pi_TπT​和π S \pi_SπS​分别是教师和学生模型的输出分布T TT是温度参数α \alphaα是平衡系数。4 Aurora自回归图像生成的突破4.1 从扩散模型到自回归生成Grok-2最引人注目的新功能之一是图像生成能力由xAI自研的Aurora模型驱动。Aurora的选择在AI图像生成领域是独特的——当大多数图像生成模型如DALL-E 3、Stable Diffusion、Midjourney采用扩散模型Diffusion Model架构时Aurora选择了自回归生成路线。这一选择具有深远的架构意义自回归生成与语言模型的自回归文本生成在数学框架上完全一致使得Aurora可以与Grok的语言模型在同一个Transformer架构中统一实现。自回归图像生成的基本原理是将图像表示为token序列然后像生成文本一样逐token生成图像。具体而言图像首先通过一个视觉tokenizer如VQ-VAE或VQ-GAN被编码为离散token序列然后语言模型按照自回归方式逐个生成这些token最后通过tokenizer的解码器将token序列还原为图像。这一过程可以用以下概率公式描述p ( I ) ∏ t 1 T p ( z t ∣ z t ) p(\mathbf{I}) \prod_{t1}^{T} p(z_t | z_{t})p(I)t1∏T​p(zt​∣zt​)其中I \mathbf{I}I是图像z t z_tzt​是第t tt个视觉tokenT TT是token序列的总长度。4.2 Aurora的技术特点Aurora的自回归生成路线带来了几个独特的技术优势。首先是文本-图像的统一生成——由于文本和图像都表示为token序列Aurora可以在同一个模型中无缝处理文本生成和图像生成任务甚至可以生成文本和图像交错的内容。其次是长程依赖的建模——自回归模型通过因果注意力机制天然地建模了token之间的长程依赖关系这对于生成具有全局一致性的图像至关重要。第三是与MoE架构的兼容性——Aurora可以利用Grok的MoE架构来扩展模型容量在不线性增加计算成本的前提下提供更丰富的视觉生成能力。图像生成模型架构类型生成方式文本理解多模态统一Aurora自回归逐token生成深度理解是DALL-E 3扩散模型去噪生成CLIP对齐否Stable Diffusion扩散模型去噪生成CLIP对齐否Midjourney扩散模型去噪生成CLIP对齐否文本图像文本图像用户输入输入类型文本Tokenizer视觉Tokenizer统一Token序列MoE Transformer输出类型文本Detokenizer视觉Detokenizer文本输出图像输出5 Grok API与生态建设5.1 API的设计与定价Grok-2的发布伴随着xAI API的推出这是xAI在商业化和生态建设方面迈出的重要一步。xAI API提供了对Grok-2和Grok-2 mini的访问接口支持文本生成、函数调用和图像生成等功能。API的设计遵循了OpenAI API的事实标准使得开发者可以轻松地将现有应用从GPT模型迁移到Grok模型。API的定价策略采用了按token计费的模式Grok-2 mini的定价显著低于Grok-2鼓励开发者在成本敏感的场景中使用mini版本。与OpenAI的API定价相比xAI API的定价具有一定的竞争力尤其是在批量推理和高吞吐场景下MoE架构的效率优势使得Grok的推理成本相对较低。5.2 开发者生态的挑战尽管xAI API的推出迈出了商业化的第一步但xAI在开发者生态建设方面仍面临巨大挑战。OpenAI拥有成熟的SDK支持Python、Node.js等多种语言、丰富的文档、活跃的开发者社区和大量的第三方集成。相比之下xAI的开发者生态仍处于早期阶段SDK和文档的完善程度、社区活跃度和第三方集成数量都远不及OpenAI。开发者生态的建设是一个长期过程需要持续的投入和运营。xAI需要在API稳定性、文档质量、社区运营和技术支持等方面持续改进才能吸引更多开发者选择Grok而非GPT或Claude。这一挑战在Grok-3和Grok-4时期仍然存在是xAI需要长期面对的竞争劣势之一。6 从Grok-1.5到Grok-2的技术演进总结6.1 关键技术改进的脉络从Grok-1.5到Grok-2的技术演进可以概括为三个核心方向上下文扩展、多模态引入和性能提升。上下文扩展通过RoPE缩放和KV缓存优化实现了从8K到128K的跨越多模态引入通过视觉编码器和对比学习实现了文本-图像的联合理解性能提升则通过数据优化、训练方法改进和架构微调实现了在核心基准上的大幅进步。技术维度Grok-1Grok-1.5Grok-1.5VGrok-2上下文窗口8K128K128K128K视觉理解无无有有图像生成无无无Aurora数学推理基础50.6% MATH50.6% MATH76% MATHAPI无无无有6.2 Grok-2系列在AI竞赛中的位置Grok-2的发布标志着xAI正式进入了AI竞赛的第一梯队。在Grok-1时期xAI还被视为一个新入局的挑战者到了Grok-2时期xAI已经在核心基准上与OpenAI、Google和Anthropic的旗舰模型并驾齐驱。这一快速追赶的速度超出了许多行业观察者的预期也验证了xAI的技术路线选择——MoE架构、JAX框架、X平台数据整合——的有效性。然而Grok-2也面临着自身的挑战。在安全性评估方面Grok的宽松对齐策略虽然带来了更自由的对话体验但也引发了关于潜在滥用的担忧。在图像生成方面Aurora的自回归路线虽然在架构上具有统一性优势但在生成质量和多样性方面是否能够持续与扩散模型竞争仍有待观察。这些挑战和机遇共同构成了Grok-3诞生的时代背景我们将在下一篇文章中深入探讨。参考文献Radford A, Kim J W, Hallacy C, et al. Learning transferable visual models from natural language supervision. ICML 2021. 链接: https://arxiv.org/abs/2103.00020Su J, Ahmed M, Lu Y, et al. RoFormer: Enhanced transformer with rotary position embedding. Neurocomputing, 2024, 568: 127063. 链接: https://arxiv.org/abs/2104.09864xAI. Grok-1.5 and Grok-1.5V. xAI Blog, 2024. 链接: https://x.ai/blog/grok-1.5xAI. Grok-2 Beta Release. xAI Blog, 2024. 链接: https://x.ai/blog/grok-2xAI. Grok Image Generation Release. xAI Blog, 2024. 链接: https://x.ai/blog/grok-image-generation