NPU 模型推理优化快速入门指南【免费下载链接】cannbot-skillsCANNBot 是面向 CANN 开发的用于提升开发效率的系列智能体本仓库为其提供可复用的 Skills 模块。项目地址: https://gitcode.com/cann/cannbot-skills概述结合 CANN 平台原子化优化特性与 cann-recipes-infer 仓库的模型优化实践提供 NPU 模型推理端到端优化能力。通过多 Agent 协同分析→实施→验证按阶段对模型执行优化覆盖并行策略、KVCache/FA、融合算子、图模式、多流并行等优化路径。一、环境搭建操作步骤方式一项目级安装推荐在项目目录下安装配置仅对当前项目生效。# 1. 克隆 CANN Skills 仓库 git clone https://gitcode.com/cann/cannbot-skills.git # 2. 进入推理优化 team 目录 cd skills/model/teams/infer-model-optimize-team # 3. 执行初始化脚本项目级 bash init.sh project opencode # OpenCode 用户 bash init.sh project claude # Claude Code 用户方式二全局安装在用户目录下安装配置全局生效。# 1. 克隆 CANN Skills 仓库 git clone https://gitcode.com/cann/cannbot-skills.git # 2. 进入推理优化 team 目录 cd skills/model/teams/infer-model-optimize-team # 3. 执行初始化脚本全局 bash init.sh global opencode # OpenCode 用户 bash init.sh global claude # Claude Code 用户安装内容init.sh 脚本会完成以下操作内容OpenCode 项目级OpenCode 全局Claude 项目级Claude 全局Skills 技能模块.opencode/skills/~/.config/opencode/skills/.claude/skills/~/.claude/skills/Agents 子代理.opencode/agents/~/.config/opencode/agents/.claude/agents/~/.claude/agents/Hooks 约束脚本——.claude/hooks/~/.claude/hooks/配置文件.opencode/AGENTS.md~/.config/opencode/AGENTS.md.claude/CLAUDE.mdsettings.json~/.claude/CLAUDE.mdsettings.json参考仓库当前目录cann-recipes-infer/当前目录cann-recipes-infer/当前目录cann-recipes-infer/当前目录cann-recipes-infer/环境校验执行完上述步骤后检查目录结构是否符合以下规范项目级安装skills/model/teams/infer-model-optimize-team/ ├── .opencode/ │ ├── skills/ │ │ ├── model-infer-optimize/ │ │ ├── model-infer-migrator/ │ │ ├── model-infer-parallel-analysis/ │ │ ├── model-infer-parallel-impl/ │ │ ├── model-infer-kvcache/ │ │ ├── model-infer-fusion/ │ │ ├── model-infer-graph-mode/ │ │ ├── model-infer-precision-debug/ │ │ ├── model-infer-runtime-debug/ │ │ ├── model-infer-multi-stream/ │ │ ├── model-infer-prefetch/ │ │ └── model-infer-superkernel/ │ ├── agents/ │ │ ├── model-infer-analyzer.md │ │ ├── model-infer-implementer.md │ │ └── model-infer-reviewer.md │ └── AGENTS.md # OpenCodeClaude 为 CLAUDE.md settings.json hooks/ ├── cann-recipes-infer/ # 参考仓库 ├── AGENTS.md ├── init.sh └── quickstart.md二、快速上手启动在初始化完成的目录下执行opencode优化模型示例在交互界面中输入优化需求会自动匹配对应技能帮我优化 deepseek-r1 模型的推理性能或直接调用编排入口/model-infer-optimize优化流程采用分阶段优化每阶段验证通过后进入下一阶段阶段 0模型分析 性能基线 ↓ 阶段 1并行化改造 ↓ 阶段 2KVCache 静态化 FA 算子替换 ↓ 阶段 3融合算子优化 ↓ 阶段 4图模式适配 ↓ 阶段 5优化总结每个阶段遵循统一流程分析 → 方案确认 → 实施 → 验证 → 阶段总结。多 Agent 协同使用三个专业化 subagent 分工执行Agent职责model-infer-analyzer模型分析、方案设计、策略推荐model-infer-implementer代码改造、调试修复model-infer-reviewer精度验证、性能验证主 Agent 负责编排调度按阶段派发 subagent 执行。三、可用技能Skill用途model-infer-optimize端到端优化编排入口model-infer-migrator框架适配与基线建立model-infer-parallel-analysis并行策略分析model-infer-parallel-impl并行切分实施model-infer-kvcacheKVCache FA 优化model-infer-fusion融合算子分析与替换model-infer-graph-mode图模式适配model-infer-precision-debugNPU 推理精度诊断model-infer-runtime-debugNPU 运行时错误诊断model-infer-multi-stream多流并行优化model-infer-prefetch权重预取model-infer-superkernelSuperKernel 适配四、开发资源资源类型路径说明模型实现参考cann-recipes-infer/models/各模型的推理实现执行框架cann-recipes-infer/executor/ModelRunner、模型加载共享模块cann-recipes-infer/module/Linear、MoE GMM、量化模型文档cann-recipes-infer/docs/models/各模型优化指南五、常见问题Q: 如何查看帮助信息bash init.sh --helpQ: 项目级和全局安装如何选择项目级适合在 team 目录下工作参考仓库路径自动匹配全局技能全局可用但参考仓库路径需手动定位Q: 如何更新技能模块重新执行 init.sh 即可脚本会自动覆盖旧版本。参考仓库会 git pull 更新。Q: 可以在 cann-recipes-infer 仓库内直接使用吗可以。cann-recipes-infer 仓库内已有.claude/skills/目录技能直接可用无需 init。路径引用直接匹配仓库目录结构。【免费下载链接】cannbot-skillsCANNBot 是面向 CANN 开发的用于提升开发效率的系列智能体本仓库为其提供可复用的 Skills 模块。项目地址: https://gitcode.com/cann/cannbot-skills创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考