2_model_switch【免费下载链接】runtime本项目提供CANN运行时组件和维测功能组件。项目地址: https://gitcode.com/cann/runtime描述本样例展示了如何使用aclmdlRIBuildBegin接口创建模型实例并且在任务中实现了Stream跳转以及Stream激活。产品支持情况本样例关键接口在不同产品上的支持情况如下接口Atlas A3 训练系列产品/Atlas A3 推理系列产品Atlas A2 训练系列产品/Atlas A2 推理系列产品aclmdlRIBuildBegin√√aclmdlRIBindStream√√aclmdlRIEndTask√√aclmdlRIBuildEnd√√aclmdlRIUnbindStream√√aclmdlRIExecuteAsync√√aclrtSwitchStreamx√aclrtActiveStreamx√编译运行环境安装详情以及运行详情请见example目录下的README。运行步骤如下# ${install_root} 替换为 CANN 安装根目录默认安装在/usr/local/Ascend目录 source ${install_root}/cann/set_env.sh export ASCEND_INSTALL_PATH${install_root}/cann # ${ascend_name} 替换为昇腾AI处理器的型号可通过 npu-smi info 查看 Name 字段并去掉空格获得例如 ascend910b3 export SOC_VERSION${ascend_name} # 部分样例中涉及调用AscendC算子需配置AscendC编译器ascendc.cmake所在的路径如 ${install_root}/cann/aarch64-linux/tikcpp/ascendc_kernel_cmake # 可在CANN包安装路径下查找ascendc_kernel_cmake例如find ./ -name ascendc_kernel_cmake并将${cmake_path}替换为ascendc_kernel_cmake所在路径 export ASCENDC_CMAKE_DIR${cmake_path} # 编译运行 bash run.shCANN RUNTIME API在该Sample中涉及的关键功能点及其关键接口如下所示初始化调用aclInit接口初始化AscendCL配置。调用aclFinalize接口实现AscendCL去初始化。Device管理调用aclrtSetDevice接口指定用于运算的Device。调用aclrtResetDeviceForce接口强制复位当前运算的Device回收Device上的资源。Context管理调用aclrtCreateContext接口创建Context。调用aclrtDestroyContext接口销毁Context。Stream管理调用aclrtCreateStream接口创建Stream。调用aclrtSynchronizeStream可以阻塞等待Stream上任务的完成。调用aclrtDestroyStreamForce接口强制销毁Stream丢弃所有任务。调用aclrtCreateStreamWithConfig接口创建特殊config的Stream。调用aclrtSwitchStream接口根据条件在Stream之间跳转。调用aclrtActiveStream接口激活Stream。model管理调用aclmdlRIBuildBegin接口开始构建一个模型运行实例。调用aclmdlRIBindStream接口将模型运行实例与Stream绑定。调用aclmdlRIEndTask接口标记下发任务结束。调用aclmdlRIBuildEnd接口结束构建模型运行实例。调用aclmdlRIUnbindStream接口解除模型运行实例与Stream的绑定。调用aclmdlRIExecuteAsync接口异步执行模型推理。调用aclmdlRIDestroy接口销毁模型运行实例。内存管理调用aclrtMalloc接口申请Device上的内存。调用aclrtFree接口释放Device上的内存。数据传输调用aclrtMemcpy接口通过内存复制的方式实现数据传输。调用aclrtMemcpyAsync接口进行异步的内存复制。已知issue暂无【免费下载链接】runtime本项目提供CANN运行时组件和维测功能组件。项目地址: https://gitcode.com/cann/runtime创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考