CANN/GE模型配置设置API

aclmdlSetConfigOpt【免费下载链接】geGEGraph Engine是面向昇腾的图编译器和执行器提供了计算图优化、多流并行、内存复用和模型下沉等技术手段加速模型执行效率减少模型内存占用。 GE 提供对 PyTorch、TensorFlow 前端的友好接入能力并同时支持 onnx、pb 等主流模型格式的解析与编译。项目地址: https://gitcode.com/cann/ge产品支持情况产品是否支持Atlas A3 训练系列产品 / Atlas A3 推理系列产品√Atlas A2 训练系列产品 / Atlas A2 推理系列产品√功能说明设置模型加载的配置对象中的各属性的取值包括模型执行的优先级、模型的文件路径或内存地址、内存大小等。本接口需要与以下其它接口配合实现模型加载功能调用aclmdlCreateConfigHandle接口创建模型加载的配置对象。可选调用aclmdlSetExternalWeightAddress接口配置存放外置权重的Device内存。多次调用aclmdlSetConfigOpt接口设置配置对象中每个属性的值。调用aclmdlLoadWithConfig接口指定模型加载时需要的配置信息并进行模型加载。模型加载成功后调用aclmdlDestroyConfigHandle接口销毁。函数原型aclError aclmdlSetConfigOpt(aclmdlConfigHandle *handle, aclmdlConfigAttr attr, const void *attrValue, size_t valueSize)参数说明参数名输入/输出说明handle输出模型加载的配置对象的指针。需提前调用aclmdlCreateConfigHandle接口创建该对象。attr输入指定需设置的属性。attrValue输入指向属性值的指针attr对应的属性取值。如果属性值本身是指针则传入该指针的地址。valueSize输入attrValue部分的数据长度。用户可使用C/C标准库的函数sizeof(*attrValue)查询数据长度。返回值说明返回0表示成功返回其他值表示失败请参见aclError。参考资源使用aclmdlSetConfigOpt接口、aclmdlLoadWithConfig接口时是通过配置对象中的属性来区分在加载模型时是从文件加载还是从内存加载以及内存是由系统内部管理还是由用户管理。当前还提供了以下接口实现模型加载的功能从使用的接口上区分从文件加载还是从内存加载以及内存是由系统内部管理还是由用户管理。aclmdlLoadFromFile接口aclmdlLoadFromMem接口aclmdlLoadFromFileWithMem接口aclmdlLoadFromMemWithMem接口aclmdlLoadFromFileWithQ接口aclmdlLoadFromMemWithQ接口【免费下载链接】geGEGraph Engine是面向昇腾的图编译器和执行器提供了计算图优化、多流并行、内存复用和模型下沉等技术手段加速模型执行效率减少模型内存占用。 GE 提供对 PyTorch、TensorFlow 前端的友好接入能力并同时支持 onnx、pb 等主流模型格式的解析与编译。项目地址: https://gitcode.com/cann/ge创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考