CANN/asc-devkit DropOut高阶API

DropOut【免费下载链接】asc-devkit本项目是CANN 推出的昇腾AI处理器专用的算子程序开发语言原生支持C和C标准规范主要由类库和语言扩展层构成提供多层级API满足多维场景算子开发诉求。项目地址: https://gitcode.com/cann/asc-devkit产品支持情况产品是否支持Ascend 950PR/Ascend 950DT√Atlas A3 训练系列产品 / Atlas A3 推理系列产品√Atlas A2 训练系列产品 / Atlas A2 推理系列产品√Atlas 200I/500 A2 推理产品xAtlas 推理系列产品 AI Core√Atlas 推理系列产品 Vector CorexAtlas 训练系列产品xKirin X90√Kirin 9030√功能说明提供根据MaskTensor对SrcTensor源操作数输入Tensor进行过滤的功能得到DstTensor目的操作数、输出Tensor。仅支持输入shape为ND格式。该过滤功能包括两种模式字节模式和比特模式。字节模式MaskTensor中存储的数值为布尔类型每个布尔数值代表是否取用SrcTensor对应位置的数值如果是则选取SrcTensor中的数值存入DstTensor否则对DstTensor中的对应位置赋值为零。DstTensorSrcTensor和MaskTensor的shape相同。示例如下SrcTensor[12345678910]MaskTensor[1010100110]每个数的数据类型为uint8_tDstTensor[1030500890]比特模式MaskTensor的每个bit数值代表是否取用SrcTensor对应位置的数值如果是则选取SrcTensor中的数值存入DstTensor否则对DstTensor中的对应位置赋值为零。SrcTensor和DstTensor的shape相同假设均为[height width]MaskTensor的shape为[height (width / 8)]。示例如下SrcTensor[12345678]MaskTensor[169]转换为二进制表示为1010 1001DstTensor[10305008]特殊情况1当MaskTensor有效数据非连续存放时MaskTensor的width轴为了满足32B对齐需要填充无效数值SrcTensor的width轴需满足32Byte对齐。示例如下SrcTensor[123456781112131415161718]MaskTensor[10101001XX10101001XX]X为无效数值假设数据已满足对齐要求示例数值为二进制形式表示DstTensor[10305008110 13 0 15 0 018]特殊情况2当MaskTensor有效数据连续存放maskTensor_size不满足32B对齐时需要在MaskTensor的尾部补齐32B对齐时对应SrcTensor的尾部也需要补充无效数据使得srcTensor_size满足32B对齐。示例如下SrcTensor[123456781112131415161718]MaskTensor[10101001 1 0 1 0 1 0 0 1XXXX]X为无效数值假设数据已满足对齐要求示例数值为二进制形式表示DstTensor [10305008 11 0 13 0 15 0 0 18]实现原理以float类型ND格式shape为[srcM, srcN]的SrcTensorshape为[maskM, maskN]的MaskTensor比特模式场景为例描述Dropout高阶API内部算法框图如下图所示。图 1Dropout算法框图计算过程分为如下几步均在Vector上进行GatherMask步骤对输入的MaskTensor做脏数据清理使得MaskTensor中只保留有效数据Select步骤根据输入的MaskTensor对SrcTensor做数据选择被选中的数据位置保留原始数据对舍弃的数据位置设置为0Muls步骤将输出数据每个元素除以keepProb。图 2Dropout算法框图计算过程在Vector上进行循环srcM次每次对srcN个元素进行如下操作Select步骤根据输入的MaskTensor对SrcTensor做数据选择被选中的数据位置保留原始数据对舍弃的数据位置设置为0Muls步骤将输出数据每个元素除以keepProb。函数原型template typename T, bool isInitBitMode false, uint32_t dropOutMode 0 __aicore__ inline void DropOut(const LocalTensorT dstLocal, const LocalTensorT srcLocal, const LocalTensoruint8_t maskLocal, const float keepProb, const DropOutShapeInfo info)template typename T, bool isInitBitMode false, uint32_t dropOutMode 0 __aicore__ inline void DropOut(const LocalTensorT dstLocal, const LocalTensorT srcLocal, const LocalTensoruint8_t maskLocal, const LocalTensoruint8_t sharedTmpBuffer, const float keepProb, const DropOutShapeInfo info)参数说明表 1模板参数说明参数名描述T操作数的数据类型。不同型号支持的数据类型请参考支持的数据类型。isInitBitMode在比特模式下是否需要在接口内部初始化默认false。dropOutMode选择执行何种输入场景0默认值由接口根据输入shape推断运行模式注意推断不符合预期的场景需设置对应模式1执行字节模式且maskLocal含有脏数据2执行字节模式且maskLocal不含有脏数据3执行比特模式且maskLocal不含有脏数据4执行比特模式且maskLocal含有脏数据表 2接口参数说明参数名称输入/输出含义dstLocal输出目的操作数。类型为LocalTensor支持的TPosition为VECIN/VECCALC/VECOUT。srcLocal输入源操作数。类型为LocalTensor支持的TPosition为VECIN/VECCALC/VECOUT。srcLocal的数据类型需要与目的操作数保持一致。maskLocal输入存放mask的Tensor数据类型为uint8_t。类型为LocalTensor支持的TPosition为VECIN/VECCALC/VECOUT。sharedTmpBuffer输入共享缓冲区用于存放API内部计算产生的临时数据。该方式开发者可以自行管理sharedTmpBuffer内存空间并在接口调用完成后复用该部分内存。Tensor的大小应符合对应tiling的要求配合tiling一起使用。共享缓冲区大小BufferSize的获取方式请参考GetDropOutMaxMinTmpSize。类型为LocalTensor支持的TPosition为VECIN/VECCALC/VECOUT。keepProb输入权重系数数据类型为floatsrcLocal中数据被保留的概率过滤后的结果会除以权重系数存放至dstLocal中。keepProb∈(01)info输入DropOutShapeInfo类型DropOutShapeInfo结构定义如下struct DropOutShapeInfo { __aicore__ DropOutShapeInfo(){}; uint32_t firstAxis 0; // srcLocal/maskTensor的height轴元素个数 uint32_t srcLastAxis 0; // srcLocal的width轴元素个数 uint32_t maskLastAxis 0;// maskTensor的width轴元素个数如有数据补齐场景则为带有脏数据的长度注意所有模式的元素个数均为对应Tensor类型下的个数取值需要大于0如uint8类型Tensor对应Uint8类型元素个数 };返回值说明无约束说明srcTensor和dstTensor的Tensor空间可以复用。srcLocal和dstLocal地址对齐要求请见通用说明和约束。仅支持输入shape为ND格式。maskLocal含有脏数据的场景要求info.maskLastAxis中有效数值的个数应为2的整数倍。maskLocal含有脏数据的场景maskLocal中的数据可能会被修改脏数据可能会被舍弃。支持的数据类型Ascend 950PR/Ascend 950DT支持的数据类型为half、bfloat16_t、float。Atlas A3 训练系列产品/Atlas A3 推理系列产品支持的数据类型为half、float。Atlas A2 训练系列产品/Atlas A2 推理系列产品支持的数据类型为half、float。Atlas 推理系列产品AI Core支持的数据类型为half、float。Kirin X90支持的数据类型为half、float。Kirin 9030支持的数据类型为half、float。调用示例// yLocalDropOut结果 // xLocal输入数据 // maskLocal过滤掩码 // sharedTmpBuffer临时空间 // probValuesrcLocal中数据被保留的概率过滤后的结果会除以权重系数存放至dstLocal中 // infoDropOutShapeInfo类型 AscendC::DropOutShapeInfo info; float probValue 0.5; info.firstAxis tilingData.firstAxis / tilingData.tileNum; info.srcLastAxis tileLength; info.maskLastAxis tileLength; AscendC::DropOut(yLocal, xLocal, maskLocal, sharedTmpBuffer, probValue, info);示例结果如下输入数据(xLocal): [ 0. 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17. 18. 19. 20. 21. 22. 23. 24. 25. 26. 27. 28. 29. 30. 31. ] 输入数据(maskLocal): [ 0 1 0 0 0 0 0 0 1 0 1 1 1 0 1 1 0 0 1 0 0 1 1 1 1 0 1 0 1 1 1 0 ] 输入数据(probValue): 0.5 输出数据(yLocal): [ 0. 2. 0. 0. 0. 0. 0. 0. 16. 0. 20. 22. 24. 0. 28. 30. 0. 0. 36. 0. 0. 42. 44. 46. 48. 0. 52. 0. 56. 58. 60. 0. ]【免费下载链接】asc-devkit本项目是CANN 推出的昇腾AI处理器专用的算子程序开发语言原生支持C和C标准规范主要由类库和语言扩展层构成提供多层级API满足多维场景算子开发诉求。项目地址: https://gitcode.com/cann/asc-devkit创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考