手把手教你用算能云空间搭建RISC-V版PyTorch环境（含最新CPUINFO补丁）

手把手教你用算能云空间搭建RISC-V版PyTorch环境含最新CPUINFO补丁在AI技术快速发展的今天RISC-V架构因其开源、可定制的特性正逐渐成为边缘计算和云计算领域的新宠。然而当工程师们尝试在这一架构上部署主流AI框架时往往会遇到各种兼容性问题。本文将带你一步步在算能云空间上为RISC-V架构搭建完整的PyTorch环境包括解决最棘手的CPUINFO补丁问题。1. 环境准备与基础配置算能云空间为开发者提供了便捷的RISC-V开发环境但在开始之前我们需要完成一些基础配置工作。不同于x86架构的开箱即用RISC-V平台需要更多手动配置步骤。首先登录算能云空间控制台创建一个新的RISC-V实例。建议选择至少16GB内存的配置因为后续的编译过程非常消耗资源。实例创建完成后通过SSH连接到服务器我们开始环境准备。基础软件包安装apt update apt upgrade -y apt install -y python3 python-is-python3 python3-pip git pip install pyyaml注意如果在安装过程中遇到Could not get lock错误可以使用ps aux | grep apt查找占用进程然后用kill -9 [PID]终止该进程后重试。开发工具链的安装是后续工作的基础RISC-V平台需要特别注意BLAS库的兼容性软件包作用安装命令libblas-dev基础BLAS实现apt install libblas-devm4宏处理器apt install m4cmake构建工具apt install cmakecython3Python扩展apt install cython3ccache编译缓存apt install ccache如果libopenblas-dev无法正常安装可以手动编译OpenBLASgit clone https://github.com/xianyi/OpenBLAS.git cd OpenBLAS make -j$(nproc) make PREFIX/usr/local/OpenBLAS install echo export LD_LIBRARY_PATH$LD_LIBRARY_PATH:/usr/local/OpenBLAS/lib/ /etc/profile source /etc/profile2. 获取与修改PyTorch源码PyTorch官方仓库并不直接支持RISC-V架构因此我们需要获取源码并进行必要的修改。这一过程需要特别注意子模块的完整性。mkdir -p ~/pytorch_riscv cd ~/pytorch_riscv git clone --recursive https://github.com/pytorch/pytorch.git cd pytorch git submodule sync git submodule update --init --recursive接下来是关键的源码修改环节这些修改主要是为了绕过RISC-V架构不支持的编译选项修改aten/src/ATen/CMakeLists.txt 将if(NOT MSVC AND NOT EMSCRIPTEN AND NOT INTERN_BUILD_MOBILE)替换为if(FALSE)修改caffe2/CMakeLists.txt 将target_link_libraries(${test_name}_${CPU_CAPABILITY} c10 sleef gtest_main)替换为target_link_libraries(${test_name}_${CPU_CAPABILITY} c10 gtest_main)修改test/cpp/api/CMakeLists.txt 在add_executable(test_api ${TORCH_API_TEST_SOURCES})后添加target_compile_options(test_api PUBLIC -Wno-nonnull)提示使用vim编辑这些文件时可以先用/搜索目标语句确认无误后再用shifti进入编辑模式修改完成后按ESC退出编辑输入:wq保存退出。3. 环境变量配置与编译正确的环境变量设置可以避免大量不必要的编译错误。在开始编译前设置以下变量export USE_CUDA0 export USE_DISTRIBUTED0 export USE_MKLDNN0 export MAX_JOBS$(nproc)现在可以开始编译了这个过程可能需要几个小时取决于服务器的性能python3 setup.py develop --cmake编译过程中可能会遇到几个常见问题问题1Could not find any of CMakeLists.txt in /root/xxx/pytorch/third_party/pthreadpool解决方法cd pytorch/third_party rm -rf pthreadpool cd ../.. git submodule update --init --recursive问题2undefined reference to __atomic_exchange_1解决方法apt install patchelf patchelf --add-needed libatomic.so.1 build/lib/libtorch_cpu.so4. 解决CPUINFO兼容性问题编译完成后尝试导入torch时可能会遇到最棘手的问题Error in cpuinfo: processor architecture is not supported in cpuinfo。这是因为官方cpuinfo仓库尚未完全支持RISC-V架构。解决方法是用算能修改过的版本替换原cpuinfocd third_party rm -rf cpuinfo git clone https://github.com/sophgo/cpuinfo.git cd ../.. python3 setup.py develop --cmake这个补丁专门为RISC-V架构进行了适配解决了处理器信息识别的核心问题。重新编译后应该可以正常导入torch模块了。5. 验证环境与简单模型测试为了验证环境是否正常工作我们可以创建一个简单的全连接神经网络测试脚本import torch import torch.nn as nn # 检查PyTorch版本和基本功能 print(fPyTorch版本: {torch.__version__}) print(f是否支持CUDA: {torch.cuda.is_available()}) # 在RISC-V上应为False print(f随机张量测试: {torch.rand(3,3)}) # 定义一个简单的全连接网络 class SimpleNet(nn.Module): def __init__(self): super(SimpleNet, self).__init__() self.fc1 nn.Linear(1000, 100) self.fc2 nn.Linear(100, 10) def forward(self, x): x torch.relu(self.fc1(x)) x self.fc2(x) return x # 测试模型 model SimpleNet() input torch.randn(64, 1000) output model(input) print(f模型输出形状: {output.shape})将上述代码保存为test.py然后运行python3 test.py如果一切正常你应该能看到PyTorch版本信息和一个形状为[64,10]的输出张量。这表明你的RISC-V版PyTorch环境已经成功搭建完成。在实际项目中你可能还需要考虑以下优化使用export OMP_NUM_THREADS[核心数]来控制线程数量定期清理编译缓存以节省空间ccache -C考虑使用更轻量级的BLAS实现如BLIS