196、TensorRT FP16 推理加速：ONNX 到 TRT 引擎构建、Context 推理与序列化部署

196、TensorRT FP16 推理加速：ONNX 到 TRT 引擎构建、Context 推理与序列化部署一、一个让我熬夜到凌晨三点的bug去年年底给客户部署YOLOv11n到Jetson Orin NX，模型在PyTorch下跑FP32有45FPS，客户要求至少60FPS。我心想这不简单，转TensorRT FP16就完事了。结果ONNX导出一切正常，trtexec跑起来也显示60+FPS，但一集成到业务代码里，推理结果全是NaN。排查了整整两天——ONNX算子兼容性检查了三遍，动态shape配置改了五版，甚至怀疑是Jetson的电源模式没开满。最后发现是序列化引擎时忘了设置FP16标志位，trtexec默认开了FP16但C++ API没开。这个坑让我意识到，TensorRT的FP16加速远不止“转一下格式”那么简单。二、ONNX导出：别让动态batch成为FP16的绊脚石YOLOv11的ONNX导出官方已经做得比较完善，但FP16推理对输入输出有额外要求。先看这段代码，我踩过坑的地方都标了注释：importtorchimporttorch.nn