1. 项目背景与需求解析在计算机视觉和图像处理领域我们经常遇到这样的需求同一帧图像需要同时满足人眼视觉和机器视觉的不同处理要求。比如在智能监控系统中一方面需要输出色彩自然、细节丰富的图像供人眼观看另一方面又需要输出高对比度、特定色彩增强的图像供算法分析。这种需求在自动驾驶、工业检测等领域尤为常见。传统ISPImage Signal Processor架构通常只能对单帧图像应用一种处理流程这限制了系统的灵活性。Mali-C78AE这类专业ISP芯片虽然支持多上下文context处理但官方发布的R1P0-EAC1版本固件并未直接提供一帧多处理的功能支持。2. 技术方案设计思路2.1 TDMF模式原理Time Division Multiplexed FramesTDMF模式是解决这一问题的关键技术。其核心思想是在Cross-bar交换模块处复制原始图像数据流两个独立的ISP上下文共享同一传感器输入每个上下文拥有完整的独立处理流水线通过时间片轮转方式交替处理注意此方案仅适用于线性输入和原生WDR输入模式不适用于多通道帧拼接流输入。2.2 系统架构设计修改后的系统架构包含以下关键组件传感器驱动层需确保单传感器实例支持多上下文配置Cross-bar交换模块负责数据流复制和分发双ISP上下文各自独立的输入端口配置独立的RAW缓冲区管理独立的输出流水线寄存器同步机制确保传感器寄存器设置的原子性3. 具体实现步骤详解3.1 代码结构修改首先需要在ISP固件代码中新增视频输入标识// isp/fsm/mcfe/module_mcfe/module_mcfe_service.h struct _module_mcfe_input_cfg_t { unsigned char cfa_pattern; unsigned char video_input_id; // 新增视频输入标识 };3.2 MCFE配置调整在mcfe_config()函数中设置视频输入索引// isp/fsm/mcfe/mcfe_func.c p_fsm-usecase_cfg.video_input_idx ctx_id; // 关联上下文ID override_context_param(p_ictx, MCFE_USECASE_PARAM, usecase_type);3.3 传感器驱动适配关键修改点在module_mcfe_usecase_config_impl()函数// isp/fsm/mcfe/module_mcfe/module_mcfe_usecase_tdmf.c input_cfg.video_input_id sensor_config-video_port_id; // 从传感器驱动获取端口ID3.4 输入端口配置修改Cross-bar交换模块的端口映射逻辑// isp/fsm/mcfe/module_mcfe/module_mcfe_service_input.c int video_port_id input_cfg-video_input_id; if (i 0) { video_port_id input_idx; } mcfe_hwif_input_port_config( input_idx, ((input_cfg-h_size input_cfg-active_width || input_cfg-v_size input_cfg-active_height) ? 1 : 0), input_cfg-h_start, input_cfg-h_size, input_cfg-h_start, input_cfg-h_size, input_cfg-v_start, input_cfg-v_size, 1, video_port_id );4. 系统配置与初始化4.1 上下文数量定义确保在acamera_configuration.h中正确定义上下文数量#define FIRMWARE_CONTEXT_NUMBER 24.2 运行时初始化设置在runtime_initialization_settings.h中配置双上下文static acamera_settings settings[FIRMWARE_CONTEXT_NUMBER] { #if (FIRMWARE_CONTEXT_NUMBER 1) { .sensor_init sensor_init_xxx, .sensor_name xxx, .get_calibrations get_calibrations_xxx, .isp_base 0, }, #endif #if (FIRMWARE_CONTEXT_NUMBER 2) { .sensor_init sensor_init_xxx, .sensor_name xxx, .get_calibrations get_calibrations_xxx, .isp_base 0, } #endif };4.3 传感器驱动修改调整传感器初始化逻辑以支持多实例void sensor_init_xxx(void **priv_ptr, uint8_t location, sensor_control_t *ctrl, const sensor_options_t *options) { sensor_private_t *priv *priv_ptr priv_array location; sensor_param_t *cfg priv-param; cfg-video_port_id 0; // 使用ISP通道0 }总线地址配置也需要相应调整uint32_t bus_addr[] { 0x6000A000, 0x6000A000 };5. 验证与调试方法5.1 ACT服务器配置设置两个独立的ACT服务器实例context0和context1在context0中启用Bypass demosaic在context1中启用Bypass white balance5.2 动态切换测试通过API动态切换活动上下文ACTIVE_CONTEXT0 # 查看未去马赛克的原始图像 ACTIVE_CONTEXT1 # 查看未白平衡处理的图像5.3 性能监控指标需要特别关注的性能参数帧处理延迟两个上下文的处理时间差内存带宽占用传感器寄存器访问冲突频率6. 关键问题与解决方案6.1 传感器寄存器冲突现象两个上下文尝试同时修改同一传感器寄存器解决方案实现寄存器修改队列添加硬件信号量机制在驱动层实现寄存器修改的原子操作6.2 数据同步问题现象两个上下文处理的帧号不一致解决方案实现帧同步计数器在Cross-bar模块添加帧缓冲使用硬件触发信号确保同步6.3 资源竞争处理现象内存带宽不足导致性能下降优化方案错开两个上下文的处理时间片优化DMA传输调度调整RAW缓冲区大小7. 实际应用建议7.1 参数配置策略针对不同应用场景的推荐配置应用场景上下文0配置上下文1配置智能监控高动态范围降噪边缘增强二值化自动驾驶色彩还原去雾车道线检测优化工业检测正常色彩特定光谱增强7.2 性能优化技巧流水线优化将两个上下文的处理峰值错开调整ISP各模块的时钟频率内存优化使用共享内存区域存储原始帧优化DMA传输块大小功耗控制动态关闭未使用的处理模块根据负载调整电压频率7.3 扩展性考虑支持更多上下文需评估硬件资源动态上下文配置运行时加载不同ISP参数集异构处理流水线混合不同ISP算法在完成上述修改后系统将能够实现单帧图像的多重处理满足不同应用场景下的多样化需求。实际部署时建议先进行充分的压力测试特别是要验证长时间运行的稳定性。