DAV首页
数字音视工程网

微信公众号

数字音视工程网

手机DAV

  • 投影机 频道 | 产品
  • LED显示 频道 | 产品
  • 数字标牌 频道 | 产品
  • 平板拼接 频道 | 产品
  • 智能会议平板 频道 | 产品
  • 小间距LED 频道 | 产品
  • 触摸显示屏 频道 | 产品
  • 平板显示 频道 | 产品
  • 远距传输 频道 | 产品
  • 图像处理 频道 | 产品
  • 拼接控制 频道 | 产品
  • 信号切换 频道 | 产品
  • 无线投屏 频道 | 产品
  • 分布式拼接/控制 频道 | 产品
  • 网线传输器 频道 | 产品
  • 高清混合矩阵 频道 | 产品
  • DAV集中控制 频道 | 产品
  • 多媒体集控 频道 | 产品
  • 智能家居 频道 | 产品
  • 中控系统 频道 | 产品
  • 中控主机 频道 | 产品
  • 触摸操作 频道 | 产品
  • 主机扩展卡 频道 | 产品
  • 集中控制软件 频道 | 产品
  • 会议发言 频道 | 产品
  • 电子表决 频道 | 产品
  • 电子桌牌 频道 | 产品
  • 无线会议 频道 | 产品
  • 会议摄像机 频道 | 产品
  • 数字会议主机 频道 | 产品
  • 无纸化单元 频道 | 产品
  • 电话会议 频道 | 产品
  • 远程会议 频道 | 产品
  • 网真会议 频道 | 产品
  • 会议摄像机 频道 | 产品
  • 远程会议MCU 频道 | 产品
  • 软件远程会议 频道 | 产品
  • 会议解码器 频道 | 产品
  • 电话会议桌面终端 频道 | 产品
  • 专业|商用音箱 频道 | 产品
  • 专业功放 频道 | 产品
  • 调|混音台 频道 | 产品
  • 音频处理器 频道 | 产品
  • 会议扩音 频道 | 产品
  • 耳机话筒 频道 | 产品
  • 演出扩音 频道 | 产品
  • 卡拉OK 频道 | 产品
  • 舞台灯光 频道 | 产品
  • 户外灯光 频道 | 产品
  • 舞台机械 频道 | 产品
  • 灯光控制设备 频道 | 产品
  • 舞台机械 频道 | 产品
  • 舞台效果设备 频道 | 产品
  • 舞美显示控制 频道 | 产品
  • 模拟分区 频道 | 产品
  • 数码广播 频道 | 产品
  • 无线广播 频道 | 产品
  • 家居音乐 频道 | 产品
  • IP网络广播 频道 | 产品
  • 广播喇叭 频道 | 产品
  • 广播功放 频道 | 产品
  • 模拟广播设备 频道 | 产品
  • 摄录设备 频道 | 产品
  • 播控设备 频道 | 产品
  • 数字电视 频道 | 产品
  • 广电设备 频道 | 产品
  • 网络录播主机 频道 | 产品
  • 演播室摄像机 频道 | 产品
  • 广播摄录一体机 频道 | 产品
  • 储存设备 频道 | 产品
  • 视频监控 频道 | 产品
  • 门禁对讲 频道 | 产品
  • 智能交通 频道 | 产品
  • 防盗报警 频道 | 产品
  • 监控系统设备 频道 | 产品
  • 内部通信 频道 | 产品
  • 电子巡更 频道 | 产品
  • ., .
    null
    快捷,
    卓华光电,
    德浩视讯
    null
    照彰实业, 照彰实业
    招商广告
    创凯,
    null

    我的位置:

    易事达

    share to

    将eFPGA应用于嵌入式360度视域视觉系统中

    来源:数字音视工程网        编辑:航行150    2018-04-27 11:59:44     加入收藏

    带有多个高分辨率摄像头的嵌入式360°视域视觉系统已经进入了各种应用中,如汽车传感器融合、视频监控、目标检测、运动分析等。在此类系统中,多个实时摄像机...

      带有多个高分辨率 摄像头的嵌入式360°视域视觉系统已经进入了各种应用中,如汽车 传感器融合、视频监控、目标检测、运动分析等。在此类系统中,多个实时摄像机的视频流(最多6个) 被汇聚在一起逐帧处理,进行失真和其他图像伪影校正,调整曝光和白平衡,然后动态拼接成一个360°全景视图,以4K清晰度和60 fps帧频输出,最终投影到一个球形坐标空间上。

      目前用于此类应用的高分辨率鱼眼相机镜头通常具有一个广角视域(FOV)。环视相机系统最大的瓶颈之一是: 实时到或从外部存储器存储/读取和访问多路摄像机输入数据,然后将其作为一个单一帧进行处理。硬件需要在一帧延迟内,在输入摄像机传入的原始传感器数据和拼接输出视频之间完成处理运行。

      高性能计算平台一直朝着与CPU一起协同使用FPGA的方向发展,以便为实时图像处理任务提供专门的硬件加速。 这种配置使得CPU能专注于特别复杂的算法,其中它们可以快速切换线程和上下文,并将重复性任务分配给一个FPGA,以充当可配置的硬件加速器/协处理器/卸载引擎。 即使将FPGA和CPU作为分立器件使用,系统也可以提高整体效率,因为这些技术不会发生冲突,而是像将手套戴在手上一样来配合在一起。

      例如,从鱼眼镜头获得的图像遭受严重失真之苦,因而基于多个相机视频生成的拼接操作是高度计算密集型的任务,其原因为它是点像素操作。这种拼接需要大量的实时图像处理和高度并行化的架构。但是,这种下一代的应用超过了FPGA可不断接续实现的性能,主要是由于芯片吞吐数据的延迟。这反过来会影响整个系统的整体延迟、吞吐速度和性能。

      在一个SoC中加入可与CPU一起嵌入的eFPGA半导体知识产权(IP)。与一个独立的FPGA芯片加CPU解决方案相比,嵌入式FPGA阵列结构具有独特的优势,主要优势在于性能更强。一个eFPGA可通过一个宽的并行接口直接连接到ASIC(无I/O缓冲器)上,提供显著提高的吞吐量,以及以个位数时钟周期来计数的延迟。低延迟是复杂的图像实时处理过程的关键,例如纠正鱼眼镜头的失真这样的处理。

      利用Speedcore eFPGA IP,客户可以定义其逻辑、内存和DSP资源需求,然后Achronix可配置其IP以满足他们的需求。查找表(LUTs)、RAM单元块和DSP64单元块可以像积木一样进行组合,为任何给定的应用创建最佳的可编程结构。

      除了标准逻辑、嵌入式存储器和DSP单元模块之外,客户还可以在Speedcore eFPGA结构里面定义他们自己的功能块。通过把这些定制功能模块与传统构建模块一起集成到逻辑阵列结构中,可添加优化过的功能来减少面积和提高目标应用的性能,可使eFPGA的性能得到极大的提高,特别是对嵌入式视觉和图像处理算法非常有效。

      用自定义单元块来成功地解决高性能图像处理就是一个很好的例子,在实现您只看一次(YOLO)这一种使用了神经网络的、最先进的、实时对象检测算法时,可以优于早期的方法大大提高性能。该算法依赖于大量的矩阵乘法器,而在FPGA中实现时,这些矩阵乘法器需要使用DSP和RAM模块来构建;YOLO所需要的DSP和RAM模块之间的最佳配置,与一个典型的FPGA阵列结构中发现的不匹配之处就会出现问题。例如,FPGA阵列结构可能提供18×27乘法/累加单元块和32×128 RAM的DSP单元块,而此时的最佳解决方案可能是带有48×1024 RAM的16×8 DSP单元块。通过创建实现最佳DSP和RAM模块配置的定制单元块,所得到的Speedcore阵列结构所使用的芯片面积就会减少40%,来实现相同的功能并且能获得更高级别的系统性能。

      在SoC中嵌入FPGA阵列结构提供了两个额外的系统级好处:

      更低的功耗-可编程I / O电路占独立FPGA芯片总功耗的一半,而一个eFPGA可以与主控SoC中的其他模块直接内部线路连接,完全不需要大型可编程I / O缓冲器。

      更低的系统成本-由于eFPGA只需实现特定功能,eFPGA的裸片尺寸远小于等效的独立FPGA芯片,这是因为eFPGA不再需要可编程的I / O缓冲器和不必要的接口逻辑。

      借助超低延迟和实时处理功能,可以有效实现基于360°视域的视觉系统,具有定制单元块的Speedcore eFPGA与同一主控SoC中的一个CPU配合使用,非常适合去实现专用功能,如目标检测和图像识别、变形和失真校正、以及最后将最终图像拼接在一起。在SoC中嵌入FPGA阵列结构是超深亚微米时代系统集成的一个自然发展过程。

      文/Alok Sanghavi,Achronix Semiconductor资深产品营销经理

    免责声明:本文来源于网络收集,本文仅代表作者个人观点,本站不作任何保证和承诺,若有任何疑问,请与本文作者联系或有侵权行为联系本站删除。

    相关阅读related

      赛普,

      评论comment

       
      验证码:
      您还能输入500