基于英特尔AI计算机视觉的新创中天智能交通路侧视频边缘计算设备

　　概述

　　当前，中国正在大力推进包括人工智能、5G和工业物联网在内的新基础设施建设，为智慧城市的发展注入新动能。其中，城市的智能交通是至关重要的组成部分。通过对于人工智能、计算机视觉、云计算和大数据等技术的融合应用，智能交通管理系统将使得道路使用者(人与各种车辆)与道路交通设施和谐互动，有助于提升交通安全与效率(包括缓解交通拥堵)，从而改善人民的出行体验。

　　面向智能交通管理的应用场景，深圳市新创中天信息科技发展有限公司(以下简称：新创中天)推出了基于英特尔®AI计算机视觉的智能交通路侧视频边缘计算设备(以下简称：路侧视频边缘计算设备)，适用于交通路口、城市道路以及高速公路等不同的场景。部署在网络边缘的该设备搭载了英特尔®赛扬®系列CPU(Central Processing Unit：中央处理器)和英特尔® Movidius™ Myriad™ X VPU(Vision Processing Unit：视觉处理器)，并基于 OpenVINO™ 工具套件快速进行高性能AI计算机视觉算法开发，实现了优异的性能。以城市中的交通路口为例，该设备能够实现对于机动车(包括特种车辆)、非机动车、行人、交通信号灯、路面交通标识、交通流量状态和交通事件等的检测和识别，并为路侧交通基础设施设备(如交通信号红绿灯等)的自动控制提供相关视频检测分析数据。

　　　　背景：基于“端-边-云”架构的智能交通管理系统

　　充分提升交通安全与效率，除了改善城市空间布局、提升道路供给等措施之外，还需积极发展基于“端-边-云”架构的先进智能交通管理系统。如图1所示，这一系统的核心理念是基于在端侧对于交通状况的全面感知、在边缘和云对交通数据的精准综合分析以及对路侧交通基础设施的实时控制，从而完成丰富多样的智能交通管理功能。

　　图1. 智能交通管理系统"端-边-云"整体系统架构

　　新创中天®智能交通管理系统对于交通状态的准确感知和智能管理主要基于其所包含的五种主要子系统：

　　自动交通信号管理子系统;

　　交通流量视频综合检测子系统;

　　基于高清视频的综合违章报警子系统;

　　大屏LED自动诱导子系统;

　　交通态势预测和发布子系统。

　　其中，自动交通信号管理子系统包括位于云端的智能交通综合管控平台(控制中心)所包含的各类服务器和工作站、部署于边缘端路口机柜中的路侧视频边缘计算设备，以及部署于路口杆站上的AI智能相机。这些不同的设备与中心应用平台和交通信号控制机进行数据交互。控制中心可以利用汇聚的视频信息，支持交通事件感知和交通态势分析等综合性应用。AI智能相机一般用于新建的项目，它集视频采集、通用计算和基于AI推理的计算机视觉等能力于一体，为交通信号控制机提供视频检测分析数据。

　　在这一智能交通管理系统中，基于边缘计算与AI计算机视觉的路侧视频边缘计算设备是极为重要的基础性设备。该设备负责对路侧感知设备如相机所采集的视觉信息(包括视频和图像)进行实时计算分析，并在必要时与位于云端的控制中心进行数据交互，将优化的信号相位和配时方案输入给路侧的交通信号控制机。结合其它的输入信号，交通信号控制机通过其特定的算法确定最终的相位和配时方案，对路口的交通信号灯进行控制。

　　相较于传统的感应线圈、磁力计以及激光雷达等检测技术，基于各种相机采集信息的AI计算机视觉技术用于交通目标、状态和事件的检测和分析具有显著的成本优势，非常适合大规模的部署。除了交通路况信息，该设备还可以感知天气(如雨、雪、雾)等环境信息，并将这些信息和本地分析的结果上传至控制中心，作进一步的处理。该设备的普及，有助于全面提升交通安全与效率。

　　　　挑战：面向智能交通管理的边缘计算设备

　　路侧视频边缘计算设备需要实现对于机动车(包括特种车辆)、非机动车、行人、交通信号灯、路面交通标识、交通流量状态和交通事件等的检测和识别，因此需要连接多种相机(包括电警相机、卡口相机、交通流量检测相机、路口监控球机和行人检测相机)以收集所需的视频信息。

　　电警相机：主要用于拍摄车辆尾部，识别车牌号码等车辆信息;通常安装在电警杆(距离停止线20-25米)上;1台相机能覆盖1-3条车道。

　　卡口相机：主要用于拍摄车辆前部，识别车牌号码等车辆信息;通常安装在电警杆上;1台相机能覆盖1-3条车道。

　　交通流量检测相机：主要用于拍摄车辆前部或尾部，检测车流量、车道占有时间、排队长度、拥堵路况等，将检测分析数据提供给交通信号控制机，用于交通信号的相位和配时优化;通常安装在电警杆或者交通信号灯杆上;1台相机覆盖4-8车道。

　　路口监控球形相机：主要用于监控路口，也可用于路口下行的反溢(拥堵)检测;可以通过远程控制随时改变拍摄方向和焦距;通常安装在电警杆上。

　　行人检测相机：主要用于检测行人等待区和斑马线上的行人;通常安装在行人信号灯灯杆或附近路侧设施上。

　　该设备是事关交通安全的关键设备，在实际的部署和使用中，需要解决来自于低成本与低功耗限制下的数据处理性能、可靠稳定性、连接和兼容能力等多方面的技术挑战。

　　　　低成本与低功耗限制下的数据处理性能

　　该设备承担着多路相机的视频编解码、基于深度学习计算机视觉的车辆和行人实时检测和分析、车流量和人流量的实时分析、路口交通信号灯的相位和配时分析等负载。该设备的性能主要体现在可同时处理的视频通道数、处理时延和准确率。因为涉及到对交通信号灯的控制，处理时延和准确率对于确保交通安全尤为重要。对于作为最终用户的交通管理部门而言，性能还体现在交通安全与效率的提升。该设备性能的提升，对于芯片的处理能力提出了新的挑战，同时也要满足客户对整体设备成本和功耗的要求，因此需要高性价比和高能效比的芯片产品和系统架构设计。

　　　　可靠稳定性

　　该设备大多部署于环境恶劣的道路周边，温度和湿度的变化剧烈，外物冲击等司空见惯。这就要求该设备具有极强的环境适应能力，能够适应温度和湿度的变化，具备防水、防尘、防腐蚀和防震动冲击等能力，同时还需具备出色的电磁兼容和抗干扰能力，以确保在整个产品生命周期内不间断地提供稳定可靠的服务。

　　　　连接和兼容能力

　　该设备需要连接多种相机和交通信号控制机等路侧设备，并能与本文中提到的各种智能交通管理子系统进行数据交互。因此它的连接和兼容能力对整体性能至关重要。

　　　　解决方案：基于英特尔®架构的路侧视频边缘计算设备

　　新创中天®路侧视频边缘计算设备搭载了英特尔®赛扬® CPU和英特尔® Movidius™ Myriad™ X VPU，拥有传统计算机视觉和基于深度学习的计算机视觉的强大处理能力。其硬件与软件架构分别如图2和图3所示。用于自动交通信号控制时，其与其它设备的连接如图4所示。

　　图2. 路侧视频边缘计算设备硬件架构

　　图3. 路侧视频边缘计算设备软件架构

　　图4. 用于自动交通信号控制的路侧视频边缘计算设备

　　　　英特尔®赛扬®系列CPU

　　英特尔®赛扬®系列CPU具备业界的性能，支持不同的操作系统，能够满足广泛的业务需求。这一系列CPU不仅具备较强的计算能力，还具备高性价比、高能效比和安全可靠等优点。该处理器内嵌了英特尔®核芯显卡，具备较强的视频编码和解码处理能力。基于这一处理器的路侧视频边缘计算设备不但充分胜任对相关数据的计算、存储与转发，以及对各种所连接设备的控制等功能需求，还具备低成本与低功耗的显著优势。

　　　　英特尔® Movidius™ Myriad™ X VPU

　　Myriad™ X VPU 是英特尔第一个包含神经计算引擎(用于深度神经网络推理的专用硬件加速器)的视觉处理器。神经计算引擎结合 16 个强大的 SHAVE 内核和高吞吐量智能内存结构，使得Myriad™ X VPU成为设备上深度神经网络和计算机视觉应用的理想选择。Myriad™ X VPU可以使用 OpenVINO™ 工具套件的英特尔分发版编程，从而将神经网络移植到边缘，还可以通过包含所有必要开发工具、框架和 API 的 Myriad 开发套件 (MDK: Myriad Development Kit) 编程，用于在芯片上实现自定义视觉、成像和深度神经网络工作负载。在实际应用中，Myriad™ X VPU展现出了算力强且功耗低等独特优势。

　　　　英特尔® OpenVINO™工具套件分发版

　　新创中天正在使用 OpenVINO™ 工具套件来提升视频检测和分析等算法的准确度，加速推理时间，并节约算力资源。OpenVINO™ 工具套件是源自英特尔的一款功能非常全面的软件工具套件，支持快速开发丰富多样的应用和解决方案，来模拟人类的视觉 [1][2][3]。该工具套件基于卷积神经网络 (CNN: Convolutional Neural Network)，可在多种英特尔® 硬件中扩展计算机视觉 (CV: Computer Vision) 的工作负载，实现卓越性能。OpenVINO™ 工具套件支持传统计算机视觉和基于深度学习的计算机视觉的丰富多样的应用，其主要包含的功能模块如图5所示。

　　图5. OpenVINO™工具套件的主要功能模块

　　OpenVINO™ 工具套件具有如下特点：

　　用C++和Python语言编写;

　　支持多种操作系统包括Windows、Linux和MacOS;

　　支持在边缘到云端部署的高性能AI深度学习推理的加速处理;

　　支持跨英特尔® 深度学习推理加速器的异构执行，将通用 API 用于英特尔的不同硬件平台，包括CPU、集成显卡、包含有英特尔® Movidius™ VPU的神经计算棒和英特尔® HDDL视觉处理加速卡、FPGA等等，可帮助客户实现跨架构的算法移植和优化;

　　通过易于使用的计算机视觉函数库和预优化的内核，加快产品开发和上市速度;

　　包括针对计算机视觉的标准优化调用，包括 OpenCV、OpenCL和 OpenVX。

　　除了使用OpenVINO™ 工具套件中的AI计算机视觉功能之外，路侧视频边缘计算设备还用到了其中的英特尔® Media SDK，支持在英特尔®集成显卡上进行高性能的视频编码和解码。

　　得益于英特尔®赛扬®系列CPU和Myriad™ X VPU提供的强大通用计算和AI计算机视觉推理能力，该设备能够对前文提到的各种相机采集的视频或图像信息进行处理，对视频画面中的车辆和行人进行位置坐标标定，能够实现对于机动车(包括特种车辆)、非机动车、行人、交通信号灯、路面交通标识、交通流量状态和交通事件等的检测和识别。以交通流量状态为例，该设备能够实时检测每条车道和每辆车的状态数据，包括每个车道的车辆进入/离开状态、车道占有时间、过车总数量、过车速度、区域内实时车辆数目、最后一辆车的位置、车队长度和车型分类等关键数据信息。该设备可进一步对检测数据进行统计分析。

　　新创中天研发总工程师周长军表示：“路侧视频边缘计算设备是智能交通管理的重要基础性设备，能够全面增强交通管理部门对于交通路况的感知能力，并基于对实时数据的分析进行高效管理，从而提升交通安全与效率。除了对于机动车(包括特种车辆)、非机动车、行人、交通信号灯、路面交通标识、交通流量状态和交通事件等的检测和识别之外，我们还将进一步增加对道路路面状态和天气等的检测功能，满足更精细化和更有预见性的交通管理需求。”

　　　　效果：路侧视频边缘计算设备显著提升交通安全与效率

　　目前，基于英特尔®AI计算机视觉的新创中天®路侧视频边缘计算设备已经在北京、江西和山东等省市实现了广泛的部署。在用户实践中，该设备展现了以下显著的优势：

　　　　充分满足智能交通管理对AI计算机视觉的严苛性能要求

　　通过充分利用英特尔的各类芯片产品的出色多媒体处理能力，深度学习加速能力，以及多任务多进程的处理能力，该设备最多可以同时处理12路视频，可以实现基于深度学习的车辆和行人实时检测和分析，车流量和人流量的实时分析，为智能交通管理及时提供相关数据。

　　另外，该设备将视频处理负载转移到了边缘端，能够有效降低时延，缓解网络转发原始视频信息的带宽压力和中心处理服务器的负载压力，更好地保障信息安全，并能为未来拓展基于位置的服务。

　　　　充分支持对于多种交通目标的检测和分析

　　得益于AI计算机视觉核心算法的创新，以及对于英特尔硬件和软件潜能的充分挖掘，该设备可以检测和分析视频采集测覆盖区域内每辆车的特征信息和每条车道上的交通状态，并根据这些分析数据精细化控制交通信号灯等系统。该设备还可以通过视频检测不同车型，提供如特种车辆(救护车或消防车)和公交车辆优先通行等多种新业务。

　　　　支持高度的可扩展性以及负载融合

　　该设备通过以太网口、RS-232、RS-485、USB和HDMI等外部接口以及PCIe和mSATA等内部接口，实现了与多种外部设备和内置设备的互联互通，胜任多种功能需求。得益于英特尔®架构的成熟性与兼容性，该设备完全支持交通领域现有的全部相机种类。在软件架构方面，新创中天还使用了针对多应用的英特尔®负载融合技术，将功能相对独立而又需相互协同的多个应用整合到同一个硬件设备上。该设备在充分保证每个应用性能的前提下，充分挖掘硬件设备的计算能力，显著降低了系统集成和维护的技术难度和所需成本。

　　在湖南株洲的商用部署中，110台新创中天®路侧视频边缘计算设备被部署在该城市的110个交通路口，总共处理395路电警视频。该设备将车流量、排队长度、区间车辆数、最后一辆车的位置、车道占有时间、车辆速度和车型等实时检测分析数据发送给交通信号控制机;将分车道车流量、平均速度、车型流量、车道占有率、车头间距、车头时距和道路拥堵状况等统计检测分析数据发给中心应用平台。该设备帮助当地交通管理部门高效地对于多种交通目标进行检测和分析，全面提升了交通安全与效率，为智能交通管理体系的发展奠定了坚实的基础。

　　　　展望：英特尔®AI计算机视觉技术加速智能交通的发展

　　新创中天研发总工程师周长军表示：“基于英特尔®AI计算机视觉技术，新创中天®智能交通管理解决方案被实践证明能够显著地提升交通安全与效率。未来，我们将进一步推动该解决方案与更多智能交通管理平台进行深度融合，通过对于所采集交通状况信息的实时分析，对路侧交通管理设备进行实时控制，帮助交通管理部门更好地管理城市交通，进一步提升交通安全与效率。“

　　新创中天在交通数据采集和视频分析等领域具有卓越的优势，英特尔则拥有面向智能交通不同应用场景的“端-边-云”完整的硬件和软件解决方案。新创中天和英特尔的深度合作能够推动基于AI计算机视觉的边缘计算在智能交通各个领域的商用落地，针对不同的应用场景提供针对性的解决方案，显著地提升交通安全与效率。

　　例如，在未来的智能交通系统(ITS: Intelligent Transportation System)中，路侧视频边缘计算设备可以作为路侧基础设施中的多接入边缘计算(MEC: Multi-Access Edge Computing)设备用来支持车路协同(VII: Vehicle-Infrastructure Integration)。如图6所示，在道路上方的门架上，不仅可以部署用于监控路面交通状况的相机、雷达以及其它感知设备，还可以部署用于无线通信的V2X RSU和AI计算机视觉计算的路侧MEC设备(即路侧视频边缘计算设备)。当感知设备(如相机)发现异常状况或临时事件，如路面障碍物、交通事故以及路面施工的时候，可以通过路侧MEC设备基于AI计算机视觉等技术，判断事件或状况类型，据此生成安全消息，通过RSU的V2X无线通信链路及时通知附近的车辆或行人，避免事故的发生。门架上还可以部署气象传感器，将监测到的异常气象状况(如大雾、团雾、横风或冰雹等)通过分析处理，生成相关提示信息，并通过RSU发送给车辆，以保障行驶安全。

　　图6. 基于MEC和C-V2X的车路协同

　　车路协同的许多场景需要基于AI计算机视觉技术来进行分析处理，会对路侧MEC设备的计算能力有较高的需求。英特尔在AI计算机视觉和边缘计算等领域拥有深厚的技术积累，可以提供丰富多样的高性能产品组合。

　　如图7所示，针对于未来支持车路协同的AI计算机视觉应用，英特尔提供了各类算力不同的通用处理器(包括英特尔®凌动™、酷睿™和至强®系列处理器)，专用视觉处理器(英特尔®Movidius™ VPU)，以及基于VPU或FPGA的硬件加速处理方案。另外，为了支持跨不同芯片平台的开发，英特尔提供OpenVINO™工具套件，其内含丰富的软件工具，极大地提升了开发者的工作效率，缩短了产品研发时间。以数据为中心的英特尔公司以的端到端AI计算机视觉技术以及性能强大、功能完善的硬件与软件产品组合，联合产业界伙伴，为全球智能交通系统(ITS)的加速发展奠定了坚实的基础。

　　图7. 广泛支持终端、边缘和云的英特尔®AI计算机视觉产品

　　　　关于新创中天

　　新创中天是一家在视频检测和分析领域，从事产品研发、生产、销售及系统集成业务的高新技术企业，同时也是国内的交通数据采集专业服务商。目前主要面向城市交通和高速公路等应用场景，提供可靠的视频解决方案和产品服务。新创中天在视频技术方面有近二十年的沉淀和积累，具备从底层核心视频算法的开发，到嵌入式软硬件产品的设计，以及成熟应用系统的研发能力。

　　　　关于英特尔

　　英特尔(NASDAQ: INTC)作为行业引领者，创造改变世界的技术，推动全球进步并让生活丰富多彩。在摩尔定律的启迪下，我们不断致力于推进半导体设计与制造，帮助我们的客户应对最重大的挑战。通过将智能融入云、网络、边缘和各种计算设备，我们释放数据潜能，助力商业和社会变得更美好。