在我国,5G行业与智能驾驶技术的迅猛发展催生了平行驾驶这一新兴技术。从应用在智能化服务园区的无人物流车,到在恶劣环境下作业的矿区无人驾驶矿车,再到提升港口工作效率的智能驾驶集卡,甚至支持远程接管脱困的云代驾,这些垂直场景的应用都在推动平行驾驶技术的爆发式增长。
新一代的云端化网联智能驾驶技术,平行驾驶通过实时音视频和实时信令传输,实现智能车辆与控制平台、驾驶模拟器三方高效连接。借助并行视觉与感知、并行学习、并行规划和并行控制等先进技术,成功实现了虚实互动的远程驾驶模式,以及辅助智能驾驶的远程接管与控制。这一创新性技术为未来智能驾驶领域的发展开辟了新的可能,标志着我国自动驾驶技术的重大突破。
在保障驾驶操作的安全性、稳定性和可靠性方面,实时音视频与实时信令在平行驾驶场景中的运用目前面临着三个主要挑战。首先,对于音视频信令的超低时延需求,在远程车控场景下,例如当车辆以每小时30公里的速度中低速行驶时,如果在从车机视频采集到远端操作员看到画面并作出指令,再经过指令执行整个过程的延迟超过200毫秒,将会使得控制距离增加近2米,从而影响到驾驶安全。其次,视频的卡顿容忍度较低,一旦视频出现卡顿,车辆状态与画面同步性就会受到影响,远端操作者将无法准确掌握车辆周围的情况。最后,网络环境的复杂性也是一大挑战。在车辆行驶过程中,由于基站距离的相对变化,场景网络会出现较大的波动,网络时延抖动和丢包等弱网情况时有发生;同时,基站与基站交叉的位置可能会涉及到网络盲区的问题。因此,相较于其他场景,平行驾驶场景的网络环境更为复杂。
超低时延、稳定可靠、安全的火山引擎RTC智能驾驶远程车控方案
火山引擎RTC(实时音视频)智能驾驶远程车控方案,依托于超低时延、稳定可靠且安全可靠的实时音视频及实时信令服务,构建了一套全面而高效的驾驶远程车控体系。该体系为平行驾驶中的多路视频实时通信、远程控制指令、视频录制与回放,以及车辆与驾驶舱管理等提供了有力支持,从而实现了驾驶舱与车辆的一对多控制与管理。此外,该方案还能广泛应用于港口集卡、矿区无人驾驶矿车、园区物流车等远程驾驶与远程作业场景,以及汽车自主泊车和云代驾的远程接管和辅助脱困等具体情况。
火山引擎RTC智能驾驶远程车控方案架构
车机场景专属优化,超低延时画面实时呈现
为满足平行驾驶等场景下超低延迟的需求,火山引擎RTC采用了全链路优化策略,从采集、编码到传输等环节进行高效协同,将音视频端到端的延时降低至百毫秒以内。这一技术成果充分展现了火山引擎在实时通信领域的强大实力与高效性能。
在编码收集领域,GMSL车规级摄像头的收集编码时间约为70-100毫秒,这成为了导致延迟的主要原因之一。为了应对这一问题,火山引擎RTC对NVIDIA、高通等主流车机的编码收集进行了深度优化。这些优化措施包括但不限于:主流车机音视频SDK内部的采集优化,避免了视频源采集转码的需求;同时,它还兼容主流车机的硬件编码,以提高编码效率,并确保车机端能够实现多路流同时低时延的传输,从而最大限度地减少了编码收集的时间。考虑到车机传输的主要形式是移动高码率的画面,火山引擎RTC配备了自动码率控制机制,以确保画面质量的同时,自适应地减少码率,实现了编码效率与画质之间的平衡。
火山引擎RTC在传输领域展现出强大的覆盖能力,成功地实现了对我国中小运营商以及三四线城市边缘流媒体节点的全面覆盖,从而保证了用户与车辆能够就近接入传输网络。为了进一步满足车机场景抗弱网的需求,该技术在保持低数据缓存低延迟模型的基础上,采用了更为极致的优化策略,通过智能调度策略减少了中间链路跳转的数量,进而大幅度降低了数据缓存传输时的延时,从而提升了用户的体验。
在本次实测中,我们采用了GMSL2车规级1080P摄像头。这种摄像头的特性在于,它能够将摄像头采集到的画面,实时传输到控制端进行显示。经过优化处理,该系统可以将端到端的时延降低至90ms。而在5G公网场景下,该系统的平均时延更是达到了160ms。这样的表现,无疑极大地提升了系统的响应速度和用户体验。
超低延时控制信令响应,车控状态实时反馈
在平行驾驶场景中,操作者需要根据看到的实时情况进行远程操作控制,因此对控制指令触达和车辆状态反馈的要求非常高。火山引擎RTC的实时信令RTS(Real-time Signaling),采用自研可靠的UDP协议,复用RTC传输网络,具备优异的弱网对抗性能,能提供超低延时、高可靠的信令传输能力,端到端平均延时降低至51ms,实现车辆控制指令与状态的实时同步。通过多节点同时建联策略,在复杂网络条件丢包80%下,仍可保证信令100%到达,并应用消息压缩、加密发送等传输技术,保证传输安全的同时,显著降低网络带宽,提高传输效率。
同时,实时信令RTS可提供控制信令响应延迟实时数据,响应延迟是远程车控中非常重要的指标,通过实时计算从用户给出操作到视频画面反馈回来的延时,可帮助操作者更及时地感知车辆状态并进行操作调整。
多链路传输结合智能抗弱网策略,保障网络波动下的流畅车控
由于车辆行驶中涉及与基站相对位置变化,不可避免地存在网络信号波动或断网情况,平行驾驶一般采用多卡多待和一网多卡等方案解决不同位置单一运营商网络覆盖和质量不可靠的问题。火山引擎RTC针对车机多网卡场景,实时监测当前网络的变化和连通性,提供网络中断后的秒级快速恢复能力,尽可能减少网络中断对远程车控的影响。同时,提供在复杂网络场景下的网络通道优选,选择最优运营商网络通道进行实时音视频传输,并支持多链路传输策略,多运营商网络通道同时传输有效解决单条网络通道出现抖动等弱网下的卡顿问题,减少网络盲区情况的发生,提高用户的带宽传输上限。
同时,火山引擎RTC通过实时网络类型探测、高效的带宽探测以及基于4G/5G网络的自适应拥塞控制策略,结合应用FEC、ARQ、HARQ、自适应Jitter Buffer、自适应码率下发等弱网策略,平衡平行驾驶中的延时和卡顿体验。在常规网络条件下,100ms卡顿率小于0.1%;在30%丢包和50ms网络抖动情况下,100ms卡顿率小于1%。
实时车控质量数据监测,提升运营效率和服务体验
为了解决运营者对于远程车控体验质量无法量化衡量、缺少体验问题排查优化手段的痛点,火山引擎RTC提供综合的远程车控场景化质量数据,包括实时音视频和实时信令质量实时数据以及端到端QoS指标,帮助运营者实时监控音视频和信令质量。其能够有效定位问题原因并快速解决,可针对固定路线或者封闭区域的网络进行优化,以保证远程车控的服务体验。
不同场景对指标的可用性、流畅度、实时性以及性能的要求不同,观察的指标也不尽相同。火山引擎RTC可按照不同业务场景推荐更符合该场景的指标。由于车机画面经常处在移动状态,操作者更容易感知画面卡顿,因此在“视频卡顿率”指标上,火山引擎推荐“100ms/200ms视频卡顿率”这个更加“严苛”的指标,更直观地反馈操作者的感知体验,更符合远程车控业务的实际情况。
车牌人脸按需脱敏与音视频全链路加密,符合汽车数据安全管理要求
远程车控对安全性要求严格,火山引擎RTC提供Token加密和用户接入鉴权、音视频传输数据AES256加密等,保障音视频全链路加密并与用户业务数据隔离。
根据《汽车数据安全管理若干规定(试行)》,车内处理原则,除非确有必要不向车外提供;脱敏处理原则,尽可能进行匿名化、去标识化等处理。火山引擎RTC结合火山引擎人脸车牌脱敏算法,对视频流进行车牌和人脸的按需脱敏,满足汽车场景数据安全与个人隐私保护的合规要求。
AI时代,拥有个人微信机器人AI助手!AI时代不落人后!
免费ChatGPT问答,办公、写作、生活好得力助手!
搜索微信号aigc666aigc999或上边扫码,即可拥有个人AI助手!