116
资讯 > 详情
远控硬核拆解(二):视频编解码,打造强劲处理核心

2022-05-31

远程桌面,本质就是将桌面进行连续截屏、编码压缩,经网络传输后,再解码还原成画面的过程。可见编解码技术在其中扮演了举足轻重的作用。远程桌面的五大核心指标后,本篇我们将揭秘ToDesk高质量远程桌面的三大核心技术之一——视频编解码技术

什么是视频编解码?

视频编解码是对图像数据进行压缩或者解压缩的过程。远程桌面的画面传输好比是把一辆汽车在上海拆成零件,分装进箱子里运到北京,再重新组装起来。视频编码和解码就是这个过程中“拆”和“装”两个关键环节,可见其复杂和重要性。 

IMG_256

编码包括采样、编码、压缩三个步骤。采样就是在视频流中截取画面数据,编码对这些画面数据进行处理,再压缩成更小的数据包以便传输。

解码则是编码的逆向过程:接收端把收到的数据包打开,重新还原成画面,再把画面根据顺序逐帧排列形成视频流。

为什么需要更强的视频编解码?

高效的视频编解码可以使编解码速度更快、把数据包压缩得更小。在更低的资源占用下,带来高清流畅的远程体验。

1. 编解码更快,端到端延时更低

影响用户真实体验的端到端延时,包括了网络传输延时和编解码延时。当端到端延时低至40ms时,网络传输延时通常不超过10ms,此时视频编解码就成了优化用户体验的关键。相较于传统的编解码技术,ToDesk可以将处理延时降低至最低8ms以下,带来几乎无感的用户体验。

2. 压缩率更高,更省带宽

更好的编码算法能够提高压缩率,用更少的带宽资源传输更高分辨率和帧率的画面。

3. 鲁棒性更强,无惧网络波动

鲁棒性就是系统的韧性。优秀的视频编解码不但要快,还要稳,在遇到网络波动时,像汽车避震系统一样把冲击化解掉,维持画面的流畅稳定。ToDesk在编解码中采用了灵活参考帧技术,网络丢包达到5%也能轻松化解。

十年编解码研发积累,打造ToDesk强劲核心

ToDesk核心团队有超过十年的视频编解码研发经验,算法和硬件优化双管齐下、深度优化,打造了专为远程桌面而生的高效编解码器。

高效算法消除冗余信息

空间冗余指的是静态画面中像素间的相同性造成的冗余。ToDesk的视频编码器采用静态场景优化策略,用智能图像算法合并处理整片的同色像素点。经合并之后,需处理的数据量大幅减少,从而缩短处理时间并降低带宽占用。

静态

时间冗余指的是动态画面之间的相关性造成的冗余。一秒的60FPS视频包含60帧静态画面,相邻画面之间的变动其实非常微小。只传输有变动的区域,可以大幅减少传输数据量。

动态对比

我们将一系列画面分为独立帧(称作I帧)预测帧(称作P帧)。I帧会传输所有信息,可以解码出完整画面;P帧只传输前后画面之间的差别,需要参考前一帧画面来拼出完整画面,但数据量只有I帧的几百分之一。

IP帧_释义

一个I帧和多个P帧就构成了一组连续画面。就像是火车,I帧是车头,P帧都是接在车头后面的多节车厢。ToDesk通过图像算法优化,可以让一个I帧拖更多P帧,进一步降低5ms编码延时。

灵活参考帧技术

虽然这种环环相扣的传输方式可以大幅提升压缩率,但也需要预防网络抖动和丢包带来的数据丢失。否则如下图所示,序列中的某一帧丢失,后续的P帧就像脱节的车厢,无法解码。

IP帧丢失

ToDesk基于智能图像算法开发了“灵活参考帧”技术,通过AI算法推测图像之间的相关性,让P帧可以参考之前的多张画面进行解码。即使网络丢包率达到5%,也能维持画面连贯流畅。

桌面内容编码

针对文字工作、图片显示、3D图形等不同桌面内容,ToDesk均采用了针对性的特殊编码,进一步降低输出码率,静止状态下低于50kbps,正常办公时低于200kbps。桌面内容编码降低了ToDesk的带宽占用,在各种网络环境下都能提供流畅稳定的远程体验。

GPU硬件加速

除了算法优化,ToDesk更进一步,深入计算架构挖掘硬件性能,用GPU提升编码效率,在提升速度的同时,还释放了CPU资源,让电脑运行更顺畅。

CPU计算单元较少,但每个单元的算力更强,适合处理步骤严密关联、逻辑复杂的任务。GPU则恰恰相反,适合处理大量的重复计算。视频编解码的算法独立、运算量大,就非常适合GPU。

IMG_261

知易行难,不同的计算架构就像是不同的语言,需要经过复杂的转换才能顺畅运行。ToDesk 为GPU量身打造了并行编解码架构,充分发挥硬件潜力,把编码延时降低到8ms以下。并且运用了了采集直通技术——GPU直接从显存里获取图像信息,无需CPU介入,采集延时降低到5ms以下。

除了强大的视频编解码能力是远程桌面的核心基础外,影响实际体验的网络质量也同样举足轻重。ToDesk聚焦网络传输,采用Zuler OTT SD-WAN为您的远控体验保驾护航。

了解Zuler OTT SD-WAN