远程桌面，本质就是将桌面进行连续截屏、编码压缩，经网络传输后，再解码还原成画面的过程。可见编解码技术在其中扮演了举足轻重的作用。远程桌面的五大核心指标后，本篇我们将揭秘ToDesk高质量远程桌面的三大核心技术之一——视频编解码技术。

什么是视频编解码？

视频编解码是对图像数据进行压缩或者解压缩的过程。远程桌面的画面传输好比是把一辆汽车在上海拆成零件，分装进箱子里运到北京，再重新组装起来。视频编码和解码就是这个过程中“拆”和“装”两个关键环节，可见其复杂和重要性。 

编码包括采样、编码、压缩三个步骤。采样就是在视频流中截取画面数据，编码对这些画面数据进行处理，再压缩成更小的数据包以便传输。

解码则是编码的逆向过程：接收端把收到的数据包打开，重新还原成画面，再把画面根据顺序逐帧排列形成视频流。

为什么需要更强的视频编解码？

高效的视频编解码可以使编解码速度更快、把数据包压缩得更小。在更低的资源占用下，带来高清流畅的远程体验。

1. 编解码更快，端到端延时更低

影响用户真实体验的端到端延时，包括了网络传输延时和编解码延时。当端到端延时低至40ms时，网络传输延时通常不超过10ms，此时视频编解码就成了优化用户体验的关键。相较于传统的编解码技术，ToDesk可以将处理延时降低至最低8ms以下，带来几乎无感的用户体验。

2. 压缩率更高，更省带宽

更好的编码算法能够提高压缩率，用更少的带宽资源传输更高分辨率和帧率的画面。

3. 鲁棒性更强，无惧网络波动

鲁棒性就是系统的韧性。优秀的视频编解码不但要快，还要稳，在遇到网络波动时，像汽车避震系统一样把冲击化解掉，维持画面的流畅稳定。ToDesk在编解码中采用了灵活参考帧技术，网络丢包达到5%也能轻松化解。

十年编解码研发积累，打造ToDesk强劲核心

ToDesk核心团队有超过十年的视频编解码研发经验，算法和硬件优化双管齐下、深度优化，打造了专为远程桌面而生的高效编解码器。

高效算法消除冗余信息

空间冗余指的是静态画面中像素间的相同性造成的冗余。ToDesk的视频编码器采用静态场景优化策略，用智能图像算法合并处理整片的同色像素点。经合并之后，需处理的数据量大幅减少，从而缩短处理时间并降低带宽占用。

时间冗余指的是动态画面之间的相关性造成的冗余。一秒的60FPS视频包含60帧静态画面，相邻画面之间的变动其实非常微小。只传输有变动的区域，可以大幅减少传输数据量。

我们将一系列画面分为独立帧（称作I帧）和预测帧（称作P帧）。I帧会传输所有信息，可以解码出完整画面；P帧只传输前后画面之间的差别，需要参考前一帧画面来拼出完整画面，但数据量只有I帧的几百分之一。

一个I帧和多个P帧就构成了一组连续画面。就像是火车，I帧是车头，P帧都是接在车头后面的多节车厢。ToDesk通过图像算法优化，可以让一个I帧拖更多P帧，进一步降低5ms编码延时。

灵活参考帧技术

虽然这种环环相扣的传输方式可以大幅提升压缩率，但也需要预防网络抖动和丢包带来的数据丢失。否则如下图所示，序列中的某一帧丢失，后续的P帧就像脱节的车厢，无法解码。

ToDesk基于智能图像算法开发了“灵活参考帧”技术，通过AI算法推测图像之间的相关性，让P帧可以参考之前的多张画面进行解码。即使网络丢包率达到5%，也能维持画面连贯流畅。

桌面内容编码

针对文字工作、图片显示、3D图形等不同桌面内容，ToDesk均采用了针对性的特殊编码，进一步降低输出码率，静止状态下低于50kbps，正常办公时低于200kbps。桌面内容编码降低了ToDesk的带宽占用，在各种网络环境下都能提供流畅稳定的远程体验。

GPU硬件加速

除了算法优化，ToDesk更进一步，深入计算架构挖掘硬件性能，用GPU提升编码效率，在提升速度的同时，还释放了CPU资源，让电脑运行更顺畅。

CPU计算单元较少，但每个单元的算力更强，适合处理步骤严密关联、逻辑复杂的任务。GPU则恰恰相反，适合处理大量的重复计算。视频编解码的算法独立、运算量大，就非常适合GPU。

知易行难，不同的计算架构就像是不同的语言，需要经过复杂的转换才能顺畅运行。ToDesk 为GPU量身打造了并行编解码架构，充分发挥硬件潜力，把编码延时降低到8ms以下。并且运用了了采集直通技术——GPU直接从显存里获取图像信息，无需CPU介入，采集延时降低到5ms以下。

除了强大的视频编解码能力是远程桌面的核心基础外，影响实际体验的网络质量也同样举足轻重。ToDesk聚焦网络传输，采用Zuler OTT SD-WAN为您的远控体验保驾护航。

了解Zuler OTT SD-WAN