在当今数字化时代，视频内容的传播与消费已经成为人们生活中不可或缺的一部分。从传统的广播电视到新兴的流媒体服务，视频编码技术始终是推动行业发展的关键力量。然而，随着技术的不断进步，视频编码领域也面临着诸多挑战，包括复杂性增加、成本上升以及与通信技术的协调等问题。

　　下面这篇文章编译自作者 Amal Punchihewa。Amal Punchihewa 博士是 IEEE-BTS 杰出讲师和工程技术学会（IET，Institution of Engineering and Technology 的简称）媒体技术网络的成员，专注于图像和视频编码技术的研究。

　　文章深入探讨了视频编码技术的现状、未来发展方向以及行业面临的困境，为我们呈现了一个全面而深刻的视角，揭示了电视行业在编码框架方面亟待解决的问题以及潜在的解决方案。

　　在探讨电视未来发展的过程中，我们需要认识到视频编码技术是塑造电视内容分发与消费方式的核心技术之一。广播与媒体服务始终依托于通信技术与压缩技术的双重创新——通信技术不断拓展传输带宽边界，而压缩技术则致力于将庞大数据精简至可用带宽范围内。

　　通信技术和压缩技术相互协作，但有时也会相互竞争。例如，当通过光纤和 5G 技术提高通信速度时，压缩技术的重要性就会降低。

　　然而，视频编解码标准必须与通信技术保持良好的一致性。

　　作为 IEEE-BTS 杰出讲师以及 IET 媒体技术网络的成员，我最近为斯里兰卡佩拉德尼亚大学的本科生做了一场两个小时的讲座，他们正在学习图像和视频编码。讲座涉及的一些关键主题包括：推动视频编码发展的因素、编解码器的演变、质量评估，以及更重要的，理解他们试图解决的问题是什么。

　　学生们也提出了许多相关的问题：

　　1、“GPU 和 CPU 制造商如何适应不断发展的视频编解码标准，尤其是随着编解码器变得越来越复杂？”

　　2、“由于新型处理器拥有专门用于编码和解码的硬件，它们如何随着时间的推移处理这些变化，尤其是在移动设备中？”

　　3、“在保持性能、效率和兼容性方面，主要的挑战是什么？”

　　本文将系统解答上述问题，同时深入剖析国际电信联盟（简称 ITU）近期举办的"视频编码未来"研讨会上多位专家发表的前瞻观点。

　　在 20 世纪 80 年代，我作为一名计算机工程师开始了我的职业生涯，有机会接触到能够处理特殊图形的计算机，其中包括 Commodore 的 Amiga。ITU 研讨会的演讲者、MainConcept 项目经理总监 Nicolai Otto 提到，他的公司最早推出的产品之一是 1993 年为 Commodore 的 Amiga 设计的运动 JPEG 解码器。

　　作为一名专注于图像和视频编码的信号处理专家，我一直关注着编解码器在不同生命周期中的部署和实现，以及它们在过去四十年中的演变。

　　例如，三星表示，他们制造各种用途的消费设备，如手机和大屏幕电视。如果市场上使用了某种编解码器，三星就需要在所有设备上提供支持，因此，三星一直在参与编解码器标准化并对其进行投资。

　　随着电视显示屏尺寸的不断增大，需要更多的像素。相应地，为了管理电视空间定义中不断增加的数据量，需要更高效的编解码器。因此，新一代编解码器通常能够实现 30% 到 50% 的码率降低。

　　然而，截至 2025 年，UHD 电视市场尚未完全形成。UHD-1（通常称为4K）的市场采用率有限，而 UHD-2（即 8K）的推广速度也比预期的要慢。

　　除了空间分辨率的提高，扩展色域（广色域或 WCG）、高动态范围（HDR）和高帧率（HFR）等因素也会导致数据率的增加。此外，无论是传统内容还是现代内容中常见的胶片颗粒感，也需要大量的比特来精确呈现。

　　如今，内容既在大尺寸电视屏幕上消费，也在移动手机、平板电脑和笔记本电脑等便携设备上消费。对于这些便携设备来说，8K 或 16K 的空间分辨率是不必要的，因为对于给定的屏幕尺寸，近距离观看使得如此高的分辨率显得多余。

　　最近，视频服务通过流媒体平台（OTT）得到了扩展，其中最大的挑战之一是 FAST 的增长。FAST 服务提供免费视频内容，但用户需要观看广告。

　　FAST 服务正在增长，但其独特之处在于，为控制运营成本，此类服务多采用低分辨率（如 720p）并沿用 H.264 等旧编码标准，形成与传统付费流媒体的技术代差。

　　像 MPEG-2、H.264 和 H.265 这样的视频编解码器已实现大规模商用，一些编解码器实施者目前正在研究用于视频压缩的 H.266，并探索下一代视频编解码器 H.267 的可行性。

　　在 ITU 研讨会的演讲中，Nicolai 将编解码器生命周期划分为四个关键阶段：标准化、标准实施、技术采用和市场应用。

　　1、第一阶段由 ITU 和 ISO（国际标准化组织）等机构主导标准化进程，涵盖技术研究期，历时约三至五年。

　　2、第二阶段进入标准实施阶段，技术文档移交企业进行产品化。开发完整编码器通常耗时远超两到三年，在此期间标准规范将逐步转化为可供制造商向目标客户交付的最低可行产品（MVP）。

　　3、第三阶段制造商与客户共同进入技术采用期。制造商在此阶段需验证编解码器商业价值，评估其技术交付能力，并判断其在预期应用场景中的潜力。

　　4、经历数年发展后，编解码器最终进入第四阶段市场应用期。此时用户真正掌握技术使用范式，该阶段可持续极长时间——正如高级视频编码（AVC/H.264）标准自 2003 年发布至今仍被广泛应用所印证。

　　近期，业界出现了编解码器采用率下降的趋势，专利池和版税成本上升，以及编解码器的延迟和复杂性增加。因此，至关重要的是要评估新的编解码器是否提供了足够的编码效率，以抵消这些负面趋势。

　　考虑到编解码器被采用并进入应用阶段所需的总时间，Nicolai 建议将编解码器规范过程与参考实现并行化，以缩短上市时间并提高可预测性。

　　在 ITU 的编码研讨会上，还提出了采用统一框架的建议。尽管创建统一设计存在挑战，但标准社区认为这是有价值的。探索一个统一框架，将不同支持者提出的各种编码工具整合到一个单一设计中，可能会降低复杂性和成本。一个历史性的案例是，在 H.264 标准化过程中移除了一些复杂但价值较低的技术，这突显了统一工具的好处。

　　随着多种视频标准的出现，进行主观视频质量评估，尤其是在比较它们时，变得极具挑战性。因此，人们越来越多地转向使用客观视频质量评估技术。

　　传统的图像和视频质量评估指标是峰值信噪比（PSNR），但它与人类感知或主观评价的相关性并不强。我们建议使用与人类实际感知更为接近的质量指标。视频和媒体行业需要一种更注重感知质量的质量指标。

　　由于 PSNR 是一种纯粹的客观质量指标，与感知质量的相关性较差，因此需要更好的替代指标来进行主观视频质量评估。因此，像视频多方法评估融合（简称 VMAF）这样的感知质量指标正变得比 PSNR 更为重要。

　　Source, Netflix/Alliance for Online Media

　　当编解码器用于直播体育赛事时，它们只是整个流程中的一个组成部分。视频的分发链，尤其是使用自适应码率流媒体技术的直播体育赛事，本身也存在一系列需要同时解决的挑战。

　　为大规模市场部署而设计的现代视频技术需要实用、稳健、低功耗且低成本的解决方案，同时还要提供最先进的压缩能力。整个处理链，包括视频内容的预处理、编码、存储、传输、解码、后处理、分析和再利用，都必须被考虑在内，以确保其能够支持高分辨率、高帧率和高动态范围。

　　虽然更多的压缩可以节省带宽和存储空间，但不应以实现过于复杂的实现为代价。额外的编码工具可能会以超过编码效率提升的速度增加编码过程的复杂性。这种编码效率的递减收益会导致编解码器变得更加复杂和昂贵，主要原因是与专利池相关的版税数量众多。这反过来又会对编解码器的采用产生负面影响。

　　在移动设备等便携式设备上，解码视频是一个计算密集型的任务。如果解码过程对 CPU 要求过高，不仅会导致设备发热、性能下降，还会快速消耗电池电量，影响用户体验。这就要求设计解码算法时需要考虑其对 CPU 的负担和对电池寿命的影响，以确保在这些设备上能够高效、持久地播放视频。

　　因此，解码过程应该对 CPU 友好，避免不必要的复杂性，并且不应过度消耗移动和便携设备的电池寿命。

　　当前的研究集中在使用 AI 工具来增强视频压缩。AI 技术在视频压缩领域具有很大的潜力，例如通过更智能的预测、分类和优化算法来提高压缩效率。但 AI 算法往往需要消耗大量的计算资源，这可能会增加设备的负担和成本。因此，在将 AI 技术应用于视频编解码时，需要权衡其带来的好处和增加的复杂性。同时，考虑到实际应用中的成本和设备性能的限制。

　　下一代视频编解码器的开发应优先考虑成本效益、感知质量和 CPU 效率。

　　过去，开发新的编解码标准的一个主要驱动力是为了在有限的带宽下传输更高质量的视频，即通过降低比特率来节省带宽。然而，随着网络技术的发展，尤其是宽带网络和 5G 等高速网络的普及，网络传输能力已经大幅提升，能够支持高分辨率视频的传输。

　　那么，在这种情况下，仅仅为了进一步降低比特率而开发新的编解码标准可能并不是最有价值的方向，因为当前的网络已经能够满足现有视频内容的传输需求，包括 UHD-1（4K）和 UHD-2（8K）内容。

　　感知质量是指观众实际感受到的视频质量，这比单纯的技术指标（如比特率、分辨率等）更能反映用户体验。在视频播放过程中，如果编解码器对 CPU 的效率不高，可能会导致播放卡顿、延迟等问题，影响观众的观看体验。

　　因此，下一代编解码器需要在保证感知质量的同时，提高对 CPU 的利用效率。另外，对于一些对实时性要求较高的应用场景，如现场体育赛事的直播、在线游戏和视频通话等，低延迟是一个关键的需求。这些场景需要视频能够快速、无延迟地传输和解码，因此需要进一步研究和开发能够满足低延迟要求的编解码技术。

　　其他优先事项应包括降低许可成本和降低复杂性，同时保持与以往相当的编码增益。

　　此外，视频编解码技术通常涉及到专利和许可费用，这些费用对于编解码器的广泛应用和商业化是一个重要的考虑因素。

　　降低许可成本可以使更多的企业和开发者能够使用先进的编解码技术，从而推动其在市场上的普及。同时，降低编解码技术的复杂性不仅可以减少开发和实现的成本，还可以提高其在不同设备和平台上的兼容性和可操作性。

　　然而，在实际的商业应用中，要实现显著的编码效率提升（即在不降低质量的情况下大幅降低比特率）面临着诸多技术挑战，如算法的优化、硬件的支持等。

　　因此，与其追求难以实现的大幅编码增益，不如将目标放在更容易实现的编码改进上，逐步提高编解码性能，这样可能更符合实际的发展需求。

责任编辑：房家辉