多个自适应环路滤波器集合的制作方法
admin
2023-05-26 09:30:15
0次
该技术已申请专利。仅供学习研究，如用于商业用途，请联系技术所有人。
多个自适应环路滤波器集合
1.本技术要求于2020年12月18日提交的美国专利申请号17/126,671和于2020年7月24日提交的美国临时申请号62/705,992的优先权，其中每个专利申请的全部内容通过引用并入本文中。于2020年12月18日提交的美国专利申请号17/126,671要求2020年7月24日提交的62/705,992的权益。
技术领域
2.本公开涉及视频编码和视频解码。
背景技术：
3.数字视频能力可以被结合到多种设备中，这些设备包括数字电视、数字直播系统、无线广播系统、个人数字助理(pda)、膝上型或台式计算机、平板计算机、电子书阅读器、数码相机、数字记录设备、数字媒体播放器、视频游戏设备、视频游戏控制台、蜂窝或卫星无线电电话、所谓的“智能电话”、视频电话会议设备、视频流式传输设备等。数字视频设备实施视频译码技术，诸如在由mpeg-2、mpeg-4、itu-t h.263、itu-t h.264/mpeg-4，第10部分，高级视频译码(avc)、itu-t h.265/高效视频译码(hevc)以及这些标准的扩展所定义的标准中描述的那些技术。通过实施这样的视频译码技术，视频设备可以更高效地发送、接收、编码、解码和/或存储数字视频信息。
4.视频译码技术包括空间(图片内)预测和/或时间(图片间)预测，以减少或移除视频序列中固有的冗余。对于基于块的视频译码，视频切片(例如，视频图片或视频图片的一部分)可以被分割成视频块，视频块也可以被称为译码树单元(ctu)、译码单元(cu)和/或译码节点。图片的帧内译码(i)切片中的视频块使用相对于同一图片中的相邻块中的参考样本的空间预测来编码。图片的帧间译码(p或b)切片中的视频块可以使用相对于同一图片中的相邻块中的参考样本的空间预测或相对于其他参考图片中的参考样本的时间预测。图片可以被称为帧，并且参考图片可以被称为参考帧。
技术实现要素：
5.一般而言，本公开描述了使用自适应环路滤波器对视频数据进行译码的技术。具体地，本公开描述用于对指示多个自适应环路滤波器集合的数据进行编码和解码以及确定针对多个自适应环路滤波器集合中的特定自适应环路滤波器集合的自适应环路滤波器的技术。本公开的技术可以通过提供从中确定自适应环路滤波器的多个自适应环路滤波器集合来实现更好的内容自适应和译码效率。此外，描述了用于信令通知多个自适应环路滤波器集合的技术，这可以允许以相对较低的开销成本信令通知。
6.在一个实例中，本公开描述了一种对视频数据进行解码的方法，该方法包括接收与视频数据相关联的自适应参数集中的多个自适应环路滤波器集合，从多个自适应环路滤波器集合中确定一个或多个自适应环路滤波器，并且将所确定的一个或多个自适应环路滤波器应用于视频数据。
7.在另一示例中，本公开描述一种被配置为对视频数据进行解码的装置，该装置包括：存储器，被配置为存储视频数据；以及在电路中实施并且与存储器通信的一个或多个处理器，该一个或多个处理器被配置为：接收与视频数据相关联的自适应参数集中的多个自适应环路滤波器集合，从多个自适应环路滤波器集合中确定一个或多个自适应环路滤波器，并且将所确定的一个或多个自适应环路滤波器应用于视频数据。
8.在另一示例中，本公开描述一种被配置为对视频数据进行解码的装置，该装置包括：用于接收与视频数据相关联的自适应参数集中的多个自适应环路滤波器集合的部件；用于从多个自适应环路滤波器集合中确定一个或多个自适应环路滤波器的部件；以及用于将所确定的一个或多个自适应环路滤波器应用于视频数据的部件。
9.在另一实例中，本公开描述一种存储指令的非暂时性计算机可读存储介质，该指令在被执行时使被配置为对视频数据进行解码的设备的一个或多个处理器：接收与视频数据相关联的自适应参数集中的多个自适应环路滤波器集合；从多个自适应环路滤波器集合中确定一个或多个自适应环路滤波器；以及将所确定的一个或多个自适应环路滤波器应用于视频数据。
10.一个或多个示例的细节在附图和以下描述中阐述。根据说明书、附图和权利要求，其他特征、目的和优点将变得显而易见。
附图说明
11.图1是示出可以执行本公开的技术的示例视频编码和解码系统的框图。
12.图2是示出示例自适应环路滤波器形状的概念图。
13.图3是示出4
×
4子块自适应环路滤波器分类的示例子采样拉普拉斯值的概念图。
14.图4是示出亮度样本的示例拉普拉斯值的概念图。
15.图5是示出自适应环路滤波器类别合并的示例的概念图。
16.图6是示出7
×
7菱形滤波器形状的示例几何变换的概念图。
17.图7是示出虚拟边界处亮度自适应环路滤波的对称样本填充的一个示例的概念图。
18.图8是示出虚拟边界处亮度自适应环路滤波的对称样本填充的另一示例的概念图。
19.图9是示出虚拟边界处亮度自适应环路滤波的对称样本填充的另一示例的概念图。
20.图10是示出虚拟边界处的自适应环路滤波器4
×
4子块分类的概念图。
21.图11a和图11b是示出示例四叉树二叉树(qtbt)结构和对应的译码树单元(ctu)的概念图。
22.图12是示出可以执行本公开的技术的示例视频编码器的框图。
23.图13是示出可以执行本公开的技术的示例视频解码器的框图。
24.图14是示出根据本公开的技术对当前块进行编码的示例方法的流程图。
25.图15是示出根据本公开的技术对当前块进行解码的示例方法的流程图。
26.图16是示出根据本公开的技术对当前块进行解码的另一示例方法的流程图。
具体实施方式
27.一般而言，本公开描述了使用自适应环路滤波器对视频数据进行译码的技术。具体地，本公开描述用于对指示多个自适应环路滤波器集合的数据进行编码和解码以及确定针对多个自适应环路滤波器集合中的特定自适应环路滤波器集合的自适应环路滤波器的技术。本公开的技术可以通过提供从中确定自适应环路滤波器的多个自适应环路滤波器集合来实现更好的内容自适应和译码效率。此外，所描述的技术可以包括用于信令通知多个自适应环路滤波器集合的技术，这可以允许以相对较低的开销成本信令通知。
28.图1是示出可以执行本公开的技术的示例视频编码和解码系统100的框图。本公开的技术大体上涉及译码(编码和/或解码)视频数据。一般而言，视频数据包括用于处理视频的任何数据。因此，视频数据可以包括原始的未经编码的视频、经编码的视频、经解码的(例如，重构的)视频，和视频元数据，诸如信令数据。
29.如图1所示，在该示例中，系统100包括源设备102，该源设备102提供要由目的地设备116解码和显示的经编码的视频数据。具体地，源设备102经由计算机可读介质110向目的地设备116提供视频数据。源设备102和目的地设备116可以包括多种设备中的任何一种，包括台式计算机、笔记本(即膝上型)计算机、移动设备、平板计算机、机顶盒、诸如智能手机的电话手机、电视、相机、显示设备、数字媒体播放器、视频游戏控制台、视频流式传输设备、广播接收器设备等。在一些情况下，源设备102和目的地设备116可以被装备用于无线通信，并且因此可以被称为无线通信设备。
30.在图1的示例中，源设备102包括视频源104、存储器106、视频编码器200和输出接口108。目的地设备116包括输入接口122、视频解码器300、存储器120和显示设备118。根据本公开，源设备102的视频编码器200和目的地设备116的视频解码器300可以被配置为应用用于自适应环路滤波的技术。因此，源设备102表示视频编码设备的示例，而目的地设备116表示视频解码设备的示例。在其他示例中，源设备和目的地设备可以包括其他组件或布置。例如，源设备102可以从诸如外部相机的外部视频源接收视频数据。同样地，目的地设备116可以与外部显示设备接口，而不是包括集成的显示设备。
31.如图1中所示的系统100仅是一个示例。一般而言，任何数字视频编码和/或解码设备都可以执行自适应环路滤波技术。源设备102和目的地设备116仅是这样的译码设备的示例，其中，源设备102生成经译码的视频数据用于传输至目的地设备116。本公开将“译码”设备指代为执行数据的译码(编码和/或解码)的设备。因此，视频编码器200和视频解码器300表示译码设备的示例，具体地，分别表示视频编码器和视频解码器。在一些示例中，源设备102和目的地设备116可以以基本上对称的方式操作，使得源设备102和目的地设备116中的每个包括视频编码和解码组件。因此，系统100可以支持源设备102与目的地设备116之间的单向或双向视频传输，例如，用于视频流式传输、视频回放、视频广播或视频电话。
32.一般而言，视频源104表示视频数据的源(即，原始的未经编码的视频数据)，并且将视频数据的一系列连续图片(也称为“帧”)提供给视频编码器200，视频编码器200编码图片的数据。源设备102的视频源104可以包括视频捕获设备，诸如摄像机、包含先前捕获的原始视频的视频档案，和/或从视频内容提供商接收视频的视频馈送接口。作为进一步的替代，视频源104可以生成基于计算机图形的数据作为源视频，或实况视频、存档视频和计算机生成视频的组合。在每种情况下，视频编码器200对捕获的、预捕获的或计算机生成的视
频数据进行编码。视频编码器200可以将图片从接收的顺序(有时被称为“显示顺序”)重新布置成用于译码的译码顺序。视频编码器200可以生成包括经编码的视频数据的比特流。然后，源设备102可以经由输出接口108将经编码的视频数据输出至计算机可读介质110上，以供例如目的地设备116的输入接口122接收和/或检索。
33.源设备102的存储器106和目的地设备116的存储器120表示通用存储器。在一些示例中，存储器106、120可以存储原始视频数据，例如，来自视频源104的原始视频以及来自视频解码器300的原始的经解码的视频数据。附加地或可替代地，存储器106、120可以存储可分别由例如视频编码器200和视频解码器300执行的软件指令。尽管在该示例中存储器106和存储器120与视频编码器200和视频解码器300分开示出，但应理解，视频编码器200和视频解码器300也可包括功能上类似或等同目的的内部存储器。此外，存储器106、120可以存储例如从视频编码器200输出的并且输入至视频解码器300的经编码的视频数据。在一些示例中，存储器106、120的部分可以被分配为一个或多个视频缓冲器，例如，以存储原始的、经解码的和/或经编码的视频数据。
34.计算机可读介质110可以表示能够将经编码的视频数据从源设备102传输至目的地设备116的任何类型的介质或设备。在一个示例中，计算机可读介质110表示使源设备102能够例如经由射频网络或基于计算机的网络实时地向目的地设备116直接发送经编码的视频数据的通信介质。根据诸如无线通信协议的通信标准，输出接口108可以调制包括经编码的视频数据的传输信号，并且输入接口122可以解调所接收的传输信号。通信介质可以包括任何无线或有线通信介质，诸如，射频(rf)频谱或一条或多条物理传输线。通信介质可以形成基于分组的网络(诸如，局域网、广域网或诸如因特网的全球网络)的一部分。通信介质可以包括路由器、交换机、基站或有助于促进从源设备102到目的地设备116的通信的任何其他装备。
35.在一些示例中，源设备102可以将经编码的数据从输出接口108输出至存储设备112。类似地，目的地设备116可以经由输入接口122访问来自存储设备112的经编码的数据。存储设备112可以包括各种分布式或本地访问的数据存储介质中的任何一种，诸如，硬盘、蓝光光盘、dvd、cd-rom、闪存、易失性或非易失性存储器、或用于存储经编码的视频数据的任何其他合适的数字存储介质。
36.在一些示例中，源设备102可以将经编码的视频数据输出至文件服务器114或可以存储由源设备102生成的经编码的视频数据的另一中间存储设备。目的地设备116可以经由流式传输或下载来从文件服务器114访问所存储的视频数据。
37.文件服务器114可以是能够存储经编码的视频数据并将此经编码的视频数据发送至目的地设备116的任何类型的服务器设备。文件服务器114可以表示网络服务器(例如，用于网站)、被配置为提供文件传输协议服务(例如，文件传输协议(ftp)或单向传输文件传递(flute)协议)的服务器、内容传递网络(cdn)设备、超文本传输协议(http)服务器、多媒体广播多播服务(mbms)或增强型mbms(embms)服务器，和/或网络附加存储(nas)设备。附加地或可替代地，文件服务器114可以实施一个或多个http流式传输协议，诸如基于http的动态自适应流式传输(dash)、http直播流式传输(hls)、实时流式传输协议(rtsp)、http动态流式传输等。
38.目的地设备116可以通过包括因特网连接的任何标准数据连接访问来自文件服务
器114的经编码的视频数据。这可以包括适合用于访问存储在文件服务器114上的经编码的视频数据的无线信道(例如，wi-fi连接)、有线连接(例如，数字订户线(dsl)、电缆调制解调器等)或这两者的组合。输入接口122可以被配置为根据以上所讨论的用于从文件服务器114检索或接收媒体数据的各种协议中的任何一个或多个，或用于检索媒体数据的其他这样的协议来操作。
39.输出接口108和输入接口122可以表示无线发送器/接收器、调制解调器、有线网络组件(例如，以太网卡)、根据各种ieee 802.11标准中的任何标准操作的无线通信组件，或其他物理组件。在输出接口108和输入接口122包括无线组件的示例中，输出接口108和输入接口122可以被配置为根据诸如4g、4g-lte(long-term evolution，长期演进)、lte高级、5g等的蜂窝通信标准来传送诸如经编码的视频数据的数据。在输出接口108包括无线发送器的一些示例中，输出接口108和输入接口122可以被配置为根据诸如ieee 802.11规范、ieee802.15规范(例如，zigbee
tm
)、蓝牙
tm
标准或类似标准的其他无线标准来传送诸如经编码的视频数据的数据。在一些示例中，源设备102和/或目的地设备116可以包括相应的片上系统(soc)设备。例如，源设备102可以包括执行归属于视频编码器200和/或输出接口108的功能性的soc设备，并且目的地设备116可以包括执行归属于视频解码器300和/或输入接口122的功能性的soc设备。
40.本公开的技术可以应用于视频译码，以支持多种多媒体应用中的任何一种，诸如空中电视广播、有线电视传输、卫星电视传输、因特网流式传输视频传输(诸如，通过http的动态自适应流式传输(dash))、被编码到数据存储介质上的数字视频、存储在数据存储介质上的数字视频的解码、或其他应用。
41.目的地设备116的输入接口122从计算机可读介质110(例如，通信介质、存储设备112、文件服务器114等)接收经编码的视频比特流。经编码的视频比特流可以包括由视频编码器200定义的信令通知信息，诸如具有描述视频块或其他译码单元(例如，切片、图片、图片组、序列等)的特性和/或处理的值的语法元素，该信令信息也被视频解码器300使用。显示设备118向用户显示经解码的视频数据的经解码的图片。显示设备118可以表示多种显示设备中的任何一种，诸如液晶显示器(lcd)、等离子显示器、有机发光二极管(oled)显示器、或另一类型的显示设备。
42.尽管未在图1中示出，但在一些示例中，视频编码器200和视频解码器300可以各自与音频编码器和/或音频解码器集成在一起，并且可以包括适当的mux-demux单元或其他硬件和/或软件，来处理公共数据流中包括音频和视频两者的多路复用流。如果适用，mux-demux单元可以符合itu h.223多路复用器协议，或其他协议(诸如，用户数据报协议(udp))。
43.视频编码器200和视频解码器300各自可以被实施为多种合适的编码器和/或解码器电路中的任何一种，诸如一个或多个微处理器、数字信号处理器(dsp)、专用集成电路(asic)、现场可编程门阵列(fpga)、分立逻辑、软件、硬件、固件或其任何组合。当该技术部分地以软件实施时，设备可以将用于软件的指令存储在合适的非暂时计算机可读介质中，并使用一个或多个处理器在硬件中执行该指令来执行本公开的技术。视频编码器200和视频解码器300中的每个可以被包括在一个或多个编码器或解码器中，这一个或多个编码器或解码器中的任一个可以被集成为相应设备中的组合编码器/解码器(codec(译码器))的
部分。包括视频编码器200和/或视频解码器300的设备可以包括集成电路、微处理器和/或诸如蜂窝电话的无线通信设备。
44.视频编码器200和视频解码器300可以根据诸如itu-t h.265(也被称为高效视频译码(hevc))或其扩展(诸如多视图和/或可缩放视频译码扩展)的视频译码标准来操作。可替代地，视频编码器200和视频解码器300可以根据诸如itu-th.266(也称为多功能视频译码(vvc))的其他专有或行业标准来操作。vvc标准的草案在bross等人的“versatile video coding(draft10)(多功能视频译码(草案10))”(itu-t sg 16wp 3和iso/iec jtc 1/sc 29/wg 11联合视频专家组(jvet)第18次会议：电话会议，2020年6月22日至7月1日，jvet-s2001-va)中进行了描述(下文简称“vvc草案10”)。然而，本公开的技术不限于任何特定的译码标准。
45.一般而言，视频编码器200和视频解码器300可以执行图片的基于块的译码。术语“块”通常指包括待处理的数据(例如，编码的、解码的或以其他形式用于编码过程和/或解码过程中的数据)的结构。例如，块可以包括亮度和/或色度数据的样本的二维矩阵。一般而言，视频编码器200和视频解码器300可以对以yuv(例如，y、cb、cr)格式表示的视频数据进行译码。也就是说，视频编码器200和视频解码器300可以对亮度和色度分量进行译码，而不是对图片的样本的红色、绿色和蓝色(rgb)数据进行译码，其中色度分量可以包括红色调和蓝色调色度分量两者。在一些示例中，视频编码器200在编码之前将所接收的rgb格式化数据转换成yuv表示，并且视频解码器300将yuv表示转换成rgb格式。可替代地，预处理和后处理单元(未示出)可以执行这些转换。
46.本公开通常可以涉及图片的译码(例如，编码和解码)，以包括编码或解码图片数据的过程。类似地，本公开可以涉及图片的块的译码，以包括对块的数据进行编码或解码的过程，例如，预测和/或残差译码。经编码的视频比特流通常包括用于表示译码决策(例如，译码模式)和图片到块的分割的语法元素的一系列值。因此，对图片或块进行译码的引用通常应被理解为对用于形成图片或块的语法元素的值进行译码。
47.hevc定义了各种块，包括译码单元(cu)、预测单元(pu)和变换单元(tu)。根据hevc，视频译码器(诸如，视频编码器200)根据四叉树结构来将译码树单元(ctu)分割为cu。也就是说，视频译码器将ctu和cu分割为四个相等的、不重叠的正方形，并且四叉树的每个节点有零个或四个子节点。没有子节点的节点可以被称为“叶节点”，并且此类叶节点的cu可以包括一个或多个pu和/或一个或多个tu。视频译码器可以进一步分割pu和tu。例如，在hevc中，残差四叉树(rqt)表示tu的分割。在hevc中，pu表示帧间预测数据，而tu表示残差数据。帧内预测的cu包括帧内预测信息，诸如帧内模式指示。
48.作为另一示例，视频编码器200和视频解码器300可以被配置为根据vvc来操作。根据vvc，视频译码器(诸如，视频编码器200)将图片分割为多个译码树单元(ctu)。视频编码器200可以根据树结构，诸如四叉树-二叉树(qtbt)结构或多类型树(mtt)结构来分割ctu。qtbt结构移除了多个分割类型的概念，诸如hevc的cu、pu和tu之间的区分。qtbt结构包括两个级别：根据四叉树分割而分割的第一级别，以及根据二叉树分割而分割的第二级别。qtbt结构的根节点对应于ctu。二叉树的叶节点对应于译码单元(cu)。
49.在mtt分割结构中，可以使用四叉树(qt)分割、二叉树(bt)分割和一种或多种类型的三叉树(tt)(也称为三元树(tt))分割来分割块。三叉或三元树分割是将块拆分成三个子
块的分割。在一些示例中，三叉或三元树分割在不通过中心对原始块进行划分的情况下将块划分为三个子块。mtt中的分割类型(例如，qt、bt和tt)可以是对称的或不对称的。
50.在一些示例中，视频编码器200和视频解码器300可以使用单个qtbt或mtt结构来表示亮度分量和色度分量中的每一个，而在其他示例中，视频编码器200和视频解码器300可以使用两个或更多个qtbt或mtt结构，诸如一个qtbt/mtt结构用于亮度分量，而另一qtbt/mtt结构用于两个色度分量(或两个qtbt/mtt结构用于相应的色度分量)。
51.视频编码器200和视频解码器300可以被配置为使用按照hevc的四叉树分割、qtbt分割、mtt分割或其他分割结构。出于解释的目的，关于qtbt分割来呈现本公开的技术的描述。然而，应当理解的是，本公开的技术也可以应用于被配置为使用四叉树分割或其他类型的分割的视频译码器。
52.在一些示例中，ctu包括亮度样本的译码树块(ctb)、具有三个样本阵列的图片的色度样本的两个对应ctb、或单色图片的样本的ctb、或使用三个单独的颜色平面和用于译码样本的语法结构进行译码的图片。ctb可以是对于某个值n的n
×
n块样本，使得将分量划分为ctb是一种分割。分量是来自构成4:2:0、4:2:2或4:4:4颜色格式的图片的三个阵列(亮度和两个色度)中的一个阵列或单个样本，或构成单色格式的图片的阵列或阵列的单个样本。在一些示例中，译码块是对于m和n的某些值的m
×
n块样本，使得将ctb划分为译码块是一种分割。
53.这些块(例如，ctu或cu)可以在图片中以各种方式来分组。作为一个示例，砖块(brick)可以指代图片中的特定图块(tile)内的ctu行的矩形区域。图块可以是图片中的特定图块列和特定图块行内的ctu的矩形区域。图块列是指具有与图片的高度相等的高度以及由语法元素(例如，诸如在图片参数集中)指定的宽度的ctu的矩形区域。图块行是指具有由语法元素(例如，诸如在图片参数集中)指定的高度以及与图片的宽度相等的宽度的ctu的矩形区域。
54.在一些示例中，图块可以被分割成多个砖块，砖块中的每一个可以包括图块内的一个或多个ctu行。未被分割成多个砖块的图块也可以被称为砖块。然而，作为图块的真实子集的砖块不可以被称为图块。
55.图片中的砖块也可以被布置在切片(slice)中。切片可以是图片的可以被排他地包含在单个网络抽象层(network abstraction layer，nal)单元中的整数个砖块。在一些示例中，切片包括多个完整图块或仅一个图块的完整砖块的连续序列。
56.本公开可互换地使用“n
×
n”和“n乘n”来指代块(诸如，cu或其他视频块)的就垂直和水平维度而言的样本维度，例如，16
×
16样本或16乘16样本。一般而言，16
×
16cu将在垂直方向上具有16个样本(y＝16)且在水平方向上具有16个样本(x＝16)。同样地，n
×
n cu通常在垂直方向上具有n个样本且在水平方向上具有n个样本，其中n表示非负整数值。cu中的样本可以按行和列来布置。此外，cu在水平方向上不一定需要具有与垂直方向上相同数目的样本。例如，cu可以包括n
×
m个样本，其中m不一定等于n。
57.视频编码器200对针对cu的表示预测和/或残差信息以及其他信息的视频数据进行编码。预测信息指示将如何预测cu以便形成针对cu的预测块。残差信息通常表示编码之前的cu的样本与预测块之间的逐样本差。
58.为了预测cu，视频编码器200通常可以通过帧间预测或帧内预测来形成针对cu的
预测块。帧间预测通常指从先前译码的图片的数据来预测cu，而帧内预测通常指从相同图片的先前译码的数据来预测cu。为了执行帧间预测，视频编码器200可以使用一个或多个运动矢量来生成预测块。视频编码器200通常可以执行运动搜索以例如根据cu与参考块之间的差来标识紧密匹配cu的参考块。视频编码器200可以使用绝对差之和(sad)、平方差之和(ssd)、平均绝对差(mad)、均方差(msd)或其他此类差计算来计算差度量以确定参考块是否紧密匹配当前cu。在一些示例中，视频编码器200可以使用单向预测或双向预测来预测当前cu。
59.vvc的一些示例也提供仿射运动补偿模式，该模式可以被认为是帧间预测模式。在仿射运动补偿模式下，视频编码器200可以确定表示诸如以下各项的非平移运动的两个或更多个运动矢量：放大或缩小、旋转、透视运动或其他不规则运动类型。
60.为了执行帧内预测，视频编码器200可以选择帧内预测模式以生成预测块。vvc的一些示例提供了六十七个帧内预测模式，包括各种方向模式，以及平面模式和dc模式。一般而言，视频编码器200选择以下帧内预测模式：描述当前块(例如，cu的块)的相邻样本，以此来预测当前块的样本。假设视频编码器200以光栅扫描顺序(从左到右，从上到下)对ctu和cu进行译码，则此类样本通常可以位于与当前块相同的图片中的当前块的上方、左上方、或左方。
61.视频编码器200对表示用于当前块的预测模式的数据进行编码。例如，对于帧间预测模式，视频编码器200可以对表示以下内容的数据进行编码：使用各种可用帧间预测模式中的哪一个，以及用于对应模式的运动信息。例如，对于单向或双向帧间预测，视频编码器200可以使用高级运动矢量预测(amvp)或merge模式对运动矢量进行编码。对于仿射运动补偿模式，视频编码器200可以使用类似模式来对运动矢量进行编码。
62.在预测之后，诸如在对块的帧内预测或帧间预测之后，视频编码器200可以计算针对块的残差数据。诸如残差块之类的残差数据表示块与使用对应预测模式形成的针对该块的预测块之间的逐样本差。视频编码器200可以对残差块应用一个或多个变换，以在变换域而非样本域中产生经变换的数据。例如，视频编码器200可以对残差视频数据应用离散余弦变换(dct)、整数变换、小波变换或概念上类似的变换。附加地，视频编码器200可以在初级变换之后应用次级变换，诸如模式相关不可分离次级变换(mode-dependent non-separable secondary transform，mdnsst)、信号相关变换、karhunen-loeve变换(klt)等。视频编码器200在应用一个或多个变换之后产生变换系数。
63.如上所述，在用于产生变换系数的任何变换之后，视频编码器200可以执行对变换系数的量化。量化通常是指如下过程：对变换系数进行量化以可能地减少用于表示变换系数的数据量，从而提供进一步压缩。通过执行量化过程，视频编码器200可以减小与变换系数中的某些或全部相关联的比特深度。例如，视频编码器200可以在量化期间将n比特值向下舍入成m比特值，其中，n大于m。在一些示例中，为了执行量化，视频编码器200可以执行对待量化的值的逐比特右移。
64.在量化之后，视频编码器200可以扫描变换系数，从包括经量化的变换系数的二维矩阵产生一维矢量。扫描可以被设计成将较高能量(并且因此较低频率)变换系数置于矢量的前方而将较低能量(并且因此较高频率)变换系数置于矢量的后方。在一些示例中，视频编码器200可以利用预定义扫描顺序来扫描经量化的变换系数以产生串行化(serialized)
矢量，并且随后对矢量的经量化的变换系数进行熵编码。在其他示例中，视频编码器200可以执行自适应扫描。在扫描经量化的变换系数以形成一维矢量之后，视频编码器200可以例如根据上下文自适应二进制算术译码(context-adaptive binary arithmetic coding，cabac)来对一维矢量进行熵编码。视频编码器200还可以对针对语法元素的值进行熵编码，这些语法元素描述与经编码的视频数据相关联的、供视频解码器300在解码视频数据时使用的元数据。
65.为了执行cabac，视频编码器200可以将上下文模型内的上下文分配给待发送的符号。上下文可以涉及例如符号的相邻值是否为零值。概率确定可以基于分配给符号的上下文。
66.视频编码器200可以进一步例如在图片标头、块标头、切片标头中向视频解码器300生成诸如基于块的语法数据、基于图片的语法数据和基于序列的语法数据或诸如序列参数集(sequence parameter set，sps)、图片参数集(picture parameter set，pps)或视频参数集(video parameter set，vps)之类的其他语法数据。视频解码器300可以同样解码此类语法数据以确定如何解码对应的视频数据。
67.以这种方式，视频编码器200可以生成比特流，该比特流包括经编码的视频数据，例如，描述图片到块(例如，cu)的分割的语法元素以及针对块的预测和/或残差信息。最终，视频解码器300可以接收比特流并对经编码的视频数据进行解码。
68.一般而言，视频解码器300执行与视频编码器200所执行的过程相反的过程以解码比特流的经编码的视频数据。例如，视频解码器300可以以虽然与视频编码器200的cabac编码过程相反但基本上类似的方式使用cabac来解码比特流的针对语法元素的值。语法元素可以定义针对图片到ctu的分割的分割信息，以及根据诸如qtbt结构之类的对应分割结构进行的对每个ctu的分割，以定义ctu的cu。语法元素可以进一步定义针对视频数据的块(例如，cu)的预测和残差信息。
69.残差信息可以由例如经量化的变换系数来表示。视频解码器300可以对块的经量化的变换系数进行逆量化和逆变换以再现针对块的残差块。视频解码器300使用信令通知的预测模式(帧内或帧间预测)和相关预测信息(例如，用于帧间预测的运动信息)来形成针对块的预测块。视频解码器300随后可以(在逐样本基础上)组合预测块和残差块以再现原始块。视频解码器300可以执行附加处理，诸如执行去方块过程以减少沿块的边界的视觉伪影。
70.本公开通常可以涉及“信令通知”某些信息，诸如语法元素。术语“信令通知”通常可以涉及用于对经编码的视频数据进行解码的语法元素的值和/或其他数据的通信。也就是说，视频编码器200可以信令通知比特流中语法元素的值。一般而言，信令通知指的是在比特流中生成值。如上所述，源设备102可以基本上实时地或非实时地向目的地设备116传输比特流，诸如可以在将语法元素存储到存储设备112以供目的地设备116随后检索时发生。
71.根据本公开的技术，如下文将更详细解释的，视频编码器200和视频解码器300可以被配置为译码自适应参数集中的多个自适应环路滤波器集合，并且将多个自适应环路滤波器集合中的一个或多个自适应环路滤波器应用于视频数据。
72.滤波
73.在vvc，可以应用自适应环路滤波器(alf)来最小化原始样本与经滤波样本之间的均方误差。在一些示例中，自适应环路滤波器的输入样本是样本自适应偏移(sao)滤波器的输出样本。alf的输出样本存储在解码图片缓冲器(dpb)中，或作为输出图片发送出去。联合探索模型(jem)软件中采用的alf滤波器形状为5
×
5、7
×
7和9
×
9菱形。视频编码器200可以在图片级选择并且信令通知滤波器形状。为了在译码效率与滤波器复杂度之间获得更好的平衡，在vvc中，对于亮度分量和色度分量，仅分别支持7
×
7菱形400和5
×
5菱形402，如图2所示。图2示出了vvc版本1中的示例alf滤波器形状。
74.在一个示例中，对于每个滤波器，整数系数ci用7比特分数精度来表示。ci的绝对值使用0阶exp-golomb码进行译码，后跟非零系数的符号比特。在图2中，每个正方形对应一个亮度样本或色度样本，并且中心的正方形对应一个待滤波的当前样本。为了减少与发送系数和乘法次数相关联的开销，图2中的滤波器形状是点对称的。此外，如公式(1)所示，所有滤波器系数的总和应等于128，这是具有7比特分数精度的1.0的定点表示。
[0075][0076]
在公式(1)中，n是系数的数量，并且对于7
×
7和5
×
5滤波器形状，n分别等于13和7。
[0077]
在vvc中，非线性被引入到alf中。视频编码器200和视频解码器300可以应用简单的裁剪(clip)函数，以在相邻样本值与当前待滤波的样本值之间的差值太大时减少相邻样本值的影响。为了对样本进行滤波，alf过程按如下方式执行：
[0078][0079]
其中，r(x,y)是sao滤波之后的样本值。
[0080]
非线性函数用裁剪函数定义为：
[0081]fi，j
＝min(bi，max(-bi，r(x+x
i，j
，y+y
i，j
)-r(x，y)))
ꢀꢀꢀ
(3)
[0082]
其中，j等于0或1，并且(x
i，j
，y
i，j
)是第i系数ci的滤波器抽头位置偏移。
[0083]
在vvc版本1中，如在公式(4)中，系数ci的裁剪参数bi由裁剪索引di确定。在公式(4)中，bd是内部比特深度。
[0084][0085]
在滤波器中，信令通知的系数的数量和信令通知的裁剪索引的数量都是n-1。在一个示例中，每个系数被限制在[-128，127]的范围内，这相当于具有7比特分数精度的[-1.0，1.0)。在一个示例中，每个裁剪索引di可以是0、1、2或3，并且通过使用两比特固定长度码来信令通知。为了简化裁剪操作，如公式(4)所示，裁剪参数bi的值只能是2的幂。因此，简单的逐比特逻辑运算可以被用作裁剪运算。
[0086]
子块级滤波器自适应
[0087]
在vvc版本1中，alf遵循与jem-7.0中的alf相同的亮度分类框架。为了在译码效率
与计算复杂度之间获得更好的权衡，用于分类的块大小可以从2
×
2样本增加到4
×
4样本。为了确定4
×
4块的类别索引，使用具有8
×
8亮度样本的周围窗口来推导方向和活动信息。在这个8
×
8亮度样本窗口中，首先计算每隔一个样本的四个梯度值，如图3所示。图3示出了用于alf分类的4
×
4子块404(灰色正方形)的子采样拉普拉斯值。计算用点标记的样本的梯度值。其他样本的梯度值设置为0。对于具有坐标(k，l)的每个样本，图4示出了四个梯度值：水平梯度h 406、垂直梯度v 408、135度梯度d1 410和45度梯度d2 412，它们被推导为：
[0088][0089]
变量i和j指的是4
×
4块中左上样本的坐标。所有计算的水平梯度gh、垂直梯度gv、135度梯度g
d1
和45度梯度g
d2
的总和计算如下：
[0090][0091]
水平梯度和垂直梯度的最大值和最小值之比(用r
h，v
表示)以及两个对角线梯度的最大值和最小值之比(用r
d1，d2
表示)的计算如下式(7)所示。
[0092][0093]
然后，将r
h，v
和r
d1，d2
与两个阈值t1＝2和t2＝4.5相互比较，以推导方向性d，如下所示：
[0094]
第1步：如果r
h，v
≤t1且r
d1，d2
≤t1，则d设置为0(纹理)，否则继续步骤2。
[0095]
第2步：如果r
d1，d2
》r
h，v
，则继续步骤3，否则，继续步骤4。
[0096]
第3步：如果r
d1，d2
≤t2，则d设置为1(弱对角线)，否则，d设置为2(强对角线)。
[0097]
第4步：如果r
h，v
≤t2，则d设置为3(弱水平/垂直)，否则，d设置为4(强水平/垂直)。
[0098]
活动值a计算如下：
[0099][0100]
a进一步映射到0到4的范围(含0和4)，并且量化值表示为因此，每个4
×
4块被分类为25个类别(c)中的一个，如下所示：
[0101][0102]
因此，亮度滤波器集合包含25个滤波器。然而，为了在保持译码效率的同时减少表示滤波器系数所需的比特数，可以合并不同的类别。合并后的类别使用相同的滤波器。视频
编码器200可以信令通知合并表。在合并表414中，通过使用固定长度码来信令通知每个类别的滤波器索引，作为示例，如图5所示。图5示出了将25个亮度类别合并为7个合并类别的示例，其中，每个正方形表示基于d和的值的类别(索引可以从0到24，含0和24)。在该示例滤波器集合中，视频编码器200可以被配置为信令通知7个亮度滤波器。对于每个类别，视频编码器200可以在alf_aps(自适应参数集)中信令通知滤波器索引(在这个示例中从0到6)。
[0103]
一旦基于4
×
4块的类别索引c和合并表从亮度滤波器集合中获得滤波器，在获得该块的滤波器样本之前，可以根据表1中为4
×
4块计算的梯度值，对滤波器应用简单的几何变换，如图6所示。
[0104]
表1基于梯度值的几何变换
[0105]
梯度值变换g
d2
《g
d1
且gh《gv没有变换g
d2
《g
d1
且gv≤gh对角翻转g
d1
≤g
d2
且gu《gv垂直翻转g
d1
≤g
d2
且gv≤gu向右旋转
[0106]
图6示出了7
×
7菱形滤波器形状的几何变换。几何变换包括对角翻转416、垂直翻转418和向右旋转420。
[0107]
译码树块级自适应
[0108]
在jem-7.0中，只有一个亮度滤波器集合应用于切片的所有亮度ctb，并且只有一个色度滤波器应用于切片的所有色度ctb。然而，有两个缺点。首先，当ctb之间的统计信息显著不同时，对颜色分量的所有ctb使用相同的滤波器/滤波器集合会限制alf的译码效率，尤其是对于大分辨率序列和混合内容视频序列(例如，自然内容和屏幕内容两者)。第二，当推导切片的滤波器时，直到收集了整个切片的统计信息才能计算滤波器。这种多编次编码技术可能不适合低延迟应用。为了解决这个问题，一个示例方案使用来自先前经译码切片的统计。但是，这可能会导致一些性能损失。
[0109]
除了亮度4
×
4块级滤波器自适应，vvc支持ctb级滤波器自适应。在切片中，视频编码器200可以被配置为针对不同亮度ctb使用不同亮度滤波器集合，并且还可针对不同色度ctb使用不同色度滤波器。视频编码器200可以对具有相似统计的ctb使用相同的滤波器。这种ctb级滤波器自适应提高了译码效率，尤其是对于低延迟应用。此外，vvc版本1允许视频编码器200对ctb使用来自先前经编码的图片的滤波器。这种时间滤波器重用机制可以减少滤波器系数的开销。在vvc版本1中，对切片最多可以应用七个信令通知的亮度滤波器集合和八个信令通知的色度滤波器。当没有任何信令通知的滤波器时，16个固定滤波器集合中的一个可以应用于亮度ctb。
[0110]
当alf被启用时，固定滤波器集合或信令通知的亮度滤波器集合的滤波器集合索引被信令通知给亮度ctb。对于色度ctb，信令通知信令通知的色度滤波器的滤波器索引。当在低延迟应用中对当前ctu进行编码时，通过使用从先前经译码的图片信令通知的滤波器以及固定滤波器，可以仅通过使用当前ctu的统计信息来决定三个ctu级开/关标志和滤波器/滤波器集合索引。因此，可以即时生成每个ctu的经编码的比特流，而不是等待整个图片的统计的可用性。
[0111]
行缓冲器减少
[0112]
如图2所示，在垂直方向，滤波器形状对于亮度和色度分量分别有7个抽头和5个抽头。结果，在vvc测试模型2.0(vtm-2.0)中，当解码一行ctu时，由于去块滤波器和sao滤波器的延迟，上部ctu行的7个亮度行和4个色度行必须存储在alf的行缓冲器中。然而，额外的行缓冲器需要较大的芯片面积，尤其是对于高清(hd)和超高清(uhd)视频序列。
[0113]
为了使alf硬件友好(例如，通过减少行缓冲器需求)，可以应用虚拟边界(vb)的概念来去除alf的所有行缓冲器开销。考虑vvc版本1中的去块滤波器和sao滤波器，vb的位置是水平ctu边界上方的4个亮度样本和2个色度样本。当vb一侧的一个样本被滤波时，vb另一侧的样本不能被利用。如图7至图9的示例所示，应用具有对称样本填充的修改滤波，其中，滤波器432的中心正方形是当前待滤波的样本的位置，并且粗线430是vb的位置。在图7至图9中，填充具有虚线的滤波器抽头位置。图7示出了滤波器432的一个滤波器抽头位置高于或低于vb 430的示例。在本示例中，填充了一个滤波器抽头位置。图8示出了滤波器432的四个滤波器抽头位置高于或低于vb 430的示例。在本示例中，填充了四个滤波器抽头位置。
[0114]
然而，当样本位于vb 430的每侧最近的行时，例如，如图9所示，2d滤波器相当于水平滤波器。这可能会引入视觉伪影。为了解决这个问题，当当前待滤波的样本位于vb的每侧最近的行时，滤波强度被补偿，如公式(10)所示。将公式(10)与公式(2)相比较，又右移了3比特。
[0115][0116]
当应用vb处理时，4
×
4块的分类也被修改。当计算vb的一侧的4
×
4块的类别索引时，不使用vb的另一侧的梯度和样本，如图10所示。然而，当计算与vb相邻的样本的梯度值时，不能利用vb的另一侧的样本。因此，当前侧的边界样本被重复扩展，如图10所示。也就是说，vb的当前侧的边界样本被镜像到vb的另一侧。由于可用梯度值的数量减少，公式(8)中的活动推导被重新缩放为：
[0117][0118]
滤波器系数信令通知
[0119]
在vvc版本1中，alf系数在alf自适应参数集(aps)中被信令通知。一个aps可能包含具有最多25个滤波器的一组亮度滤波器(即一个亮度滤波器集合)，具有最多8个色度滤波器的一组色度滤波器，具有最多4个滤波器的一组cb交叉分量alf(cc-alf)滤波器，和最多4个滤波器的一组cr cc-alf滤波器。每组亮度滤波器都支持将alf应用于亮度分量的25个类别。在vvc版本1中，最多支持8个alf aps(例如，指定为alf_aps)。
[0120]
[0121]
[0122][0123]
在图片标头和切片标头处，视频编码器200可以信令通知alf_aps的索引。一个切片最多可支持7个亮度分量alf_aps、最多1个色度alf的alf_aps、最多1个cb cc-alf的alf_aps和最多1个cr cc-alf的alf_aps。
[0124][0125][0126]
在亮度ctb级别，信令通知滤波器集合索引(alf_aps或固定滤波器集合)。
[0127][0128]
在色度ctb级别，信令通知alf_aps中的alf和ccalf滤波器索引。
[0129][0130][0131][0132]
在vvc中，alf_aps的总数是有限的，这对于高分辨率序列或具有混合内容的序列可能不是高效的。也就是说，因为alf_aps的总数是有限的，并且每个alf中的滤波器集合的数量是有限的，所以视频编码器可能无法确定对复杂视频图片或序列中的所有区域使用最佳alf。
[0133]
alf_aps
[0134]
本公开描述以下技术以进一步改进alf的译码效率，尤其是对于高分辨率序列，诸如1080p、4k和8k序列。在本公开的一个示例中，视频编码器200和视频解码器300可以被配置为对包括多个亮度alf滤波器集合、色度alf滤波器集合和/或cc-alf滤波器集合的alf_aps进行译码(例如，分别编码和解码)。
[0135]
例如，视频编码器200可以将多个alf滤波器集合编码在一个或多个aps中。视频编码器200可以编码语法元素，该语法元素向视频解码器指示将哪些aps用于特定图片或子图片。在这种情况下，子图片可以是图片的较小区域，包括图块、图块组、砖块、切片、译码树块或其他块。视频编码器200还可以编码语法元素，该语法元素指示多个alf滤波器集合中的哪一个alf滤波器集合用于特定的子图片或子图片。视频解码器300可以接收与视频数据相关联的自适应参数集中的多个自适应环路滤波器集合，从多个自适应环路滤波器集合中确定一个或多个自适应环路滤波器，并且将所确定的一个或多个自适应环路滤波器应用于视频数据。
[0136]
例如，视频解码器300可以针对译码树块解码指示自适应参数集中的多个自适应环路滤波器集合中的特定自适应环路滤波器集合的滤波器集合索引。视频解码器300还可以被配置为针对译码树块解码指示来自特定自适应环路滤波器集合的特定自适应环路滤波器的滤波器索引，并且然后将该特定自适应环路滤波器应用于译码树块。视频解码器300还可以被配置为：对于视频数据的译码树块，对指示自适应参数集的自适应参数集索引进行解码。
[0137]
在一个示例中，对于每个颜色分量，视频解码器300可以被配置为共享所有滤波器集合的相同裁剪标志。以下是本公开的一个示例技术的示例语法结构。相对于vvc，本公开的示例语法包括alf_luma_num_filter_set_minus 1语法元素，其指定可以信令通知的亮度系数的自适应环路滤波器集合的数量。同样地，语法可以包括指示色度分量的自适应环路滤波器集合的数量(alf_chroma_num_filter_set_minus1)和cc-alf的滤波器集合的数量(alf_cc_cb_num_filter_set_minus1和alf_cc_cr_num_filter_set_minus1)的语法元素。此外，语法包括指示多个滤波器集合中的特定滤波器集合的语法元素(filtersetidx)。
[0138]
[0139]
[0140][0141]
在以上示例中，视频解码器300可以被配置为对可用于用于亮度分量的多个自适应环路滤波器集合中的所有自适应环路滤波器集合的裁剪标志进行解码，并且对可用于用于色度分量的多个自适应环路滤波器集合中的所有自适应环路滤波器集合的裁剪标志进行解码。
[0142]
在以下示例中，视频解码器300可以被配置为对用于亮度分量的多个自适应环路滤波器集合中的每个自适应环路滤波器集合的相应裁剪标志进行解码，并且对用于色度分量的多个自适应环路滤波器集合中的每个自适应环路滤波器集合的相应裁剪标志进行解码。在这个示例中，对于每个颜色分量，每个滤波器集合可以具有其自己的裁剪标志。如下所示，alf_luma_clip flag and alf_chroma_clip_flag被移除。相反，每个特定滤波器集合都有自己的裁剪标志，如alf_luma_clip_flag[filtersetidx]和alf_chroma_clip_flag[filtersetidx]所示。
[0143]
[0144]
[0145][0146]
下面描述上面所示的语法元素的语义。
[0147]
alf_luma_num_filter_set_minus1加1指定亮度系数可以被信令通知的自适应环路滤波器集合的数量。
[0148]
alf_luma_clip_flag[filtersetidx]等于0指定对于由filtersetidx标识的滤波器集合，对亮度分量应用线性自适应环路滤波。alf_luma_clip_flag[filtersetidx]等于1指定对于由filtersetidx标识的滤波器集合，可以对亮度分量应用非线性自适应环路滤波。
[0149]
alf_luma_num_filters_signalled_minus1[filtersetidx]加1指定对于由filtersetidx标识的滤波器集合，亮度系数可以被信令通知的自适应环路滤波器类别的数量。alf_luma_num_filters_signalled_minus1的值应在0到numalffilters-1的范围内(含0和numalffilters-1)。
[0150]
alf_luma_coeff_delta_idx[filtersetidx][filtidx]指定对于由filtersetidx标识的滤波器集合，由filtidx指示的滤波器类别的信令通知的自适应环路滤波器亮度系数delta的索引，filtidx范围为0到numalffilters
–
1。当alf_luma_coeff_delta_idx[filtersetidx][filtidx]不存在时，推断为等于0。alf_luma_coeff_delta_idx[filtersetidx][filtidx]的长度为ceil(log2(alf_luma_num_filters_signalled_minus1+1))个比特。alf_luma_coeff_delta_idx[filtersetidx][filtidx]的值应在0到alf_luma_num_filters_signalled_minus1的范围内(含0和alf_luma_num_filters_signalled_minus1)。
[0151]
alf_luma_coeff_abs[filtersetidx][sfidx][j]指定对于由filtersetidx标识的滤波器集合，由sfidx1指示的信令通知的亮度滤波器的第j个系数的绝对值。当alf_luma_coeff_abs[filtersetidx][sfidx][j]不存在时，推断为等于0。alf_luma_coeff_abs[filtersetidx][sfidx][j]的值应在0到128的范围内(含0和128)。
[0152]
alf_luma_coeff_sign[filtersetidx][sfidx][j]指定对于由filtersetidx标识的滤波器集合，由sfidx 1指示的滤波器的第j个亮度系数的符号，如下所示：
[0153]-如果alf_luma_coeff_sign[filtersetidx][sfidx][j]等于0，则对应的亮度滤波器系数具有正值。
[0154]-否则(alf_luma_coeff_sign[filtersetidx][sfidx][j]等于1)，对应的亮度滤波器系数具有负值。
[0155]
当alf_luma_coeff_sign[filtersetidx][sfidx][j]不存在时，推断为等于0。
[0156]
对于filtersetidx＝0..alf_luma_num_filter_set_minus1，sfidx＝0..alf_luma_num_filters_signalled_minus1，j＝0..11，变量filtcoeff[filtersetidx][sfidx][j]初始化如下：
[0157]
filtcoeff[filtersetidx][sfidx][j]＝alf_luma_coeff_abs[sfidx][j]*
ꢀꢀ
(94)
[0158]
(1-2*alf_luma_coeff_sign[sfidx][j])
[0159]
对于filtersetidx＝0..alf_luma_num_filter_set_minus1，filtidx＝0..numalffilters-1和j＝0..11，具有元素alfcoeff
l
[aps_adaptation_parameter_set_id][filtersetidx][filtidx][j]的亮度滤波器系数alfcoeff
l
[aps_adaptation_parameter_set_id]推导如下：
[0160]
alfcoeff
l
[aps_adaptation_parameter_set_id][filtersetidx][filtidx][j]＝filtcoeff[alf_luma_coeff_delta_idx[filtidx]][j]
ꢀꢀ
(95)
[0161]
比特流一致性的要求是，对于filtidx＝0..numalffilters-1，j＝0..11，alfcoeff
l
[aps_adaptation_parameter_set_id][filtersetidx][filtidx][j]的值应在-27到2
7-1的范围内(含-27和2
7-1)。
[0162]
alf_luma_clip_idx[filtersetidx][sfidx][j]指定对于由filtersetidx标识的滤波器集合，在乘以由sfidx指示的信令通知的亮度滤波器的第j系数之前要使用的裁剪值的裁剪索引。比特流一致性的要求是，对于sfidx＝0..alf_luma_num_filters_signalled_minus1和j＝0..11，alf_luma_clip_idx[filtersetidx][sfidx][j]的值应在0到3的范围内(含0和3)。
[0163]
对于filtersetidx＝0..alf_luma_num_filter_set_minus1，filtidx＝0..numalffilters-1和j＝0..11，具有元素alfclip
l
[aps_adaptation_parameter_set_id][filtersetidx][filtidx][j]的亮度滤波器裁剪值alfclip
l
[aps_adaptation_parameter_set_id]根据bitdepth和clipidx(设置为等于alf_luma_clip_idx[filtersetidx][alf_luma_coeff_delta_idx[filtidx]][j])推导，如下表8所示。
[0164]
alf_chroma_num_filter_set_minus1加1指定色度系数可以被信令通知的自适应环路滤波器集合的数量。
[0165]
alf_chroma_clip_flag[filtersetidx]等于0指定对于由filtersetidx标识的滤波器集合，线性自适应环路滤波应用于色度分量；alf_chroma_clip_flag[filtersetidx]等于1指定对于由filtersetidx标识的滤波器集合，非线性自适应环路滤波应用于色度分量。当不存在时，alf_chroma_clip_flag[filtersetidx]被推断为等于0。
[0166]
alf_chroma_num_alt_filters_minus1[filtersetidx]加1指定对于由
filtersetidx标识的滤波器集合，色度分量的可替代的滤波器的数量。alf_chroma_num_alt_filters_minus1[filtersetidx]的值应在0到7的范围内(含0和7)。
[0167]
alf_chroma_coeff_abs[filtersetidx][altidx][j]指定对于由filtersetidx标识的滤波器集合，索引为altidx的可替代的色度滤波器的第j个色度滤波器系数的绝对值。当alf_chroma_coeff_abs[filtersetidx][altidx][j]不存在时，推断为等于0。alf_chroma_coeff_abs[filtersetidx][sfidx][j]的值应在0到128的范围内(含0和128)。
[0168]
alf_chroma_coeff_sign[filtersetidx][altidx][j]指定索引为altidx的可替代的色度滤波器的第j个色度滤波器系数的符号，如下所示：
[0169]-如果alf_chroma_coeff_sign[filtersetidx][altidx][j]等于0，则对应的色度滤波器系数具有正值。
[0170]-否则(alf_chroma_coeff_sign[filtersetidx][altidx][j]等于1)，对应的色度滤波器系数具有负值。
[0171]
当alf_chroma_coeff_sign[filtersetidx][altidx][j]不存在时，推断为等于0。
[0172]
对于filtersetidx＝0..alf_chroma_num_filter_set_minus1，altidx＝0..alf_chroma_num_alt_filters_minus1，j＝0..5，具有元素alfcoeffc[aps_adaptation_parameter_set_id][filtersetidx][altidx][j]的色度滤波器系数alfcoeffc[aps_adaptation_parameter_set_id][filtersetidx][altidx]推导如下：
[0173]
alfcoeffc[aps_adaptation_parameter_set_id][filtersetidx][altidx][j]＝alf_chroma_coeff_abs[filtersetidx][altidx][j]*(98)
[0174]
(1-2*alf_chroma_coeff_sign[filtersetidx][altidx][j])
[0175]
对于filtersetidx＝0..alf_chroma_num_filter_set_minus1altidx＝0..alf_chroma_num_alt_filters_minus1，j＝0..5，比特流一致性的要求是alfcoeffc[aps_adaptation_parameter_set_id][filtersetidx][altidx][j]的值应在-27到2
7-1的范围内(含-27和2
7-1)。
[0176]
alf_chroma_clip_idx[filtersetidx][altidx][j]指定对于由filtersetidx标识的滤波器集合，在乘以索引为altidx的可替代的色度滤波器的第j个系数之前要使用的裁剪值的裁剪索引。比特流一致性的要求是，对于filtersetidx＝0..alf_chroma_num_filter_set_minus1，altidx＝0..alf_chroma_num_alt_filters_minus1，j＝0..5，alf_chroma_clip_idx[filtersetidx][altidx][j]的值应在0到3的范围内(含0和3)。
[0177]
对于filtersetidx＝0..alf_chroma_num_filter_set_minus1，altidx＝0..alf_chroma_num_alt_filters_minus1，j＝0..5，具有元素alfclipc[aps_adaptation_parameter_set_id][filtersetidx][altidx][j]的色度滤波器裁剪值alfclipc[aps_adaptation_parameter_set_id][filtersetidx][altidx]根据bitdepth和clipidx(设置为等于alf_chroma_clip_idx[filtersetidx][altidx][j])推导，如下表8所示。
[0178]
表8
–
取决于bitdepth和clipidx的规范alfclip
[0179][0180][0181]
alf_cc_cb_num_filter_set_minus1加1指定在当前alf aps中信令通知的用于cb颜色分量的交叉分量滤波器集合的数量。
[0182]
alf_cc_cb_filters_signalled_minus1[filtersetidx]加1指定对于由filtersetidx标识的滤波器集合，在当前alf aps中信令通知的cb颜色分量的交叉分量滤波器的数量。alf_cc_cb_filters_signalled_minus1[filtersetidx]的值应在0到3的范围内(含0和3)。
[0183]
alf_cc_cb_mapped_coeff_abs[filtersetidx][k][j]指定对于cb颜色分量的由filtersetidx标识的滤波器集合，信令通知的第k个交叉分量滤波器的第j个映射系数的绝对值。当alf_cc_cb_mapped_coeff_abs[filtersetidx][k][j]不存在时，推断为等于0。
[0184]
alf_cc_cb_coeff_sign[filtersetidx][k][j]指定对于cb颜色分量的由filtersetidx标识的滤波器集合，信令通知的第k个交叉分量滤波器的第j个系数的符号，如下所示：
[0185]-如果alf_cc_cb_coeff_sign[filtersetidx][k][j]等于0，则对应的交叉分量滤波器系数具有正值。
[0186]-否则(alf_cc_cb_sign[filtersetidx][k][j]等于1)，则对应的交叉分量滤波系数具有负值。
[0187]
当alf_cc_cb_coeff_sign[filtersetidx][k][j]不存在时，推断为等于0。
[0188]
对于j＝0..6，cb颜色分量的信令通知的第k个交叉分量滤波器系数ccalfapscoeff
cb
[aps_adaptation_parameter_set_id][filtersetidx][k][j]推导如下：
[0189]-如果alf_cc_cb_mapped_coeff_abs[filtersetidx][k][j]等于0，则ccalfapscoeff
cb
[aps_adaptation_parameter_set_id][filtersetidx][k][j]设置为等于0。
[0190]-否则，ccalfapscoeff
cb
[aps_adaptation_parameter_set_id][filtersetidx]
[k][j]被设置为等于(1-2*alf_cc_cb_coeff_sign[filtersetidx][k][j])*2
alf_cc_cb_mapped_coeff_abs[filtersetidx][k][j]-1
。
[0191]
alf_cc_cr_num_filter_set_minus1加1指定在当前alf aps中信令通知的cr颜色分量的交叉分量滤波器集合的数量。
[0192]
alf_cc_cr_filters_signalled_minus1[filtersetidx]加1指定对于由filtersetidx标识的滤波器集合，在当前alf aps中信令通知的cr颜色分量的交叉分量滤波器的数量。alf_cc_cr_filters_signalled_minus1[filtersetidx]的值应在0到3的范围内(含0和3)。
[0193]
alf_cc_cr_mapped coeff_abs[filtersetidx][k][j]指定对于cr颜色分量的由filtersetidx标识的滤波器集合，信令通知的第k个交叉分量滤波器的第j个映射系数的绝对值。当alf_cc_cr_mapped coeff_abs[filtersetidx][k][j]不存在时，推断为等于0。
[0194]
alf_cc_cr_coeff_sign[filtersetidx][k][j]指定对于cr颜色分量的由filtersetidx标识的滤波器集合，信令通知的第k个交叉分量滤波器的第j个系数的符号，如下所示：
[0195]-如果alf_cc_cr_coeff_sign[filtersetidx][k][j]等于0，则对应的交叉分量滤波器系数具有正值。
[0196]-否则(alf_cc_cr_sign[filtersetidx][k][j]等于1)，则对应的交叉分量滤波系数具有负值。
[0197]
当alf_cc_cr_coeff_sign[filtersetidx][k][j]不存在时，推断为等于0。
[0198]
对于j＝0..6，cr颜色分量的信令通知的第k交叉分量滤波器系数ccalfapscoeff
cr
[aps_adaptation_parameter_set_id][filtersetidx][k][j]推导如下：
[0199]-如果alf_cc_cr_mapped_coeff_abs[filtersetidx][k][j]等于0，则ccalfapscoeff
cr
[aps_adaptation_parameter_set_id][filtersetidx][k][j]设置为等于0。
[0200]-否则，ccalfapscoeff
cr
[aps_adaptation_parameter_set_id][filtersetidx][k][j]被设置为等于(1-2*alf_cc_cr_coeff_sign[filtersetidx][k][j])*2
alf_cc_cr_mapped_coeff_abs[filtersetidx][k][j]-1
。
[0201]
ctb级别
[0202]
在ctb级别，一旦alf_aps索引被信令通知并被确定用于ctb，如果alf_aps具有用于颜色分量的多个滤波器集合，或如果该alf_aps中的多个滤波器集合被用于颜色分量，则可以信令通知滤波器集合索引。在信令通知滤波器集合索引之后，如果该滤波器集合具有多个滤波器，则可以信令通知滤波器索引。
[0203]
在该示例中，视频解码器300可以被配置为：对于视频数据的译码树块，对指示自适应参数集的自适应参数集索引进行解码。视频解码器300还可以被配置为针对译码树块对指示自适应参数集中的多个自适应环路滤波器集合中的特定自适应环路滤波器集合的滤波器集合索引进行解码。视频解码器300还可以被配置为针对译码树块对指示来自特定自适应环路滤波器集合的特定自适应环路滤波器的滤波器索引进行解码，然后将该特定自适应环路滤波器应用于译码树块。
[0204]
图片/子图片标头
[0205]
在图片或子图片级别(例如子图片、切片、图块、图块组和/或砖块)的标头处，对于每个分量，一个图片/子图片可以使用alf_aps中的所有滤波器集合。在另一示例中，一个图片/子图片可以使用alf_aps中的一个或一些但不是全部的滤波器集合和滤波器。所使用的滤波器集合和每个集合中使用的滤波器索引可以在图片标头和/或子图片标头中信令通知。
[0206]
在一个示例中，视频解码器300可以被配置为：在图片标头处对一个或多个语法元素进行解码，该一个或多个语法元素指示多个自适应环路滤波器集合中的哪些自适应环路滤波器集合可用于视频数据的图片，并且将所指示的自适应环路滤波器集合应用于视频数据的图片。在另一示例中，视频解码器300可以被配置为：在子图片标头处对一个或多个语法元素进行解码，该一个或多个语法元素指示多个自适应环路滤波器集合中的哪些自适应环路滤波器集合可用于视频数据的子图片，其中，子图片包括视频数据的子图片、切片、图块、图块组或砖块，并且将所指示的自适应环路滤波器集合应用于视频数据的子图片。
[0207]
区域信息
[0208]
图片/子图片(诸如子图片、切片、图块、图块组和/或砖块)可以被分割成几个区域。一个区域可以具有其自己的alf_aps、滤波器集合和滤波器索引的滤波器使用信息，使得视频译码器(例如，视频解码器300)可以仅选择由针对该区域中的样本的使用信息所定义的滤波器。
[0209]
图11a和图11b是示出示例四叉树二叉树(qtbt)结构130和对应的译码树单元(ctu)132的概念图。实线表示四叉树拆分，并且虚线表示二叉树拆分。在二叉树的每个拆分(即，非叶)节点中，一个标志被信令通知来指示使用哪种拆分类型(即，水平或垂直)，其中，在该示例中，0指示水平拆分，并且1指示垂直拆分。对于四叉树拆分，不需要指示拆分类型，因为四叉树节点将一个块水平和垂直拆分成4个大小相等的子块。因此，视频编码器200可以编码并且视频解码器300可以解码qtbt结构130的区域树级别(即，实线)的语法元素(诸如拆分信息)和qtbt结构130的预测树级别(即，虚线)的语法元素(诸如拆分信息)。视频编码器200可以编码并且视频解码器300可以解码由qtbt结构130的末端叶节点表示的cu的视频数据，诸如预测和变换数据。
[0210]
一般而言，图2b的ctu 132可以与参数相关联，这些参数定义与第一级别和第二级别处的qtbt结构130的节点对应的块的大小。这些参数可以包括ctu大小(表示样本中ctu 132的大小)、最小四叉树大小(minqtsize，表示最小允许的四叉树叶节点大小)、最大二叉树大小(maxbtsize，表示最大允许的二叉树根节点大小)、最大二叉树深度(maxbtdepth，表示最大允许的二叉树深度)和最小二叉树大小(minbtsize，表示最小允许的二叉树叶节点大小)。
[0211]
对应于ctu的qtbt结构的根节点在qtbt结构的第一级别可以具有四个子节点，每个子节点可以根据四叉树分割来分割。也就是说，第一级别的节点是叶节点(没有子节点)，或具有四个子节点。qtbt结构130的示例将这样的节点表示为包括父节点和具有分支实线的子节点。如果第一级别的节点不大于最大允许的二叉树根节点大小(maxbtsize)，则节点可以进一步由相应的二叉树分割。一个节点的二叉树拆分可以被迭代，直到拆分产生的节点达到最小允许的二叉树叶节点大小(minbtsize)或最大允许的二叉树深度(maxbtdepth)。qtbt结构130的示例将这样的节点表示为具有分支虚线。二叉树叶节点被称
为译码单元(cu)，其用于预测(例如，图片内或图片间预测)和变换，而无需任何进一步的分割。如上文所讨论，cu也可以称为“视频块”或“块”。
[0212]
在qtbt分割结构的一个示例中，ctu大小被设置为128
×
128(亮度样本和两个对应的64
×
64色度样本)，minqtsize被设置为16
×
16，maxbtsize被设置为64
×
64，minbtsize(宽度和高度两者)被设置为4，并且maxbtdepth被设置为4。首先将四叉树分割应用于ctu，以生成四叉树叶节点。四叉树叶节点的大小可以从16
×
16(即minqtsize)到128
×
128(即ctu大小)。如果四叉树叶节点是128
×
128，则叶四叉树节点将不会被二叉树进一步拆分，因为大小超过了maxbtsize(即本示例中的64
×
64)。否则，四叉树叶节点将被二叉树进一步分割。因此，四叉树叶节点也是二叉树的根节点，并且二叉树深度为0。当二叉树深度达到maxbtdepth(在此示例中为4)时，不允许进一步拆分。宽度等于minbtsize(在本示例中为4)的二叉树节点意味着该二叉树节点不允许进一步的垂直拆分(即，宽度的划分)。类似地，高度等于minbtsize的二叉树节点意味着对于该二叉树节点不允许进一步的水平拆分(即，高度的划分)。如上所述，二叉树的叶节点被称为cu，并且根据预测和变换被进一步处理，而无需进一步分割。
[0213]
图12是示出可以执行本公开的技术的示例视频编码器200的框图。图12是为了解释的目的而提供的，并且不应被认为是对本公开中广泛示例和描述的技术的限制。出于解释的目的，本公开描述了根据vvc(itu-t h.266，正在开发中)和hevc(itu-t h.265)的技术的视频编码器200。然而，本公开的技术可以由被配置为其他视频译码标准的视频编码设备来执行。
[0214]
在图12的示例中，视频编码器200包括视频数据存储器230、模式选择单元202、残差生成单元204、变换处理单元206、量化单元208、逆量化单元210、逆变换处理单元212、重构单元214、滤波器单元216、经解码图片缓冲器(dpb)218和熵编码单元220。视频数据存储器230、模式选择单元202、残差生成单元204、变换处理单元206、量化单元208、逆量化单元210、逆变换处理单元212、重构单元214、滤波器单元216、dpb 218和熵编码单元220中的任何一个或全部可以在一个或多个处理器中或在处理电路中实施。例如，视频编码器200的单元可以实施为一个或多个电路或逻辑元件，作为硬件电路的一部分，或作为处理器、asic或fpga的一部分。此外，视频编码器200可以包括附加的或可替代的处理器或处理电路，以执行这些和其他功能。
[0215]
视频数据存储器230可以存储将由视频编码器200的组件编码的视频数据。视频编码器200可以从例如视频源104(图1)接收存储在视频数据存储器230中的视频数据。dpb 218可以充当参考图片存储器，其存储参考视频数据以供视频编码器200预测后续视频数据时使用。视频数据存储器230和dpb 218可以由多种存储器设备中的任何一种形成，诸如动态随机存取存储器(dram)，包括同步dram(sdram)、磁阻ram(mram)、电阻ram(rram)或其他类型的存储器设备。视频数据存储器230和dpb 218可以由相同存储器设备或分开的存储器设备提供。在各种示例中，视频数据存储器230可以与视频编码器200的其他组件在芯片上，如图所示，或相对于那些组件在芯片外。
[0216]
在本公开中，对视频数据存储器230的引用不应被解释为限于视频编码器200内部的存储器，除非如此具体描述，或限于视频编码器200外部的存储器，除非如此具体描述。相反，对视频数据存储器230的引用应被理解为存储视频编码器200接收用于编码的视频数据
(例如，将被编码的当前块的视频数据)的参考存储器。图1的存储器106还可以提供来自视频编码器200的各个单元的输出的临时存储。
[0217]
示出了图12的各种单元以帮助理解由视频编码器200执行的操作。这些单元可以实施为固定功能电路、可编程电路或其组合。固定功能电路指的是提供特定功能的电路，并且被预置在可以执行的操作上。可编程电路是指可以被编程以执行各种任务的电路，并且在可以执行的操作中提供灵活的功能。例如，可编程电路可以执行软件或固件，该软件或固件使得可编程电路以由软件或固件的指令所定义的方式操作。固定功能电路可以执行软件指令(例如，接收参数或输出参数)，但是固定功能电路执行的操作类型通常是不可变的。在一些示例中，单元中的一个或多个可以是不同的电路块(固定功能或可编程的)，并且在一些示例中，单元中的一个或多个可以是集成电路。
[0218]
视频编码器200可以包括由可编程电路形成的算术逻辑单元(alu)、基本功能单元(efu)、数字电路、模拟电路和/或可编程核心。在使用由可编程电路执行的软件来执行视频编码器200的操作的示例中，存储器106(图1)可以存储视频编码器200接收和执行的软件的指令(例如，目标代码)，或视频编码器200内的另一存储器(未示出)可以存储这样的指令。
[0219]
视频数据存储器230被配置为存储所接收的视频数据。视频编码器200可以从视频数据存储器230检索视频数据的图片，并且将视频数据提供给残差生成单元204和模式选择单元202。视频数据存储器230中的视频数据可以是将被编码的原始视频数据。
[0220]
模式选择单元202包括运动估计单元222、运动补偿单元224和帧内预测单元226。模式选择单元202可以包含附加的功能单元，以根据其他预测模式来执行视频预测。作为示例，模式选择单元202可以包括调色板单元、帧内块复制单元(其可为运动估计单元222和/或运动补偿单元224的一部分)、仿射单元、线性模型(lm)单元等。
[0221]
模式选择单元202通常协调多个编码编次，以测试编码参数的组合和这样的组合的所得率失真值。编码参数可以包括将ctu分割成cu、cu的预测模式、cu的残差数据的变换类型、cu的残差数据的量化参数等。模式选择单元202可以最终选择具有比其他测试组合更好的率失真值的编码参数组合。
[0222]
视频编码器200可以将从视频数据存储器230检索的图片分割成一系列ctu，并且将一个或多个ctu封装在切片内。模式选择单元202可以根据诸如上述qtbt结构或hevc的四叉树结构的树结构来分割图片的ctu。如以上所描述，视频编码器200可以根据树结构通过分割ctu来形成一个或多个cu。这样的cu通常也可称为“视频块”或“块”。
[0223]
一般而言，模式选择单元202还控制其组件(例如，运动估计单元222、运动补偿单元224和帧内预测单元226)，以生成当前块的预测块(例如，当前cu，或在hevc中，pu和tu的重叠部分)。对于当前块的帧间预测，运动估计单元222可以执行运动搜索，以标识一个或多个参考图片(例如，存储在dpb 218中的一个或多个先前译码的图片)中的一个或多个紧密匹配的参考块。具体地，运动估计单元222可以计算表示潜在参考块与当前块相似程度的值，例如，根据绝对差和(sad)、平方差和(ssd)、平均绝对差(mad)、均方差(msd)等。运动估计单元222通常可以使用当前块与正被考虑的参考块之间的逐样本差来执行这些计算。运动估计单元222可以标识具有由这些计算产生的最低值的参考块，指示最接近地匹配当前块的参考块。
[0224]
运动估计单元222可以形成一个或多个运动矢量(mv)，其定义参考图片中的参考
块相对于当前图片中的当前块的位置的位置。然后运动估计单元222可以将运动矢量提供至运动补偿单元224。例如，对于单向帧间预测，运动估计单元222可以提供单个运动矢量，而对于双向帧间预测，运动估计单元222可以提供两个运动矢量。然后，运动补偿单元224可以使用运动矢量生成预测块。例如，运动补偿单元224可以使用运动矢量检索参考块的数据。作为另一示例，如果运动矢量具有分数样本精度，择运动补偿单元224可以根据一个或多个插值滤波器来插值预测块的值。此外，对于双向帧间预测，运动补偿单元224可以检索由相应运动矢量标识的两个参考块的数据，并且例如通过逐样本平均或加权平均来组合所检索的数据。
[0225]
作为另一示例，对于帧内预测或帧内预测译码，帧内预测单元226可以从邻近当前块的样本生成预测块。例如，对于方向模式，帧内预测单元226通常可以以数学方式组合相邻样本的值，并且在当前块上的定义方向上填充这些计算出的值，以产生预测块。作为另一示例，对于dc模式，帧内预测单元226可以计算当前块的相邻样本的平均值，并且生成预测块，以包括预测块的每个样本的此所得平均值。
[0226]
模式选择单元202将预测块提供至残差生成单元204。残差生成单元204从视频数据存储器230接收当前块的原始未编码版本，并且从模式选择单元202接收预测块。残差生成单元204计算当前块与预测块之间的逐样本差。得到的逐样本差定义了当前块的残差块。在一些示例中，残差生成单元204还可以确定残差块中的样本值之间的差，以使用残差差分脉冲译码调制(rdpcm)来生成残差块。在一些示例中，残差生成单元204可以使用执行二进制减法的一个或多个减法器电路来形成。
[0227]
在模式选择单元202将cu分割成pu的示例中，每个pu可以与亮度预测单元和对应的色度预测单元相关联。视频编码器200和视频解码器300可以支持具有各种大小的pu。如上所述，cu的大小可以指cu的亮度译码块的大小，并且pu的大小可以指pu的亮度预测单元的大小。假设特定cu的大小为2n
×
2n，则视频编码器200可以支持用于帧内预测的2n
×
2n或n
×
n的pu大小，以及用于帧间预测的2n
×
2n、2n
×
n、n
×
2n、n
×
n或类似的对称pu大小。视频编码器200和视频解码器300还可以支持针对帧间预测的2n
×
nu、2n
×
nd、nl
×
2n和nr
×
2n的pu大小的非对称分割。
[0228]
在模式选择单元202不将cu进一步分割为pu的示例中，每个cu可以与亮度译码块和对应的色度译码块相关联。如上所述，cu的大小可以指cu的亮度译码块的大小。视频编码器200和视频解码器300可以支持2n
×
2n、2n
×
n或n
×
2n的cu大小。
[0229]
对于其他视频译码技术，诸如帧内块复制模式译码、仿射模式译码和线性模型(lm)模式译码，作为一些示例，模式选择单元202经由与译码技术相关联的相应单元生成正被编码的当前块的预测块。在一些示例中，诸如调色板模式译码，模式选择单元202可以不生成预测块，而是生成指示基于所选择的调色板来重构块的方式的语法元素。在这样的模式中，模式选择单元202可以将这些语法元素提供至熵编码单元220以进行编码。
[0230]
如以上所描述，残差生成单元204接收当前块和对应预测块的视频数据。然后，残差生成单元204生成当前块的残差块。为了生成残差块，残差生成单元204计算预测块与当前块之间的逐样本差。
[0231]
变换处理单元206将一个或多个变换应用于残差块以生成变换系数的块(本文中称为“变换系数块”)。变换处理单元206可以将各种变换应用于残差块以形成变换系数块。
例如，变换处理单元206可以对残差块应用离散余弦变换(dct)、方向变换、karhunen-loeve变换(klt)或概念上类似的变换。在一些示例中，变换处理单元206可以对残差块执行多个变换，例如，初级变换和次级变换，诸如旋转变换。在一些示例中，变换处理单元206不对残差块应用变换。
[0232]
量化单元208可以量化变换系数块中的变换系数，以产生经量化的变换系数块。量化单元208可以根据与当前块相关联的量化参数(qp)值来量化变换系数块的变换系数。视频编码器200(例如，经由模式选择单元202)可以通过调整与cu相关联的qp值来调整应用于与当前块相关联的变换系数块的量化程度。量化可能引入信息损失，并且因此，经量化的变换系数可以具有比由变换处理单元206产生的原始变换系数低的精度。
[0233]
逆量化单元210和逆变换处理单元212可以分别对经量化的变换系数块应用逆量化和逆变换，以从变换系数块重构残差块。重构单元214可以基于经重构的残差块和由模式选择单元202生成的预测块来产生对应于当前块的经重构的块(尽管可能具有某种程度的失真)。例如，重构单元214可以将经重构的残差块的样本添加到来自由模式选择单元202生成的预测块的对应样本，以产生经重构的块。
[0234]
滤波器单元216可以对经重构的块执行一个或多个滤波操作。例如，滤波器单元216可以执行去块操作，以减少沿着cu的边缘的块效应伪影。在一些示例中，可以跳过滤波器单元216的操作。在一些示例中，滤波器单元216可以被配置为应用自适应环路滤波器，并且可以被配置为使用本公开中所描述的任何自适应环路滤波器技术。例如，滤波器单元216可以被配置为从aps中的一个或多个alf滤波器集合确定alf。视频编码器200还可以被配置为将多个alf滤波器集合编码在一个或多个aps中，并且将aps中的多个alf滤波器集合编码在经编码的视频比特流中。
[0235]
视频编码器200在dpb 218中存储经重构的块。例如，在不执行滤波器单元216的操作的示例中，重构单元214可以将经重构的块存储到dpb 218。在执行滤波器单元216的操作的示例中，滤波器单元216可以将滤波后的经重构的块存储至dpb 218。运动估计单元222和运动补偿单元224可以从dpb 218中检索由重构(并且可能经滤波)的块形成的参考图片，以对后续经编码的图片的块进行帧间预测。此外，帧内预测单元226可以使用当前图片的dpb 218中的经重构的块来对当前图片中的其他块进行帧内预测。
[0236]
一般而言，熵编码单元220可以对从视频编码器200的其他功能组件接收的语法元素进行熵编码。例如，熵编码单元220可以对来自量化单元208的经量化的变换系数块进行熵编码。作为另一示例，熵编码单元220可以对来自模式选择单元202的预测语法元素(例如，用于帧间预测的运动信息或用于帧内预测的帧内模式信息)进行熵编码。熵编码单元220可以对作为视频数据的另一示例的语法元素执行一个或多个熵编码操作，以生成经熵编码的数据。例如，熵编码单元220可以对数据执行上下文自适应可变长度译码(cavlc)运算、cabac运算、可变到可变(v2v)长度译码运算、基于语法的上下文自适应二进制算术译码(sbac)运算、概率区间分割熵(pipe)译码运算、指数-golomb编码运算或另一类型的熵编码运算。在一些示例中，熵编码单元220可以在旁路模式下操作，其中，不对语法元素进行熵编码。
[0237]
视频编码器200可以输出包括重构切片或图片的块所需的经熵编码的语法元素的比特流。具体地，熵编码单元220可以输出比特流。
[0238]
上面描述的操作是相对于块来描述的。这样的描述应理解为对亮度译码块和/或色度译码块的操作。如以上所描述，在一些示例中，亮度译码块和色度译码块是cu的亮度和色度分量。在一些示例中，亮度译码块和色度译码块是cu的亮度和色度分量。
[0239]
在一些示例中，对于色度译码块，不需要重复针对亮度译码块执行的操作。作为一个示例，标识亮度译码块的运动矢量(mv)和参考图片的操作不需要重复用于标识色度块的mv和参考图片。相反，亮度译码块的mv可以被缩放以确定色度块的mv，并且参考图片可以是相同的。作为另一示例，对于亮度译码块和色度译码块，帧内预测过程可以是相同的。
[0240]
视频编码器200表示被配置为编码视频数据的设备的示例，该设备包括被配置为存储视频数据的存储器，以及一个或多个处理单元，该一个或多个处理单元在电路中实施，并且被配置为将多个自适应环路滤波器集合译码在自适应参数集中，并且将来自多个自适应环路滤波器集合的一个或多个自适应环路滤波器应用于视频数据。
[0241]
图13是示出可以执行本公开的技术的示例视频解码器300的框图。图13是为了解释的目的而提供的，并且不限制在本公开中广泛示例和描述的技术。出于解释的目的，本公开描述了根据vvc(itu-t h.266，正在开发中)和hevc(itu-t h.265)的技术的视频解码器300。然而，本公开的技术可以由被配置为其他视频译码标准的视频译码设备来执行。
[0242]
在图13的示例中，视频解码器300包括经译码图片缓冲器(cpb)存储器320、熵解码单元302、预测处理单元304、逆量化单元306、逆变换处理单元308、重构单元310、滤波器单元312和经解码图片缓冲器(dpb)314。cpb存储器320、熵解码单元302、预测处理单元304、逆量化单元306、逆变换处理单元308、重构单元310、滤波器单元312和dpb 314中的任何一个或全部可以在一个或多个处理器中或在处理电路中实施。例如，视频解码器300的单元可以实施为一个或多个电路或逻辑元件，作为硬件电路的一部分，或作为处理器、asic或fpga的一部分。此外，视频解码器300可以包括附加的或可替代的处理器或处理电路，以执行这些和其他功能。
[0243]
预测处理单元304包括运动补偿单元316和帧内预测单元318。预测处理单元304可以包含附加单元，以根据其他预测模式来执行预测。作为示例，预测处理单元304可以包括调色板单元、帧内块复制单元(其可以形成运动补偿单元316的一部分)、仿射单元、线性模型(lm)单元等。在其他示例中，视频解码器300可以包括更多、更少或不同的功能组件。
[0244]
cpb存储器320可以存储将由视频解码器300的组件解码的视频数据，诸如经编码的视频比特流。存储在cpb存储器320中的视频数据可以从例如计算机可读介质110(图1)中获得。cpb存储器320可以包括存储来自经编码的视频比特流的经编码的视频数据(例如，语法元素)的cpb。此外，cpb存储器320可以存储除经译码的图片的语法元素以外的视频数据，诸如表示来自视频解码器300的各个单元的输出的临时数据。dpb 314通常存储经解码的图片，视频解码器300在解码经编码的视频比特流的后续数据或图片时可以输出和/或使用该经解码的图片作为参考视频数据。cpb存储器320和dpb 314可以由多种存储器设备中的任何一种形成，诸如dram，包括sdram、mram、rram或其他类型的存储器设备。cpb存储器320和dpb 314可以由同一存储器设备或分开的存储器设备提供。在各种示例中，cpb存储器320可以与视频解码器300的其他组件在芯片上，或相对于那些组件在芯片外。
[0245]
附加地或可替代地，在一些示例中，视频解码器300可以从存储器120(图1)中检索经译码的视频数据。也就是说，存储器120可以存储如上面关于cpb存储器320所讨论的数
据。同样地，当视频解码器300的一些或所有功能性以由视频解码器300的处理电路执行的软件实施时，存储器120可以存储由视频解码器300执行的指令。
[0246]
示出了图13中所示的各种单元以帮助理解视频解码器300执行的操作。这些单元可以实施为固定功能电路、可编程电路或其组合。与图12类似，固定功能电路指的是提供特定功能的电路，并且被预置在可以执行的操作上。可编程电路是指可以被编程以执行各种任务的电路，并且在可以执行的操作中提供灵活的功能。例如，可编程电路可以执行软件或固件，该软件或固件使得可编程电路以由软件或固件的指令所定义的方式操作。固定功能电路可以执行软件指令(例如，接收参数或输出参数)，但是固定功能电路执行的操作类型通常是不可变的。在一些示例中，单元中的一个或多个可以是不同的电路块(固定功能或可编程的)，并且在一些示例中，单元中的一个或多个可以是集成电路。
[0247]
视频解码器300可以包括alu、efu、数字电路、模拟电路和/或由可编程电路形成的可编程核心。在视频解码器300的操作由在可编程电路上执行的软件执行的示例中，片上或片外存储器可以存储视频解码器300接收并且执行的软件的指令(例如，目标代码)。
[0248]
熵解码单元302可以从cpb接收经编码的视频数据，并且对视频数据进行熵解码以再现语法元素。预测处理单元304、逆量化单元306、逆变换处理单元308、重构单元310和滤波器单元312可以基于从比特流提取的语法元素来生成经解码的视频数据。
[0249]
一般而言，视频解码器300在逐块的基础上重构图片。视频解码器300可以单独对每个块执行重构操作(其中，当前正被重构即解码的块可以被称为“当前块”)。
[0250]
熵解码单元302可以对定义经量化变换系数块的经量化变换系数的语法元素，以及变换信息(诸如量化参数(qp)和/或变换模式指示)进行熵解码。逆量化单元306可以使用与经量化的变换系数块相关联的qp来确定量化程度，并且同样地，确定逆量化单元306要应用的逆量化程度。例如，逆量化单元306可以执行逐比特左移运算以逆量化经量化的变换系数。因此，逆量化单元306可以形成包括变换系数的变换系数块。
[0251]
在逆量化单元306形成变换系数块之后，逆变换处理单元308可以将一个或多个逆变换应用于变换系数块以生成与当前块相关联的残差块。例如，逆变换处理单元308可以对变换系数块应用逆dct、逆整数变换、逆karhunen-loeve变换(klt)、逆旋变换、逆方向变换或另一逆变换。
[0252]
此外，预测处理单元304根据由熵解码单元302熵解码的预测信息语法元素来生成预测块。例如，如果预测信息语法元素指示当前块是帧间预测的，则运动补偿单元316可以生成预测块。在这种情况下，预测信息语法元素可以指示dpb 314中的参考图片(从该参考图片中检索参考块)，以及标识参考图片中的参考块相对于当前图片中的当前块的位置的运动矢量。运动补偿单元316通常可以以基本上类似于相对于运动补偿单元224(图12)所描述的方式的方式来执行帧间预测处理。
[0253]
作为另一示例，如果预测信息语法元素指示当前块是帧内预测的，则帧内预测单元318可以根据由预测信息语法元素指示的帧内预测模式来生成预测块。同样，帧内预测单元318通常可以以基本上类似于相对于帧内预测单元226(图12)所描述的方式的方式来执行帧内预测处理。帧内预测单元318可以从dpb 314检索当前块的相邻样本的数据。
[0254]
重构单元310可以使用预测块和残差块来重构当前块。例如，重构单元310可以将残差块的样本添加到预测块的对应样本以重构当前块。
[0255]
滤波器单元312可以对经重构的块执行一个或多个滤波操作。例如，滤波器单元312可以执行去块操作，以减少沿着经重构的块的边缘的块效应伪影。滤波器单元312的操作不一定在所有示例中都执行。滤波器单元312可以被配置为应用自适应环路滤波器，并且可以被配置为使用本公开中所描述的任何自适应环路滤波器技术。例如，滤波器单元312可以被配置为接收与视频数据相关联的自适应参数集中的多个自适应环路滤波器集合，从多个自适应环路滤波器集合中确定一个或多个自适应环路滤波器，并且将所确定的一个或多个自适应环路滤波器应用于视频数据。
[0256]
视频解码器300可以将经重构的块存储在dpb 314中。例如，在不执行滤波器单元312的操作的示例中，重构单元310可以将经重构的块存储到dpb 314。在执行滤波器单元312的操作的示例中，滤波器单元312可以将滤波后的经重构的块存储至dpb 314。如以上所论述，dpb 314可以向预测处理单元304提供参考信息，诸如用于帧内预测的当前图片的样本和用于后续运动补偿的先前解码图片的样本。此外，视频解码器300可以输出来自dpb 314的经解码的图片(例如，经解码的视频)以供随后在显示设备(诸如图1的显示设备118)上呈现。
[0257]
以这种方式，视频解码器300表示视频解码设备的示例，该视频解码设备包括被配置为存储视频数据的存储器，以及一个或多个处理单元，该一个或多个处理单元在电路中实施并且被配置为接收与视频数据相关联的自适应参数集中的多个自适应环路滤波器集合，从多个自适应环路滤波器集合中确定一个或多个自适应环路滤波器，并且将所确定的一个或多个自适应环路滤波器应用于视频数据。
[0258]
图14是示出根据本公开的技术对当前块进行编码的示例方法的流程图。当前块可以包括当前cu。尽管针对视频编码器200(图1和12)进行了描述，但是应理解，其他设备可以被配置为执行类似于图14的方法。
[0259]
在该示例中，视频编码器200最初预测当前块(350)。例如，视频编码器200可以形成当前块的预测块。然后，视频编码器200可以计算当前块的残差块(352)。为了计算残差块，视频编码器200可以计算原始未经编码块与当前块的预测块之间的差。视频编码器200然后可以变换残差块并且量化残差块的变换系数(354)。接下来，视频编码器200可以扫描残差块的经量化的变换系数(356)。在扫描期间，或在扫描之后，视频编码器200可以对变换系数进行熵编码(358)。例如，视频编码器200可以使用cavlc或cabac来对变换系数进行编码。然后，视频编码器200可以输出块的经熵编码的数据(360)。
[0260]
图15是示出根据本公开的技术对当前视频数据块进行解码的示例方法的流程图。当前块可以包括当前cu。尽管针对视频解码器300(图1和13)进行了描述，但是应理解，其他设备可以被配置为执行类似于图15的方法。
[0261]
视频解码器300可以接收当前块的经熵编码的数据，诸如对应于当前块的残差块的变换系数的经熵编码的预测信息和经熵编码的数据(370)。视频解码器300可以对经熵编码的数据进行熵解码以确定当前块的预测信息并且再现残差块的变换系数(372)。例如，使用如当前块的预测信息指示的帧内或帧间预测模式来计算当前块的预测块，视频解码器300可以预测当前块(374)。然后，视频解码器300可以逆扫描再现的变换系数(376)，以创建经量化的变换系数块。视频解码器300然后可以逆量化变换系数并且将逆变换应用于变换系数，以产生残差块(378)。视频解码器300可以通过组合预测块和残差块来对当前块进行
最终解码(380)。在对当前块进行解码之后，视频解码器300可以使用本公开的技术来应用滤波器，诸如alf。
[0262]
图16是示出根据本公开的技术对当前块进行解码的另一示例方法的流程图。图16示出了根据本公开的用于应用alf的方法。图16的技术可以由视频解码器300的一个或多个结构单元(包含滤波器单元312)来执行。
[0263]
在一个示例中，视频解码器300可以被配置为接收与视频数据相关联的自适应参数集中的多个自适应环路滤波器集合(500)，从多个自适应环路滤波器集合中确定一个或多个自适应环路滤波器(510)，并且将所确定的一个或多个自适应环路滤波器应用于视频数据(520)。在一个示例中，多个自适应环路滤波器集合包括用于视频数据的亮度分量的多个自适应环路滤波器集合和用于视频数据的色度分量的多个自适应环路滤波器集合。在另一示例中，多个自适应环路滤波器集合包括用于视频数据的cb分量的多个交叉分量自适应环路滤波器集合和用于视频数据的cr分量的多个交叉分量自适应环路滤波器集合。
[0264]
在另一示例中，视频解码器300可以被配置为：对于译码树块，对指示自适应参数集中的多个自适应环路滤波器集合中的特定自适应环路滤波器集合的滤波器集合索引进行解码；对于译码树块，对指示来自该特定自适应环路滤波器集合的特定自适应环路滤波器的滤波器索引进行解码；以及将该特定的自适应环路滤波器应用于译码树块。视频解码器300还可以被配置为：对于视频数据的译码树块，对指示自适应参数集的自适应参数集索引进行解码。
[0265]
在另一示例中，视频解码器300可以被配置为：对指示用于视频数据的亮度分量的自适应参数集中的自适应环路滤波器集合的数量的第一语法元素进行解码。在另一示例中，视频解码器300可以被配置为：对指示用于视频数据的色度分量的自适应参数集中的自适应环路滤波器集合的数量的第二语法元素进行解码。
[0266]
在另一示例中，视频解码器300可以被配置为：对可用于用于亮度分量的多个自适应环路滤波器集合中的所有自适应环路滤波器集合的裁剪标志进行解码；以及对可用于用于色度分量的多个自适应环路滤波器集合中的所有自适应环路滤波器集合的裁剪标志进行解码。
[0267]
在另一示例中，视频解码器300可以被配置为：对用于亮度分量的多个自适应环路滤波器集合中的每个自适应环路滤波器集合的相应裁剪标志进行解码；以及对用于色度分量的多个自适应环路滤波器集合中的每个自适应环路滤波器集合的相应裁剪标志进行解码。
[0268]
在另一示例中，视频解码器300可以被配置为：在图片标头处对一个或多个语法元素进行解码，该一个或多个语法元素指示多个自适应环路滤波器集合中的哪些自适应环路滤波器集合可用于视频数据的图片；以及将所指示的自适应环路滤波器集合应用于视频数据的图片。
[0269]
在另一示例中，视频解码器300可以被配置为：在子图片标头处对一个或多个语法元素进行解码，该一个或多个语法元素指示多个自适应环路滤波器集合中的哪些自适应环路滤波器集合可用于视频数据的子图片，其中，子图片包括视频数据的子图片、切片、图块、图块组或砖块；以及将所指示的自适应环路滤波器集合应用于视频数据的子图片。
[0270]
下面描述了本公开的其他说明性示例。
[0271]
条款1-一种译码视频数据的方法，该方法包括：对自适应参数集中的多个自适应环路滤波器集合进行译码；以及将来自多个自适应环路滤波器集合的一个或多个自适应环路滤波器应用于视频数据。
[0272]
条款2-根据条款1的方法，其中，多个自适应环路滤波器集合包括用于亮度分量的多个自适应环路滤波器集合、用于色度分量的多个自适应环路滤波器集合、用于cb分量的多个交叉分量自适应环路滤波器集合，以及用于cr分量的多个交叉分量自适应环路滤波器集合。
[0273]
条款3-根据条款2的方法，还包括：对第一语法元素进行译码，该第一语法元素指示用于亮度分量的自适应环路滤波器集合的数量。
[0274]
条款4-根据条款2的方法，还包括：对第二语法元素进行译码，该第二语法元素指示用于色度分量的自适应环路滤波器集合的数量。
[0275]
条款5-根据条款2的方法，还包括：对可用于用于亮度分量的多个自适应环路滤波器集合中的所有自适应环路滤波器集合的裁剪标志进行解码。
[0276]
条款6-根据条款2的方法，还包括：对可用于用于色度分量的多个自适应环路滤波器集合中的所有自适应环路滤波器集合的裁剪标志进行解码。
[0277]
条款7-根据条款2的方法，还包括：对用于亮度分量的多个自适应环路滤波器集合中的每个自适应环路滤波器集合的相应裁剪标志进行解码。
[0278]
条款8-根据条款2的方法，还包括：对用于色度分量的多个自适应环路滤波器集合中的每个自适应环路滤波器集合的相应裁剪标志进行解码。
[0279]
条款9-根据条款1的方法，还包括：对指示多个自适应环路滤波器集合中的自适应环路滤波器集合的滤波器集合索引进行译码。
[0280]
条款10-根据条款1至9的任何组合的方法。
[0281]
条款11-根据条款1至10中任一项的方法，其中，译码包括解码。
[0282]
条款12-根据条款1至10中任一项的方法，其中，译码包括编码。
[0283]
条款13-一种用于对视频数据进行译码的设备，该设备包括用于执行条款1至12中任一项的方法的一个或多个部件。
[0284]
条款14-根据条款13的设备，其中，一个或多个部件包括在电路中实施的一个或多个处理器。
[0285]
条款15-根据条款13和14中任一项的设备，还包括存储视频数据的存储器。
[0286]
条款16-根据条款13至15中任一项的设备，还包括被配置为显示经解码的视频数据的显示器。
[0287]
条款17-根据条款13至16中任一项的设备，其中，该设备包括相机、计算机、移动设备、广播接收器设备或机顶盒中的一个或多个。
[0288]
条款18-根据条款13至17中任一项的设备，其中，该设备包括视频解码器。
[0289]
条款19-根据条款13至18中任一项的设备，其中，该设备包括视频编码器。
[0290]
条款20-一种计算机可读存储介质，其中，存储有指令，指令在被执行时，使一个或多个处理器执行条款1至12中任一项的方法。
[0291]
条款21-本公开中描述的技术的任何组合。
[0292]
应认识到，根据示例，本文所描述的任何技术的某些动作或事件可以以不同的顺
序来执行，可以被添加、合并或完全省略(例如，并非所有描述的动作或事件对于技术的实践都是必要的)。此外，在某些示例中，动作或事件可以同时执行，例如，通过多线程处理、中断处理或多处理器，而不是顺序执行。
[0293]
在一个或多个示例中，所描述的功能可以用硬件、软件、固件或其任何组合来实施。如果用软件实施，则这些功能可以作为一个或多个指令或代码存储在计算机可读介质中或在其中发送，并且由基于硬件的处理单元执行。计算机可读介质可以包括计算机可读存储介质，其对应于有形介质，诸如数据存储介质，或通信介质，包括例如根据通信协议便于将计算机程序从一个地方传输到另一地方的任何介质。以这种方式，计算机可读介质通常可以对应于(1)有形的非暂时性的计算机可读存储介质，或(2)诸如信号或载波的通信介质。数据存储介质可以是能够被一个或多个计算机或一个或多个处理器访问以检索用于实施本公开中所描述的技术的指令、代码和/或数据结构的任何可用介质。计算机程序产品可以包括计算机可读介质。
[0294]
作为示例而非限制，这样的计算机可读存储介质可以包括ram、rom、eeprom、cd-rom或其他光盘存储器、磁盘存储器或其他磁存储设备、闪存或可以用于存储指令或数据结构形式的所需程序代码并且可以由计算机访问的任何其他介质。同样，任何连接都被恰当地称为计算机可读介质。例如，如果使用同轴电缆、光纤电缆、双绞线、数字用户线路(dsl)或诸如红外线、无线电和微波的无线技术从网站、服务器或其他远程源发送指令，则同轴电缆、光纤电缆、双绞线、dsl或诸如红外线、无线电和微波的无线技术包括在介质的定义中。然而，应理解，计算机可读存储介质和数据存储介质不包括连接、载波、信号或其他瞬态介质，而是指向非瞬态的有形存储介质。本文所使用的磁盘和光盘包括压缩光盘(cd)、激光光盘、光盘、数字多功能光盘(dvd)、软盘和蓝光光盘，其中，磁盘通常磁性地再现数据，而光盘用激光光学地再现数据。上述的组合也应包括在计算机可读介质的范围内。
[0295]
指令可以由一个或多个处理器执行，诸如一个或多个dsp、通用微处理器、asic、fpga或其他等效的集成或分立逻辑电路。因此，本文所使用的术语“处理器”和“处理电路”可以指任何上述结构或适合于实施本文所描述的技术的任何其他结构。此外，在一些方面，本文所描述的功能可以在被配置用于编码和解码的专用硬件和/或软件模块中提供，或被结合在组合的译码器中。同样，这些技术可以完全在一个或多个电路或逻辑元件中实施。
[0296]
本公开的技术可以在各种各样的设备或装置中实施，包括无线手机、集成电路(ic)或ic组(例如，芯片组)。在本公开中描述了各种组件、模块或单元，以强调被配置为执行所公开的技术的设备的功能方面，但是不一定需要由不同的硬件单元来实现。相反，如以上所描述，各种单元可以结合适当的软件和/或固件被组合在译码器硬件单元中，或由互操作硬件单元的集合来提供，包括如以上所描述的一个或多个处理器。
[0297]
已经描述了各种示例。这些和其他示例在以下权利要求的范围内。
多个自适应环路滤波器集合
1.本技术要求于2020年12月18日提交的美国专利申请号17/126,671和于2020年7月24日提交的美国临时申请号62/705,992的优先权，其中每个专利申请的全部内容通过引用并入本文中。于2020年12月18日提交的美国专利申请号17/126,671要求2020年7月24日提交的62/705,992的权益。
技术领域
2.本公开涉及视频编码和视频解码。
背景技术：
3.数字视频能力可以被结合到多种设备中，这些设备包括数字电视、数字直播系统、无线广播系统、个人数字助理(pda)、膝上型或台式计算机、平板计算机、电子书阅读器、数码相机、数字记录设备、数字媒体播放器、视频游戏设备、视频游戏控制台、蜂窝或卫星无线电电话、所谓的“智能电话”、视频电话会议设备、视频流式传输设备等。数字视频设备实施视频译码技术，诸如在由mpeg-2、mpeg-4、itu-t h.263、itu-t h.264/mpeg-4，第10部分，高级视频译码(avc)、itu-t h.265/高效视频译码(hevc)以及这些标准的扩展所定义的标准中描述的那些技术。通过实施这样的视频译码技术，视频设备可以更高效地发送、接收、编码、解码和/或存储数字视频信息。
4.视频译码技术包括空间(图片内)预测和/或时间(图片间)预测，以减少或移除视频序列中固有的冗余。对于基于块的视频译码，视频切片(例如，视频图片或视频图片的一部分)可以被分割成视频块，视频块也可以被称为译码树单元(ctu)、译码单元(cu)和/或译码节点。图片的帧内译码(i)切片中的视频块使用相对于同一图片中的相邻块中的参考样本的空间预测来编码。图片的帧间译码(p或b)切片中的视频块可以使用相对于同一图片中的相邻块中的参考样本的空间预测或相对于其他参考图片中的参考样本的时间预测。图片可以被称为帧，并且参考图片可以被称为参考帧。
技术实现要素：
5.一般而言，本公开描述了使用自适应环路滤波器对视频数据进行译码的技术。具体地，本公开描述用于对指示多个自适应环路滤波器集合的数据进行编码和解码以及确定针对多个自适应环路滤波器集合中的特定自适应环路滤波器集合的自适应环路滤波器的技术。本公开的技术可以通过提供从中确定自适应环路滤波器的多个自适应环路滤波器集合来实现更好的内容自适应和译码效率。此外，描述了用于信令通知多个自适应环路滤波器集合的技术，这可以允许以相对较低的开销成本信令通知。
6.在一个实例中，本公开描述了一种对视频数据进行解码的方法，该方法包括接收与视频数据相关联的自适应参数集中的多个自适应环路滤波器集合，从多个自适应环路滤波器集合中确定一个或多个自适应环路滤波器，并且将所确定的一个或多个自适应环路滤波器应用于视频数据。
7.在另一示例中，本公开描述一种被配置为对视频数据进行解码的装置，该装置包括：存储器，被配置为存储视频数据；以及在电路中实施并且与存储器通信的一个或多个处理器，该一个或多个处理器被配置为：接收与视频数据相关联的自适应参数集中的多个自适应环路滤波器集合，从多个自适应环路滤波器集合中确定一个或多个自适应环路滤波器，并且将所确定的一个或多个自适应环路滤波器应用于视频数据。
8.在另一示例中，本公开描述一种被配置为对视频数据进行解码的装置，该装置包括：用于接收与视频数据相关联的自适应参数集中的多个自适应环路滤波器集合的部件；用于从多个自适应环路滤波器集合中确定一个或多个自适应环路滤波器的部件；以及用于将所确定的一个或多个自适应环路滤波器应用于视频数据的部件。
9.在另一实例中，本公开描述一种存储指令的非暂时性计算机可读存储介质，该指令在被执行时使被配置为对视频数据进行解码的设备的一个或多个处理器：接收与视频数据相关联的自适应参数集中的多个自适应环路滤波器集合；从多个自适应环路滤波器集合中确定一个或多个自适应环路滤波器；以及将所确定的一个或多个自适应环路滤波器应用于视频数据。
10.一个或多个示例的细节在附图和以下描述中阐述。根据说明书、附图和权利要求，其他特征、目的和优点将变得显而易见。
附图说明
11.图1是示出可以执行本公开的技术的示例视频编码和解码系统的框图。
12.图2是示出示例自适应环路滤波器形状的概念图。
13.图3是示出4
×
4子块自适应环路滤波器分类的示例子采样拉普拉斯值的概念图。
14.图4是示出亮度样本的示例拉普拉斯值的概念图。
15.图5是示出自适应环路滤波器类别合并的示例的概念图。
16.图6是示出7
×
7菱形滤波器形状的示例几何变换的概念图。
17.图7是示出虚拟边界处亮度自适应环路滤波的对称样本填充的一个示例的概念图。
18.图8是示出虚拟边界处亮度自适应环路滤波的对称样本填充的另一示例的概念图。
19.图9是示出虚拟边界处亮度自适应环路滤波的对称样本填充的另一示例的概念图。
20.图10是示出虚拟边界处的自适应环路滤波器4
×
4子块分类的概念图。
21.图11a和图11b是示出示例四叉树二叉树(qtbt)结构和对应的译码树单元(ctu)的概念图。
22.图12是示出可以执行本公开的技术的示例视频编码器的框图。
23.图13是示出可以执行本公开的技术的示例视频解码器的框图。
24.图14是示出根据本公开的技术对当前块进行编码的示例方法的流程图。
25.图15是示出根据本公开的技术对当前块进行解码的示例方法的流程图。
26.图16是示出根据本公开的技术对当前块进行解码的另一示例方法的流程图。
具体实施方式
27.一般而言，本公开描述了使用自适应环路滤波器对视频数据进行译码的技术。具体地，本公开描述用于对指示多个自适应环路滤波器集合的数据进行编码和解码以及确定针对多个自适应环路滤波器集合中的特定自适应环路滤波器集合的自适应环路滤波器的技术。本公开的技术可以通过提供从中确定自适应环路滤波器的多个自适应环路滤波器集合来实现更好的内容自适应和译码效率。此外，所描述的技术可以包括用于信令通知多个自适应环路滤波器集合的技术，这可以允许以相对较低的开销成本信令通知。
28.图1是示出可以执行本公开的技术的示例视频编码和解码系统100的框图。本公开的技术大体上涉及译码(编码和/或解码)视频数据。一般而言，视频数据包括用于处理视频的任何数据。因此，视频数据可以包括原始的未经编码的视频、经编码的视频、经解码的(例如，重构的)视频，和视频元数据，诸如信令数据。
29.如图1所示，在该示例中，系统100包括源设备102，该源设备102提供要由目的地设备116解码和显示的经编码的视频数据。具体地，源设备102经由计算机可读介质110向目的地设备116提供视频数据。源设备102和目的地设备116可以包括多种设备中的任何一种，包括台式计算机、笔记本(即膝上型)计算机、移动设备、平板计算机、机顶盒、诸如智能手机的电话手机、电视、相机、显示设备、数字媒体播放器、视频游戏控制台、视频流式传输设备、广播接收器设备等。在一些情况下，源设备102和目的地设备116可以被装备用于无线通信，并且因此可以被称为无线通信设备。
30.在图1的示例中，源设备102包括视频源104、存储器106、视频编码器200和输出接口108。目的地设备116包括输入接口122、视频解码器300、存储器120和显示设备118。根据本公开，源设备102的视频编码器200和目的地设备116的视频解码器300可以被配置为应用用于自适应环路滤波的技术。因此，源设备102表示视频编码设备的示例，而目的地设备116表示视频解码设备的示例。在其他示例中，源设备和目的地设备可以包括其他组件或布置。例如，源设备102可以从诸如外部相机的外部视频源接收视频数据。同样地，目的地设备116可以与外部显示设备接口，而不是包括集成的显示设备。
31.如图1中所示的系统100仅是一个示例。一般而言，任何数字视频编码和/或解码设备都可以执行自适应环路滤波技术。源设备102和目的地设备116仅是这样的译码设备的示例，其中，源设备102生成经译码的视频数据用于传输至目的地设备116。本公开将“译码”设备指代为执行数据的译码(编码和/或解码)的设备。因此，视频编码器200和视频解码器300表示译码设备的示例，具体地，分别表示视频编码器和视频解码器。在一些示例中，源设备102和目的地设备116可以以基本上对称的方式操作，使得源设备102和目的地设备116中的每个包括视频编码和解码组件。因此，系统100可以支持源设备102与目的地设备116之间的单向或双向视频传输，例如，用于视频流式传输、视频回放、视频广播或视频电话。
32.一般而言，视频源104表示视频数据的源(即，原始的未经编码的视频数据)，并且将视频数据的一系列连续图片(也称为“帧”)提供给视频编码器200，视频编码器200编码图片的数据。源设备102的视频源104可以包括视频捕获设备，诸如摄像机、包含先前捕获的原始视频的视频档案，和/或从视频内容提供商接收视频的视频馈送接口。作为进一步的替代，视频源104可以生成基于计算机图形的数据作为源视频，或实况视频、存档视频和计算机生成视频的组合。在每种情况下，视频编码器200对捕获的、预捕获的或计算机生成的视
频数据进行编码。视频编码器200可以将图片从接收的顺序(有时被称为“显示顺序”)重新布置成用于译码的译码顺序。视频编码器200可以生成包括经编码的视频数据的比特流。然后，源设备102可以经由输出接口108将经编码的视频数据输出至计算机可读介质110上，以供例如目的地设备116的输入接口122接收和/或检索。
33.源设备102的存储器106和目的地设备116的存储器120表示通用存储器。在一些示例中，存储器106、120可以存储原始视频数据，例如，来自视频源104的原始视频以及来自视频解码器300的原始的经解码的视频数据。附加地或可替代地，存储器106、120可以存储可分别由例如视频编码器200和视频解码器300执行的软件指令。尽管在该示例中存储器106和存储器120与视频编码器200和视频解码器300分开示出，但应理解，视频编码器200和视频解码器300也可包括功能上类似或等同目的的内部存储器。此外，存储器106、120可以存储例如从视频编码器200输出的并且输入至视频解码器300的经编码的视频数据。在一些示例中，存储器106、120的部分可以被分配为一个或多个视频缓冲器，例如，以存储原始的、经解码的和/或经编码的视频数据。
34.计算机可读介质110可以表示能够将经编码的视频数据从源设备102传输至目的地设备116的任何类型的介质或设备。在一个示例中，计算机可读介质110表示使源设备102能够例如经由射频网络或基于计算机的网络实时地向目的地设备116直接发送经编码的视频数据的通信介质。根据诸如无线通信协议的通信标准，输出接口108可以调制包括经编码的视频数据的传输信号，并且输入接口122可以解调所接收的传输信号。通信介质可以包括任何无线或有线通信介质，诸如，射频(rf)频谱或一条或多条物理传输线。通信介质可以形成基于分组的网络(诸如，局域网、广域网或诸如因特网的全球网络)的一部分。通信介质可以包括路由器、交换机、基站或有助于促进从源设备102到目的地设备116的通信的任何其他装备。
35.在一些示例中，源设备102可以将经编码的数据从输出接口108输出至存储设备112。类似地，目的地设备116可以经由输入接口122访问来自存储设备112的经编码的数据。存储设备112可以包括各种分布式或本地访问的数据存储介质中的任何一种，诸如，硬盘、蓝光光盘、dvd、cd-rom、闪存、易失性或非易失性存储器、或用于存储经编码的视频数据的任何其他合适的数字存储介质。
36.在一些示例中，源设备102可以将经编码的视频数据输出至文件服务器114或可以存储由源设备102生成的经编码的视频数据的另一中间存储设备。目的地设备116可以经由流式传输或下载来从文件服务器114访问所存储的视频数据。
37.文件服务器114可以是能够存储经编码的视频数据并将此经编码的视频数据发送至目的地设备116的任何类型的服务器设备。文件服务器114可以表示网络服务器(例如，用于网站)、被配置为提供文件传输协议服务(例如，文件传输协议(ftp)或单向传输文件传递(flute)协议)的服务器、内容传递网络(cdn)设备、超文本传输协议(http)服务器、多媒体广播多播服务(mbms)或增强型mbms(embms)服务器，和/或网络附加存储(nas)设备。附加地或可替代地，文件服务器114可以实施一个或多个http流式传输协议，诸如基于http的动态自适应流式传输(dash)、http直播流式传输(hls)、实时流式传输协议(rtsp)、http动态流式传输等。
38.目的地设备116可以通过包括因特网连接的任何标准数据连接访问来自文件服务
器114的经编码的视频数据。这可以包括适合用于访问存储在文件服务器114上的经编码的视频数据的无线信道(例如，wi-fi连接)、有线连接(例如，数字订户线(dsl)、电缆调制解调器等)或这两者的组合。输入接口122可以被配置为根据以上所讨论的用于从文件服务器114检索或接收媒体数据的各种协议中的任何一个或多个，或用于检索媒体数据的其他这样的协议来操作。
39.输出接口108和输入接口122可以表示无线发送器/接收器、调制解调器、有线网络组件(例如，以太网卡)、根据各种ieee 802.11标准中的任何标准操作的无线通信组件，或其他物理组件。在输出接口108和输入接口122包括无线组件的示例中，输出接口108和输入接口122可以被配置为根据诸如4g、4g-lte(long-term evolution，长期演进)、lte高级、5g等的蜂窝通信标准来传送诸如经编码的视频数据的数据。在输出接口108包括无线发送器的一些示例中，输出接口108和输入接口122可以被配置为根据诸如ieee 802.11规范、ieee802.15规范(例如，zigbee
tm
)、蓝牙
tm
标准或类似标准的其他无线标准来传送诸如经编码的视频数据的数据。在一些示例中，源设备102和/或目的地设备116可以包括相应的片上系统(soc)设备。例如，源设备102可以包括执行归属于视频编码器200和/或输出接口108的功能性的soc设备，并且目的地设备116可以包括执行归属于视频解码器300和/或输入接口122的功能性的soc设备。
40.本公开的技术可以应用于视频译码，以支持多种多媒体应用中的任何一种，诸如空中电视广播、有线电视传输、卫星电视传输、因特网流式传输视频传输(诸如，通过http的动态自适应流式传输(dash))、被编码到数据存储介质上的数字视频、存储在数据存储介质上的数字视频的解码、或其他应用。
41.目的地设备116的输入接口122从计算机可读介质110(例如，通信介质、存储设备112、文件服务器114等)接收经编码的视频比特流。经编码的视频比特流可以包括由视频编码器200定义的信令通知信息，诸如具有描述视频块或其他译码单元(例如，切片、图片、图片组、序列等)的特性和/或处理的值的语法元素，该信令信息也被视频解码器300使用。显示设备118向用户显示经解码的视频数据的经解码的图片。显示设备118可以表示多种显示设备中的任何一种，诸如液晶显示器(lcd)、等离子显示器、有机发光二极管(oled)显示器、或另一类型的显示设备。
42.尽管未在图1中示出，但在一些示例中，视频编码器200和视频解码器300可以各自与音频编码器和/或音频解码器集成在一起，并且可以包括适当的mux-demux单元或其他硬件和/或软件，来处理公共数据流中包括音频和视频两者的多路复用流。如果适用，mux-demux单元可以符合itu h.223多路复用器协议，或其他协议(诸如，用户数据报协议(udp))。
43.视频编码器200和视频解码器300各自可以被实施为多种合适的编码器和/或解码器电路中的任何一种，诸如一个或多个微处理器、数字信号处理器(dsp)、专用集成电路(asic)、现场可编程门阵列(fpga)、分立逻辑、软件、硬件、固件或其任何组合。当该技术部分地以软件实施时，设备可以将用于软件的指令存储在合适的非暂时计算机可读介质中，并使用一个或多个处理器在硬件中执行该指令来执行本公开的技术。视频编码器200和视频解码器300中的每个可以被包括在一个或多个编码器或解码器中，这一个或多个编码器或解码器中的任一个可以被集成为相应设备中的组合编码器/解码器(codec(译码器))的
部分。包括视频编码器200和/或视频解码器300的设备可以包括集成电路、微处理器和/或诸如蜂窝电话的无线通信设备。
44.视频编码器200和视频解码器300可以根据诸如itu-t h.265(也被称为高效视频译码(hevc))或其扩展(诸如多视图和/或可缩放视频译码扩展)的视频译码标准来操作。可替代地，视频编码器200和视频解码器300可以根据诸如itu-th.266(也称为多功能视频译码(vvc))的其他专有或行业标准来操作。vvc标准的草案在bross等人的“versatile video coding(draft10)(多功能视频译码(草案10))”(itu-t sg 16wp 3和iso/iec jtc 1/sc 29/wg 11联合视频专家组(jvet)第18次会议：电话会议，2020年6月22日至7月1日，jvet-s2001-va)中进行了描述(下文简称“vvc草案10”)。然而，本公开的技术不限于任何特定的译码标准。
45.一般而言，视频编码器200和视频解码器300可以执行图片的基于块的译码。术语“块”通常指包括待处理的数据(例如，编码的、解码的或以其他形式用于编码过程和/或解码过程中的数据)的结构。例如，块可以包括亮度和/或色度数据的样本的二维矩阵。一般而言，视频编码器200和视频解码器300可以对以yuv(例如，y、cb、cr)格式表示的视频数据进行译码。也就是说，视频编码器200和视频解码器300可以对亮度和色度分量进行译码，而不是对图片的样本的红色、绿色和蓝色(rgb)数据进行译码，其中色度分量可以包括红色调和蓝色调色度分量两者。在一些示例中，视频编码器200在编码之前将所接收的rgb格式化数据转换成yuv表示，并且视频解码器300将yuv表示转换成rgb格式。可替代地，预处理和后处理单元(未示出)可以执行这些转换。
46.本公开通常可以涉及图片的译码(例如，编码和解码)，以包括编码或解码图片数据的过程。类似地，本公开可以涉及图片的块的译码，以包括对块的数据进行编码或解码的过程，例如，预测和/或残差译码。经编码的视频比特流通常包括用于表示译码决策(例如，译码模式)和图片到块的分割的语法元素的一系列值。因此，对图片或块进行译码的引用通常应被理解为对用于形成图片或块的语法元素的值进行译码。
47.hevc定义了各种块，包括译码单元(cu)、预测单元(pu)和变换单元(tu)。根据hevc，视频译码器(诸如，视频编码器200)根据四叉树结构来将译码树单元(ctu)分割为cu。也就是说，视频译码器将ctu和cu分割为四个相等的、不重叠的正方形，并且四叉树的每个节点有零个或四个子节点。没有子节点的节点可以被称为“叶节点”，并且此类叶节点的cu可以包括一个或多个pu和/或一个或多个tu。视频译码器可以进一步分割pu和tu。例如，在hevc中，残差四叉树(rqt)表示tu的分割。在hevc中，pu表示帧间预测数据，而tu表示残差数据。帧内预测的cu包括帧内预测信息，诸如帧内模式指示。
48.作为另一示例，视频编码器200和视频解码器300可以被配置为根据vvc来操作。根据vvc，视频译码器(诸如，视频编码器200)将图片分割为多个译码树单元(ctu)。视频编码器200可以根据树结构，诸如四叉树-二叉树(qtbt)结构或多类型树(mtt)结构来分割ctu。qtbt结构移除了多个分割类型的概念，诸如hevc的cu、pu和tu之间的区分。qtbt结构包括两个级别：根据四叉树分割而分割的第一级别，以及根据二叉树分割而分割的第二级别。qtbt结构的根节点对应于ctu。二叉树的叶节点对应于译码单元(cu)。
49.在mtt分割结构中，可以使用四叉树(qt)分割、二叉树(bt)分割和一种或多种类型的三叉树(tt)(也称为三元树(tt))分割来分割块。三叉或三元树分割是将块拆分成三个子
块的分割。在一些示例中，三叉或三元树分割在不通过中心对原始块进行划分的情况下将块划分为三个子块。mtt中的分割类型(例如，qt、bt和tt)可以是对称的或不对称的。
50.在一些示例中，视频编码器200和视频解码器300可以使用单个qtbt或mtt结构来表示亮度分量和色度分量中的每一个，而在其他示例中，视频编码器200和视频解码器300可以使用两个或更多个qtbt或mtt结构，诸如一个qtbt/mtt结构用于亮度分量，而另一qtbt/mtt结构用于两个色度分量(或两个qtbt/mtt结构用于相应的色度分量)。
51.视频编码器200和视频解码器300可以被配置为使用按照hevc的四叉树分割、qtbt分割、mtt分割或其他分割结构。出于解释的目的，关于qtbt分割来呈现本公开的技术的描述。然而，应当理解的是，本公开的技术也可以应用于被配置为使用四叉树分割或其他类型的分割的视频译码器。
52.在一些示例中，ctu包括亮度样本的译码树块(ctb)、具有三个样本阵列的图片的色度样本的两个对应ctb、或单色图片的样本的ctb、或使用三个单独的颜色平面和用于译码样本的语法结构进行译码的图片。ctb可以是对于某个值n的n
×
n块样本，使得将分量划分为ctb是一种分割。分量是来自构成4:2:0、4:2:2或4:4:4颜色格式的图片的三个阵列(亮度和两个色度)中的一个阵列或单个样本，或构成单色格式的图片的阵列或阵列的单个样本。在一些示例中，译码块是对于m和n的某些值的m
×
n块样本，使得将ctb划分为译码块是一种分割。
53.这些块(例如，ctu或cu)可以在图片中以各种方式来分组。作为一个示例，砖块(brick)可以指代图片中的特定图块(tile)内的ctu行的矩形区域。图块可以是图片中的特定图块列和特定图块行内的ctu的矩形区域。图块列是指具有与图片的高度相等的高度以及由语法元素(例如，诸如在图片参数集中)指定的宽度的ctu的矩形区域。图块行是指具有由语法元素(例如，诸如在图片参数集中)指定的高度以及与图片的宽度相等的宽度的ctu的矩形区域。
54.在一些示例中，图块可以被分割成多个砖块，砖块中的每一个可以包括图块内的一个或多个ctu行。未被分割成多个砖块的图块也可以被称为砖块。然而，作为图块的真实子集的砖块不可以被称为图块。
55.图片中的砖块也可以被布置在切片(slice)中。切片可以是图片的可以被排他地包含在单个网络抽象层(network abstraction layer，nal)单元中的整数个砖块。在一些示例中，切片包括多个完整图块或仅一个图块的完整砖块的连续序列。
56.本公开可互换地使用“n
×
n”和“n乘n”来指代块(诸如，cu或其他视频块)的就垂直和水平维度而言的样本维度，例如，16
×
16样本或16乘16样本。一般而言，16
×
16cu将在垂直方向上具有16个样本(y＝16)且在水平方向上具有16个样本(x＝16)。同样地，n
×
n cu通常在垂直方向上具有n个样本且在水平方向上具有n个样本，其中n表示非负整数值。cu中的样本可以按行和列来布置。此外，cu在水平方向上不一定需要具有与垂直方向上相同数目的样本。例如，cu可以包括n
×
m个样本，其中m不一定等于n。
57.视频编码器200对针对cu的表示预测和/或残差信息以及其他信息的视频数据进行编码。预测信息指示将如何预测cu以便形成针对cu的预测块。残差信息通常表示编码之前的cu的样本与预测块之间的逐样本差。
58.为了预测cu，视频编码器200通常可以通过帧间预测或帧内预测来形成针对cu的
预测块。帧间预测通常指从先前译码的图片的数据来预测cu，而帧内预测通常指从相同图片的先前译码的数据来预测cu。为了执行帧间预测，视频编码器200可以使用一个或多个运动矢量来生成预测块。视频编码器200通常可以执行运动搜索以例如根据cu与参考块之间的差来标识紧密匹配cu的参考块。视频编码器200可以使用绝对差之和(sad)、平方差之和(ssd)、平均绝对差(mad)、均方差(msd)或其他此类差计算来计算差度量以确定参考块是否紧密匹配当前cu。在一些示例中，视频编码器200可以使用单向预测或双向预测来预测当前cu。
59.vvc的一些示例也提供仿射运动补偿模式，该模式可以被认为是帧间预测模式。在仿射运动补偿模式下，视频编码器200可以确定表示诸如以下各项的非平移运动的两个或更多个运动矢量：放大或缩小、旋转、透视运动或其他不规则运动类型。
60.为了执行帧内预测，视频编码器200可以选择帧内预测模式以生成预测块。vvc的一些示例提供了六十七个帧内预测模式，包括各种方向模式，以及平面模式和dc模式。一般而言，视频编码器200选择以下帧内预测模式：描述当前块(例如，cu的块)的相邻样本，以此来预测当前块的样本。假设视频编码器200以光栅扫描顺序(从左到右，从上到下)对ctu和cu进行译码，则此类样本通常可以位于与当前块相同的图片中的当前块的上方、左上方、或左方。
61.视频编码器200对表示用于当前块的预测模式的数据进行编码。例如，对于帧间预测模式，视频编码器200可以对表示以下内容的数据进行编码：使用各种可用帧间预测模式中的哪一个，以及用于对应模式的运动信息。例如，对于单向或双向帧间预测，视频编码器200可以使用高级运动矢量预测(amvp)或merge模式对运动矢量进行编码。对于仿射运动补偿模式，视频编码器200可以使用类似模式来对运动矢量进行编码。
62.在预测之后，诸如在对块的帧内预测或帧间预测之后，视频编码器200可以计算针对块的残差数据。诸如残差块之类的残差数据表示块与使用对应预测模式形成的针对该块的预测块之间的逐样本差。视频编码器200可以对残差块应用一个或多个变换，以在变换域而非样本域中产生经变换的数据。例如，视频编码器200可以对残差视频数据应用离散余弦变换(dct)、整数变换、小波变换或概念上类似的变换。附加地，视频编码器200可以在初级变换之后应用次级变换，诸如模式相关不可分离次级变换(mode-dependent non-separable secondary transform，mdnsst)、信号相关变换、karhunen-loeve变换(klt)等。视频编码器200在应用一个或多个变换之后产生变换系数。
63.如上所述，在用于产生变换系数的任何变换之后，视频编码器200可以执行对变换系数的量化。量化通常是指如下过程：对变换系数进行量化以可能地减少用于表示变换系数的数据量，从而提供进一步压缩。通过执行量化过程，视频编码器200可以减小与变换系数中的某些或全部相关联的比特深度。例如，视频编码器200可以在量化期间将n比特值向下舍入成m比特值，其中，n大于m。在一些示例中，为了执行量化，视频编码器200可以执行对待量化的值的逐比特右移。
64.在量化之后，视频编码器200可以扫描变换系数，从包括经量化的变换系数的二维矩阵产生一维矢量。扫描可以被设计成将较高能量(并且因此较低频率)变换系数置于矢量的前方而将较低能量(并且因此较高频率)变换系数置于矢量的后方。在一些示例中，视频编码器200可以利用预定义扫描顺序来扫描经量化的变换系数以产生串行化(serialized)
矢量，并且随后对矢量的经量化的变换系数进行熵编码。在其他示例中，视频编码器200可以执行自适应扫描。在扫描经量化的变换系数以形成一维矢量之后，视频编码器200可以例如根据上下文自适应二进制算术译码(context-adaptive binary arithmetic coding，cabac)来对一维矢量进行熵编码。视频编码器200还可以对针对语法元素的值进行熵编码，这些语法元素描述与经编码的视频数据相关联的、供视频解码器300在解码视频数据时使用的元数据。
65.为了执行cabac，视频编码器200可以将上下文模型内的上下文分配给待发送的符号。上下文可以涉及例如符号的相邻值是否为零值。概率确定可以基于分配给符号的上下文。
66.视频编码器200可以进一步例如在图片标头、块标头、切片标头中向视频解码器300生成诸如基于块的语法数据、基于图片的语法数据和基于序列的语法数据或诸如序列参数集(sequence parameter set，sps)、图片参数集(picture parameter set，pps)或视频参数集(video parameter set，vps)之类的其他语法数据。视频解码器300可以同样解码此类语法数据以确定如何解码对应的视频数据。
67.以这种方式，视频编码器200可以生成比特流，该比特流包括经编码的视频数据，例如，描述图片到块(例如，cu)的分割的语法元素以及针对块的预测和/或残差信息。最终，视频解码器300可以接收比特流并对经编码的视频数据进行解码。
68.一般而言，视频解码器300执行与视频编码器200所执行的过程相反的过程以解码比特流的经编码的视频数据。例如，视频解码器300可以以虽然与视频编码器200的cabac编码过程相反但基本上类似的方式使用cabac来解码比特流的针对语法元素的值。语法元素可以定义针对图片到ctu的分割的分割信息，以及根据诸如qtbt结构之类的对应分割结构进行的对每个ctu的分割，以定义ctu的cu。语法元素可以进一步定义针对视频数据的块(例如，cu)的预测和残差信息。
69.残差信息可以由例如经量化的变换系数来表示。视频解码器300可以对块的经量化的变换系数进行逆量化和逆变换以再现针对块的残差块。视频解码器300使用信令通知的预测模式(帧内或帧间预测)和相关预测信息(例如，用于帧间预测的运动信息)来形成针对块的预测块。视频解码器300随后可以(在逐样本基础上)组合预测块和残差块以再现原始块。视频解码器300可以执行附加处理，诸如执行去方块过程以减少沿块的边界的视觉伪影。
70.本公开通常可以涉及“信令通知”某些信息，诸如语法元素。术语“信令通知”通常可以涉及用于对经编码的视频数据进行解码的语法元素的值和/或其他数据的通信。也就是说，视频编码器200可以信令通知比特流中语法元素的值。一般而言，信令通知指的是在比特流中生成值。如上所述，源设备102可以基本上实时地或非实时地向目的地设备116传输比特流，诸如可以在将语法元素存储到存储设备112以供目的地设备116随后检索时发生。
71.根据本公开的技术，如下文将更详细解释的，视频编码器200和视频解码器300可以被配置为译码自适应参数集中的多个自适应环路滤波器集合，并且将多个自适应环路滤波器集合中的一个或多个自适应环路滤波器应用于视频数据。
72.滤波
73.在vvc，可以应用自适应环路滤波器(alf)来最小化原始样本与经滤波样本之间的均方误差。在一些示例中，自适应环路滤波器的输入样本是样本自适应偏移(sao)滤波器的输出样本。alf的输出样本存储在解码图片缓冲器(dpb)中，或作为输出图片发送出去。联合探索模型(jem)软件中采用的alf滤波器形状为5
×
5、7
×
7和9
×
9菱形。视频编码器200可以在图片级选择并且信令通知滤波器形状。为了在译码效率与滤波器复杂度之间获得更好的平衡，在vvc中，对于亮度分量和色度分量，仅分别支持7
×
7菱形400和5
×
5菱形402，如图2所示。图2示出了vvc版本1中的示例alf滤波器形状。
74.在一个示例中，对于每个滤波器，整数系数ci用7比特分数精度来表示。ci的绝对值使用0阶exp-golomb码进行译码，后跟非零系数的符号比特。在图2中，每个正方形对应一个亮度样本或色度样本，并且中心的正方形对应一个待滤波的当前样本。为了减少与发送系数和乘法次数相关联的开销，图2中的滤波器形状是点对称的。此外，如公式(1)所示，所有滤波器系数的总和应等于128，这是具有7比特分数精度的1.0的定点表示。
[0075][0076]
在公式(1)中，n是系数的数量，并且对于7
×
7和5
×
5滤波器形状，n分别等于13和7。
[0077]
在vvc中，非线性被引入到alf中。视频编码器200和视频解码器300可以应用简单的裁剪(clip)函数，以在相邻样本值与当前待滤波的样本值之间的差值太大时减少相邻样本值的影响。为了对样本进行滤波，alf过程按如下方式执行：
[0078][0079]
其中，r(x,y)是sao滤波之后的样本值。
[0080]
非线性函数用裁剪函数定义为：
[0081]fi，j
＝min(bi，max(-bi，r(x+x
i，j
，y+y
i，j
)-r(x，y)))
ꢀꢀꢀ
(3)
[0082]
其中，j等于0或1，并且(x
i，j
，y
i，j
)是第i系数ci的滤波器抽头位置偏移。
[0083]
在vvc版本1中，如在公式(4)中，系数ci的裁剪参数bi由裁剪索引di确定。在公式(4)中，bd是内部比特深度。
[0084][0085]
在滤波器中，信令通知的系数的数量和信令通知的裁剪索引的数量都是n-1。在一个示例中，每个系数被限制在[-128，127]的范围内，这相当于具有7比特分数精度的[-1.0，1.0)。在一个示例中，每个裁剪索引di可以是0、1、2或3，并且通过使用两比特固定长度码来信令通知。为了简化裁剪操作，如公式(4)所示，裁剪参数bi的值只能是2的幂。因此，简单的逐比特逻辑运算可以被用作裁剪运算。
[0086]
子块级滤波器自适应
[0087]
在vvc版本1中，alf遵循与jem-7.0中的alf相同的亮度分类框架。为了在译码效率
与计算复杂度之间获得更好的权衡，用于分类的块大小可以从2
×
2样本增加到4
×
4样本。为了确定4
×
4块的类别索引，使用具有8
×
8亮度样本的周围窗口来推导方向和活动信息。在这个8
×
8亮度样本窗口中，首先计算每隔一个样本的四个梯度值，如图3所示。图3示出了用于alf分类的4
×
4子块404(灰色正方形)的子采样拉普拉斯值。计算用点标记的样本的梯度值。其他样本的梯度值设置为0。对于具有坐标(k，l)的每个样本，图4示出了四个梯度值：水平梯度h 406、垂直梯度v 408、135度梯度d1 410和45度梯度d2 412，它们被推导为：
[0088][0089]
变量i和j指的是4
×
4块中左上样本的坐标。所有计算的水平梯度gh、垂直梯度gv、135度梯度g
d1
和45度梯度g
d2
的总和计算如下：
[0090][0091]
水平梯度和垂直梯度的最大值和最小值之比(用r
h，v
表示)以及两个对角线梯度的最大值和最小值之比(用r
d1，d2
表示)的计算如下式(7)所示。
[0092][0093]
然后，将r
h，v
和r
d1，d2
与两个阈值t1＝2和t2＝4.5相互比较，以推导方向性d，如下所示：
[0094]
第1步：如果r
h，v
≤t1且r
d1，d2
≤t1，则d设置为0(纹理)，否则继续步骤2。
[0095]
第2步：如果r
d1，d2
》r
h，v
，则继续步骤3，否则，继续步骤4。
[0096]
第3步：如果r
d1，d2
≤t2，则d设置为1(弱对角线)，否则，d设置为2(强对角线)。
[0097]
第4步：如果r
h，v
≤t2，则d设置为3(弱水平/垂直)，否则，d设置为4(强水平/垂直)。
[0098]
活动值a计算如下：
[0099][0100]
a进一步映射到0到4的范围(含0和4)，并且量化值表示为因此，每个4
×
4块被分类为25个类别(c)中的一个，如下所示：
[0101][0102]
因此，亮度滤波器集合包含25个滤波器。然而，为了在保持译码效率的同时减少表示滤波器系数所需的比特数，可以合并不同的类别。合并后的类别使用相同的滤波器。视频
编码器200可以信令通知合并表。在合并表414中，通过使用固定长度码来信令通知每个类别的滤波器索引，作为示例，如图5所示。图5示出了将25个亮度类别合并为7个合并类别的示例，其中，每个正方形表示基于d和的值的类别(索引可以从0到24，含0和24)。在该示例滤波器集合中，视频编码器200可以被配置为信令通知7个亮度滤波器。对于每个类别，视频编码器200可以在alf_aps(自适应参数集)中信令通知滤波器索引(在这个示例中从0到6)。
[0103]
一旦基于4
×
4块的类别索引c和合并表从亮度滤波器集合中获得滤波器，在获得该块的滤波器样本之前，可以根据表1中为4
×
4块计算的梯度值，对滤波器应用简单的几何变换，如图6所示。
[0104]
表1基于梯度值的几何变换
[0105]
梯度值变换g
d2
《g
d1
且gh《gv没有变换g
d2
《g
d1
且gv≤gh对角翻转g
d1
≤g
d2
且gu《gv垂直翻转g
d1
≤g
d2
且gv≤gu向右旋转
[0106]
图6示出了7
×
7菱形滤波器形状的几何变换。几何变换包括对角翻转416、垂直翻转418和向右旋转420。
[0107]
译码树块级自适应
[0108]
在jem-7.0中，只有一个亮度滤波器集合应用于切片的所有亮度ctb，并且只有一个色度滤波器应用于切片的所有色度ctb。然而，有两个缺点。首先，当ctb之间的统计信息显著不同时，对颜色分量的所有ctb使用相同的滤波器/滤波器集合会限制alf的译码效率，尤其是对于大分辨率序列和混合内容视频序列(例如，自然内容和屏幕内容两者)。第二，当推导切片的滤波器时，直到收集了整个切片的统计信息才能计算滤波器。这种多编次编码技术可能不适合低延迟应用。为了解决这个问题，一个示例方案使用来自先前经译码切片的统计。但是，这可能会导致一些性能损失。
[0109]
除了亮度4
×
4块级滤波器自适应，vvc支持ctb级滤波器自适应。在切片中，视频编码器200可以被配置为针对不同亮度ctb使用不同亮度滤波器集合，并且还可针对不同色度ctb使用不同色度滤波器。视频编码器200可以对具有相似统计的ctb使用相同的滤波器。这种ctb级滤波器自适应提高了译码效率，尤其是对于低延迟应用。此外，vvc版本1允许视频编码器200对ctb使用来自先前经编码的图片的滤波器。这种时间滤波器重用机制可以减少滤波器系数的开销。在vvc版本1中，对切片最多可以应用七个信令通知的亮度滤波器集合和八个信令通知的色度滤波器。当没有任何信令通知的滤波器时，16个固定滤波器集合中的一个可以应用于亮度ctb。
[0110]
当alf被启用时，固定滤波器集合或信令通知的亮度滤波器集合的滤波器集合索引被信令通知给亮度ctb。对于色度ctb，信令通知信令通知的色度滤波器的滤波器索引。当在低延迟应用中对当前ctu进行编码时，通过使用从先前经译码的图片信令通知的滤波器以及固定滤波器，可以仅通过使用当前ctu的统计信息来决定三个ctu级开/关标志和滤波器/滤波器集合索引。因此，可以即时生成每个ctu的经编码的比特流，而不是等待整个图片的统计的可用性。
[0111]
行缓冲器减少
[0112]
如图2所示，在垂直方向，滤波器形状对于亮度和色度分量分别有7个抽头和5个抽头。结果，在vvc测试模型2.0(vtm-2.0)中，当解码一行ctu时，由于去块滤波器和sao滤波器的延迟，上部ctu行的7个亮度行和4个色度行必须存储在alf的行缓冲器中。然而，额外的行缓冲器需要较大的芯片面积，尤其是对于高清(hd)和超高清(uhd)视频序列。
[0113]
为了使alf硬件友好(例如，通过减少行缓冲器需求)，可以应用虚拟边界(vb)的概念来去除alf的所有行缓冲器开销。考虑vvc版本1中的去块滤波器和sao滤波器，vb的位置是水平ctu边界上方的4个亮度样本和2个色度样本。当vb一侧的一个样本被滤波时，vb另一侧的样本不能被利用。如图7至图9的示例所示，应用具有对称样本填充的修改滤波，其中，滤波器432的中心正方形是当前待滤波的样本的位置，并且粗线430是vb的位置。在图7至图9中，填充具有虚线的滤波器抽头位置。图7示出了滤波器432的一个滤波器抽头位置高于或低于vb 430的示例。在本示例中，填充了一个滤波器抽头位置。图8示出了滤波器432的四个滤波器抽头位置高于或低于vb 430的示例。在本示例中，填充了四个滤波器抽头位置。
[0114]
然而，当样本位于vb 430的每侧最近的行时，例如，如图9所示，2d滤波器相当于水平滤波器。这可能会引入视觉伪影。为了解决这个问题，当当前待滤波的样本位于vb的每侧最近的行时，滤波强度被补偿，如公式(10)所示。将公式(10)与公式(2)相比较，又右移了3比特。
[0115][0116]
当应用vb处理时，4
×
4块的分类也被修改。当计算vb的一侧的4
×
4块的类别索引时，不使用vb的另一侧的梯度和样本，如图10所示。然而，当计算与vb相邻的样本的梯度值时，不能利用vb的另一侧的样本。因此，当前侧的边界样本被重复扩展，如图10所示。也就是说，vb的当前侧的边界样本被镜像到vb的另一侧。由于可用梯度值的数量减少，公式(8)中的活动推导被重新缩放为：
[0117][0118]
滤波器系数信令通知
[0119]
在vvc版本1中，alf系数在alf自适应参数集(aps)中被信令通知。一个aps可能包含具有最多25个滤波器的一组亮度滤波器(即一个亮度滤波器集合)，具有最多8个色度滤波器的一组色度滤波器，具有最多4个滤波器的一组cb交叉分量alf(cc-alf)滤波器，和最多4个滤波器的一组cr cc-alf滤波器。每组亮度滤波器都支持将alf应用于亮度分量的25个类别。在vvc版本1中，最多支持8个alf aps(例如，指定为alf_aps)。
[0120]
[0121]
[0122][0123]
在图片标头和切片标头处，视频编码器200可以信令通知alf_aps的索引。一个切片最多可支持7个亮度分量alf_aps、最多1个色度alf的alf_aps、最多1个cb cc-alf的alf_aps和最多1个cr cc-alf的alf_aps。
[0124][0125][0126]
在亮度ctb级别，信令通知滤波器集合索引(alf_aps或固定滤波器集合)。
[0127][0128]
在色度ctb级别，信令通知alf_aps中的alf和ccalf滤波器索引。
[0129][0130][0131][0132]
在vvc中，alf_aps的总数是有限的，这对于高分辨率序列或具有混合内容的序列可能不是高效的。也就是说，因为alf_aps的总数是有限的，并且每个alf中的滤波器集合的数量是有限的，所以视频编码器可能无法确定对复杂视频图片或序列中的所有区域使用最佳alf。
[0133]
alf_aps
[0134]
本公开描述以下技术以进一步改进alf的译码效率，尤其是对于高分辨率序列，诸如1080p、4k和8k序列。在本公开的一个示例中，视频编码器200和视频解码器300可以被配置为对包括多个亮度alf滤波器集合、色度alf滤波器集合和/或cc-alf滤波器集合的alf_aps进行译码(例如，分别编码和解码)。
[0135]
例如，视频编码器200可以将多个alf滤波器集合编码在一个或多个aps中。视频编码器200可以编码语法元素，该语法元素向视频解码器指示将哪些aps用于特定图片或子图片。在这种情况下，子图片可以是图片的较小区域，包括图块、图块组、砖块、切片、译码树块或其他块。视频编码器200还可以编码语法元素，该语法元素指示多个alf滤波器集合中的哪一个alf滤波器集合用于特定的子图片或子图片。视频解码器300可以接收与视频数据相关联的自适应参数集中的多个自适应环路滤波器集合，从多个自适应环路滤波器集合中确定一个或多个自适应环路滤波器，并且将所确定的一个或多个自适应环路滤波器应用于视频数据。
[0136]
例如，视频解码器300可以针对译码树块解码指示自适应参数集中的多个自适应环路滤波器集合中的特定自适应环路滤波器集合的滤波器集合索引。视频解码器300还可以被配置为针对译码树块解码指示来自特定自适应环路滤波器集合的特定自适应环路滤波器的滤波器索引，并且然后将该特定自适应环路滤波器应用于译码树块。视频解码器300还可以被配置为：对于视频数据的译码树块，对指示自适应参数集的自适应参数集索引进行解码。
[0137]
在一个示例中，对于每个颜色分量，视频解码器300可以被配置为共享所有滤波器集合的相同裁剪标志。以下是本公开的一个示例技术的示例语法结构。相对于vvc，本公开的示例语法包括alf_luma_num_filter_set_minus 1语法元素，其指定可以信令通知的亮度系数的自适应环路滤波器集合的数量。同样地，语法可以包括指示色度分量的自适应环路滤波器集合的数量(alf_chroma_num_filter_set_minus1)和cc-alf的滤波器集合的数量(alf_cc_cb_num_filter_set_minus1和alf_cc_cr_num_filter_set_minus1)的语法元素。此外，语法包括指示多个滤波器集合中的特定滤波器集合的语法元素(filtersetidx)。
[0138]
[0139]
[0140][0141]
在以上示例中，视频解码器300可以被配置为对可用于用于亮度分量的多个自适应环路滤波器集合中的所有自适应环路滤波器集合的裁剪标志进行解码，并且对可用于用于色度分量的多个自适应环路滤波器集合中的所有自适应环路滤波器集合的裁剪标志进行解码。
[0142]
在以下示例中，视频解码器300可以被配置为对用于亮度分量的多个自适应环路滤波器集合中的每个自适应环路滤波器集合的相应裁剪标志进行解码，并且对用于色度分量的多个自适应环路滤波器集合中的每个自适应环路滤波器集合的相应裁剪标志进行解码。在这个示例中，对于每个颜色分量，每个滤波器集合可以具有其自己的裁剪标志。如下所示，alf_luma_clip flag and alf_chroma_clip_flag被移除。相反，每个特定滤波器集合都有自己的裁剪标志，如alf_luma_clip_flag[filtersetidx]和alf_chroma_clip_flag[filtersetidx]所示。
[0143]
[0144]
[0145][0146]
下面描述上面所示的语法元素的语义。
[0147]
alf_luma_num_filter_set_minus1加1指定亮度系数可以被信令通知的自适应环路滤波器集合的数量。
[0148]
alf_luma_clip_flag[filtersetidx]等于0指定对于由filtersetidx标识的滤波器集合，对亮度分量应用线性自适应环路滤波。alf_luma_clip_flag[filtersetidx]等于1指定对于由filtersetidx标识的滤波器集合，可以对亮度分量应用非线性自适应环路滤波。
[0149]
alf_luma_num_filters_signalled_minus1[filtersetidx]加1指定对于由filtersetidx标识的滤波器集合，亮度系数可以被信令通知的自适应环路滤波器类别的数量。alf_luma_num_filters_signalled_minus1的值应在0到numalffilters-1的范围内(含0和numalffilters-1)。
[0150]
alf_luma_coeff_delta_idx[filtersetidx][filtidx]指定对于由filtersetidx标识的滤波器集合，由filtidx指示的滤波器类别的信令通知的自适应环路滤波器亮度系数delta的索引，filtidx范围为0到numalffilters
–
1。当alf_luma_coeff_delta_idx[filtersetidx][filtidx]不存在时，推断为等于0。alf_luma_coeff_delta_idx[filtersetidx][filtidx]的长度为ceil(log2(alf_luma_num_filters_signalled_minus1+1))个比特。alf_luma_coeff_delta_idx[filtersetidx][filtidx]的值应在0到alf_luma_num_filters_signalled_minus1的范围内(含0和alf_luma_num_filters_signalled_minus1)。
[0151]
alf_luma_coeff_abs[filtersetidx][sfidx][j]指定对于由filtersetidx标识的滤波器集合，由sfidx1指示的信令通知的亮度滤波器的第j个系数的绝对值。当alf_luma_coeff_abs[filtersetidx][sfidx][j]不存在时，推断为等于0。alf_luma_coeff_abs[filtersetidx][sfidx][j]的值应在0到128的范围内(含0和128)。
[0152]
alf_luma_coeff_sign[filtersetidx][sfidx][j]指定对于由filtersetidx标识的滤波器集合，由sfidx 1指示的滤波器的第j个亮度系数的符号，如下所示：
[0153]-如果alf_luma_coeff_sign[filtersetidx][sfidx][j]等于0，则对应的亮度滤波器系数具有正值。
[0154]-否则(alf_luma_coeff_sign[filtersetidx][sfidx][j]等于1)，对应的亮度滤波器系数具有负值。
[0155]
当alf_luma_coeff_sign[filtersetidx][sfidx][j]不存在时，推断为等于0。
[0156]
对于filtersetidx＝0..alf_luma_num_filter_set_minus1，sfidx＝0..alf_luma_num_filters_signalled_minus1，j＝0..11，变量filtcoeff[filtersetidx][sfidx][j]初始化如下：
[0157]
filtcoeff[filtersetidx][sfidx][j]＝alf_luma_coeff_abs[sfidx][j]*
ꢀꢀ
(94)
[0158]
(1-2*alf_luma_coeff_sign[sfidx][j])
[0159]
对于filtersetidx＝0..alf_luma_num_filter_set_minus1，filtidx＝0..numalffilters-1和j＝0..11，具有元素alfcoeff
l
[aps_adaptation_parameter_set_id][filtersetidx][filtidx][j]的亮度滤波器系数alfcoeff
l
[aps_adaptation_parameter_set_id]推导如下：
[0160]
alfcoeff
l
[aps_adaptation_parameter_set_id][filtersetidx][filtidx][j]＝filtcoeff[alf_luma_coeff_delta_idx[filtidx]][j]
ꢀꢀ
(95)
[0161]
比特流一致性的要求是，对于filtidx＝0..numalffilters-1，j＝0..11，alfcoeff
l
[aps_adaptation_parameter_set_id][filtersetidx][filtidx][j]的值应在-27到2
7-1的范围内(含-27和2
7-1)。
[0162]
alf_luma_clip_idx[filtersetidx][sfidx][j]指定对于由filtersetidx标识的滤波器集合，在乘以由sfidx指示的信令通知的亮度滤波器的第j系数之前要使用的裁剪值的裁剪索引。比特流一致性的要求是，对于sfidx＝0..alf_luma_num_filters_signalled_minus1和j＝0..11，alf_luma_clip_idx[filtersetidx][sfidx][j]的值应在0到3的范围内(含0和3)。
[0163]
对于filtersetidx＝0..alf_luma_num_filter_set_minus1，filtidx＝0..numalffilters-1和j＝0..11，具有元素alfclip
l
[aps_adaptation_parameter_set_id][filtersetidx][filtidx][j]的亮度滤波器裁剪值alfclip
l
[aps_adaptation_parameter_set_id]根据bitdepth和clipidx(设置为等于alf_luma_clip_idx[filtersetidx][alf_luma_coeff_delta_idx[filtidx]][j])推导，如下表8所示。
[0164]
alf_chroma_num_filter_set_minus1加1指定色度系数可以被信令通知的自适应环路滤波器集合的数量。
[0165]
alf_chroma_clip_flag[filtersetidx]等于0指定对于由filtersetidx标识的滤波器集合，线性自适应环路滤波应用于色度分量；alf_chroma_clip_flag[filtersetidx]等于1指定对于由filtersetidx标识的滤波器集合，非线性自适应环路滤波应用于色度分量。当不存在时，alf_chroma_clip_flag[filtersetidx]被推断为等于0。
[0166]
alf_chroma_num_alt_filters_minus1[filtersetidx]加1指定对于由
filtersetidx标识的滤波器集合，色度分量的可替代的滤波器的数量。alf_chroma_num_alt_filters_minus1[filtersetidx]的值应在0到7的范围内(含0和7)。
[0167]
alf_chroma_coeff_abs[filtersetidx][altidx][j]指定对于由filtersetidx标识的滤波器集合，索引为altidx的可替代的色度滤波器的第j个色度滤波器系数的绝对值。当alf_chroma_coeff_abs[filtersetidx][altidx][j]不存在时，推断为等于0。alf_chroma_coeff_abs[filtersetidx][sfidx][j]的值应在0到128的范围内(含0和128)。
[0168]
alf_chroma_coeff_sign[filtersetidx][altidx][j]指定索引为altidx的可替代的色度滤波器的第j个色度滤波器系数的符号，如下所示：
[0169]-如果alf_chroma_coeff_sign[filtersetidx][altidx][j]等于0，则对应的色度滤波器系数具有正值。
[0170]-否则(alf_chroma_coeff_sign[filtersetidx][altidx][j]等于1)，对应的色度滤波器系数具有负值。
[0171]
当alf_chroma_coeff_sign[filtersetidx][altidx][j]不存在时，推断为等于0。
[0172]
对于filtersetidx＝0..alf_chroma_num_filter_set_minus1，altidx＝0..alf_chroma_num_alt_filters_minus1，j＝0..5，具有元素alfcoeffc[aps_adaptation_parameter_set_id][filtersetidx][altidx][j]的色度滤波器系数alfcoeffc[aps_adaptation_parameter_set_id][filtersetidx][altidx]推导如下：
[0173]
alfcoeffc[aps_adaptation_parameter_set_id][filtersetidx][altidx][j]＝alf_chroma_coeff_abs[filtersetidx][altidx][j]*(98)
[0174]
(1-2*alf_chroma_coeff_sign[filtersetidx][altidx][j])
[0175]
对于filtersetidx＝0..alf_chroma_num_filter_set_minus1altidx＝0..alf_chroma_num_alt_filters_minus1，j＝0..5，比特流一致性的要求是alfcoeffc[aps_adaptation_parameter_set_id][filtersetidx][altidx][j]的值应在-27到2
7-1的范围内(含-27和2
7-1)。
[0176]
alf_chroma_clip_idx[filtersetidx][altidx][j]指定对于由filtersetidx标识的滤波器集合，在乘以索引为altidx的可替代的色度滤波器的第j个系数之前要使用的裁剪值的裁剪索引。比特流一致性的要求是，对于filtersetidx＝0..alf_chroma_num_filter_set_minus1，altidx＝0..alf_chroma_num_alt_filters_minus1，j＝0..5，alf_chroma_clip_idx[filtersetidx][altidx][j]的值应在0到3的范围内(含0和3)。
[0177]
对于filtersetidx＝0..alf_chroma_num_filter_set_minus1，altidx＝0..alf_chroma_num_alt_filters_minus1，j＝0..5，具有元素alfclipc[aps_adaptation_parameter_set_id][filtersetidx][altidx][j]的色度滤波器裁剪值alfclipc[aps_adaptation_parameter_set_id][filtersetidx][altidx]根据bitdepth和clipidx(设置为等于alf_chroma_clip_idx[filtersetidx][altidx][j])推导，如下表8所示。
[0178]
表8
–
取决于bitdepth和clipidx的规范alfclip
[0179][0180][0181]
alf_cc_cb_num_filter_set_minus1加1指定在当前alf aps中信令通知的用于cb颜色分量的交叉分量滤波器集合的数量。
[0182]
alf_cc_cb_filters_signalled_minus1[filtersetidx]加1指定对于由filtersetidx标识的滤波器集合，在当前alf aps中信令通知的cb颜色分量的交叉分量滤波器的数量。alf_cc_cb_filters_signalled_minus1[filtersetidx]的值应在0到3的范围内(含0和3)。
[0183]
alf_cc_cb_mapped_coeff_abs[filtersetidx][k][j]指定对于cb颜色分量的由filtersetidx标识的滤波器集合，信令通知的第k个交叉分量滤波器的第j个映射系数的绝对值。当alf_cc_cb_mapped_coeff_abs[filtersetidx][k][j]不存在时，推断为等于0。
[0184]
alf_cc_cb_coeff_sign[filtersetidx][k][j]指定对于cb颜色分量的由filtersetidx标识的滤波器集合，信令通知的第k个交叉分量滤波器的第j个系数的符号，如下所示：
[0185]-如果alf_cc_cb_coeff_sign[filtersetidx][k][j]等于0，则对应的交叉分量滤波器系数具有正值。
[0186]-否则(alf_cc_cb_sign[filtersetidx][k][j]等于1)，则对应的交叉分量滤波系数具有负值。
[0187]
当alf_cc_cb_coeff_sign[filtersetidx][k][j]不存在时，推断为等于0。
[0188]
对于j＝0..6，cb颜色分量的信令通知的第k个交叉分量滤波器系数ccalfapscoeff
cb
[aps_adaptation_parameter_set_id][filtersetidx][k][j]推导如下：
[0189]-如果alf_cc_cb_mapped_coeff_abs[filtersetidx][k][j]等于0，则ccalfapscoeff
cb
[aps_adaptation_parameter_set_id][filtersetidx][k][j]设置为等于0。
[0190]-否则，ccalfapscoeff
cb
[aps_adaptation_parameter_set_id][filtersetidx]
[k][j]被设置为等于(1-2*alf_cc_cb_coeff_sign[filtersetidx][k][j])*2
alf_cc_cb_mapped_coeff_abs[filtersetidx][k][j]-1
。
[0191]
alf_cc_cr_num_filter_set_minus1加1指定在当前alf aps中信令通知的cr颜色分量的交叉分量滤波器集合的数量。
[0192]
alf_cc_cr_filters_signalled_minus1[filtersetidx]加1指定对于由filtersetidx标识的滤波器集合，在当前alf aps中信令通知的cr颜色分量的交叉分量滤波器的数量。alf_cc_cr_filters_signalled_minus1[filtersetidx]的值应在0到3的范围内(含0和3)。
[0193]
alf_cc_cr_mapped coeff_abs[filtersetidx][k][j]指定对于cr颜色分量的由filtersetidx标识的滤波器集合，信令通知的第k个交叉分量滤波器的第j个映射系数的绝对值。当alf_cc_cr_mapped coeff_abs[filtersetidx][k][j]不存在时，推断为等于0。
[0194]
alf_cc_cr_coeff_sign[filtersetidx][k][j]指定对于cr颜色分量的由filtersetidx标识的滤波器集合，信令通知的第k个交叉分量滤波器的第j个系数的符号，如下所示：
[0195]-如果alf_cc_cr_coeff_sign[filtersetidx][k][j]等于0，则对应的交叉分量滤波器系数具有正值。
[0196]-否则(alf_cc_cr_sign[filtersetidx][k][j]等于1)，则对应的交叉分量滤波系数具有负值。
[0197]
当alf_cc_cr_coeff_sign[filtersetidx][k][j]不存在时，推断为等于0。
[0198]
对于j＝0..6，cr颜色分量的信令通知的第k交叉分量滤波器系数ccalfapscoeff
cr
[aps_adaptation_parameter_set_id][filtersetidx][k][j]推导如下：
[0199]-如果alf_cc_cr_mapped_coeff_abs[filtersetidx][k][j]等于0，则ccalfapscoeff
cr
[aps_adaptation_parameter_set_id][filtersetidx][k][j]设置为等于0。
[0200]-否则，ccalfapscoeff
cr
[aps_adaptation_parameter_set_id][filtersetidx][k][j]被设置为等于(1-2*alf_cc_cr_coeff_sign[filtersetidx][k][j])*2
alf_cc_cr_mapped_coeff_abs[filtersetidx][k][j]-1
。
[0201]
ctb级别
[0202]
在ctb级别，一旦alf_aps索引被信令通知并被确定用于ctb，如果alf_aps具有用于颜色分量的多个滤波器集合，或如果该alf_aps中的多个滤波器集合被用于颜色分量，则可以信令通知滤波器集合索引。在信令通知滤波器集合索引之后，如果该滤波器集合具有多个滤波器，则可以信令通知滤波器索引。
[0203]
在该示例中，视频解码器300可以被配置为：对于视频数据的译码树块，对指示自适应参数集的自适应参数集索引进行解码。视频解码器300还可以被配置为针对译码树块对指示自适应参数集中的多个自适应环路滤波器集合中的特定自适应环路滤波器集合的滤波器集合索引进行解码。视频解码器300还可以被配置为针对译码树块对指示来自特定自适应环路滤波器集合的特定自适应环路滤波器的滤波器索引进行解码，然后将该特定自适应环路滤波器应用于译码树块。
[0204]
图片/子图片标头
[0205]
在图片或子图片级别(例如子图片、切片、图块、图块组和/或砖块)的标头处，对于每个分量，一个图片/子图片可以使用alf_aps中的所有滤波器集合。在另一示例中，一个图片/子图片可以使用alf_aps中的一个或一些但不是全部的滤波器集合和滤波器。所使用的滤波器集合和每个集合中使用的滤波器索引可以在图片标头和/或子图片标头中信令通知。
[0206]
在一个示例中，视频解码器300可以被配置为：在图片标头处对一个或多个语法元素进行解码，该一个或多个语法元素指示多个自适应环路滤波器集合中的哪些自适应环路滤波器集合可用于视频数据的图片，并且将所指示的自适应环路滤波器集合应用于视频数据的图片。在另一示例中，视频解码器300可以被配置为：在子图片标头处对一个或多个语法元素进行解码，该一个或多个语法元素指示多个自适应环路滤波器集合中的哪些自适应环路滤波器集合可用于视频数据的子图片，其中，子图片包括视频数据的子图片、切片、图块、图块组或砖块，并且将所指示的自适应环路滤波器集合应用于视频数据的子图片。
[0207]
区域信息
[0208]
图片/子图片(诸如子图片、切片、图块、图块组和/或砖块)可以被分割成几个区域。一个区域可以具有其自己的alf_aps、滤波器集合和滤波器索引的滤波器使用信息，使得视频译码器(例如，视频解码器300)可以仅选择由针对该区域中的样本的使用信息所定义的滤波器。
[0209]
图11a和图11b是示出示例四叉树二叉树(qtbt)结构130和对应的译码树单元(ctu)132的概念图。实线表示四叉树拆分，并且虚线表示二叉树拆分。在二叉树的每个拆分(即，非叶)节点中，一个标志被信令通知来指示使用哪种拆分类型(即，水平或垂直)，其中，在该示例中，0指示水平拆分，并且1指示垂直拆分。对于四叉树拆分，不需要指示拆分类型，因为四叉树节点将一个块水平和垂直拆分成4个大小相等的子块。因此，视频编码器200可以编码并且视频解码器300可以解码qtbt结构130的区域树级别(即，实线)的语法元素(诸如拆分信息)和qtbt结构130的预测树级别(即，虚线)的语法元素(诸如拆分信息)。视频编码器200可以编码并且视频解码器300可以解码由qtbt结构130的末端叶节点表示的cu的视频数据，诸如预测和变换数据。
[0210]
一般而言，图2b的ctu 132可以与参数相关联，这些参数定义与第一级别和第二级别处的qtbt结构130的节点对应的块的大小。这些参数可以包括ctu大小(表示样本中ctu 132的大小)、最小四叉树大小(minqtsize，表示最小允许的四叉树叶节点大小)、最大二叉树大小(maxbtsize，表示最大允许的二叉树根节点大小)、最大二叉树深度(maxbtdepth，表示最大允许的二叉树深度)和最小二叉树大小(minbtsize，表示最小允许的二叉树叶节点大小)。
[0211]
对应于ctu的qtbt结构的根节点在qtbt结构的第一级别可以具有四个子节点，每个子节点可以根据四叉树分割来分割。也就是说，第一级别的节点是叶节点(没有子节点)，或具有四个子节点。qtbt结构130的示例将这样的节点表示为包括父节点和具有分支实线的子节点。如果第一级别的节点不大于最大允许的二叉树根节点大小(maxbtsize)，则节点可以进一步由相应的二叉树分割。一个节点的二叉树拆分可以被迭代，直到拆分产生的节点达到最小允许的二叉树叶节点大小(minbtsize)或最大允许的二叉树深度(maxbtdepth)。qtbt结构130的示例将这样的节点表示为具有分支虚线。二叉树叶节点被称
为译码单元(cu)，其用于预测(例如，图片内或图片间预测)和变换，而无需任何进一步的分割。如上文所讨论，cu也可以称为“视频块”或“块”。
[0212]
在qtbt分割结构的一个示例中，ctu大小被设置为128
×
128(亮度样本和两个对应的64
×
64色度样本)，minqtsize被设置为16
×
16，maxbtsize被设置为64
×
64，minbtsize(宽度和高度两者)被设置为4，并且maxbtdepth被设置为4。首先将四叉树分割应用于ctu，以生成四叉树叶节点。四叉树叶节点的大小可以从16
×
16(即minqtsize)到128
×
128(即ctu大小)。如果四叉树叶节点是128
×
128，则叶四叉树节点将不会被二叉树进一步拆分，因为大小超过了maxbtsize(即本示例中的64
×
64)。否则，四叉树叶节点将被二叉树进一步分割。因此，四叉树叶节点也是二叉树的根节点，并且二叉树深度为0。当二叉树深度达到maxbtdepth(在此示例中为4)时，不允许进一步拆分。宽度等于minbtsize(在本示例中为4)的二叉树节点意味着该二叉树节点不允许进一步的垂直拆分(即，宽度的划分)。类似地，高度等于minbtsize的二叉树节点意味着对于该二叉树节点不允许进一步的水平拆分(即，高度的划分)。如上所述，二叉树的叶节点被称为cu，并且根据预测和变换被进一步处理，而无需进一步分割。
[0213]
图12是示出可以执行本公开的技术的示例视频编码器200的框图。图12是为了解释的目的而提供的，并且不应被认为是对本公开中广泛示例和描述的技术的限制。出于解释的目的，本公开描述了根据vvc(itu-t h.266，正在开发中)和hevc(itu-t h.265)的技术的视频编码器200。然而，本公开的技术可以由被配置为其他视频译码标准的视频编码设备来执行。
[0214]
在图12的示例中，视频编码器200包括视频数据存储器230、模式选择单元202、残差生成单元204、变换处理单元206、量化单元208、逆量化单元210、逆变换处理单元212、重构单元214、滤波器单元216、经解码图片缓冲器(dpb)218和熵编码单元220。视频数据存储器230、模式选择单元202、残差生成单元204、变换处理单元206、量化单元208、逆量化单元210、逆变换处理单元212、重构单元214、滤波器单元216、dpb 218和熵编码单元220中的任何一个或全部可以在一个或多个处理器中或在处理电路中实施。例如，视频编码器200的单元可以实施为一个或多个电路或逻辑元件，作为硬件电路的一部分，或作为处理器、asic或fpga的一部分。此外，视频编码器200可以包括附加的或可替代的处理器或处理电路，以执行这些和其他功能。
[0215]
视频数据存储器230可以存储将由视频编码器200的组件编码的视频数据。视频编码器200可以从例如视频源104(图1)接收存储在视频数据存储器230中的视频数据。dpb 218可以充当参考图片存储器，其存储参考视频数据以供视频编码器200预测后续视频数据时使用。视频数据存储器230和dpb 218可以由多种存储器设备中的任何一种形成，诸如动态随机存取存储器(dram)，包括同步dram(sdram)、磁阻ram(mram)、电阻ram(rram)或其他类型的存储器设备。视频数据存储器230和dpb 218可以由相同存储器设备或分开的存储器设备提供。在各种示例中，视频数据存储器230可以与视频编码器200的其他组件在芯片上，如图所示，或相对于那些组件在芯片外。
[0216]
在本公开中，对视频数据存储器230的引用不应被解释为限于视频编码器200内部的存储器，除非如此具体描述，或限于视频编码器200外部的存储器，除非如此具体描述。相反，对视频数据存储器230的引用应被理解为存储视频编码器200接收用于编码的视频数据
(例如，将被编码的当前块的视频数据)的参考存储器。图1的存储器106还可以提供来自视频编码器200的各个单元的输出的临时存储。
[0217]
示出了图12的各种单元以帮助理解由视频编码器200执行的操作。这些单元可以实施为固定功能电路、可编程电路或其组合。固定功能电路指的是提供特定功能的电路，并且被预置在可以执行的操作上。可编程电路是指可以被编程以执行各种任务的电路，并且在可以执行的操作中提供灵活的功能。例如，可编程电路可以执行软件或固件，该软件或固件使得可编程电路以由软件或固件的指令所定义的方式操作。固定功能电路可以执行软件指令(例如，接收参数或输出参数)，但是固定功能电路执行的操作类型通常是不可变的。在一些示例中，单元中的一个或多个可以是不同的电路块(固定功能或可编程的)，并且在一些示例中，单元中的一个或多个可以是集成电路。
[0218]
视频编码器200可以包括由可编程电路形成的算术逻辑单元(alu)、基本功能单元(efu)、数字电路、模拟电路和/或可编程核心。在使用由可编程电路执行的软件来执行视频编码器200的操作的示例中，存储器106(图1)可以存储视频编码器200接收和执行的软件的指令(例如，目标代码)，或视频编码器200内的另一存储器(未示出)可以存储这样的指令。
[0219]
视频数据存储器230被配置为存储所接收的视频数据。视频编码器200可以从视频数据存储器230检索视频数据的图片，并且将视频数据提供给残差生成单元204和模式选择单元202。视频数据存储器230中的视频数据可以是将被编码的原始视频数据。
[0220]
模式选择单元202包括运动估计单元222、运动补偿单元224和帧内预测单元226。模式选择单元202可以包含附加的功能单元，以根据其他预测模式来执行视频预测。作为示例，模式选择单元202可以包括调色板单元、帧内块复制单元(其可为运动估计单元222和/或运动补偿单元224的一部分)、仿射单元、线性模型(lm)单元等。
[0221]
模式选择单元202通常协调多个编码编次，以测试编码参数的组合和这样的组合的所得率失真值。编码参数可以包括将ctu分割成cu、cu的预测模式、cu的残差数据的变换类型、cu的残差数据的量化参数等。模式选择单元202可以最终选择具有比其他测试组合更好的率失真值的编码参数组合。
[0222]
视频编码器200可以将从视频数据存储器230检索的图片分割成一系列ctu，并且将一个或多个ctu封装在切片内。模式选择单元202可以根据诸如上述qtbt结构或hevc的四叉树结构的树结构来分割图片的ctu。如以上所描述，视频编码器200可以根据树结构通过分割ctu来形成一个或多个cu。这样的cu通常也可称为“视频块”或“块”。
[0223]
一般而言，模式选择单元202还控制其组件(例如，运动估计单元222、运动补偿单元224和帧内预测单元226)，以生成当前块的预测块(例如，当前cu，或在hevc中，pu和tu的重叠部分)。对于当前块的帧间预测，运动估计单元222可以执行运动搜索，以标识一个或多个参考图片(例如，存储在dpb 218中的一个或多个先前译码的图片)中的一个或多个紧密匹配的参考块。具体地，运动估计单元222可以计算表示潜在参考块与当前块相似程度的值，例如，根据绝对差和(sad)、平方差和(ssd)、平均绝对差(mad)、均方差(msd)等。运动估计单元222通常可以使用当前块与正被考虑的参考块之间的逐样本差来执行这些计算。运动估计单元222可以标识具有由这些计算产生的最低值的参考块，指示最接近地匹配当前块的参考块。
[0224]
运动估计单元222可以形成一个或多个运动矢量(mv)，其定义参考图片中的参考
块相对于当前图片中的当前块的位置的位置。然后运动估计单元222可以将运动矢量提供至运动补偿单元224。例如，对于单向帧间预测，运动估计单元222可以提供单个运动矢量，而对于双向帧间预测，运动估计单元222可以提供两个运动矢量。然后，运动补偿单元224可以使用运动矢量生成预测块。例如，运动补偿单元224可以使用运动矢量检索参考块的数据。作为另一示例，如果运动矢量具有分数样本精度，择运动补偿单元224可以根据一个或多个插值滤波器来插值预测块的值。此外，对于双向帧间预测，运动补偿单元224可以检索由相应运动矢量标识的两个参考块的数据，并且例如通过逐样本平均或加权平均来组合所检索的数据。
[0225]
作为另一示例，对于帧内预测或帧内预测译码，帧内预测单元226可以从邻近当前块的样本生成预测块。例如，对于方向模式，帧内预测单元226通常可以以数学方式组合相邻样本的值，并且在当前块上的定义方向上填充这些计算出的值，以产生预测块。作为另一示例，对于dc模式，帧内预测单元226可以计算当前块的相邻样本的平均值，并且生成预测块，以包括预测块的每个样本的此所得平均值。
[0226]
模式选择单元202将预测块提供至残差生成单元204。残差生成单元204从视频数据存储器230接收当前块的原始未编码版本，并且从模式选择单元202接收预测块。残差生成单元204计算当前块与预测块之间的逐样本差。得到的逐样本差定义了当前块的残差块。在一些示例中，残差生成单元204还可以确定残差块中的样本值之间的差，以使用残差差分脉冲译码调制(rdpcm)来生成残差块。在一些示例中，残差生成单元204可以使用执行二进制减法的一个或多个减法器电路来形成。
[0227]
在模式选择单元202将cu分割成pu的示例中，每个pu可以与亮度预测单元和对应的色度预测单元相关联。视频编码器200和视频解码器300可以支持具有各种大小的pu。如上所述，cu的大小可以指cu的亮度译码块的大小，并且pu的大小可以指pu的亮度预测单元的大小。假设特定cu的大小为2n
×
2n，则视频编码器200可以支持用于帧内预测的2n
×
2n或n
×
n的pu大小，以及用于帧间预测的2n
×
2n、2n
×
n、n
×
2n、n
×
n或类似的对称pu大小。视频编码器200和视频解码器300还可以支持针对帧间预测的2n
×
nu、2n
×
nd、nl
×
2n和nr
×
2n的pu大小的非对称分割。
[0228]
在模式选择单元202不将cu进一步分割为pu的示例中，每个cu可以与亮度译码块和对应的色度译码块相关联。如上所述，cu的大小可以指cu的亮度译码块的大小。视频编码器200和视频解码器300可以支持2n
×
2n、2n
×
n或n
×
2n的cu大小。
[0229]
对于其他视频译码技术，诸如帧内块复制模式译码、仿射模式译码和线性模型(lm)模式译码，作为一些示例，模式选择单元202经由与译码技术相关联的相应单元生成正被编码的当前块的预测块。在一些示例中，诸如调色板模式译码，模式选择单元202可以不生成预测块，而是生成指示基于所选择的调色板来重构块的方式的语法元素。在这样的模式中，模式选择单元202可以将这些语法元素提供至熵编码单元220以进行编码。
[0230]
如以上所描述，残差生成单元204接收当前块和对应预测块的视频数据。然后，残差生成单元204生成当前块的残差块。为了生成残差块，残差生成单元204计算预测块与当前块之间的逐样本差。
[0231]
变换处理单元206将一个或多个变换应用于残差块以生成变换系数的块(本文中称为“变换系数块”)。变换处理单元206可以将各种变换应用于残差块以形成变换系数块。
例如，变换处理单元206可以对残差块应用离散余弦变换(dct)、方向变换、karhunen-loeve变换(klt)或概念上类似的变换。在一些示例中，变换处理单元206可以对残差块执行多个变换，例如，初级变换和次级变换，诸如旋转变换。在一些示例中，变换处理单元206不对残差块应用变换。
[0232]
量化单元208可以量化变换系数块中的变换系数，以产生经量化的变换系数块。量化单元208可以根据与当前块相关联的量化参数(qp)值来量化变换系数块的变换系数。视频编码器200(例如，经由模式选择单元202)可以通过调整与cu相关联的qp值来调整应用于与当前块相关联的变换系数块的量化程度。量化可能引入信息损失，并且因此，经量化的变换系数可以具有比由变换处理单元206产生的原始变换系数低的精度。
[0233]
逆量化单元210和逆变换处理单元212可以分别对经量化的变换系数块应用逆量化和逆变换，以从变换系数块重构残差块。重构单元214可以基于经重构的残差块和由模式选择单元202生成的预测块来产生对应于当前块的经重构的块(尽管可能具有某种程度的失真)。例如，重构单元214可以将经重构的残差块的样本添加到来自由模式选择单元202生成的预测块的对应样本，以产生经重构的块。
[0234]
滤波器单元216可以对经重构的块执行一个或多个滤波操作。例如，滤波器单元216可以执行去块操作，以减少沿着cu的边缘的块效应伪影。在一些示例中，可以跳过滤波器单元216的操作。在一些示例中，滤波器单元216可以被配置为应用自适应环路滤波器，并且可以被配置为使用本公开中所描述的任何自适应环路滤波器技术。例如，滤波器单元216可以被配置为从aps中的一个或多个alf滤波器集合确定alf。视频编码器200还可以被配置为将多个alf滤波器集合编码在一个或多个aps中，并且将aps中的多个alf滤波器集合编码在经编码的视频比特流中。
[0235]
视频编码器200在dpb 218中存储经重构的块。例如，在不执行滤波器单元216的操作的示例中，重构单元214可以将经重构的块存储到dpb 218。在执行滤波器单元216的操作的示例中，滤波器单元216可以将滤波后的经重构的块存储至dpb 218。运动估计单元222和运动补偿单元224可以从dpb 218中检索由重构(并且可能经滤波)的块形成的参考图片，以对后续经编码的图片的块进行帧间预测。此外，帧内预测单元226可以使用当前图片的dpb 218中的经重构的块来对当前图片中的其他块进行帧内预测。
[0236]
一般而言，熵编码单元220可以对从视频编码器200的其他功能组件接收的语法元素进行熵编码。例如，熵编码单元220可以对来自量化单元208的经量化的变换系数块进行熵编码。作为另一示例，熵编码单元220可以对来自模式选择单元202的预测语法元素(例如，用于帧间预测的运动信息或用于帧内预测的帧内模式信息)进行熵编码。熵编码单元220可以对作为视频数据的另一示例的语法元素执行一个或多个熵编码操作，以生成经熵编码的数据。例如，熵编码单元220可以对数据执行上下文自适应可变长度译码(cavlc)运算、cabac运算、可变到可变(v2v)长度译码运算、基于语法的上下文自适应二进制算术译码(sbac)运算、概率区间分割熵(pipe)译码运算、指数-golomb编码运算或另一类型的熵编码运算。在一些示例中，熵编码单元220可以在旁路模式下操作，其中，不对语法元素进行熵编码。
[0237]
视频编码器200可以输出包括重构切片或图片的块所需的经熵编码的语法元素的比特流。具体地，熵编码单元220可以输出比特流。
[0238]
上面描述的操作是相对于块来描述的。这样的描述应理解为对亮度译码块和/或色度译码块的操作。如以上所描述，在一些示例中，亮度译码块和色度译码块是cu的亮度和色度分量。在一些示例中，亮度译码块和色度译码块是cu的亮度和色度分量。
[0239]
在一些示例中，对于色度译码块，不需要重复针对亮度译码块执行的操作。作为一个示例，标识亮度译码块的运动矢量(mv)和参考图片的操作不需要重复用于标识色度块的mv和参考图片。相反，亮度译码块的mv可以被缩放以确定色度块的mv，并且参考图片可以是相同的。作为另一示例，对于亮度译码块和色度译码块，帧内预测过程可以是相同的。
[0240]
视频编码器200表示被配置为编码视频数据的设备的示例，该设备包括被配置为存储视频数据的存储器，以及一个或多个处理单元，该一个或多个处理单元在电路中实施，并且被配置为将多个自适应环路滤波器集合译码在自适应参数集中，并且将来自多个自适应环路滤波器集合的一个或多个自适应环路滤波器应用于视频数据。
[0241]
图13是示出可以执行本公开的技术的示例视频解码器300的框图。图13是为了解释的目的而提供的，并且不限制在本公开中广泛示例和描述的技术。出于解释的目的，本公开描述了根据vvc(itu-t h.266，正在开发中)和hevc(itu-t h.265)的技术的视频解码器300。然而，本公开的技术可以由被配置为其他视频译码标准的视频译码设备来执行。
[0242]
在图13的示例中，视频解码器300包括经译码图片缓冲器(cpb)存储器320、熵解码单元302、预测处理单元304、逆量化单元306、逆变换处理单元308、重构单元310、滤波器单元312和经解码图片缓冲器(dpb)314。cpb存储器320、熵解码单元302、预测处理单元304、逆量化单元306、逆变换处理单元308、重构单元310、滤波器单元312和dpb 314中的任何一个或全部可以在一个或多个处理器中或在处理电路中实施。例如，视频解码器300的单元可以实施为一个或多个电路或逻辑元件，作为硬件电路的一部分，或作为处理器、asic或fpga的一部分。此外，视频解码器300可以包括附加的或可替代的处理器或处理电路，以执行这些和其他功能。
[0243]
预测处理单元304包括运动补偿单元316和帧内预测单元318。预测处理单元304可以包含附加单元，以根据其他预测模式来执行预测。作为示例，预测处理单元304可以包括调色板单元、帧内块复制单元(其可以形成运动补偿单元316的一部分)、仿射单元、线性模型(lm)单元等。在其他示例中，视频解码器300可以包括更多、更少或不同的功能组件。
[0244]
cpb存储器320可以存储将由视频解码器300的组件解码的视频数据，诸如经编码的视频比特流。存储在cpb存储器320中的视频数据可以从例如计算机可读介质110(图1)中获得。cpb存储器320可以包括存储来自经编码的视频比特流的经编码的视频数据(例如，语法元素)的cpb。此外，cpb存储器320可以存储除经译码的图片的语法元素以外的视频数据，诸如表示来自视频解码器300的各个单元的输出的临时数据。dpb 314通常存储经解码的图片，视频解码器300在解码经编码的视频比特流的后续数据或图片时可以输出和/或使用该经解码的图片作为参考视频数据。cpb存储器320和dpb 314可以由多种存储器设备中的任何一种形成，诸如dram，包括sdram、mram、rram或其他类型的存储器设备。cpb存储器320和dpb 314可以由同一存储器设备或分开的存储器设备提供。在各种示例中，cpb存储器320可以与视频解码器300的其他组件在芯片上，或相对于那些组件在芯片外。
[0245]
附加地或可替代地，在一些示例中，视频解码器300可以从存储器120(图1)中检索经译码的视频数据。也就是说，存储器120可以存储如上面关于cpb存储器320所讨论的数
据。同样地，当视频解码器300的一些或所有功能性以由视频解码器300的处理电路执行的软件实施时，存储器120可以存储由视频解码器300执行的指令。
[0246]
示出了图13中所示的各种单元以帮助理解视频解码器300执行的操作。这些单元可以实施为固定功能电路、可编程电路或其组合。与图12类似，固定功能电路指的是提供特定功能的电路，并且被预置在可以执行的操作上。可编程电路是指可以被编程以执行各种任务的电路，并且在可以执行的操作中提供灵活的功能。例如，可编程电路可以执行软件或固件，该软件或固件使得可编程电路以由软件或固件的指令所定义的方式操作。固定功能电路可以执行软件指令(例如，接收参数或输出参数)，但是固定功能电路执行的操作类型通常是不可变的。在一些示例中，单元中的一个或多个可以是不同的电路块(固定功能或可编程的)，并且在一些示例中，单元中的一个或多个可以是集成电路。
[0247]
视频解码器300可以包括alu、efu、数字电路、模拟电路和/或由可编程电路形成的可编程核心。在视频解码器300的操作由在可编程电路上执行的软件执行的示例中，片上或片外存储器可以存储视频解码器300接收并且执行的软件的指令(例如，目标代码)。
[0248]
熵解码单元302可以从cpb接收经编码的视频数据，并且对视频数据进行熵解码以再现语法元素。预测处理单元304、逆量化单元306、逆变换处理单元308、重构单元310和滤波器单元312可以基于从比特流提取的语法元素来生成经解码的视频数据。
[0249]
一般而言，视频解码器300在逐块的基础上重构图片。视频解码器300可以单独对每个块执行重构操作(其中，当前正被重构即解码的块可以被称为“当前块”)。
[0250]
熵解码单元302可以对定义经量化变换系数块的经量化变换系数的语法元素，以及变换信息(诸如量化参数(qp)和/或变换模式指示)进行熵解码。逆量化单元306可以使用与经量化的变换系数块相关联的qp来确定量化程度，并且同样地，确定逆量化单元306要应用的逆量化程度。例如，逆量化单元306可以执行逐比特左移运算以逆量化经量化的变换系数。因此，逆量化单元306可以形成包括变换系数的变换系数块。
[0251]
在逆量化单元306形成变换系数块之后，逆变换处理单元308可以将一个或多个逆变换应用于变换系数块以生成与当前块相关联的残差块。例如，逆变换处理单元308可以对变换系数块应用逆dct、逆整数变换、逆karhunen-loeve变换(klt)、逆旋变换、逆方向变换或另一逆变换。
[0252]
此外，预测处理单元304根据由熵解码单元302熵解码的预测信息语法元素来生成预测块。例如，如果预测信息语法元素指示当前块是帧间预测的，则运动补偿单元316可以生成预测块。在这种情况下，预测信息语法元素可以指示dpb 314中的参考图片(从该参考图片中检索参考块)，以及标识参考图片中的参考块相对于当前图片中的当前块的位置的运动矢量。运动补偿单元316通常可以以基本上类似于相对于运动补偿单元224(图12)所描述的方式的方式来执行帧间预测处理。
[0253]
作为另一示例，如果预测信息语法元素指示当前块是帧内预测的，则帧内预测单元318可以根据由预测信息语法元素指示的帧内预测模式来生成预测块。同样，帧内预测单元318通常可以以基本上类似于相对于帧内预测单元226(图12)所描述的方式的方式来执行帧内预测处理。帧内预测单元318可以从dpb 314检索当前块的相邻样本的数据。
[0254]
重构单元310可以使用预测块和残差块来重构当前块。例如，重构单元310可以将残差块的样本添加到预测块的对应样本以重构当前块。
[0255]
滤波器单元312可以对经重构的块执行一个或多个滤波操作。例如，滤波器单元312可以执行去块操作，以减少沿着经重构的块的边缘的块效应伪影。滤波器单元312的操作不一定在所有示例中都执行。滤波器单元312可以被配置为应用自适应环路滤波器，并且可以被配置为使用本公开中所描述的任何自适应环路滤波器技术。例如，滤波器单元312可以被配置为接收与视频数据相关联的自适应参数集中的多个自适应环路滤波器集合，从多个自适应环路滤波器集合中确定一个或多个自适应环路滤波器，并且将所确定的一个或多个自适应环路滤波器应用于视频数据。
[0256]
视频解码器300可以将经重构的块存储在dpb 314中。例如，在不执行滤波器单元312的操作的示例中，重构单元310可以将经重构的块存储到dpb 314。在执行滤波器单元312的操作的示例中，滤波器单元312可以将滤波后的经重构的块存储至dpb 314。如以上所论述，dpb 314可以向预测处理单元304提供参考信息，诸如用于帧内预测的当前图片的样本和用于后续运动补偿的先前解码图片的样本。此外，视频解码器300可以输出来自dpb 314的经解码的图片(例如，经解码的视频)以供随后在显示设备(诸如图1的显示设备118)上呈现。
[0257]
以这种方式，视频解码器300表示视频解码设备的示例，该视频解码设备包括被配置为存储视频数据的存储器，以及一个或多个处理单元，该一个或多个处理单元在电路中实施并且被配置为接收与视频数据相关联的自适应参数集中的多个自适应环路滤波器集合，从多个自适应环路滤波器集合中确定一个或多个自适应环路滤波器，并且将所确定的一个或多个自适应环路滤波器应用于视频数据。
[0258]
图14是示出根据本公开的技术对当前块进行编码的示例方法的流程图。当前块可以包括当前cu。尽管针对视频编码器200(图1和12)进行了描述，但是应理解，其他设备可以被配置为执行类似于图14的方法。
[0259]
在该示例中，视频编码器200最初预测当前块(350)。例如，视频编码器200可以形成当前块的预测块。然后，视频编码器200可以计算当前块的残差块(352)。为了计算残差块，视频编码器200可以计算原始未经编码块与当前块的预测块之间的差。视频编码器200然后可以变换残差块并且量化残差块的变换系数(354)。接下来，视频编码器200可以扫描残差块的经量化的变换系数(356)。在扫描期间，或在扫描之后，视频编码器200可以对变换系数进行熵编码(358)。例如，视频编码器200可以使用cavlc或cabac来对变换系数进行编码。然后，视频编码器200可以输出块的经熵编码的数据(360)。
[0260]
图15是示出根据本公开的技术对当前视频数据块进行解码的示例方法的流程图。当前块可以包括当前cu。尽管针对视频解码器300(图1和13)进行了描述，但是应理解，其他设备可以被配置为执行类似于图15的方法。
[0261]
视频解码器300可以接收当前块的经熵编码的数据，诸如对应于当前块的残差块的变换系数的经熵编码的预测信息和经熵编码的数据(370)。视频解码器300可以对经熵编码的数据进行熵解码以确定当前块的预测信息并且再现残差块的变换系数(372)。例如，使用如当前块的预测信息指示的帧内或帧间预测模式来计算当前块的预测块，视频解码器300可以预测当前块(374)。然后，视频解码器300可以逆扫描再现的变换系数(376)，以创建经量化的变换系数块。视频解码器300然后可以逆量化变换系数并且将逆变换应用于变换系数，以产生残差块(378)。视频解码器300可以通过组合预测块和残差块来对当前块进行
最终解码(380)。在对当前块进行解码之后，视频解码器300可以使用本公开的技术来应用滤波器，诸如alf。
[0262]
图16是示出根据本公开的技术对当前块进行解码的另一示例方法的流程图。图16示出了根据本公开的用于应用alf的方法。图16的技术可以由视频解码器300的一个或多个结构单元(包含滤波器单元312)来执行。
[0263]
在一个示例中，视频解码器300可以被配置为接收与视频数据相关联的自适应参数集中的多个自适应环路滤波器集合(500)，从多个自适应环路滤波器集合中确定一个或多个自适应环路滤波器(510)，并且将所确定的一个或多个自适应环路滤波器应用于视频数据(520)。在一个示例中，多个自适应环路滤波器集合包括用于视频数据的亮度分量的多个自适应环路滤波器集合和用于视频数据的色度分量的多个自适应环路滤波器集合。在另一示例中，多个自适应环路滤波器集合包括用于视频数据的cb分量的多个交叉分量自适应环路滤波器集合和用于视频数据的cr分量的多个交叉分量自适应环路滤波器集合。
[0264]
在另一示例中，视频解码器300可以被配置为：对于译码树块，对指示自适应参数集中的多个自适应环路滤波器集合中的特定自适应环路滤波器集合的滤波器集合索引进行解码；对于译码树块，对指示来自该特定自适应环路滤波器集合的特定自适应环路滤波器的滤波器索引进行解码；以及将该特定的自适应环路滤波器应用于译码树块。视频解码器300还可以被配置为：对于视频数据的译码树块，对指示自适应参数集的自适应参数集索引进行解码。
[0265]
在另一示例中，视频解码器300可以被配置为：对指示用于视频数据的亮度分量的自适应参数集中的自适应环路滤波器集合的数量的第一语法元素进行解码。在另一示例中，视频解码器300可以被配置为：对指示用于视频数据的色度分量的自适应参数集中的自适应环路滤波器集合的数量的第二语法元素进行解码。
[0266]
在另一示例中，视频解码器300可以被配置为：对可用于用于亮度分量的多个自适应环路滤波器集合中的所有自适应环路滤波器集合的裁剪标志进行解码；以及对可用于用于色度分量的多个自适应环路滤波器集合中的所有自适应环路滤波器集合的裁剪标志进行解码。
[0267]
在另一示例中，视频解码器300可以被配置为：对用于亮度分量的多个自适应环路滤波器集合中的每个自适应环路滤波器集合的相应裁剪标志进行解码；以及对用于色度分量的多个自适应环路滤波器集合中的每个自适应环路滤波器集合的相应裁剪标志进行解码。
[0268]
在另一示例中，视频解码器300可以被配置为：在图片标头处对一个或多个语法元素进行解码，该一个或多个语法元素指示多个自适应环路滤波器集合中的哪些自适应环路滤波器集合可用于视频数据的图片；以及将所指示的自适应环路滤波器集合应用于视频数据的图片。
[0269]
在另一示例中，视频解码器300可以被配置为：在子图片标头处对一个或多个语法元素进行解码，该一个或多个语法元素指示多个自适应环路滤波器集合中的哪些自适应环路滤波器集合可用于视频数据的子图片，其中，子图片包括视频数据的子图片、切片、图块、图块组或砖块；以及将所指示的自适应环路滤波器集合应用于视频数据的子图片。
[0270]
下面描述了本公开的其他说明性示例。
[0271]
条款1-一种译码视频数据的方法，该方法包括：对自适应参数集中的多个自适应环路滤波器集合进行译码；以及将来自多个自适应环路滤波器集合的一个或多个自适应环路滤波器应用于视频数据。
[0272]
条款2-根据条款1的方法，其中，多个自适应环路滤波器集合包括用于亮度分量的多个自适应环路滤波器集合、用于色度分量的多个自适应环路滤波器集合、用于cb分量的多个交叉分量自适应环路滤波器集合，以及用于cr分量的多个交叉分量自适应环路滤波器集合。
[0273]
条款3-根据条款2的方法，还包括：对第一语法元素进行译码，该第一语法元素指示用于亮度分量的自适应环路滤波器集合的数量。
[0274]
条款4-根据条款2的方法，还包括：对第二语法元素进行译码，该第二语法元素指示用于色度分量的自适应环路滤波器集合的数量。
[0275]
条款5-根据条款2的方法，还包括：对可用于用于亮度分量的多个自适应环路滤波器集合中的所有自适应环路滤波器集合的裁剪标志进行解码。
[0276]
条款6-根据条款2的方法，还包括：对可用于用于色度分量的多个自适应环路滤波器集合中的所有自适应环路滤波器集合的裁剪标志进行解码。
[0277]
条款7-根据条款2的方法，还包括：对用于亮度分量的多个自适应环路滤波器集合中的每个自适应环路滤波器集合的相应裁剪标志进行解码。
[0278]
条款8-根据条款2的方法，还包括：对用于色度分量的多个自适应环路滤波器集合中的每个自适应环路滤波器集合的相应裁剪标志进行解码。
[0279]
条款9-根据条款1的方法，还包括：对指示多个自适应环路滤波器集合中的自适应环路滤波器集合的滤波器集合索引进行译码。
[0280]
条款10-根据条款1至9的任何组合的方法。
[0281]
条款11-根据条款1至10中任一项的方法，其中，译码包括解码。
[0282]
条款12-根据条款1至10中任一项的方法，其中，译码包括编码。
[0283]
条款13-一种用于对视频数据进行译码的设备，该设备包括用于执行条款1至12中任一项的方法的一个或多个部件。
[0284]
条款14-根据条款13的设备，其中，一个或多个部件包括在电路中实施的一个或多个处理器。
[0285]
条款15-根据条款13和14中任一项的设备，还包括存储视频数据的存储器。
[0286]
条款16-根据条款13至15中任一项的设备，还包括被配置为显示经解码的视频数据的显示器。
[0287]
条款17-根据条款13至16中任一项的设备，其中，该设备包括相机、计算机、移动设备、广播接收器设备或机顶盒中的一个或多个。
[0288]
条款18-根据条款13至17中任一项的设备，其中，该设备包括视频解码器。
[0289]
条款19-根据条款13至18中任一项的设备，其中，该设备包括视频编码器。
[0290]
条款20-一种计算机可读存储介质，其中，存储有指令，指令在被执行时，使一个或多个处理器执行条款1至12中任一项的方法。
[0291]
条款21-本公开中描述的技术的任何组合。
[0292]
应认识到，根据示例，本文所描述的任何技术的某些动作或事件可以以不同的顺
序来执行，可以被添加、合并或完全省略(例如，并非所有描述的动作或事件对于技术的实践都是必要的)。此外，在某些示例中，动作或事件可以同时执行，例如，通过多线程处理、中断处理或多处理器，而不是顺序执行。
[0293]
在一个或多个示例中，所描述的功能可以用硬件、软件、固件或其任何组合来实施。如果用软件实施，则这些功能可以作为一个或多个指令或代码存储在计算机可读介质中或在其中发送，并且由基于硬件的处理单元执行。计算机可读介质可以包括计算机可读存储介质，其对应于有形介质，诸如数据存储介质，或通信介质，包括例如根据通信协议便于将计算机程序从一个地方传输到另一地方的任何介质。以这种方式，计算机可读介质通常可以对应于(1)有形的非暂时性的计算机可读存储介质，或(2)诸如信号或载波的通信介质。数据存储介质可以是能够被一个或多个计算机或一个或多个处理器访问以检索用于实施本公开中所描述的技术的指令、代码和/或数据结构的任何可用介质。计算机程序产品可以包括计算机可读介质。
[0294]
作为示例而非限制，这样的计算机可读存储介质可以包括ram、rom、eeprom、cd-rom或其他光盘存储器、磁盘存储器或其他磁存储设备、闪存或可以用于存储指令或数据结构形式的所需程序代码并且可以由计算机访问的任何其他介质。同样，任何连接都被恰当地称为计算机可读介质。例如，如果使用同轴电缆、光纤电缆、双绞线、数字用户线路(dsl)或诸如红外线、无线电和微波的无线技术从网站、服务器或其他远程源发送指令，则同轴电缆、光纤电缆、双绞线、dsl或诸如红外线、无线电和微波的无线技术包括在介质的定义中。然而，应理解，计算机可读存储介质和数据存储介质不包括连接、载波、信号或其他瞬态介质，而是指向非瞬态的有形存储介质。本文所使用的磁盘和光盘包括压缩光盘(cd)、激光光盘、光盘、数字多功能光盘(dvd)、软盘和蓝光光盘，其中，磁盘通常磁性地再现数据，而光盘用激光光学地再现数据。上述的组合也应包括在计算机可读介质的范围内。
[0295]
指令可以由一个或多个处理器执行，诸如一个或多个dsp、通用微处理器、asic、fpga或其他等效的集成或分立逻辑电路。因此，本文所使用的术语“处理器”和“处理电路”可以指任何上述结构或适合于实施本文所描述的技术的任何其他结构。此外，在一些方面，本文所描述的功能可以在被配置用于编码和解码的专用硬件和/或软件模块中提供，或被结合在组合的译码器中。同样，这些技术可以完全在一个或多个电路或逻辑元件中实施。
[0296]
本公开的技术可以在各种各样的设备或装置中实施，包括无线手机、集成电路(ic)或ic组(例如，芯片组)。在本公开中描述了各种组件、模块或单元，以强调被配置为执行所公开的技术的设备的功能方面，但是不一定需要由不同的硬件单元来实现。相反，如以上所描述，各种单元可以结合适当的软件和/或固件被组合在译码器硬件单元中，或由互操作硬件单元的集合来提供，包括如以上所描述的一个或多个处理器。
[0297]
已经描述了各种示例。这些和其他示例在以下权利要求的范围内。
上一篇：
肌腱或韧带的治疗用凝胶材料的制作方法
下一篇： 具有死区的自适应触摸屏小键盘的制作方法
相关内容
热门资讯
实验室实习心得
实验室实习心得在分子生物学实验室为期两个月的实习使我受益匪浅，我不仅学习到了专业知识，更重要的是收获...
护士岗见习心得体会
护士岗见习心得体会（精选20篇） 我们心里有一些收获后，可以寻思将其写进心得体会中，如此可以一直更...
继续教育教育心得体会
有关继续教育教育心得体会（精选15篇） 当我们备受启迪时，常常可以将它们写成一篇心得体会，如此就可...
读3至6岁儿童发展指南心得体...
读3至6岁儿童发展指南心得体会（通用7篇） 当我们积累了新的体会时，不如来好好地做个总结，写一篇心...
初中语文新课程标准学习心得体...
初中语文新课程标准学习心得体会（精选10篇） 语文课程标准，有意识地把语文素养凸现出来。语文素养内...
《中小学教师职业道德规范》心...
关于《中小学教师职业道德规范》心得体会（通用13篇） 当我们经过反思，有了新的启发时，可以通过写心...
支教心得体会
支教心得体会（通用17篇） 当我们对人生或者事物有了新的思考时，往往会写一篇心得体会，如此就可以提...
发展对象心得体会
发展对象心得体会（精选5篇） 我们心里有一些收获后，不如来好好地做个总结，写一篇心得体会，这样有利...
参加研学旅行的心得体会
参加研学旅行的心得体会（通用6篇） 有了一些收获以后，通常就可以写一篇心得体会将其记下来，如此就可...
大庆精神、铁人精神学习心得体...
大庆精神、铁人精神学习心得体会 我们有一些启发后，可用写心得体会的方式将其记录下来，如此可以一直更...