基于多核处理器的高清实时MPEG-2--H.264转揪哥

篓　Ｄ吲黼．　佃　【本文献信息】叶朝敏，陈颖琪，高志勇．基于多核处理器的高清实时ＭＰＥＧ一２一Ｈ＿２６４转码器设计［Ｊ］．电视技术，２０１２，３６（２１）　基于多核处理器的高清实时　ⅣＩ］Ｅ，ＥＧ＿２一Ｈ．　２６４转码器设计　叶朝敏，陈颖琪，高志勇　（上海交通大学电子工程系图像通信与信息处理研究所，上海２００２４０）　【摘要】基于多核处理器的并行计算为实时实现高清ＭＰＥＧ一２至Ｈ．２６４转码器提供了１种可行的实现方案。提出了１种多　颗粒度的ＭＰＥＧ＿２一Ｈ．２６４全解全编并行转码器设计方案，其中ＭＰＥＧ一２解码器采用了帧内与数据级两级并行，Ｈ．２６４编码器　采用了帧间、帧内与数据级三级并行。实验结果表明本设计不仅具有良好的并行加速比，而且可以在使用１／４的ＴｉｌｅＰｒｏ６４处理　器核资源的条件下完成１路实时高清转码。　【关键词】ＭＰＥＧ—Ｈ．２６４转码器；Ｔｉｌｅｒａ多核处理器；多粒度并行计算　【中图分类号】ＴＮ９４９．２９２　【文献标识码】Ｂ　Ｄｅｓｉｇｎ　ｏｆ　ＨＤ　ＭＰＥＧ－２一Ｈ．２６４　Ｔｒａｎｓｃｏｄｅｒ　Ｂａｓｅｄ　ｏｎ　Ｍｕｌｆｉ－－ｃｏｒｅ　Ｐｒｏｃｅｓｓｏｒ　ＹＥ　Ｃｈａｏｍｉｎ，ＣＨＥＮ　Ｙｉｎｇｑｉ，ＧＡＯ　Ｚｈｉｙｏｎｇ　（Ｉｍａｇｅ　Ｃｏｍｍｕｎｉｃａｔｉｏｎ　ａｎｄ　Ｉｎｆｏｒｍａｔｉｏｎ　Ｐｒｏｃｅｓｓｉｎｇ　Ｉｎｓｔｉｔｕｔｅ，Ｅｌｅｃｔｒｏｎｉｃ　Ｅｎｇｉｎｅｅｒｉｎｇ，Ｓｈａｎｇｈａｉ　Ｊｉａｏ　Ｔｏｎｇ　Ｕｎｉｖｅｒｓｉｔｙ，Ｓｈａｎｇｈａｉ　２００２４０，Ｃｈｉｎａ）　【Ａｂｓｔｒａｃｔ】Ｐａｒａｌｌｅｌ　ｃｏｍｐｕｔｉｎｇ　ｐｒｏｖｉｄｅｓ　ａ　ｐｒａｃｔｉｃａｌ　ｓｏｌｕｔｉｏｎ　ｔｏ　ｉｍｐｌｅｍｅｎｔａｔｉｏｎ　ｏｆ　ＭＰＥＧ２一Ｈ．２６４　Ｔｒａｎｓｃｏｄｅｒ．Ａ　ｎｏｖｅｌ　ｍｕｌｔｉ—ｇｒａｉｎ　ｐａｒａｌｌｅｌ　ａｌｇｏｒｉｔｈｍ　ｆｏｒ　ＭＰＥＧ２一Ｈ．２６４　ｔｒａｎｓｃｏｄｅｒ，ｗｉｔｈ　Ｓｌｉｃｅ—ｂａｓｅｄ　ａｎｄ　ＳＩＭＤ－ｂａｓｅｄ　ｐａｒａｌｌｅｌｉｓｍ　ｆｏｒ　ＭＰＥＧ一２　ｄｅｃｏｄｅｒ，ａｓ　ｗｅｌｌ　ａｓ　Ｆｒａｍｅ－ｂａｓｅｄ，Ｓｌｉｃｅ—ｂａｓｅｄ　ａｎｄ　ＳＩＭＤ—　ｂａｓｅｄ　ｐａｒａｌｌｅｌｉｓｍ　ｆｏｒ　Ｈ．２６４　ｅｎｃｏｄｅｒ，ｉｓ　ｐｒｏｐｏｓｅｄ．Ｅｘｐｅｒｉｍｅｎｔ　ｉｎｄｉｃａｔｅｓ　ｔｈａｔ　ｔｈｉｓ　ａｌｇｏｒｉｔｈｍ　ｉｓ　ｎｏｔ　ｏｎｌｙ　ｏｆ　ｏｕｔｓｔａｎｄｉｎｇ　ｐａｒａｌｌｅｌ　ａｃｃｅｌｅｒａｔｉｏｎ　ｒａｔｉｏ，ｂｕｔ　ａｌｓｏ　ｃａｐａｂｌｅ　ｏｆ　ｒｅａｌ　ｔｉｍｅ　ｔｒａｎｓｅｏｄｉｎｇ　ｆｏｒ　ｏｎｅ　ｃｈａｎｎｅｌ　ＨＤ　ｖｉｄｅｏ，ｕｓｉｎｇ　ｏｎｌｙ　ｏｎｅ　ｑｕａｒｔｅｒ　ｏｆ　ｔｏｔａｌ　ｒｅｓｏｕｒｃｅｓ．　【Ｋｅｙ　ｗｏｒｄｓ】ＭＰＥＧ—Ｈ．２６４　ｔｒｄ＿ｎｓｃ０ｃＩｅｒ；Ｔｉｌｅｒａ　ｍｕｌｔｉ—ｃｏｒｅ　ｐｒｏｃｅｓｓｏｒ；ｍｕｌｔｉ—ｇｒａｉｎ　ｐａｒａｌｌｅｌｉｓｍ　随着网络与个人通信终端的发展，人们对于视频的要　本文针对以往研究中存在的问题，提出并实现了１种　求已经越来越强烈。Ｈ．２６４视频压缩标准在提供了优异　采用了帧级、片级与数据级混合并行的多粒度高清实时全　的压缩比的同时，保证了出色的解码视频质量，是窄带视　解全编转码方案，并在Ｔｉｌｅｒａ＿ｌ　公司Ｔｉｌｅ　Ｐｒｏ６４同构多核　频传输的理想选择，已经越来越广泛地应用于在线视频　平台上成功应用。　中。与此同时，目前已有的视频数据源，包括电影、电视等　依旧采用ＭＰＥＧ－２编码。如果可以将ＭＰＥＧ一２视频源转　１　研究现状　化成为Ｈ．２６４，则可以极大地扩充Ｈ．２６４的节目来源，进　在并行程序设计中，功能分解与数据分解是常用的２　一步丰富人民群众的精神文化生活。　种方法。具体到编解码器设计中，Ｉ帧数据通常由若干个　Ｈ．２６４的出色性能是建立在庞大的运算量的基础上　宏块行组成，因此具有天然的数据可分解性。编解码器采　的，Ｈ．２６４虽然比ＭＰＥＧ－２节约了约５０％的码率，但是付　用了模块化设计，每个功能模块任务明确，具有较好的功　出的代价却是ＭＰＥＧ一２　３倍以上的编码计算复杂度。对　能可分解性。　于高清（本文特指分辨率为１　９２０×１　０８０的视频）实时的　在ＭＰＥＧ－２解码器设计中，最常用的并行设计方法　ＭＰＥＧ－２至Ｈ．２６４转码器，目前尚未有快速高效且效果显　是帧内数据分解。由于ＭＰＥＧ一２码流中１帧内各个宏块　著的快速转码算法，采用全解全编的转码器又面临着庞大　行（片）的解码互不相关，因此可以将不同宏块行的解码　的计算复杂度的问题。　任务放在不同的核上进行一ｚ　。　并行计算为实时实现高清ＭＰＥＧ－２至Ｈ．２６４转码器　采用帧间并行的ＭＰＥＧ－２解码设计则相对复杂。解　提供了切实可行的解决方案。良好设计的并行转码器可　码器设计中，由于运动向量搜索范围可以包含一整帧数　以提供接近线性的加速比，即便对于计算量最大的全解全　据，Ｐ帧的解码有可能需要用到Ｉ帧的完整数据，因此Ｉ帧　编转码器，利用目前常见的四核处理器也能在原先１／４的　与Ｐ帧之间很难实现并行。然而对于ＩＢＢＰＢＢＰ的码流结　时间内完成转码，对于核数更多的处理器，则能更进一步　构，可以在所有Ｂ帧的参考帧均解码完毕之后，对所有Ｂ　实现多路高清实时转码。　帧进行帧级的并行解码　』。对于非实时码流，采用ＧｏＰ　投稿网址ｈ廿ｐ：／／ｗｗｗ．ＶｉｄｅｏＥ．ｏｎＩ《电视技术》第８６卷第２１期（，￣３９８期）　１５　

ＩＩ　Ｄ　黼　分组也是１种可行的帧间并行方案　。　２．１并行ＭＰＥＧ－２解码器设计　除此之外，并行ＭＰＥＧ一２解码器还可以采用基于功　同模块分配到不同的核上以实现并行。然而功能分解的　不多。　并行Ｈ．２６４编码器的研究主要突破点同样在于数据　在ＭＰＥＧ－２码流中，１个宏块行为１个片（Ｓｌｉｃｅ），码　ｃｏｄｅ，ｓｌｉｃｅｍ＿能分解的设计方案，即采用流水线设计，将解码过程的不　流ｓｔａｒｔ＿ｃｏｄｅ中包含了片的序号，其变化范围由ｓｌｉｃｅ＿ｒａｉｎ—　ｓｔａｒｔ＿ａｘ—ｓｔａｒｔ＿ｃｏｄｅ确定。由于各个片之间不　可扩展性较差　ｊ，因此基于功能分解的编解码器研究并　具有任何相关性，因此ＭＰＥＧ一２码流具有天然的帧内可　并行性。　在解码分辨力为１　９２０×１　０８０的高清码流时，共有　［１　０８０／１６］　６８个片，如果以每个片的解码作为１个基本　个并行基本任务，对于核数少于８的处理器而言，任务数　分解。数据分解重点在于设计并行的颗粒度：颗粒度过　大，则容易出现空闲核等待状况；颗粒度过小，则会出现通　的并行任务，每１个基本并行任务颗粒度较小，总计有６８　信量过大，影响ＣＰＵ真正执行编解码核心任务。　早期的研究主要集中于单一颗粒度的并行。从颗粒　已经足够，因此不再引入帧间并行。当处理器核数更多　度最大的ＧｏＰ级帧间并行　Ｊ，到颗粒度降低的帧级并行　时，可以引入基于Ｂ帧的帧间并行　Ｊ，进一步提升基本并　与片级并行　。　，一直到颗粒度更低的宏块或者宏块组级　行任务个数，以便进一步提高加速比。　并行　＇　，甚至于为加速编解码而引入的指令集（本文中　单独的并行ＭＰＥＧ－２解码器流程图如图１所示。　也称为数据级）并行　，均有相关文献发表。单一颗粒度　的并行一定程度上提高了编码速度，然而很遗憾的是此种　并行引入的并行加速比均较为有限。　相比较单颗粒度并行，采用多颗粒度的并行编码器　则展现出了优异的性能。混合采用Ｂ帧并行、片级并行、　宏块级并行以及数据级并行的设计在码率增长４％的基　础上获得了３４倍左右的性能提升　。事实上，各级并行　虽然较为独立，但是在编码过程中可以完美地融合在一　起。帧级并行调用帧内并行，帧内并行调用宏块级并行，　宏块级并行调用数据级并行，各级并行完成各自任务，最　终完成编码。多颗粒度并行编码器中，可以通过良好的任　务分配，保证适中的颗粒度，避免出现过久的空闲和等待，　并且也不会出现通信量过大的情况。　本文实现了１种全解全编的实时并行ＭＰＥＧ一２至　Ｈ．２６４转码器。在解码端，可以对任何符合ＭＰＥＧ一２标准　的码流进行解码；在编码端，目前仅支持Ｂａｓｅｌｉｎｅ的Ｈ．２６４　编码。本文的ＭＰＥＧ－２并行解码器采用了常见的片（１个　图１并行ＭＰＥＧ－２编码流程图　主线程首先从输入码流中通过搜索截出解码１帧所　宏块行）级并行与数据级并行混合并行算法，Ｈ．２６４编码　需的码流数据，随后对截出的码流进行解析，在解析到　ｉｃｅｈｅａｄｅｒ的时候开始创建片级并行任务，各个片级任　器则采用了独特的帧级并行、片（若干个宏块行）级并行、　ｓｌ—数据级并行的多粒度混合并行模型。　务经调度器管理在不同的线程上独立完成，主线程在等待　１帧的所有片均解码完并输出１帧之后开始解码下１帧，　如此往复，直至码流解码完毕。　２　并行转码器设计方案　¨　，６４编码器设计　本设计由主线程与包含若干个线程的线程池以及包　２．２并行Ｈ．２含若干个任务的任务池组成。其中主线程负责初始化线　２．２．１帧级并行　程池以及创建帧级并行任务等，任务池负责完成具体的编　运动搜索引人的帧间依赖性阻碍了帧级并行的实　解码任务。为了管理好任务池，本设计中实现了１个用户　现。为了解决此问题，可以将１帧数据进行分片编码，人　　态的调度器。调度器遍历任务池查找依赖性满足的，即可　为规定运动向量搜索范围为其参考帧对应的片的高度。以被执行并行任务并分配给空闲的线程执行，对应线程完　假设１帧的每１个片由ｎｕｍＭｂｒ个宏块行组成，为了保证　数据的依赖性得到满足，第Ⅳ帧开始编码后，第Ⅳ＋１帧　成该任务之后便会将该任务移除出任务池。　１６　《电视技术》第３６卷第２１期（总第３９８期）Ｉ投稿网址ｈｔｔｐ：／／ｗｗｗ．ＶｉｄｅｏＥ．ｏｎ　

Ｄ　黼菪　可以在第Ⅳ帧的［ｎｕｍＭｂｒ／２］宏块行编码完成之后才开始　帧对应的Ｓｌｉｃｅ是否已经编码完成（此处只考虑Ｂａｓｅｌｉｎｅ　不包含Ｂ帧的情形，如果包含Ｂ帧，则需要检测第Ⅳ＋１　Ⅳ帧对应的Ｓｌｉｃｅ已经编码完成后才会真正开始对第Ⅳ＋１　帧进行编码。　片顺序将码流重组最后有序输出。　编码。在第Ⅳ＋１帧编码到某一个Ｓｌｉｃｅ时，会检测第Ⅳ　２．２．３数据级并行（指令级并行）　数据级并行，或者指令级并行，是指利用处理器提供　的多媒体处理指令集（例如Ｉｎｔｅｌ　ＳＳＥ／ＳＳＥ２指令集、Ｔｉｌ—　ＭＤ指令集等）中提供的ＳＩＭＤ（Ｓｉｎｇｌｅ　Ｉｎ．　帧所依赖的参考帧对应的Ｓｌｉｃｅ编码完成情况），只有在第　ｅｒａ…公司的ＳＩｓｔｒｕｃｔｉｏｎ　Ｍｕｌｔｉｐｌｅ　Ｄａｔａ）指令对编码过程中的一些核心计　算模块进行优化所引入的并行。　本文实验所用的多核平台为同构多核，各核处理速　采用数据并行不需对编码器并行框架进行任何修　度可认为一致，第Ⅳ＋１帧由于落后第Ⅳ帧［ｎｕｍＭｂｒ／２］　改，使用方便，但是所引入的并行加速比却非常可观。本　个宏块行，因此第Ⅳ＋１帧的某个Ｓｌｉｃｅ需要等待第Ⅳ帧　设计采用Ｔｉｌｅｒａ公司ＳＩＭＤ指令优化离散余弦变换、运动　对应Ｓｌｉｃｅ编码完成的可能性比较小，帧间并行性非常高。　补偿、去块滤波、量化等模块之后，可以引入５倍以上的并　另一方面，由于每１帧相对于前１帧编码都要落后［ｎｕｎ—　行加速比提升。然而由于指令集并行涉及模块多，且数据　Ｍｂｒ／２］个宏块行的处理时问，因此无限增加帧问并行以　并行的加速比提升受限于上层编码器设计，因此很难事先　提高速度意义不大。实际实现时需要根据核的个数调整　估计单纯引入指令集所带来的并行加速比。　可以并行的帧数。　２．３并行转码器设计　２．２．２片级并行　并行转码器设计流程图如图２所示，图中粗箭头是指　如前所述，本设计将１帧数据分成若干个片进行独立　在线程任务池中完成的任务。　编码。１个帧级编码任务仅仅是接收来自上层的参数并　解码函数并行框架类似于图１中所示的单独解码器，　根据对应的参数创建多个片级编码任务。调度器随后将　解码函数与编码函数之间的联系除了用于缓存解码器输　片级的编码任务分发到各个核上同时执行，各个片编码完　出的ＹＵＶ缓冲区以及ＹＵＶ缓冲区对应的可读可写标志　成之后再将各个片的码流重组在一起进行输出（例如写　之外，再没有别的联系。此外，具体的并行解码任务与并　入文件或者封包成ＲＴＰ数据包）。　行编码任务都被放置在线程任务池中，由调度器统一管　产生了片级的并行任务之后，可以根据核的个数决　理。具体流程描述如下：　定是否采用更小粒度的并行。如果并行帧数为４，帧内片　１）主线程首先初始化ＭＰＥＧ一２解码器与Ｈ．２６４编　数为１４（即５个宏块行为１个片），则理论上最多同时有　码器，创建ＹＵＶ缓冲区队列并设置所有缓冲区可写标志，　４×１４＝５６个颗粒度较小的并行任务，对于１０个核以下的　随后读人ＭＰＥＧ－２码流。　处理器，任务数已经足够。此外，引入分片之后，由于帧内　２）主线程检查ＹＵＶ缓冲区队列对应ＹＵＶ缓冲区是　相关性降低　Ｊ，会导致编码之后码率增大，因此虽然分　否可写。若可写，则调用并行解码函数解析码流并创建并　片可以增大并行加速比，但是不可能为了提高编码速度无　行解码基本任务（在主线程中）。若不可写，即代表该缓　限提高分片数。实现时分片数可以根据具体性能予以　冲区正在被编码器使用，解码器暂停直至该缓冲区可写标　调整。　志重新被设置。　对于本设计，并行任务细化到片级并行任务时任务　３ａ）主线程等待一帧数据解码完毕。　数已经足够，因后不再进行粒度更小的宏块级并行。此时　３ｂ）调度器调度各线程执行具体的解码任务。　１个片级并行任务包含了如下功能：　４ａ）１帧数据解码完毕之后主线程输出解码产生的　１）接收来自上层的参数并存取。由于采用了并行设　ＹＵＶ数据至ＹＵＶ缓冲区中并清空该缓冲区对应的可写　计，很多参数都会随着并行的出现发生改变，因此在进行　标志。之后主线程调用编码函数创建帧间并行任务。主　真正的片级编码之前，需要首先备份来自上层的有关　线程随后继续解码下１帧。　参数。　４ｂ）调度器调度线程执行帧间并行任务以及其后的　２）帧内数据从变换量化预测补偿到熵编码的一整套　片级并行任务。１帧ＹＵＶ数据编码完毕之后输出该帧码　编码流程。每片的编码任务仅仅会在该片所需数据已经　流并设置缓冲区可写标志。　准备就绪的时候才开始，因此一旦并行任务开始执行时，　上述流程中，包含３ｂ）的任务是计算量最大的任务，　该片编码已经不用考虑依赖性问题，保证了高效并行。　由调度器管理，由各工作线程完成，其余任务由主线程完　３）各片已编码码流整合。分片编码之后需要按照各　成。上述流程除了４ａ）依赖于３ｂ）之外（不包括由于缓冲　投稿网址ｈｔｔｐ：／＾　￣ｖ．ＶｉｄｅｏＥ．ｏｎＩ《电视技术》第３６卷第２１期（总第３９８期）　１７　

ＩＩ，Ｄ　解码端　编码端　图２转码器流程图　区引入的等待），主函数与线程任务池之间没有依赖。　换之后的Ｈ．２６４码流码率为６　Ｍｂｉｔ／ｓ。　从而保证了二者都可以各自执行自己的任务，提高了效　通过比较ＹＵＶ缓冲队列长度对于转码性能的影响，　　率从而保证了较高的并行性。实际实现时，ＹＵＶ缓冲区　最终确定的ＹＵＶ缓冲区队列长度为４。队列的长度可以根据具体性能以及可用的内存资源确　３．２．１并行线性　并行线性是指并行设计的加速比随着核数的增多而　定一个较为合理的值：当缓冲区队列长度较小时，容易　线性　造成编码器与解码器过多的等待，影响转码器性能；而　线性增长的性质。对于一个并行设计的转码器而言，队列过长，并不能带来太多性能的提升，反而造成内存　无疑是最重要的性质。对相同码率不同码流转码速度的　资源的浪费。　测试结果如图３所示。　３　Ｔｉｌｅｒａ平台并行转码器实现　４０　３．１　Ｔｉｌｅｒａ平台简介　本设计的实现平台即采用Ｔｉｌｅｒａ公司Ｔｉｌｅ　Ｐｒｏ６４处理　器的计算服务器。该处理器由６４个同构的核构成，单核　１　３ｏ　２０　频率最高为８６６　ＭＨｚ。核间通信通过Ｔｉｌｅｒａ公司独特的　核问互联技术实现，保证了极高的吞吐率与极小的时延，　留　１０　是实现多核设计或者众核设计的出色的实验平台。此外，　服务器共有４个ＤＤＲ２　６６７控制器，每个控制器控制　２　Ｇｂｙｔｅ内存，共８　Ｇｂｙｔｅ内存。　３．２　Ｔｉｌｅｒａ平台并行转码器性能　本设计测试了３个ＭＰＥＧ码流，即：ＣｒｏｗｄＲｕｎ　（２５　Ｍｂｉｔ／ｓ），Ｔｒａｃｔｏｒ（２５　Ｍｂｉｔ／ｓ）以及“ｆｅ（２５　Ｍｂｉｔ／ｓ），转　４　８　１２　１６　２Ｏ　２４　核数　图３相同码率不同码流转码结果　可以看到，在核数较少的时候（１０个核以下），本设计　ｌ８《电视技术》第３６卷第２１期（总第３９８期）Ｉ投稿网址ｈｌｔｐ：／／ｗｗｗ．ＶｉｄｅｏＥ．ＣＲ