CN100499817C - 多媒体目标的可伸缩编码 - Google Patents

多媒体目标的可伸缩编码 Download PDF

Info

Publication number
CN100499817C
CN100499817C CNB018047726A CN01804772A CN100499817C CN 100499817 C CN100499817 C CN 100499817C CN B018047726 A CNB018047726 A CN B018047726A CN 01804772 A CN01804772 A CN 01804772A CN 100499817 C CN100499817 C CN 100499817C
Authority
CN
China
Prior art keywords
quality
bit stream
status stamp
quality status
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CNB018047726A
Other languages
English (en)
Other versions
CN1398489A (zh
Inventor
R·J·范德弗洛伊滕
M·范德沙尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of CN1398489A publication Critical patent/CN1398489A/zh
Application granted granted Critical
Publication of CN100499817C publication Critical patent/CN100499817C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/34—Scalability techniques involving progressive bit-plane based encoding of the enhancement layer, e.g. fine granular scalability [FGS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115—Selection of the code volume for a coding unit prior to coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H04N19/29—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding involving scalability at the object level, e.g. video object layer [VOL]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness

Abstract

多媒体目标被编码以获得比特流时提供的编码，并且质量信息加入到比特流中，质量信息表示与比特流的特定位置(或特定部分)相关的目标的质量。通过向比特流中加入质量信息，由于目标的质量能够容易地被考虑，所以共同保存或发送多个编码目标能够被优化。

Description

多媒体目标的可伸缩编码
技术领域
本发明涉及对多媒体目标的编码。
背景技术
可伸缩压缩，例如多媒体目标之类的目标的小颗粒的可伸缩压缩具有很有用的特征，即编码比特流可以在给定点被截短(truncate)，而其余的数据流可以仍然被解码(尽管以较低的目标质量)。这样的可伸缩编码的标准，即MPEG-4小颗粒可伸缩性(MPEG-4 Fine GranularityScalability)编码的标准被普遍定义，见ISO/IEC 14496-2/AMD 4，2000年三月的文件ISO/IEC JTC1/SC29/WG11 N3315(还被称为N3315)，它在这里被引入作为参考。另一个可伸缩编码方法在2000年3月23日提交的未预先公开的欧洲专利申请00201037.9(我们的参考编号PHNL000153)中被描述，它也在这里引入作为参考。
在编码比特流适合某种给定比特率或存储尺寸时通过典型地消除对缓冲控制方法的需要，这样的可伸缩比特流的有效性相当大地简化了系统设计。尤其是，相同的信号比特流同时用于具有不同性能的不同信道，而不需要再编码原始数据。因此，对改变的信道性能(应用到互联网或无线通信信道)的实时适应被很大程度上简化。
在小颗粒可伸缩性出现之前，已经有一些形式的有限的可伸缩性存在。比特流由几个大层组成，即基础层和例如一个或两个增强层。这样的可伸缩性在例如JPEG标准(分级编码)以及MPEG2标准(SNR可伸缩性，空间可伸缩性，时间可伸缩性)中被定义。
发明内容
本发明的一个目的是提供改进的编码。为此，本发明提供如独立权利要求所定义的对多媒体目标进行编码以获得比特流、控制比特流、传输比特流、接收比特流、多路复用器或网络节点、(可伸缩)比特流表示多媒体目标、存储介质、计算机程序以及承载计算机程序的信号。改进的实施例在从属权利要求中被定义。
根据本发明的第一个方面，多媒体目标被编码以获得比特流，并且质量信息被加入到比特流中，该质量信息表示与比特流中的给定位置或比特流的给定部分相关的目标的质量，其中质量标记被加到比特流中，而质量标记提供质量标记值，其表示当比特流在与该质量标记相关的给定点被截短时被编码目标的再生(reproduction)质量。通过在比特流中加入质量信息，一起保存或传输多个编码目标能够被优化，因为目标的质量能够容易地被考虑。本发明的这方面基于以下理解，即确定压缩目标的速率(rate)是容易的，但是不容易确定另一个重要参数，即质量测量，例如失真。实际上，当全部的源信息仍然可获得时，失真只能在编码时被正确地获得。根据本发明的这一方面，比特流体系通过增加质量(失真)信息被增强，其中通过提供具有质量标记值的质量标记来增加质量信息，而质量标记值表示当比特流在与该质量标记相关的给定点被截短时被编码目标的再生质量。这能够在比特率没有增加或增加很小时完成并且对几个编码方案扩展了应用范围。多媒体目标可以是音频和/或视频目标或任意其他可再现的目标，其中对于这些可再现的目标，质量是有关的。多媒体目标也可以是图片或图片的序列，比如节目。
最好，编码是可伸缩编码，并且所得到的比特流是可伸缩比特流。特别地，对于可伸缩编码方案，质量信息是有优势的，因为这些比特流适于截短。对很多应用来说，其中可伸缩比特流被截短，具有截短后产生的比特流的质量指示是很重要的，这很容易通过包括在可伸缩比特流中的质量标记值中的质量信息来提供。
质量标记值表示当目标在与质量标记相关的点被截短时的目标再生质量。有关目标再生质量-比特数即截短点的信息则很容易确定。为了确定质量的数量，最好使用信噪比(SNR)或峰值信噪比(PSNR)值。
尽管单个目标的编码流可以通过使它适合于可用带宽/存储空间来被最佳地截短，但是这不发生在同时处理多个物体的情况下。为了同时最佳地分配一定带宽或存储空间给多个目标，必须知道每个编码目标的不同的速率-失真曲线。尽管该曲线在目标编码期间(当原始信号可获得时)相对容易获得，但是当只能利用编码比特流的截短样式时，在以后(通过估计)获得是重要的。在后面的时刻质量的估计需要压缩方法的详细知识以及编码比特流的至少部分解码。
加入到可伸缩比特流中的质量标记的质量标记值表示当比特流在与给定标记相关的点上被截短时编码目标的再生质量。尽管质量信息的加入可能需要一定的费用，但是这个费用可以保持得很小。一个重要的优势在于：质量信息使之很容易一起最优化地截短多个目标的比特流。这样的多路截短问题发生在例如在2000年3月13日申请的未预先公开的欧洲专利申请00200890.2中描述的弹性存储器中(我们的参考号是PHNL000110)，它在这里引用作为参考。另一个申请是多路复用器或网络节点，其中输出带宽暂时低于输入带宽，并因此输入可伸缩压缩的比特流需要被截短。
在进行压缩时，输入数据通常被压缩为多个单元(例如DCT块的部分，小波变换图象的频带的部分或层)。每个编码部分通常包含一些具有各种参数或标记的首部。在本发明的改进的实施例中，表示当目标恰好在当前编码数据部分之后或选择地恰好在当前编码数据部分之前被截短时该目标的质量的参数被加入到这样的首部中。质量参数的一个例子是加入与再生的均方误差(或PSNR或SNR)相关的数；该数也可能表示视觉上加权的(P)SNR。质量指示的类型(或多个类型)可能被标准化，所以所有的编码器将使用相同或限制数量的不同的质量指示符。质量也可能是相对的(例如是百分数)，所以编码器将不必公开它的质量测量(方式)。则相对质量对于每个单独目标可能在从0到100％的特定标度的范围内，对于每个目标具有附加的标度/加权参数，使得各种目标有不同的权值。
质量标记可能被放置在整个编码流中近似相等的距离(比特数)上，或者当比特率与质量曲线快速变化时，它们可以更高频率地被使用。当编码比特流必须被截短时，不对应于一个标记位置的每个截短点的质量能够通过质量标记值的内插(线性或更复杂)来近似。
在本发明的实施例中，质量信息使用已经在标准中定义的标记被加入到MPEG-4FGS的编码比特流中，参见上述的参照号N3315。以这种方式，不必改变建议的标准，质量信息就能够被加入，这是巨大的优势。
对于解码的多媒体目标来说，质量信息可以被用于自适应后处理或用于不可伸缩压缩方法的可伸缩视频处理运算法则等。例如，对于MPEG压缩视频的后处理，质量信息能够有助于确定需要的后处理的“强度”或数量或类型(阻塞人工制品/阻尼振荡降低)。对于可伸缩视频算法，质量信息能够帮助更好地估计使用某种选定的视频处理算法为获得某种理想的处理质量水平而需要的CPU循环的数量。
质量信息可以作为侧向信息(辅助信息)被加入到比特流，即不包括在比特流本身中。
对于加密的比特流，质量信息未加密是有利的。比特流的特定部分(例如层)的质量则能够不解密比特流而在解码器中进行确定。
质量信息也能够被有利地用于信源编码和信道编码不同时或不在同一位置执行的情况。质量信息则用在信道编码中，例如，以确定保护比率。
参照下文的实施例，本发明的前述和其他方面将变得显然并将被阐明。
附图说明
图1示出了根据本发明的实施例的系统，以及
图2示出了本发明的更有利的实施例。
这些图只示出了理解本发明所必要的那些部件。
具体实施方式
图1示出了根据本发明的实施例的一个系统，该系统包括具有输入单元或目标产生单元110和编码器的发射机11。编码器12包括可伸缩编码器120和质量信息产生单元121。可伸缩编码器120对从输入单元1l0获得的编码目标编码，以提供一个和多个可伸缩比特流。质量信息产生单元121从输入单元110获得的信号以及由编码器120提供的信号和/或参数中提取目标质量。来自产生单元121的质量信息被提供给编码器单元120，该编码器单元120产生质量信息标记并把它们插入到比特流中。该系统还包括用于截短一个或多个可伸缩比特流的截短器3和截短器控制单元4。截短器控制单元4从编码器12提供的可伸缩比特流中提取质量信息并根据接收到的质量信息/标记来控制截短器3。在只有一个可伸缩比特流的情况下，当已经达到理想质量时，可伸缩比特流被截短。截短器3和控制单元4可以一起组成多路复用器、比特率控制器、网络节点等部分，并且可以出现在信道中，也可以在接收机中。作为选择，单元5可以是再生单元和/或解码器，例如，根据本发明的实施例，它与截短器3和控制单元4一起出现在接收机中。
在更有利的应用中，如图2所示，多路可伸缩比特流由发射机21、31、41提供，其中至少有一些可伸缩比特流具有包含在这些比特流中的质量标记。发射机21、31、41和它们的部件与图1所示的发射机11类似。根据在信道或存储介质15中的可用带宽或存储容量并依赖于出现在可伸缩比特流中的质量信息/标记，可伸缩比特流被更多或更少地截短。这样的多路截短能够用在2000年3月13日申请的未预先公开的欧洲专利申请00200890.2(我们的参照号为PHNL000110)中描述的弹性存储器的原理来完成，该文献在这里被引用作为参考。多路复用器16合并来自发射机的数据流。截短器13和控制单元14可以一起组成多路复用器(例如16)、比特率控制单元、网络节点等，并可以出现在信道以及接收机中。单元15可以选择地是再生单元和/或解码器，例如，根据本发明的实施例，它与截短器13和控制单元14一起出现在接收机中。
在下文中，给出了需要质量信息的MPEG-4 FGS的应用的一些例子。尽管以下的例子特别针对MPEG-4 FGS，但是本领域技术人员很清楚，本发明能够有利地用于任意的可伸缩编码方案。从应用的观点来看，失真是MPEG-4 FGS方案的重要参数。如果不能获得失真信息，则FGS的可用性受到限制，这通过给出需要该信息的各种应用在下文中被证明。根据本发明的实施例，FGS比特流体系通过加入质量(失真)信息被增强。这能够在比特率没有增加或具有可忽略的增加时完成并且扩大了用于FGS的应用的范围。
本发明的第一种应用是对于恒定质量(因而可变比特率)输出的编码。这可以用来在允许可变比特率的存储介质上以恒定的质量记录视频数据。因为使用了质量信息，最终比特流在初始编码期间不需要被产生，但是它能够在以后通过处理编码数据流而获得。
出售不同质量的同一内容能够用上述可伸缩(小颗粒或分层)压缩方法随后通过一层或多层的加密来完成：很多可伸缩压缩方法的特性在于，当最低可伸缩性层不可用时，更高的可伸缩性层没有用，即不能被用于增加质量。当可伸缩压缩的内容被加密时，仍然有可能把它用于弹性存储，即通过去掉一些增强层来降低存储空间量。对于弹性介质，参照前述的PHNL000110。为了确定要去掉多少数据，应当可以获得一些关于相关的质量损失的信息，因为该信息不能够在不解密它的情况下再从压缩比特流中获得。在本发明的当前实施例中，质量信息作为未加密的信息例如侧向信息被发送。以不同质量等级销售同一内容的商业模式与弹性存储紧密相关，因为相同的内容也用可伸缩编码以多种质量等级被存储。为了购买而提供给消费者的质量等级优选地直接对应于在弹性存储系统中使用的质量等级。这意味着：当弹性存储装置想降低某一内容项目的质量时，它能够去掉最高的加密质量层，而不需要将它解密。因为该装置不解密任何数据，所以没有安全性或盗窃的风险。为了在从内容拥有者或服务提供商到消费者(用户)的整个链中保持安全性，内容最好由内容拥有者压缩(使用可伸缩压缩方法)并以想要的质量等级加密，并且接着以加密的形式被分配给弹性存储装置(直接发送或下载或间接经中间存储器到光盘上)。
在弹性存储应用中，用户(或基于已知用户的偏爱的装置)可以任意选择某一理想的最低质量等级。即，当前可获得的比用户最低理想的质量等级更高的质量的内容可以在质量上被降低，从而给另外的不同的内容留出空间，直到达到用户可接受的最低质量为止。然而，当内容仍然可以更高的质量获得时，用户也有购买更高质量的选择权。当然用户(或装置)也可以对不同类型的内容(比如体育、谈话节目或电影)预置不同的想要的最低质量等级。
另外，也有可能让服务提供商管理存储空间并确定应当去掉哪一质量等级(在该情况下，服务提供商保持质量跟踪并可以执行弹性存储功能)。这在内容被服务提供商放到具有存储功能(例如硬盘)的机顶盒中时可能有用。当用户不在某一时间观看/购买内容时，保存在机顶盒中的质量等级可以被降低以给不同的内容留出空间。
质量信息也允许信源编码和信道编码在不同的时刻或位置执行。因为在编码时信道特性可能还不知道，所以这是有用的。而且，相同的编码比特流可以为具有不同误差特性的不同信道服务。最终，没有存储空间被浪费来保存误差校正额外消耗。当需要时误差校正可以产生，因为质量字段(field)给出加入信道编码所需要的信息(使用不等误差保护)。
在多路编码的FGS帧必须一起被处理的时候有应用。这能够发生在例如拥挤的网络节点中，在那里存在暂时较少的带宽。网络节点则能够使用质量信息来以最低的质量损耗来优化截短比特流。因为包含多个目标，每个目标都可能有非常不同的速率-失真曲线，所以截短不能在没有质量信息的情况下被满意地完成。
另外，质量信息能够为流动应用提供具有好的工具的服务器来在发送时刻执行速率控制，以及也在SNR和暂态增强(FGS对FGST，见N3315中的定义)之间进行折中。
在MPEG-4 FGS中，需要的质量信息实际上时对可伸缩增强层的速率-失真曲线。因为速率是显而易见的，所以只有失真信息必须加入。已经提出了两种允许在不修改或最小修改当前FGS比特流体系的情况下加入该信息的解决方案。
解决方案A。位平面的开始是加入质量信息/字段的适宜点，因为在该点上能够容易地恢复信息并提供足够的样本来精确地描绘速率-失真曲线。“质量代码”将与当前fgs_bp_start-code一样，它的最后5比特表示位平面的ID。代替位平面ID，质量信息能够插入到这5比特中。在最佳实施例中，比特被加入到序列(体系)中，以表示fgs_bp_start_code包含位平面ID还是质量信息。
解决方案B。或者，新的代码能够被确定用于质量信息并插入到fgs_bp_start_code后面。在这种情况下，质量标记能够有8比特。
我们提出保存在质量字段中的信息在跟随在质量字段后面完全解码位平面之后是失真。以这种方式，当数据流在位平面中被截短时，近似质量可以通过内插法获得。这比外推法简单，外推法将在质量字段将在解码当前位平面之前含有关于失真的信息时被要求。例如，让Q1是解码位平面前的质量，Q2是解码位平面后的质量(因为上述假设，Q2已经在位平面开始时被解码器知道)。如果数据流在位平面中被截短，则知道真实质量Q位于间隔<Q1，Q2>内。因此，它能够简单地近似为Q=(Q1+Q2)/2。通过也考虑解码的DCT块的数量，能够作出更精确的近似。例如，如果对于一帧总共N块的n输出，对于当前位平面的增强信息已经被接收，则真实质量能够被近似为Q=Q1+(Q2-Q1)*n/N。
在解决方案A的最佳实施例中，用于增强D第一质量字段VOP，即对于最重要(最高有效)(MSB)位平面的字段包含绝对质量(失真)，而附加字段包含相对于前一质量的质量改善(失真降低)。绝对质量能够被用于比较不同的目标。当绝对质量将被使用时，把质量改善加入到附加字段中允许这些改善用更高的精确度表示。当对于每个字段只有5比特时，这尤其重要。
为了量化质量，最好使用PSNR值。如上所述，第一质量字段包含绝对质量。我们提出在解码第一(MSB)位平面后用5比特来给出PSNR，以1dB步长的18...49dB的范围。该范围覆盖所有实际上相关的PSNR值：当PSNR超过49dB时，基本层已经包含目标的接近无损失的表示。低于18dB的PSNR将表示基本层提供了非常低的质量，这是很不希望获得的。当范围之外的值发生时，它们将根据它们是低于还是高于允许的范围而被限制为18或49dB。
下一个质量字段则将包含相对于解码在前的位平面后的质量对完全解码随后的位平面的质量改善。最好，这5比特被用于给出这些质量改善，以0...6.2dB的范围，0.2dB的步长。因为单个比特被加入，改善不能超过6.02dB，所以这一范围足够了。
对解决方案B，当8比特被用于质量标记时，质量值(绝对值和微分值)能够用更细的微粒表示。但是，解决方案B也将允许我们简单地只使用绝对(即非微分)质量值。质量范围将是18...60.5dB，步长为1/6≈0.167dB(或者18...49.875dB，步长为0.125dB)。
MPEG-4的各种应用以将在以上公开，该应用需要质量信息。因为只有在原始编码发生时，该信息完全可获得，所以它被加入到比特流中，使得它在以后的使用中可获得。这利用当前比特流体系的最小修改而能够以没有或很小比特率增加的情况下完成。两个详细的解决方案已经被表示为加入PSNR质量值。使用绝对质量值的解决方案B更好。
本发明应用于多路可伸缩压缩多媒体目标必须一起被保存或发送，并且这些目标中有一些已经用与本发明结合的MPEG-4FGS压缩。典型的应用是弹性存储器应用以及处理多目标/用户的发送信道或网络。当存储器/信道/网络必须由几个目标/用户来分享时，他们获得高质量。质量自动降低以适应其他的目标/用户。由于根据本发明的实施例质量标记的存在，这能够被有效地完成，即以低的额外开销来完成。
本发明也能够有利地应用于其中信源编码和信道编码不在同一时间或位置执行的应用。质量标记则给出加入信道编码所需要的信息(不等误差保护，例如，对于表示更高质量的比特流的部分的更多保护，或利用高的质量对位数量比率，对于比特流部分的更多保护)。
本发明也可以被有利地用于诸如JPEG2000的可伸缩图象处理方案的情况下，见2000年3月16日的文件ISO/IEC JTC 1/SC 29/WG 1N1646，它在这里引入作为参考。质量信息可以方便地包含在JPEG2000中，因为注释和扩展标记(CME)已经被定义(见文件N1646的52页)，这允许在首部中有开放的数据。质量信息被有利地包括在特定的CME中。例如二进制数据能够被包含(Rcme＝0)。而且，根据本发明的一个实施例，分离的Rcme类型被定义用于质量标记。
应当注意到，上述实施例描述了而非限制了本发明，本领域技术人员将能够在不脱离随附的权利要求的范围的条件下设计很多其他的实施例。在权利要求中，任何放置在括号内的附图标记都将不解释为对权利要求的限制。词语“包括”不排除超出权利要求中列出的那些元件和步骤的存在。本发明能够通过包括几个不同部件的硬件，或通过适当编程的计算机来实现。在列举了几个装置的设备权利要求中，这些装置中的几个能够用一个或相同功能的硬件来实现。某些措施在在彼此不同的独立权利要求中列出这一事实比表示这些措施的组合不能被用来取得优势。

Claims (22)

1.一种编码多媒体目标的方法，该方法包括以下步骤：
编码目标，以获得比特流；以及
向比特流中加入质量信息，该质量信息表示与比特流中的特定位置或比特流的特定部分相关的被编码目标的质量，其中质量标记被加到比特流中，质量标记提供质量标记值，所述质量标记值表示当比特流在与质量标记相关的给定点被截短时被编码目标的再生质量。
2.根据权利要求1所述的方法，其中编码步骤是可伸缩编码步骤，以获得可伸缩比特流。
3.根据权利要求1所述的方法，其中使用目标的速率-失真曲线在目标编码期间获得质量标记值。
4.根据权利要求1所述的方法，其中质量标记值基于信噪比值。
5.根据前述权利要求之中任一项权利要求所述的方法，其中质量标记被加到比特流中的特定位置上，所述质量标记值表示当比特流恰好在比特流中的特定位置之后或选择地恰好在比特流中的特定位置之前被截短时被编码目标的再生质量。
6.根据权利要求5所述的方法，其中质量标记在整个被编码比特流中被放置在相等的距离处。
7.根据权利要求1所述的方法，其中通过插入质量标记值，进行用于截短在质量标记相关的点之间的编码比特流的质量值的估计。
8.根据权利要求1所述的方法，其中质量标记被并入特定可伸缩编码标准的现有字段。
9.根据权利要求2所述的方法，其中可伸缩比特流包括若干层，并且其中各个层包括各自的质量标记。
10.根据权利要求1所述的方法，其中比特流被加密，而质量信息未加密。
11.根据权利要求1所述的方法，其中第一质量字段包括绝对质量值，而附加质量字段包括质量改进。
12.根据权利要求1所述的方法，其中全部的质量字段包括绝对质量值。
13.一种控制表示其中已经以质量标记的形式加入比特流质量信息的多媒体目标的比特流的方法，质量标记具有质量标记值，所述质量标记值表示当比特流在与质量标记相关的点被截短时被编码目标的再生质量，该方法包括以下步骤：
接收比特流；
从比特流的质量标记中，提取质量标记值；
在比特流的比特率和再生质量的期望组合与接收到的比特流的比特率和再生质量的当前组合不同的情况下，译码或截短比特流；
以比特率和再生质量的期望组合，提供比特流。
14.一种发送多媒体目标的方法，该方法包括以下步骤：
编码目标，以获得比特流；以及
向比特流中加入质量信息，该质量信息表示与比特流中的特定位置或比特流的特定部分相关的编码目标的质量，其中质量标记被加到比特流中，质量标记提供质量标记值，所述质量标记值表示当比特流在与质量标记相关的给定点被截短时被编码目标的再生质量；
发送质量信息已经加入到其中的比特流。
15.一种接收比特流的方法，所述比特流表示比特流质量信息已经以质量标记的形式加入其中的多媒体目标，质量标记具有质量标记值，所述质量标记值表示当比特流在与给定的质量标记相关的点被截短时被编码目标的再生质量，该方法包括以下步骤：
从比特流中的质量标记值提取质量信息；
在比特流的比特率和再生质量的期望组合与接收到的比特流的比特率和再生质量的当前组合不同的情况下，译码或截短比特流；
以比特率和再生质量的期望组合，提供比特流；和
以比特率和再生质量的期望组合，解码比特流。
16.一种接收比特流的方法，所述比特流表示比特流质量信息已经以质量标记的形式加入其中的多媒体目标，质量标记具有质量标记值，所述质量标记值表示当比特流在与给定的质量标记相关的点被截短时被编码目标的再生质量，该方法包括以下步骤：
从比特流中的质量标记值提取质量信息；
解码比特流，以获得解码的多媒体目标；以及
根据提取的质量信息，处理多媒体目标。
17.一种编码多媒体目标的设备，该设备包括：
用于编码目标以获得比特流的装置；以及
用于为编码比特流中的一个或多个点确定质量值的装置，所述质量值表示当比特流在所述一个或多个点被截短时目标的再生质量；
用于以与所述一个或多个点相关的质量标记的形式向比特流中加入质量信息的装置，所述质量标记具有质量标记值，所述质量标记值表示当比特流在与质量标记相关的点被截短时目标的再生质量。
18.一种发射机，包括根据权利要求17所述的设备。
19.一种控制器，用于控制表示其中已经以质量标记的形式加入比特流质量信息的多媒体目标的比特流，质量标记具有质量标记值，所述质量标记值表示当比特流在与给定的质量标记相关的点被截短时被编码目标的再生质量，该控制器包括：
用于接收比特流的装置；
用于从比特流中的质量标记值提取质量信息的装置；
用于在比特流的比特率和再生质量的期望组合与接收到的比特流的比特率和再生质量的当前组合不同的情况下截短比特流的装置；
用于以比特率和再生质量的期望组合提供比特流的装置。
20.一种接收机，包括根据权利要求19所述的控制器。
21.一种接收机，用于接收表示比特流质量信息已经以质量标记的形式加入其中的多媒体目标的比特流，质量标记具有质量标记值，所述质量标记值表示当比特流在与给定的质量标记相关的点被截短时被编码目标的再生质量，该接收机包括：
用于从比特流中的质量标记值提取质量信息的装置；
用于解码比特流以获得解码的多媒体目标的装置；以及
用于根据提取的质量信息处理多媒体目标的装置。
22.一种多路复用器或网络节点，包括根据权利要求19所述的控制器。
CNB018047726A 2000-10-11 2001-10-04 多媒体目标的可伸缩编码 Expired - Fee Related CN100499817C (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US23934500P 2000-10-11 2000-10-11
US60/239,345 2000-10-11
US23965900P 2000-10-12 2000-10-12
US60/239,659 2000-10-12

Publications (2)

Publication Number Publication Date
CN1398489A CN1398489A (zh) 2003-02-19
CN100499817C true CN100499817C (zh) 2009-06-10

Family

ID=26932482

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB018047726A Expired - Fee Related CN100499817C (zh) 2000-10-11 2001-10-04 多媒体目标的可伸缩编码

Country Status (10)

Country Link
US (2) US20020076043A1 (zh)
EP (1) EP1327360A1 (zh)
JP (1) JP4063666B2 (zh)
KR (1) KR100887165B1 (zh)
CN (1) CN100499817C (zh)
AU (1) AU2002220595A1 (zh)
BR (1) BR0107307A (zh)
PL (1) PL356718A1 (zh)
RU (1) RU2284671C2 (zh)
WO (1) WO2002032147A1 (zh)

Families Citing this family (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8391482B2 (en) * 2001-05-04 2013-03-05 Hewlett-Packard Development Company, L.P. Signal format that facilitates easy scalability of data streams
US20030041257A1 (en) * 2001-05-04 2003-02-27 Wee Susie J. Systems, methods and storage devices for scalable data streaming
US7155010B2 (en) * 2001-05-04 2006-12-26 Hewlett-Packard Development Company, L.P. Signal format that facilitates easy scalability of encrypted streams
US7124442B2 (en) * 2001-07-25 2006-10-17 440 Pammel, Inc. System and method for insertion and retrieval of microthreads in transmitted data
US6925120B2 (en) * 2001-09-24 2005-08-02 Mitsubishi Electric Research Labs, Inc. Transcoder for scalable multi-layer constant quality video bitstreams
US20030076858A1 (en) * 2001-10-19 2003-04-24 Sharp Laboratories Of America, Inc. Multi-layer data transmission system
WO2003077457A1 (en) 2002-03-08 2003-09-18 Aware, Inc. Systems and methods for high rate ofdm communications
US6987890B2 (en) * 2002-03-27 2006-01-17 Eastman Kodak Company Producing and encoding rate-distortion information allowing optimal transcoding of compressed digital image
AU2003267076A1 (en) * 2002-09-10 2004-04-30 Thomson Licensing S.A. Video on demand server system and method
JP3952459B2 (ja) * 2002-11-15 2007-08-01 株式会社リコー 画像処理装置、プログラム、記憶媒体及び画像処理方法
US7406176B2 (en) * 2003-04-01 2008-07-29 Microsoft Corporation Fully scalable encryption for scalable multimedia
FR2857204A1 (fr) * 2003-07-03 2005-01-07 Thomson Licensing Sa Dispositif et procede de compression ou de decompression d'images numeriques
WO2005020581A1 (en) * 2003-08-26 2005-03-03 Samsung Electronics Co., Ltd. Scalable video coding method and apparatus using pre-decoder
US7844992B2 (en) 2003-09-10 2010-11-30 Thomson Licensing Video on demand server system and method
US20050076214A1 (en) * 2003-10-03 2005-04-07 Thomas David Andrew Method and system for file downloads to portable computing devices
US7430336B2 (en) 2004-05-06 2008-09-30 Qualcomm Incorporated Method and apparatus for image enhancement for low bit rate video compression
DE102004029872B4 (de) * 2004-06-16 2011-05-05 Deutsche Telekom Ag Verfahren und Anordnung zur Verbesserung der Qualität bei der Übertragung codierter Audio-/Video-Signale
CA2583603A1 (en) * 2004-10-12 2006-04-20 Droplet Technology, Inc. Mobile imaging application, device architecture, and service platform architecture
KR20060059782A (ko) * 2004-11-29 2006-06-02 엘지전자 주식회사 영상신호의 스케일러블 프로그레시브 다운로딩을 지원하는방법
US8677504B2 (en) * 2005-07-14 2014-03-18 Qualcomm Incorporated Method and apparatus for encrypting/decrypting multimedia content to allow random access
US7668205B2 (en) * 2005-09-20 2010-02-23 Celo Data, Inc. Method, system and program product for the insertion and retrieval of identifying artifacts in transmitted lossy and lossless data
US8566857B2 (en) * 2005-09-20 2013-10-22 Forefront Assets Limited Liability Company Method, system and program product for broadcast advertising and other broadcast content performance verification utilizing digital artifacts
US8566858B2 (en) * 2005-09-20 2013-10-22 Forefront Assets Limited Liability Company Method, system and program product for broadcast error protection of content elements utilizing digital artifacts
US8966517B2 (en) 2005-09-20 2015-02-24 Forefront Assets Limited Liability Company Method, system and program product for broadcast operations utilizing internet protocol and digital artifacts
KR100733261B1 (ko) * 2005-09-21 2007-06-27 에스케이 텔레콤주식회사 혼합된 화질 지수를 이용한 객관적 동영상 화질 평가시스템 및 방법과 이를 위한 동영상 부호화 장치 및 방법
CA2624339C (en) 2005-10-12 2014-12-02 Thomson Licensing Region of interest h.264 scalable video coding
MY148628A (en) * 2006-01-11 2013-05-15 Nokia Corp Backward-compatible aggregation of pictures in scalable video coding
CA2657267C (en) 2006-07-13 2013-07-16 Qualcomm Incorporated Video coding with fine granularity scalability using cycle-aligned fragments
US20080095228A1 (en) 2006-10-20 2008-04-24 Nokia Corporation System and method for providing picture output indications in video coding
WO2008126059A2 (en) 2007-04-17 2008-10-23 Nokia Corporation Feedback based scalable video coding
KR100937590B1 (ko) * 2007-10-23 2010-01-20 한국전자통신연구원 다중 품질 서비스 영상 콘텐츠 제공 시스템 및 그것의업그레이드 방법
EP2081381A1 (en) * 2008-01-17 2009-07-22 Thomson Licensing Method and apparatus for selective data encryption
FR2933837A1 (fr) * 2008-12-10 2010-01-15 Thomson Licensing Procede de codage, procede et dispositif de transcodage et flux de donnees image codees.
CN101552913B (zh) * 2009-05-12 2011-07-06 腾讯科技（深圳）有限公司 多路视频通讯系统及处理方法
WO2011028175A1 (en) * 2009-09-01 2011-03-10 Agency For Science, Technology And Research Terminal device and method for processing an encrypted bit stream
US9986252B2 (en) * 2010-04-21 2018-05-29 Mykhaylo Sabelkin Method and apparatus for efficient data communications
EP2518719B1 (en) 2011-04-08 2016-05-18 Dolby Laboratories Licensing Corporation Image range expansion control methods and apparatus
US9602841B2 (en) * 2012-10-30 2017-03-21 Texas Instruments Incorporated System and method for decoding scalable video coding
JP6977422B2 (ja) * 2017-09-13 2021-12-08 株式会社Ｊｖｃケンウッド トランスコード装置、トランスコード方法及びトランスコードプログラム
RU198678U1 (ru) * 2019-12-31 2020-07-22 Федеральное государственное казенное военное образовательное учреждение высшего образования "Краснодарское высшее военное орденов Жукова и Октябрьской Революции Краснознаменное училище имени генерала армии С.М.Штеменко" Министерства обороны Российской Федерации Устройство адаптивного сжатия и выборочного шифрования данных цифрового изображения

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4671849A (en) 1985-05-06 1987-06-09 International Business Machines Corporation Method for control of etch profile
US4918523A (en) * 1987-10-05 1990-04-17 Intel Corporation Digital video formatting and transmission system and method
US5506623A (en) * 1991-12-19 1996-04-09 Sony Corporation Data compression methods and systems with quantization distortion measurement means
EP0731614B1 (en) * 1995-03-10 2002-02-06 Kabushiki Kaisha Toshiba Video coding/decoding apparatus
MX9800245A (es) * 1995-06-29 1998-07-31 Thomson Multimedia Sa Sistema para codificar y descodificar datos de video comprimidos en capas.
US5648541A (en) 1995-09-28 1997-07-15 Nps Pharmaceuticals, Inc. Chiral reductions of imines leading to the syntheses of optically active amines
US6415398B1 (en) * 1995-09-29 2002-07-02 Kabushiki Kaisha Toshiba Coding system and decoding system
US5956674A (en) * 1995-12-01 1999-09-21 Digital Theater Systems, Inc. Multi-channel predictive subband audio coder using psychoacoustic adaptive bit allocation in frequency, time and over the multiple channels
SE515256C2 (sv) 1996-02-12 2001-07-02 Telia Ab LAN-nät och metod för att i ett LAN-nät tillhandahålla avbrottsfritt överlämnande mellan två omkopplare
ATE240579T1 (de) * 1996-03-21 2003-05-15 Toshiba Kk Datenanordnungsverfahren und medium zur datenaufzeichnung oder -transfer, und signalverarbeitungsgerät für das verfahren und das medium
US5894478A (en) 1996-07-24 1999-04-13 Lucent Technologies Inc. Protocol converter and router for multi-mode wireless data communications
US5809139A (en) * 1996-09-13 1998-09-15 Vivo Software, Inc. Watermarking method and apparatus for compressed digital video
JP3193947B2 (ja) * 1997-01-08 2001-07-30 株式会社ディジタル・ビジョン・ラボラトリーズ データ送信システム及びデータ送信方法
KR100261253B1 (ko) * 1997-04-02 2000-07-01 윤종용 비트율 조절이 가능한 오디오 부호화/복호화 방법및 장치
KR100261254B1 (ko) * 1997-04-02 2000-07-01 윤종용 비트율 조절이 가능한 오디오 데이터 부호화/복호화방법 및 장치
JPH10333698A (ja) 1997-05-27 1998-12-18 Matsushita Electric Ind Co Ltd 音声符号化方法、音声復号化方法、音声符号化装置、及び記録媒体
EP0939545A2 (en) * 1998-02-27 1999-09-01 Hitachi, Ltd. Video service system
JPH11331852A (ja) 1998-05-14 1999-11-30 Matsushita Electric Ind Co Ltd 可逆符号化方法および可逆符号化装置
US6845159B1 (en) * 1998-10-07 2005-01-18 Protego Information Ab Processing method and apparatus for converting information from a first format into a second format
US6570922B1 (en) * 1998-11-24 2003-05-27 General Instrument Corporation Rate control for an MPEG transcoder without a priori knowledge of picture type
US6915319B1 (en) * 1999-10-08 2005-07-05 Kabushiki Kaisha Kenwood Method and apparatus for interpolating digital signal
ATE417660T1 (de) * 1999-10-29 2009-01-15 Hollingsworth & Vose Co Filtermaterial
US6493387B1 (en) * 2000-04-10 2002-12-10 Samsung Electronics Co., Ltd. Moving picture coding/decoding method and apparatus having spatially scalable architecture and signal-to-noise ratio scalable architecture together
US6925249B1 (en) * 2000-07-28 2005-08-02 Microsoft Corporation System and method for storing compressed data onto a storage medium
US6658057B1 (en) * 2000-08-31 2003-12-02 General Instrument Corporation Digital transcoder with logo insertion
US7586631B2 (en) * 2000-10-06 2009-09-08 Sony Corporation Image quality correction method, image data processing device, data storing/reproducing method, data batch-processing system, data processing method, and data processing system
US7155010B2 (en) * 2001-05-04 2006-12-26 Hewlett-Packard Development Company, L.P. Signal format that facilitates easy scalability of encrypted streams
US7231587B2 (en) * 2004-03-29 2007-06-12 Lsi Corporation Embedded picture PSNR/CRC data in compressed video bitstream

Also Published As

Publication number Publication date
AU2002220595A1 (en) 2002-04-22
KR20020064930A (ko) 2002-08-10
KR100887165B1 (ko) 2009-03-10
US20110019729A1 (en) 2011-01-27
US8374344B2 (en) 2013-02-12
CN1398489A (zh) 2003-02-19
WO2002032147A1 (en) 2002-04-18
EP1327360A1 (en) 2003-07-16
JP4063666B2 (ja) 2008-03-19
RU2284671C2 (ru) 2006-09-27
JP2004511979A (ja) 2004-04-15
US20020076043A1 (en) 2002-06-20
BR0107307A (pt) 2002-08-13
PL356718A1 (en) 2004-06-28

Similar Documents

Publication Publication Date Title
CN100499817C (zh) 多媒体目标的可伸缩编码
CN102065295B (zh) 对表示图像或图像序列的数据流进行解码的方法和设备
KR100681168B1 (ko) 미세 입상 스케일 가능한 비디오를 위한 잔류 신호의인코딩 및 디코딩 시스템 및 그 방법
CN100531390C (zh) 用于编辑压缩的图象序列的系统
US6542546B1 (en) Adaptable compressed bitstream transcoder
KR100501933B1 (ko) 멀티미디어 데이터 암호화 압축방법 및 장치
US20040120404A1 (en) Variable length data encoding method, variable length data encoding apparatus, variable length encoded data decoding method, and variable length encoded data decoding apparatus
EP2077620B1 (en) System for scalably encoding and decoding data
CA2173881A1 (en) Method and apparatus for matching compressed video signals to a communications channel
CN100375983C (zh) 复合视频解码器和水印创建器
US20020076049A1 (en) Method for distributing perceptually encrypted videos and decypting them
US20100142621A1 (en) Scrambling, descrambling and secured distribution of audio-visual sequences from video coders based on wavelets processing
CA2420423C (en) Digital transcoder with logo insertion
Hartung et al. Copyright protection in video delivery networks by watermarking of pre-compressed video
KR100859897B1 (ko) 스케일러블 비디오 부호화 콘텐츠의 보호 방법 및 그 장치
JP2006279550A (ja) 映像伝送装置およびその受信再生装置
US6345120B1 (en) Image processing system, image data transmission and reception apparatus, and image processing method
CN112004083B (zh) 一种利用帧间预测特性优化码率控制方法及系统
JP2003333595A (ja) 符号化信号変換装置、符号化信号変換方法および符号化信号変換プログラム
Yüksel Partial encryption of video for communication and storage
Thillainathan et al. Scalable image and video coding algorithms
JPH05183894A (ja) 画像符号化／復号装置
Yu et al. VBR transcoding architecture for video streaming

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20090610

Termination date: 20171004