CN1398489A - 多媒体目标的可伸缩编码 - Google Patents

多媒体目标的可伸缩编码 Download PDF

Info

Publication number
CN1398489A
CN1398489A CN01804772A CN01804772A CN1398489A CN 1398489 A CN1398489 A CN 1398489A CN 01804772 A CN01804772 A CN 01804772A CN 01804772 A CN01804772 A CN 01804772A CN 1398489 A CN1398489 A CN 1398489A
Authority
CN
China
Prior art keywords
bit stream
quality
quality information
bit
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN01804772A
Other languages
English (en)
Other versions
CN100499817C (zh
Inventor
R·J·范德弗洛伊滕
M·范德沙尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of CN1398489A publication Critical patent/CN1398489A/zh
Application granted granted Critical
Publication of CN100499817C publication Critical patent/CN100499817C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/34—Scalability techniques involving progressive bit-plane based encoding of the enhancement layer, e.g. fine granular scalability [FGS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115—Selection of the code volume for a coding unit prior to coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H04N19/29—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding involving scalability at the object level, e.g. video object layer [VOL]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness

Abstract

多媒体目标被编码以获得比特流时提供的编码，并且质量信息加入到比特流中，质量信息表示与比特流的特定位置(或特定部分)相关的目标的质量。通过向比特流中加入质量信息，由于目标的质量能够容易地被考虑，所以共同保存或发送多个编码目标能够被优化。

Description

多媒体目标的可伸缩编码
本发明涉及对多媒体目标的编码。
可伸缩压缩，例如多媒体目标之类的目标的小颗粒的可伸缩压缩具有很有用的特征，即编码比特流可以在给定点被截短，而其余的数据流可以仍然被解码(尽管以较低的目标质量)。这样的可伸缩编码的标准，即MPEG-4小颗粒可伸缩性编码的标准被普遍定义，见ISO/IEC14496-2/AMD 4，2000年三月的文件ISO/IEC JTC1/SC29/WG11 N3315(还被称为N3315)，它在这里被引入作为参考。另一个可伸缩编码方法在2000年3月23日提交的未预先公开的欧洲专利申请00201037.9(我们的参考编号PHNL000153)中被描述，它也在这里引入作为参考。
在编码比特流适合某种给定比特率或存储尺寸时通过典型地消除对缓冲控制方法的需要，这样的可伸缩比特流的有效性相当大地简化了系统设计。尤其是，相同的信号比特流同时用作具有不同性能的不同信道，而不需要再编码原始数据。因此，对改变的信道性能(应用到互联网或无线通信信道)的实时适应被很大程度上简化。
在小颗粒可伸缩性出现之前，已经有一些形式的有限的可伸缩性存在。比特流由几个大层组成，即基础层和例如一个或两个增强层。这样的可伸缩性在例如JPEG标准(分级编码)以及MPEG2标准(SNR可伸缩性，空间可伸缩性，时间可伸缩性)中被定义。
本发明的一个目的是提供改进的编码。为此，本发明提供如独立权利要求所定义的对多媒体目标的编码，控制比特流，传输比特流，接收比特流，多路复用器和网络节点，(可伸缩)比特流表示多媒体目标、存储介质、计算机程序，并且一个信号承载一个计算机程序。改进的实施例在从属权利要求中被定义。
根据本发明的第一个方面，多媒体目标被编码以获得比特流，并且质量信息加入到比特流中，质量信息表示与比特流中给定位置(或给定部分)相关的目标质量。通过在比特流中加入质量信息，一起保存或传输多个编码目标能够被优化，因为目标的质量能够容易地被考虑。本发明的这方面基于以下理解，即确定压缩目标的速率是容易的，但是对另一个重要参数，质量测量例如失真不容易被确定。实际上，当全部源信息仍然可获得时，失真只能在编码时被正确地获得。根据本发明的这一方面，比特流体系通过加入质量(失真)信息被增强。这能够在比特率没有增加或增加很小时完成并且对几个编码方案扩展了应用范围。多媒体目标可以是音频和/或视频目标或任意其他可再现的目标，质量是与这些目标有关的。多媒体目标也可以是图片或图片的序列比如节目。
最好，编码是可伸缩编码，这样比特流就是可伸缩比特流。特别对可伸缩编码方案，质量信息是有优势的，因为这些比特流适于截短。对很多应用来说，其中可伸缩比特流被截短，具有截短后产生的比特流的质量指示是很重要的，这很容易通过包括在可伸缩比特流总的质量信息来提供。
最好，质量信息表示目标再现质量。目标再现质量与比特数比较的信息则很容易确定。为了确定质量，最好使用信噪比(SNR)或峰值信噪比(PSNR)。
尽管单个目标的编码流可以通过使它适合于可用带宽/存储空间来被最佳地截短，但是这不发生在同时处理多个物体的情况下。为了同时最佳地分配一定带宽或存储空间给多个目标，必须知道每个编码目标的不同的速率-失真曲线。尽管该曲线在一个目标编码期间(当原始信号可获得时)相对容易获得，但是当只能用一种编码比特流的截短样式时，在以后获得(通过估计)是重要的。在后面的时刻质量的估计需要压缩方法的详细知识以及编码比特流的至少部分解码。
在特定的实施例中，当比特流在与给定标记相关的点上被截短时，加入到可伸缩比特流中的质量标记表示编码目标的再现质量。尽管质量信息的加入可能需要一定的费用，但是费用可以保持得很小。一个重要的优势在于质量信息很容易一起最优化地截短多个目标的比特流。这样的多路截短问题发生在例如在2000年3月13日申请的未预先公开的欧洲专利申请00200890.2中描述的弹性存储器中(我们的参考号是PHNL000110)，它在这里引用作为参考。另一个申请是多路复用器或网络节点，其中输出带宽暂时低于输入带宽，因此输入可伸缩压缩的比特流需要被截短。
进行压缩时，输入数据通常被压缩为多个单元(例如DCT块部分，小波变换图象或层的频带部分)。每个编码部分通常包含一些具有各种参数或标记的首部。在本发明的改进的实施例中，当目标恰好在当前编码数据部分之后被截短时，表示目标质量的参数被加入到这样的首部中。质量参数的一个例子将加入与再现的均方误差(或PSNR或SNR)相关的数；该数也可能表示视觉上加权的(P)SNR。质量表示的类型(或多个类型)可能被标准化，所以所有的编码器将使用相同或限制数量的不同质量的指示符。质量也可能是相对的(例如是百分数)，所以一个编码器将不必公开它的质量测量方式。则相对质量对每个单独目标可能在从0到100％的范围内，每个目标有附加的范围、加权参数使得各种目标有不同的权值。
质量标记可能被放置在整个编码流中近似相等的距离(比特数)上，或者当比特率与质量曲线快速变化时，它们可以更高频率地被使用。当编码比特流必须被截短时，不对应于一个标记位置的每个截短点的质量能够通过质量标记值的内插(线性或更复杂)来近似。
在本发明的实施例中，质量信息使用已经在标准中定义的标记加入到MPEG-4 FGS的编码比特流中，见上述参照号N3315。以这种方式，不必改变建议的标准质量信息就能够被加入，这则是巨大的进步。
对解码的多媒体目标来说，质量信息可以被用于自适应后处理或可伸缩视频处理运算及其他不可伸缩压缩方法。例如，对于MPEG压缩视频的后处理，质量信息能够有助于确定后处理需要的“强度”或数量或类型(模块化人工制品/循环降低)。对于可伸缩视频运算，质量信息能够帮助更好地估计用某种选定的视频处理运算为获得某种理想的处理质量水平而需要的CPU循环的数量。
质量信息可以被加入作为比特流的侧信息，即不包括在比特流本身中的信息。
对于加密的比特流，质量细想你未加密时有利的。比特流特定部分(例如层)的质量则能够不解密比特流就在解码器中确定。
质量信息也能够被有利地用于信源编码和信道编码不同时和在同一位置执行的情况。质量信息则用在信道编码中，例如来确定保护比率。
参照下文的实施例本发明的前述和其他方面将变得显然并将被阐明。
图1示出了根据本发明的实施例的一个系统，以及
图2示出了本发明的更有利的实施例。
这些图只示出了理解本发明所必要的那些部件。
图1示出了根据本发明的实施例的一个系统，该系统包括具有输入单元或目标产生单元110和编码器的发射机11。编码器12包括可伸缩编码器120和质量信息产生单元121。可伸缩编码器120对从输入单元110获得的编码目标编码以提供一个和多个可伸缩比特流。质量信息产生单元121从输入单元110获得的信号以及由编码器120提供的信号和/或参数中提取目标质量。来自产生单元的质量信息提供给编码器单元120，编码器单元120产生质量信息标记并把它们插入到比特流中。该系统还包括用于截短一个或多个可伸缩比特流的截短器3和截短器控制单元4。截短器控制单元4从编码器12提供的可伸缩比特流中提取质量信息并根据接收到的质量信息/标记来控制截短器。在只有一个可伸缩比特流的情况下，当已经获得理想质量时可伸缩比特流被截短。截短器3和控制单元4可以一起组成多路复用器、比特率控制器、网络节点等部分，并且可以出现在信道中，也可以在接收机中。单元5可以另外是再现单元和/或解码器，根据本发明的实施例它与截短器3和控制单元4一起出现在接收机中。
在更有利的应用中，如图2所示，多路可伸缩比特流由发射机21、31、41提供，其中至少有一些可伸缩比特流具有包含在这些比特流中的质量标记。发射机21、31、41和它们的部件与图1所示的发射机1类似。根据在信道和存储介质15中的可用带宽和存储容量并依赖于出现在可伸缩比特流中的质量信息/标记，可伸缩比特流被更多或更少地截短。这样的多路截短能够用在2000年3月13日申请的未预先公开的欧洲专利申请00200890.2(我们的参照号未PHNL000110)中描述的弹性存储器的原理来完成，该文献在这里被引用作为参考。多路复用器16合并来自发射机的数据流。截短器13和控制单元14一起组成多路复用器(例如16)、比特率控制单元、网络节点等部分，并可以出现在信道以及接收机中。单元15可以另外是再现单元和/或解码器，根据本发明的实施例它与截短器13和控制单元14一起出现在接收机中。
在下文中，给出了需要质量信息的MPEG-4 FGS的一些应用的例子。尽管以下的例子特别用于MPEG-4 FGS，但是本领域技术人员很清楚本发明能够有利地用于任意的可伸缩编码方案。从应用的观点来看，失真是MPEG-4 FGS方案的重要参数。如果不能获得失真信息，则FGS的可用性受到限制，这通过给出需要该信息的各种应用在下文中被证明。根据本发明的实施例，FGS比特流体系通过加入质量(失真)信息被增强。这能够在比特率有不可忽略或可忽略的增加时完成并且扩大了FGS应用的范围。
本发明的第一种应用是恒定质量(可变比特率)输出的编码。这可以用来在适用于可变比特率的存储介质上以恒定的质量记录视频数据。因为使用了质量信息，最终比特流在初始编码期间不需要被产生，但是它能够在以后通过处理编码数据流获得。
出售不同质量的同一内容能够用上述可伸缩(小颗粒或分层)压缩方法随后通过一层或多层的加密来完成：很多可伸缩压缩方法的特性在于当最低可伸缩性称能够不存在时，更高的可伸缩性层没有用，即不能被用于增加质量。当可伸缩压缩的内容被加密时，仍然有可能把它用于弹性存储，即通过去掉一些增强层来降低存储空间量。对于弹性介质，参照前述PHNL000110。为了确定要去掉多少数据，应当可以获得一些关于相关的质量损失的信息，因为该信息不能够再从未解密的压缩比特流中获得。在本发明的当前实施例中，质量信息作为未加密的信息例如侧信息被发送。销售不同质量等级的同一内容的商业模式与弹性存储紧密相关，因为相同的内容也用可伸缩编码以多种质量等级被存储。这意味着当弹性存储装置想降低某一内容项目的质量时，能够去掉最高的加密质量层，而不需要将它解密。因为改装置不解密任何数据，所以没有安全和盗窃的风险。为了在从内容拥有者和服务提供商到用户的整个过程中保持安全，内容最好由内容提供商压缩(使用可伸缩压缩方法)并以想要的质量等级加密，接着以加密的形式分配到弹性存储装置(直接发送或下载或间接经中间存储器到光盘上)。
在弹性存储应用中，用户(或基于已知用户的偏爱的装置)可以任意选择某一理想的最低质量等级。即当前可获得的比用户最低理想的质量等级更高的质量的内容可以在质量上被降低，从而给不同的内容留出空间，直到达到用户可接受的最低质量为止。然而当内容仍然可以更高的质量获得时，用户也有购买更高质量的选择权。当然用户(或装置)也可以对不同类型的内容(比如体育、谈话节目或电影)有不同的想要的最低质量等级。
另外，也有可能让服务提供商管理存储空间并确定应当去掉哪一质量等级(在该情况下，服务提供商保持质量跟踪并可以执行弹性存储功能)。这在内容被服务提供商放到具有存储功能(例如硬盘)的机顶盒中时可能有用。当用户不在某一时间观看/购买内容时，保存在机顶盒中的质量等级可以被降低以给不同的内容留出空间。
质量信息也允许信源编码和信道编码在不同的时刻和位置执行。因为在编码时信道特性可能还不知道，所以这是有用的。而且，相同的编码比特流可以为具有不同误差特性的不同信道服务。最终，没有存储空间被浪费来保存误差校正额外消耗。当需要时误差校正可以产生，因为质量字段给出加入信道编码所需要的信息(使用不等误差保护)。
在多路编码的FGS帧必须一起被处理的时候有应用。这能够发生在例如拥挤的网络节点中，在那里存在暂时较少的带宽。网络节点则能够使用质量信息来以最低的质量损耗来优化截短比特流。因为包含多个目标，每个目标都可能有非常不同的速率-失真曲线，所以截短不能在没有质量信息的情况下被满意地完成。
另外，质量信息能够为流动应用提供具有好的工具的服务器来完成在发送时刻的速率控制，以及SNR和暂态增强(FGS对FGST，见N3315中的定义)之间的折中。
在MPEG-4 FGS中，需要的质量信息实际上时对可伸缩增强层的速率-失真曲线。因为速率是显而易见的，所以只有失真信息必须加入。已经提出了两种不修改或最小修改当前FGS比特流体系的情况下加入该信息的解决方案。
解决方案A。位平面的开始是加入质量信息/字段的适宜点，因为在该点上能够容易地恢复信息并提供足够的样本来精确地描绘速率-失真曲线。“质量代码”将与当前fgs_bp_start_code一样，它的最后5比特表示位平面的ID。代替位平面ID，质量信息能够插入到这5比特中。在最佳实施例中，一比特被加入到序列中表示fgs_bp_start_code包含位平面ID还是质量信息。
解决方案B。或者，新的代码能够被确定用于质量信息并插入到fgs_bp_start_code后面。在这种情况下，质量标记能够有8比特。
我们提出保存在质量字段中的信息在随着质量字段完全解码位平面后是失真。以这种方式，当数据流在位平面中被截短时，近似质量可以通过内插法获得。这比外推法简单，外推法将在质量字段将在解码当前位平面之前含有关于失真的信息时被要求。例如，让Q1是解码位平面前的质量，Q2是解码位平面后的质量(因为上述假设，Q2已经在位平面开始时被解码器知道)。如果数据流在位平面中被截短，则知道真实质量Q位于＜Q1，Q2＞中间。因此能够简单地近似为Q≌(Q1+Q2)/2。通过考虑解码的DCT块的数量能够作出更精确的近似。例如，如果对当前位平面的增强信息已经被恢复为对一帧总共N块的n输出，则真实质量能够被近似为Q≌Q1+(Q2-Q1)×n/N。
在解决方案A的最佳实施例中，用于增强VOP第一质量字段，即对于最重要(MSB)位平面的字段包含绝对质量(失真)，而附加字段包含相对于前一质量的质量改善(失真降低)。绝对质量能够被用于比较不同的目标。当绝对质量将被使用时，把质量改善加入到附加字段中允许这些改善用更高的精确度表示。当每个字段只有5比特时这尤其重要。
为了量化质量，最好使用PSNR值。如上所述，第一质量字段包含绝对质量。我们提出在解码第一(MSB)位平面后用5比特给PSNR，以1dB步长的18...49dB的范围。该范围覆盖所有实际上相关的PSNR值：当PSNR大约49dB时，基本层已经包含目标的接近无损失的表示。低于18dB的PSNR将表示基本层提供了非常低的质量，这是很不希望获得的。当范围之外的值发生时，它们将根据它们是低于还是高于允许的范围而被分为18或49dB。
下一个质量字段则将包含相对于解码在前的位平面后的质量对完全解码随后的位平面的质量改善。最好，这5比特被用于给出这些质量改善以0...6.2dB的范围，0.2dB的步长。因为单个比特被加入，改善不能超过6.02dB，所以这一范围足够了。
对解决方案B，当8比特被用于质量标记时，质量值(绝对值和微分值)能够用更细的微粒表示。但是，解决方案B也将允许我们简单地只使用绝对(即未微分)质量值。质量范围将是18...60.5dB，步长为1/6≈0.167dB(或者18...49.875dB，步长为0.125dB)。
MPEG-4的各种应用以将在以上公开，该应用需要质量信息。因为只有在原始编码发生时，该信息完全可获得，所以它加入到比特流中使得它在以后的使用中可获得。这能够以没有或很小比特率增加的情况下完成，该比特率具有当前比特流体系的最小修改。两个详细的解决方案已经被表示为加入PSNR质量值。使用绝对质量值的解决方案B更好。
本发明应用于多路可伸缩压缩多媒体目标必须一起被保存或发送并且这些目标中有一些已经用与本发明结合的MPEG-4 FGS压缩。典型的应用是弹性存储器应用以及处理多目标/用户的发送信道或网络。当存储器/信道/网络必须由几个目标/用户来分享时，他们能获得高质量。改质量自动降低以适应目标/用户。由于根据本发明的实施例质量标记的存在，这能够被有效地完成，即以低的额外消耗完成。
本发明也能够有利地应用于信源编码和信道编码在同时或在同一位置执行的情况下。质量标记则给出加入信道编码所需要的信息(不等误差保护，例如对表示更高质量的比特流部分以更多的保护，或给位比率的数量有高质量的比特流部分以更多的保护)。
本发明也可以被有利地用于诸如JPEG2000的可伸缩图象处理方案的情况下，见2000年3月16日的文件ISO/IEC JTC1/SC 29/WG 1N1646，它在这里引入作为参考。质量信息可以方便地包含在JPEG2000中，因为注释和扩展标记(CME)已经被定义(见文件N1646的52页)，这允许在首部中有开放的数据。质量信息被有利地包括在特定的CME中。例如二进制数据能够被包含(Rcme＝0)。而且，根据本发明的一个实施例，分离的Rcme类型被定义为质量标记。
应当注意到，上述实施例描述了而非限制了本发明，本领域技术人员将能够在不脱离随附的权利要求的范围的条件下设计很多其他的实施例。在权利要求中，任何放置在括号内的附图标记都将不解释为对权利要求的限制。词语“包括”不排除超出权利要求中列出的那些元件和步骤的存在。本发明能够通过包括几个不同部件的硬件，或通过适当编程的计算机来实现。在列举了几个装置的设备权利要求中，这些装置中的几个能够用一个或相同功能的硬件来实现。某些措施在在彼此不同的独立权利要求中列出这一事实比表示这些措施的组合不能被用来取得优势。

Claims (20)

1、一种编码多媒体目标的方法，该方法包括步骤：
编码目标以获得比特流，以及
向比特流中加入质量信息，该质量信息表示与比特流中特定位置(或特定部分)相关的目标的质量。
2、权利要求1所请求保护的方法，其中编码步骤是用于获得可伸缩比特流的可伸缩编码步骤。
3、权利要求1或2所请求保护的方法，其中质量信息与目标再现质量相关。
4、权利要求3所请求保护的方法，其中质量信息基于信噪比的值。
5、上述权利要求中任一个所请求保护的方法，其中质量标记被加在比特流中的特定位置，当比特流恰好在比特流中的特定位置之后(或恰好在它之前)被截短时它表示目标质量。
6、权利要求1所请求保护的方法，其中质量信息被插入到特定可伸缩编码标准的扩展字段。
7、权利要求2所请求保护的方法，其中可伸缩比特流包括多个层并且其中各个层包括各个质量信息。
8、权利要求1所请求保护的方法，其中比特流被加密并且质量信息不被加密。
9、控制表示已经加入比特流质量信息的多媒体目标的至少一个比特流的方法，质量信息表示与比特流的特定位置(或特定部分)相关的目标的质量，该方法包括以下步骤：
接收至少一个比特流，
从比特流中提取质量信息，
在至少一个比特流的比特率和质量的理想组合与至少一个接收到的比特流的比特率和质量的当前组合不同的情况下，译码和截短至少一个比特流，
以理想的比特率和质量的组合提供至少一个比特流。
10、发送至少一个多媒体目标的方法，该方法包括步骤：
编码目标以获得比特流，以及
向比特流中加入质量信息，该质量信息表示与比特流中特定位置(或特定部分)相关的目标的质量，
发送质量信息已经加入到其中的比特流。
11、接收表示质量信息已经加入其中的多媒体目标的至少一个比特流的方法，质量信息表示与比特流的特定位置(或特定部分)相关的目标的质量，该方法包括以下步骤：
从比特流中提取质量信息，
在至少一个比特流的比特率和质量的理想组合与至少一个接收到的比特流的比特率和质量的当前组合不同的情况下，译码和截短至少一个比特流，
以理想的比特率和质量的组合提供至少一个比特流，
以理想的比特率和质量的组合解码至少一个比特流。
12、接收表示质量信息已经加入其中的多媒体目标的至少一个比特流的方法，质量信息表示与比特流的特定位置(或特定部分)相关的目标的质量，该方法包括以下步骤：
从比特流中提取质量信息；
解码比特流以获得解码的多媒体目标；以及
根据提取的质量处理多媒体目标。
13、编码多媒体目标的装置，该装置包括：
用于编码目标以获得比特流的装置，以及
用于向比特流中加入质量信息的装置，该质量信息表示与比特流中特定位置(或特定部分)相关的目标的质量。
14、包括权利要求13所请求保护的装置的发射机。
15、用于控制表示已经加入比特流质量信息的多媒体目标的至少一个比特流的控制器，质量信息表示与比特流的特定位置(或特定部分)相关的目标的质量，该控制器包括：
用于接收至少一个比特流的装置，
用于从比特流中提取质量信息的装置，
在至少一个比特流的比特率和质量的理想组合与至少一个接收到的比特流的比特率和质量的当前组合不同的情况下，用于截短至少一个比特流的装置，
用于以理想的比特率和质量的组合提供至少一个比特流的装置。
16、包括权利要求15所请求保护的控制器的接收机。
17、用于接收表示质量信息已经加入其中的多媒体目标的至少一个比特流的接收机，质量信息表示与比特流的特定位置(或特定部分)相关的目标的质量，该接收机包括：
用于从比特流中提取质量信息的装置；
用于解码比特流以获得解码的多媒体目标的装置；以及
用于根据提取的质量处理多媒体目标的装置。
18、包括权利要求15所请求保护的控制器的多路复用器或网络。
19、表示比特流质量信息已经加入到其中的多媒体目标的比特流，质量信息表示与比特流的特定位置(或特定部分)相关的目标的质量。
20、如权利要求19请求保护的信号已经被保存的存储介质。
CNB018047726A 2000-10-11 2001-10-04 多媒体目标的可伸缩编码 Expired - Fee Related CN100499817C (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US23934500P 2000-10-11 2000-10-11
US60/239,345 2000-10-11
US23965900P 2000-10-12 2000-10-12
US60/239,659 2000-10-12

Publications (2)

Publication Number Publication Date
CN1398489A true CN1398489A (zh) 2003-02-19
CN100499817C CN100499817C (zh) 2009-06-10

Family

ID=26932482

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB018047726A Expired - Fee Related CN100499817C (zh) 2000-10-11 2001-10-04 多媒体目标的可伸缩编码

Country Status (10)

Country Link
US (2) US20020076043A1 (zh)
EP (1) EP1327360A1 (zh)
JP (1) JP4063666B2 (zh)
KR (1) KR100887165B1 (zh)
CN (1) CN100499817C (zh)
AU (1) AU2002220595A1 (zh)
BR (1) BR0107307A (zh)
PL (1) PL356718A1 (zh)
RU (1) RU2284671C2 (zh)
WO (1) WO2002032147A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101390399B (zh) * 2006-01-11 2010-12-01 诺基亚公司 可伸缩视频编码中的图片的后向兼容聚合
CN101076952B (zh) * 2004-10-12 2011-03-23 液滴技术有限公司 移动成像应用、装置结构、和服务平台结构
CN101548548B (zh) * 2006-10-20 2012-05-23 诺基亚公司 用于在视频编码中提供画面输出指示的系统和方法

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8391482B2 (en) * 2001-05-04 2013-03-05 Hewlett-Packard Development Company, L.P. Signal format that facilitates easy scalability of data streams
US7155010B2 (en) * 2001-05-04 2006-12-26 Hewlett-Packard Development Company, L.P. Signal format that facilitates easy scalability of encrypted streams
US20030041257A1 (en) * 2001-05-04 2003-02-27 Wee Susie J. Systems, methods and storage devices for scalable data streaming
US7124442B2 (en) * 2001-07-25 2006-10-17 440 Pammel, Inc. System and method for insertion and retrieval of microthreads in transmitted data
US6925120B2 (en) * 2001-09-24 2005-08-02 Mitsubishi Electric Research Labs, Inc. Transcoder for scalable multi-layer constant quality video bitstreams
US20030076858A1 (en) * 2001-10-19 2003-04-24 Sharp Laboratories Of America, Inc. Multi-layer data transmission system
CN102075286B (zh) * 2002-03-08 2014-06-25 英特尔公司 用于高速率正交频分复用通信的系统和方法
US6987890B2 (en) 2002-03-27 2006-01-17 Eastman Kodak Company Producing and encoding rate-distortion information allowing optimal transcoding of compressed digital image
BR0306317A (pt) * 2002-09-10 2007-05-08 Thomson Licensing Sa sistema e método de servidor de vìdeo sob demanda
JP3952459B2 (ja) * 2002-11-15 2007-08-01 株式会社リコー 画像処理装置、プログラム、記憶媒体及び画像処理方法
US7406176B2 (en) * 2003-04-01 2008-07-29 Microsoft Corporation Fully scalable encryption for scalable multimedia
FR2857204A1 (fr) * 2003-07-03 2005-01-07 Thomson Licensing Sa Dispositif et procede de compression ou de decompression d'images numeriques
WO2005020581A1 (en) * 2003-08-26 2005-03-03 Samsung Electronics Co., Ltd. Scalable video coding method and apparatus using pre-decoder
US7844992B2 (en) 2003-09-10 2010-11-30 Thomson Licensing Video on demand server system and method
US20050076214A1 (en) * 2003-10-03 2005-04-07 Thomas David Andrew Method and system for file downloads to portable computing devices
US7430336B2 (en) * 2004-05-06 2008-09-30 Qualcomm Incorporated Method and apparatus for image enhancement for low bit rate video compression
DE102004029872B4 (de) * 2004-06-16 2011-05-05 Deutsche Telekom Ag Verfahren und Anordnung zur Verbesserung der Qualität bei der Übertragung codierter Audio-/Video-Signale
KR20060059782A (ko) * 2004-11-29 2006-06-02 엘지전자 주식회사 영상신호의 스케일러블 프로그레시브 다운로딩을 지원하는방법
US8677504B2 (en) 2005-07-14 2014-03-18 Qualcomm Incorporated Method and apparatus for encrypting/decrypting multimedia content to allow random access
US8966517B2 (en) 2005-09-20 2015-02-24 Forefront Assets Limited Liability Company Method, system and program product for broadcast operations utilizing internet protocol and digital artifacts
EP1927189B1 (en) * 2005-09-20 2016-04-27 Gula Consulting Limited Liability Company Insertion and retrieval of identifying artifacts in transmitted lossy and lossless data
US8566857B2 (en) * 2005-09-20 2013-10-22 Forefront Assets Limited Liability Company Method, system and program product for broadcast advertising and other broadcast content performance verification utilizing digital artifacts
US8566858B2 (en) * 2005-09-20 2013-10-22 Forefront Assets Limited Liability Company Method, system and program product for broadcast error protection of content elements utilizing digital artifacts
KR100733261B1 (ko) * 2005-09-21 2007-06-27 에스케이 텔레콤주식회사 혼합된 화질 지수를 이용한 객관적 동영상 화질 평가시스템 및 방법과 이를 위한 동영상 부호화 장치 및 방법
CA2624339C (en) 2005-10-12 2014-12-02 Thomson Licensing Region of interest h.264 scalable video coding
ATE479284T1 (de) 2006-07-13 2010-09-15 Qualcomm Inc Videokodierung mit feinkörniger skalierbarkeit anhand von zyklisch ausgerichteten fragmenten
CN101796846B (zh) 2007-04-17 2013-03-13 诺基亚公司 基于反馈的可缩放视频编码
KR100937590B1 (ko) * 2007-10-23 2010-01-20 한국전자통신연구원 다중 품질 서비스 영상 콘텐츠 제공 시스템 및 그것의업그레이드 방법
EP2081381A1 (en) * 2008-01-17 2009-07-22 Thomson Licensing Method and apparatus for selective data encryption
FR2933837A1 (fr) * 2008-12-10 2010-01-15 Thomson Licensing Procede de codage, procede et dispositif de transcodage et flux de donnees image codees.
CN101552913B (zh) * 2009-05-12 2011-07-06 腾讯科技（深圳）有限公司 多路视频通讯系统及处理方法
WO2011028175A1 (en) * 2009-09-01 2011-03-10 Agency For Science, Technology And Research Terminal device and method for processing an encrypted bit stream
US9986252B2 (en) * 2010-04-21 2018-05-29 Mykhaylo Sabelkin Method and apparatus for efficient data communications
EP2518719B1 (en) 2011-04-08 2016-05-18 Dolby Laboratories Licensing Corporation Image range expansion control methods and apparatus
US9602841B2 (en) * 2012-10-30 2017-03-21 Texas Instruments Incorporated System and method for decoding scalable video coding
JP6977422B2 (ja) * 2017-09-13 2021-12-08 株式会社Ｊｖｃケンウッド トランスコード装置、トランスコード方法及びトランスコードプログラム
RU198678U1 (ru) * 2019-12-31 2020-07-22 Федеральное государственное казенное военное образовательное учреждение высшего образования "Краснодарское высшее военное орденов Жукова и Октябрьской Революции Краснознаменное училище имени генерала армии С.М.Штеменко" Министерства обороны Российской Федерации Устройство адаптивного сжатия и выборочного шифрования данных цифрового изображения

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4671849A (en) 1985-05-06 1987-06-09 International Business Machines Corporation Method for control of etch profile
US4918523A (en) * 1987-10-05 1990-04-17 Intel Corporation Digital video formatting and transmission system and method
US5506623A (en) * 1991-12-19 1996-04-09 Sony Corporation Data compression methods and systems with quantization distortion measurement means
DE69619002T2 (de) * 1995-03-10 2002-11-21 Toshiba Kawasaki Kk Bildkodierungs-/-dekodierungsvorrichtung
KR100477474B1 (ko) * 1995-06-29 2005-08-01 톰슨 디지털신호프로세싱장치및방법
US5648541A (en) 1995-09-28 1997-07-15 Nps Pharmaceuticals, Inc. Chiral reductions of imines leading to the syntheses of optically active amines
US6415398B1 (en) * 1995-09-29 2002-07-02 Kabushiki Kaisha Toshiba Coding system and decoding system
US5956674A (en) * 1995-12-01 1999-09-21 Digital Theater Systems, Inc. Multi-channel predictive subband audio coder using psychoacoustic adaptive bit allocation in frequency, time and over the multiple channels
SE515256C2 (sv) 1996-02-12 2001-07-02 Telia Ab LAN-nät och metod för att i ett LAN-nät tillhandahålla avbrottsfritt överlämnande mellan två omkopplare
KR100256662B1 (ko) * 1996-03-21 2000-05-15 니시무로 타이죠 데이타 기록 또는 전송을 위한 데이타 배치 방법 및 매체와 그 처리 장치
US5894478A (en) 1996-07-24 1999-04-13 Lucent Technologies Inc. Protocol converter and router for multi-mode wireless data communications
US5809139A (en) * 1996-09-13 1998-09-15 Vivo Software, Inc. Watermarking method and apparatus for compressed digital video
JP3193947B2 (ja) * 1997-01-08 2001-07-30 株式会社ディジタル・ビジョン・ラボラトリーズ データ送信システム及びデータ送信方法
KR100261254B1 (ko) * 1997-04-02 2000-07-01 윤종용 비트율 조절이 가능한 오디오 데이터 부호화/복호화방법 및 장치
KR100261253B1 (ko) * 1997-04-02 2000-07-01 윤종용 비트율 조절이 가능한 오디오 부호화/복호화 방법및 장치
JPH10333698A (ja) 1997-05-27 1998-12-18 Matsushita Electric Ind Co Ltd 音声符号化方法、音声復号化方法、音声符号化装置、及び記録媒体
EP0939545A2 (en) * 1998-02-27 1999-09-01 Hitachi, Ltd. Video service system
JPH11331852A (ja) 1998-05-14 1999-11-30 Matsushita Electric Ind Co Ltd 可逆符号化方法および可逆符号化装置
US6845159B1 (en) * 1998-10-07 2005-01-18 Protego Information Ab Processing method and apparatus for converting information from a first format into a second format
US6570922B1 (en) * 1998-11-24 2003-05-27 General Instrument Corporation Rate control for an MPEG transcoder without a priori knowledge of picture type
WO2001028092A1 (en) * 1999-10-08 2001-04-19 Kabushiki Kaisha Kenwood Method and apparatus for interpolating digital signal
ATE417660T1 (de) * 1999-10-29 2009-01-15 Hollingsworth & Vose Co Filtermaterial
US6493387B1 (en) * 2000-04-10 2002-12-10 Samsung Electronics Co., Ltd. Moving picture coding/decoding method and apparatus having spatially scalable architecture and signal-to-noise ratio scalable architecture together
US6925249B1 (en) * 2000-07-28 2005-08-02 Microsoft Corporation System and method for storing compressed data onto a storage medium
US6658057B1 (en) * 2000-08-31 2003-12-02 General Instrument Corporation Digital transcoder with logo insertion
EP1324589A4 (en) * 2000-10-06 2006-12-20 Sony Corp METHOD OF IMPROVING IMAGEQUALITY, BUILDING DATA PROCESSING DEVICE, METHOD OF STORING / REPRODUCING DATA, SYSTEM OF STACKING DATA, METHOD AND SYSTEM FOR DATA PROCESSING
US7155010B2 (en) * 2001-05-04 2006-12-26 Hewlett-Packard Development Company, L.P. Signal format that facilitates easy scalability of encrypted streams
US7231587B2 (en) * 2004-03-29 2007-06-12 Lsi Corporation Embedded picture PSNR/CRC data in compressed video bitstream

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101076952B (zh) * 2004-10-12 2011-03-23 液滴技术有限公司 移动成像应用、装置结构、和服务平台结构
CN101390399B (zh) * 2006-01-11 2010-12-01 诺基亚公司 可伸缩视频编码中的图片的后向兼容聚合
CN101548548B (zh) * 2006-10-20 2012-05-23 诺基亚公司 用于在视频编码中提供画面输出指示的系统和方法

Also Published As

Publication number Publication date
AU2002220595A1 (en) 2002-04-22
RU2284671C2 (ru) 2006-09-27
US20110019729A1 (en) 2011-01-27
PL356718A1 (en) 2004-06-28
CN100499817C (zh) 2009-06-10
EP1327360A1 (en) 2003-07-16
KR100887165B1 (ko) 2009-03-10
JP2004511979A (ja) 2004-04-15
WO2002032147A1 (en) 2002-04-18
US20020076043A1 (en) 2002-06-20
BR0107307A (pt) 2002-08-13
JP4063666B2 (ja) 2008-03-19
KR20020064930A (ko) 2002-08-10
US8374344B2 (en) 2013-02-12

Similar Documents

Publication Publication Date Title
CN100499817C (zh) 多媒体目标的可伸缩编码
KR100681168B1 (ko) 미세 입상 스케일 가능한 비디오를 위한 잔류 신호의인코딩 및 디코딩 시스템 및 그 방법
US8199809B2 (en) Method and apparatus for providing prediction mode fine granularity scalability
EP2077620B1 (en) System for scalably encoding and decoding data
CN100375983C (zh) 复合视频解码器和水印创建器
US7082221B1 (en) Bandwidth determination for multiple layer digital video
WO2004049722A1 (en) Transcoder for a variable length coded data stream
US20070064937A1 (en) Method and apparatus for encoding or decoding a bitstream
US11663688B2 (en) Collusion attack prevention
CN103297806A (zh) 图像处理设备、图像处理方法和图像处理系统
JP2006279550A (ja) 映像伝送装置およびその受信再生装置
GB2341745A (en) Image encoding
US6345120B1 (en) Image processing system, image data transmission and reception apparatus, and image processing method
CN112004083B (zh) 一种利用帧间预测特性优化码率控制方法及系统
JP2003333595A (ja) 符号化信号変換装置、符号化信号変換方法および符号化信号変換プログラム
KR20070061247A (ko) 엠펙-4 비디오 신호의 비트율을 동적인 통신 용량 변화에따라 제어하는 방법
Yüksel Partial encryption of video for communication and storage
Thillainathan et al. Scalable image and video coding algorithms
Halawa et al. An object-based video codec with object preference-based rate allocation, object-based encryption, and format-compliant background sprite embedding capabilities (OVX)

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20090610

Termination date: 20171004

CF01 Termination of patent right due to non-payment of annual fee