CN1636404A - 在因特网协议网络上流式传输细粒状可缩放性编码的视频的方法 - Google Patents

在因特网协议网络上流式传输细粒状可缩放性编码的视频的方法 Download PDF

Info

Publication number
CN1636404A
CN1636404A CNA038043394A CN03804339A CN1636404A CN 1636404 A CN1636404 A CN 1636404A CN A038043394 A CNA038043394 A CN A038043394A CN 03804339 A CN03804339 A CN 03804339A CN 1636404 A CN1636404 A CN 1636404A
Authority
CN
China
Prior art keywords
self adaptation
receiver
data
network
adaptation node
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA038043394A
Other languages
English (en)
Inventor
Q·李
W·R·T·坦卡特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of CN1636404A publication Critical patent/CN1636404A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4621—Controlling the complexity of the content stream or additional data, e.g. lowering the resolution or bit-rate of the video stream for a mobile client with a small screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/222—Secondary servers, e.g. proxy server, cable television Head-end
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/231—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion
    • H04N21/23106—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion involving caching operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61—Network physical structure; Signal processing
    • H04N21/6106—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network
    • H04N21/6125—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network involving transmission via Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/631—Multimode Transmission, e.g. transmitting basic layers and enhancement layers of the content over different transmission paths or transmitting with different error corrections, different keys or with different transmission protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/64—Addressing
    • H04N21/6405—Multicasting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H04N21/6437—Real-time Transport Protocol [RTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/647—Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
    • H04N21/64723—Monitoring of network processes or resources, e.g. monitoring of network load
    • H04N21/64738—Monitoring network characteristics, e.g. bandwidth, congestion level
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/647—Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
    • H04N21/64784—Data processing by the network
    • H04N21/64792—Controlling the complexity of the content stream, e.g. by dropping packets

Abstract

本发明的目的是一种系统和方法，用于在诸如IP网络的数据网络上发送编码的视频数据。在具有能够发送多层数据到数据网络的服务器之外，该系统还包括自适应节点，它们位于服务器和位于该自适应节点下游的客户中间，这里，这些客户可以是接收机和/或其它自适应节点。接收机和自适应节点可以有能力分析网络容量，这是通过在设备处感知数据网络的网络拥塞条件而实现的，并根据所感知的网络拥塞条件动态地改变接收机和/或自适应节点已经预订的信道预订。在此强调，提供本摘要是为了遵照使检索人员或者其他读者迅速确定该技术公开的主题而需要摘要的这一规则。应该理解它的提交将不用于解释或限制权利要求的范围。

Description

在因特网协议网络上流式传输细粒状可缩放性编码的视频的方法
技术领域
本发明一般涉及视频流式传输，更具体说，涉及在诸如因特网的IP(因特网协议)网络上流式传输细粒状编码的视频的方法。
背景技术
已经使用细粒状可缩放性(FGS)来压缩视频以便在具有可变带宽的网络(诸如因特网)上进行传输。FGS结构包括以位速率RBL编码的基础层和以位速率REL编码的单一细粒状增强层。
由于该增强层的细粒度性，FGS视频流可以通过任何网络会话以范围从Bmin＝RBL到Bmax＝RBL+REL的可用带宽传输。例如，如果在发射机和接收机之间的可用带宽是B＝R，则发射机以速率RBL发送基础层而只有一部分增强层用速率Re＝R-RBL发送。可以选择部分的增强层以细粒状方式传输。因此，总的传输的位速率R＝RBL+Re。
FGS编码方法近来已经由MPEG-4采用作为流式传输应用的标准。预期FGS在无线和异构网络环境中由于其对不可预测的带宽变化的高度可适应性而将逐渐获得普及。为帮助使FGS完全成功，一个专门化的、可以利用FGS的带宽适应特征的流式传输解决方案是有利的。当前尚没有为流式传输FGS的可用的成熟技术。
为使用FGS的可适应性特征，现有技术建议有选择地只转发给定的链路能够处理的那些数目的层，亦即所有层是沿着同一组播分发树或子树发放的，所述组播分发树或子树隐含地由接收机的层预订(subscription)状态所规定。这样，接收机可以通过在接收流表明互联网而隐含地规定组播分发树。这样，接收机以这种方式决定它当前的预订的级是过高还是过低。
处理可调整带宽的现有技术方法的缺陷是可缩放性差。例如，在反馈内爆(feedback implosion)中(这在该技术中是公知的)，现有技术端到端解决方案在大量用户同时参加对话时会导致控制信号从用户回送而压倒信号源。信号源可能没有计算资源来处理这些控制信号。
另外，现有技术显示出会话内的公平性太差。如果多个用户共享同一瓶颈链路，则一个用户的活动可能影响其他用户的带宽，因而影响其他用户感受到的视频质量。
现有技术方法还展现出差的响应时间。接收机使用“参加或离开”组播组控制以适应接收速率，但是这些控制过程涉及大量因特网协议一起合作以实现目标。这可能导致接收机感受到在接收机发布控制命令的时间和该命令被成功执行的时间之间的不可接受的延迟。
发明内容
本发明的目的是一种在IP网络上发送编码的视频数据的系统和方法。总体上参照图2，除了具有能够向IP网络发送多层数据的服务器(总体上由标号40指示)，所述系统包括位于服务器40下游的自适应节点(总体上由标号50指示)。自适应节点50配置在服务器40和位于自适应节点50的下游的接收机(总体上由标号60指示)中间。接收机60和自适应节点50可以有能力通过感知数据网络的网络拥塞条件而分析网络容量，和根据感知的网络拥塞条件动态而改变接收机60和/或自适应节点50已经预订的信道。
保护的范围不由上面叙述的示范实施例的发明内容限制，而仅由权利要求限制。
附图说明
现在参考附图，其中相似的参考号码通篇表示相应的部件：
图1是本发明的一个示范实施例的原理图；
图2是本发明的一个示范实施例以树形式表示的原理图；
图3是这里使用的信道的原理图；
图4是信道的进一步的示意图；
图5和图6是本发明的示例方法的框图。其中的框按它们的标号说明如下：
200在数据网络中在服务器和接收机的逻辑上的中间配置自适应节点
210启动在服务器和接收机之间经由数据网络在逻辑上通过自适应节点的通信
220由接收机根据它感知的网络容量预订一个或者多个信道
230启动在服务器和接收机之间经由数据网络为每一预订的信道逻辑上通过自适应节点的端对端通信信道
240在自适应节点处认出由接收机预订的在操作上配置在服务器和接收机中间的自适应节点下游的信道
250服务器经由各自的信道向数据网络发送多个数据层中预定数目的数据层
260由接收机在接收机处监视网络容量
270由自适应节点在自适应节点处监视网络容量
280根据由接收机感知的网络容量由接收机修改预订信道的传输
281接收所有的预订并计算最大预订率
282回传计算的最大预订率
290根据由自适应节点感知的网络容量修改通过自适应节点到接收机的预订的信道的传输
具体实施方式
现在参考附图，最初参考图1和图3，实现细粒状可缩放性(FGS)编码来改善在FGS基础层21传输的每一帧或图像的视频质量和信噪比(SNR)(图3)。本发明提供一个信道管理模型和速率控制机制，以便在数据网络100上实现FGS编码视频的流式传输，这是通过引入在数据流中配置的专门化的自适应节点51、52(图1)以实现可缩放性、并允许实施例直接配置在诸如数据网络100的标准IP网络之上而实现的。
在一个在图1的特定的物理原理布局中总体示出、而在图2中以更一般的、等价的逻辑树布局示出的示范实施例中，本发明包括一个用于将对网络容量敏感的编码的视频数据进行编码并发送的系统。该系统包括服务器40、自适应节点(在图2中总体用标号50指示，而在图1中具体用标号51和52指示)、和接收机(在图2中总体用标号60指示，而在图1中具体用标号61和62指示)，它们全都在操作上经由诸如因特网100的IP网络互联。
如图1和图3所示，服务器40具有处理器和存储器，能够经由数据通信设备42(图1)通过多个信道30(图3)向网络100发送数据。该数据包括多个层20(图3)，诸如FGS基础层21和多个增强视频层22-25。基础层编码器44(图1)(它可以用软件实现)可以在服务器40内存在和执行，在这里基础层编码器44能够对一部分视频数据编码以产生基础层帧。这可以包括遵守诸如MPEG4标准的标准的编码。另外，增强层编码器45(图1)(它可以用软件实现)可以在服务器40中执行，在这里增强层编码器45能够使用FGS编码技术从视频数据和基础层帧产生经运动补偿的剩余图像帧。
如图2所示，自适应节点50可操作地配置在服务器40和下游客户(诸如接收机60)和/或其他自适应节点中间，例如在图1中自适应节点52是自适应节点51的客户。自适应节点50能够把由接收机60预订的信道30(图3所示)转发到接收机60。
如图1和图2指出，可以存在多个自适应节点50，一些在其他对等体(诸如其他的自适应节点50)的上游，例如，在图1中自适应节点51是自适应节点52的逻辑上的上游，而一些具有下游对等体，诸如多个下游接收机60。如在图2中另外所示，自适应节点50位于服务器40和其他自适应节点50、接收机60或其组合的逻辑上的中间。自适应节点50(图1中的自适应节点51)包括网络分析器54，它可以是在自适应节点50内执行的软件。在本发明的一个实施例中，网络分析器54的唯一功能可以是对它的每一下游接收机60预订的信道30的数目计数。在本发明的另一个实施例中，网络分析器54除对每一下游接收机60预订的信道的数目计数外，还可以感知在自适应节点50处的网络拥塞条件。基于所感知的在自适应节点50处的网络拥塞条件，自适应节点50动态修改由接收机60预订的信道30(图3)的传输。
自适应节点50可以执行两种不同的功能。在前向方向，亦即从服务器40到接收机60，自适应节点50可以增强网络100以便在流式传输应用方面提供希望的服务质量。在逆方向，自适应节点50可以用作为能够抑制反馈内爆和加速信道自适应控制的控制工具。因此，自适应节点50还可以处理位于该自适应节点50下游的一个或者多个客户的信道预订请求，所述客户亦即一个或者多个接收机60以及来自位于下游的一个或者多个其它自适应节点50。预订请求因此可以由自适应节点50或由在回传端点处的服务器40处理。
自适应节点50还可以进一步包括数据存储器55，用于缓冲存储层20(图3)。数据存储器55可以包括一个或者多个固定或者可拆卸磁介质、固定或者可拆卸光介质、固定或者可拆卸电子介质。
自适应节点50和数据发送器例如服务器40或者另外的自适应节点50根据接收的控制信号可以激活或者去激活一个给定的信道30(例如在图3中所示的信道31-35)，以便实现为接收机60的信道预订和解除预订。
接收机60不知道信道结构。接收机60将接收的分组解码，并将它们输出到显示系统，例如显示监视器或者电视(图中未示出)。网络分析器64(图1)(它可以作为在接收机60内执行的软件而实现)监视网络100在接收机60处感知的网络拥塞条件。基于感知的网络拥塞，接收机60通过给自适应节点50或者直接给其它数据发送者(例如服务器40)发送控制信号(诸如通过使用实时流式传输协议(RTSP)方法)以动态预订预定数目的信道30。
自适应节点50可以接收来自下游客户(例如接收机60或者另一个自适应节点50)的预订。自适应节点50然后可以向上游转发该预订。另外，包括从所有下游节点50、60接收的预定预订数量的预订消息可以向上游回传。自适应节点50还可以例如通过分组损失和跳动报告观察下游链路负载，和例如但不限于通过丢弃诸如在上面的信道30中的分组这样的分组来决定减小它的转发速率。
另外参考图4，自适应节点50或者服务器40还可以调度包括在信道30中的层数据20的分组的传输，或者以突发方法或者以规律方式。分组以组的方式转发，每一组表示一组图像或者一组帧的一个视频帧。在典型的场合，组传送的顺序通过首先传输包含基础层21的分组而进行优先级排序，使得再传输的请求110具有较大的机会在基础层21帧的显示的截止期限前得到处理。可以使用数据存储器55以更快地处理来自接收机6 0(图4中未示出)的再传输请求110。
自适应节点50还可以为在向数据存储器55传输中损失的分组提出它自己向上游的传输请求110。当这样一个遗失的分组到达自适应节点50时，自适应节点50可以把该遗失的分组存储在数据存储器55中，并且另外可以迅速向下游转发该遗失的分组，在该遗失的分组上添加或不添加优先级标记。
一般在一个示范实施例的操作中，视频数据源例如服务器40(图1)根据FGS标准对该视频数据编码。视频数据可以诸如在服务器40(图1)使用FGS技术编码，其中首先使用一部分视频数据以产生一个基础层帧21(图3)。然后从视频数据和该基础层帧21使用细粒状编码技术产生经运动补偿的剩余图像。然后使用经运动补偿的剩余图像产生增强层22-25(图3)，在这里每一增强层22-25包括一部分经运动补偿的剩余图像。服务器40经由多个信道30发送多个分组以使FGS编码的视频通过网络100进行流式传输。接收机60(图1)预订一个或者多个信道30，这至少部分地取决于在接收机60感知的带宽。
在一个优选方式中，服务器40为包括基础层21的分组分配最高的发送优先级，并且渐进地减少来自不同增强层22-25的分组的优先级或者增强层22-25所用的信道32-35的优先级。例如，当自适应节点50需要丢弃一个分组时，在一个优选方式中，它将从具有最低优先级的分组中选择。
现在另外参考图5，在步骤200，一个或者多个自适应节点50逻辑上配置在数据网络例如100中的服务器40和接收机60的中间。在FGS处理后，服务器40可以启动在服务器40和一个或者多个下游接收机60之间的多个端对端通信信道，借助它们，服务器40给网络100提供编码的视频。在一个典型的实施例中，一个预定的信道(例如31)以预定的带宽和优先级与基础层21关联。另外的信道30可以与增强层22-25例如信道32-35关联。
然后在步骤210在数据网络100上在逻辑上通过一个或者多个自适应节点50启动在服务器40和接收机60之间的通信。在步骤220，接收机60根据由接收机60感知的网络容量预订包含基础层21和至少一个增强层22-25的一个或者多个信道30。对于信道30的实际预订至少部分基于由接收机60感知的网络容量。因此，在它们参与FGS系统对话期间，自适应节点50和接收机60持续监视带宽和动态调整信道预订。
在步骤230，服务器40和接收机60在数据网络100上为每一预订的信道30逻辑上通过逻辑配置在服务器40和接收机60之间的一个或者多个自适应节点50启动端对端通信信道。在步骤240，自适应节点50认出对在操作上配置在服务器40和接收机60中间的自适应节点50的下游的接收机60预订的信道30。
一旦信道30已经建立，则在步骤250经由它们各自的信道30向数据网络100发送多个数据层中预定数目的数据层20。
现在参考图6，由接收机60实现的信道控制通过预订或者放弃一个或者多个信道30而允许加入或离开拥塞的组播组。在步骤260，接收机60监视在接收机60处的网络容量。在步骤280，接收机60可以根据由接收机60感知的网络容量修改在接收机60处的预订的信道30的传输。
在当前预见的实施例中，接收机60将根据在接收机60处感知的网络拥塞条件动态建立或者拆除服务器40和接收机60之间的端对端通信信道30。以这种方式，包括服务器40、自适应节点50、和接收机60的整个系统可以有效地适应FGS编码的视频的传输速率而不依赖用于增强层22-25的复杂的截断算法，它在当所有的一切都在单一信道30(例如31)中发送时可能是必要的。
在适当的时间，接收机60可以对未接收到的分组发布一个再传输请求。然而，在接收机60移动到加入或者离开一个组播组前，它可以给接收机60上游的自适应节点50例如接收机61上游的自适应节点51发送一个控制信号。
对于本发明的多信道流式传输模型和FGS，服务器40通过信道30以至少一个接收机60能够接受的最大速率发送分组。在步骤281，每一接收机60将接收所有的预订和计算最大预订率。所有其它只能以较低速率接收的接收机60只预订信道30的子组。因此，虽然同一广播会话的所有信道30将共享或者部分共享同一组播发送树和服务器40可以以最大带宽通过信道30发送一个数据流，但是每一个接收机60根据由接收机60感知的网络容量以适合于该接收机的带宽接收该数据流。
在步骤282，接收机60然后可以回传计算的预订率，诸如到位于上游的自适应节点51或者位于上游的服务器40。
在步骤270，当接收机60正在监视带宽和接收数据时，自适应节点51也监视网络容量，但是集中在自适应节点51处的网络容量。相应地，自适应节点50也接收在不同信道30中的分组，并把它们转发到下一个下游接收者，下游接收者可以包括另外的自适应节点50诸如自适应节点52和接收机61、62。根据在自适应节点50处感知的网络容量，在步骤272自适应节点50可以修改预订的信道30通过自适应节点50到接收机60的传输，所述接收机60根据由自适应节点50感知的网络容量预订信道30。这样，自适应节点50例如但不限于通过优先级缓冲存储或分组丢弃能够修改由下游接收机60预订的信道30通过自适应节点50到下游接收机60的传输。
在一个当前预见的实施例中，最下游的自适应节点50(例如52)可以接收来自紧接在自适应节点52下游(例如接收机62)的接收机60的信道预订请求。该最下游的自适应节点52然后计算一个适合于该最下游的自适应节点52的最大信道预订级并且把这一最大信道预订级传播到上游的下一个自适应节点(例如自适应节点51)。该处理可以重复直到服务器40。其结果是，沿组播树的每一分支，传输最大数目的信道30，它们适合于每一分支的网络负载容量。
在上游路径中的每一自适应节点50还可以集合从它们的下游接收机60或者下游自适应节点50接收的所有控制信号，并且在需要时把集合的控制信号回传给服务器40。服务器40然后可以根据接收到的、由自适应节点50转发的控制信号来调整它的广播信道30。
如果需要的话，自适应节点50可以丢弃分组或者在接收机60可以接受的一定延迟参数内延迟分组的传输，以便平滑暂时的通信量变化。作为例子但不是限制，可以配置一个前向节点(例如自适应节点51)以便仅当自适应节点51下游的链路容量因并发通信量超过预定的链路门限(例如一定的时间尺度而饱和时)丢弃分组。如果这一饱和只是暂时的(诸如可以由突发通信量所引起)，则转发处理可能暂时减慢，但是转发延迟了的分组的时间跨距可能仍然维持在如所有信道30曾到达的时间跨距的同样的持续时间内。
自适应节点50可以按照分配给这些数据包的优先级的次序处理数据包。在一个优选的实施例中，自适应节点50不转发在信道30中高于它的下游链路可以用掉的分组，亦即它丢弃它们。被丢弃的分组可以根据分配给这些数据分组的优先级而丢弃，并相应地通知上游节点。
在自适应节点50具有一个转发缓冲器55的实施例中，自适应节点50可以缓冲存储来自信道30的内容，允许自适应节点50对上游和下游的不同的网络容量作出反应。例如，如果自适应节点50具有缓冲器55，则它可以超高速缓冲存储分组，使得自适应节点50可以满足来自缓冲器55的下游重新传输请求。如果自适应节点50检测到由于在它的转发缓冲器55中的溢出因而它必须丢弃一些分组，则它可以这样做，然后相应地通知上游节点例如51和40。
另外，自适应节点50可以独立于任何自适应节点50或在自适应节点50下游的接收机60而请求重新传输一个或者多个分组。服务器40然后重新传输请求的分组给自适应节点50。如果下游容量变得可用，则自适应节点50可以把这种另外的容量通知它的上游节点和请求另外的信道30。
因此，自适应节点50可以从一个上游源例如服务器40请求重新传输，和/或也响应下游的重新传输请求。进一步，通过使用它的缓冲存储能力，自适应节点50可以以第一速率从一个上游数据源(例如服务器40)接受信道数据，同时以第二速率向一个下游的数据接收机60传播信道数据。这可能导致缓冲器的填充/清空操作，它可以增加有效的端对端数据速率而无需使在自适应节点50的两侧相应部分过载。
举另一个例子但不是作为限制，假定接收机60希望离开它当前预订的信道35。接收机60首先给自适应节点50或者给服务器40发送一个信道控制信号。当这一控制信号最终到达服务器40时，服务器40可以立即停止通过信道35发送所有分组，如果没有其他的接收机当前预订信道35的话，即使接收机60未能通过正常过程成功离开组播信道也是这样。信道35将立即静止，节省网络资源。
自适应节点50向其传送分组的下游链路的容量追随着满足TCP友好准则的转发速率，作为举例但不限于，取决于可容忍的端对端的延迟，以允许分组从较高的信道(例如32-35)继续转发，同时在当前瓶颈链路上被缓冲存储以调节该链路暂时的拥塞。相应地，自适应节点50可以具有两种不同的功能：在从服务器40到接收机60的前向方向上，自适应节点50可以增强IP网络以便对流式传输应用提供诸如选择性地分组丢弃的服务质量(QoS)。在相反的方向上，自适应节点50可以起到抑制反馈内爆和加速信道适应控制的控制作用。
尽管本发明根据上述特定例子说明，但是应该理解，本发明不打算局限到或限制于这里所公开的例子。例如，本发明不限于任何特定的编码策略帧类型或者概率分布。相反，本发明打算覆盖在所附权利要求的精神和范围之内所包括的各种结构及其修改。

Claims (11)

1.一种用于提供细粒状可缩放性编码的视频数据的流式传输的系统，包括：
服务器，用于通过多个信道向数据网络发送细粒状可缩放性编码的视频数据；
接收机，具有第一网络分析器，它感知在接收机处的网络拥塞条件，和根据在接收机处感知的数据网络的拥塞条件来动态修改对预定数目的多个信道的预订；和
自适应节点，具有第二网络分析器，它对由接收机预订的信道的数目进行计数。
2.权利要求1所述的系统，其中，所述自适应节点包括多个自适应节点，其中，该多个自适应节点中的至少一个是在该多个自适应节点中的至少另一个节点的上游。
3.一种用于传输流式传输的细粒状可缩放性编码的视频数据的方法，包括：
a.在数据网络中在服务器和接收机的逻辑上的中间配置自适应节点；
b.启动在数据网络上在服务器和接收机之间逻辑上通过该自适应节点的通信；
c.根据由接收机感知的网络容量由接收机预订一个或者多个信道，每一信道相应于多个数据层中一个预定数据层，这些数据层包括在服务器可用的流式传输的细粒可缩放性编码的视频数据；
d.为每一预订的信道启动在数据网络上在服务器和接收机之间逻辑上通过自适应节点的端对端通信信道；
e.由自适应节点认出由在操作上配置在服务器和接收机中间的自适应节点下游的接收机所预订的信道；
f.由服务器经由其各自的信道向数据网络发送多个数据层中预定数目的数据层；
g.由接收机在接收机处监视网络容量；
h.由自适应节点在自适应节点处监视网络容量；
i.根据由接收机感知的网络容量修改在接收机处预订的信道的传输；和
j.根据由自适应节点感知的网络容量修改预订的信道通过自适应节点到接收机的传输。
4.权利要求3所述的方法，其中步骤(c)进一步包括：
a.把流式传输的细粒状可缩放性编码的视频数据的一部分编码以产生一个基础层帧；
b.使用细粒状编码技术从流式传输的细粒状可缩放性编码的视频数据和基础层帧产生经运动补偿的剩余图像；
c.使用经运动补偿的剩余图像产生增强层；该增强层包括多个层，每一层包括一部分经运动补偿的剩余图像。
5.权利要求4所述的方法，进一步包括在自适应节点缓冲存储基础层帧和增强层。
6.权利要求5所述的方法，其中缓冲存储进一步包括：
a.从上游节点请求重新传输；和
b.响应来自下游节点的重新传输请求。
7.权利要求4所述的方法，进一步包括：
a.以第一速率从一个上游数据源接收层数据；和
b.以第二速率向一个下游数据接收机转发层数据。
8.权利要求4所述的方法，其中，自适应节点处理逻辑上配置在该自适应节点下游的客户的预订请求。
9.权利要求8所述的方法，其中，所述客户至少包括接收机和第二自适应节点中的一个。
10.权利要求8所述的方法，其中所述处理包括：
a.从自适应节点的接收机接收预订请求；
b.由自适应节点计算最大预订级；和
c.由自适应节点向上游的下一个对等体传播该最大预订级。
11.一个用在流式传输视频数据系统中的自适应节点，包括：
a.数据通信接口，用于可操作地连接到一个数据网络；
b.网络分析器，用于：
i.在自适应节点处感知数据网络的网络拥塞条件；和
ii.根据感知的网络拥塞条件，对从逻辑上配置在该自适应节点的上游的数据信道源到逻辑上配置在该自适应节点下游的客户的数据信道的传输进行动态修改。
CNA038043394A 2002-02-22 2003-02-12 在因特网协议网络上流式传输细粒状可缩放性编码的视频的方法 Pending CN1636404A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US10/042,762 2002-02-22
US10/042,762 US20040071083A1 (en) 2002-02-22 2002-02-22 Method for streaming fine granular scalability coded video over an IP network

Publications (1)

Publication Number Publication Date
CN1636404A true CN1636404A (zh) 2005-07-06

Family

ID=27752596

Family Applications (1)

Application Number Title Priority Date Filing Date
CNA038043394A Pending CN1636404A (zh) 2002-02-22 2003-02-12 在因特网协议网络上流式传输细粒状可缩放性编码的视频的方法

Country Status (7)

Country Link
US (1) US20040071083A1 (zh)
EP (1) EP1479238A1 (zh)
JP (1) JP2005518729A (zh)
KR (1) KR20040084922A (zh)
CN (1) CN1636404A (zh)
AU (1) AU2003202792A1 (zh)
WO (1) WO2003071806A1 (zh)

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1246394A1 (en) * 2001-03-26 2002-10-02 Koninklijke KPN N.V. System for personalised information distribution
US7391807B2 (en) * 2002-04-24 2008-06-24 Mitsubishi Electric Research Laboratories, Inc. Video transcoding of scalable multi-layer videos to single layer video
US20030236904A1 (en) * 2002-06-19 2003-12-25 Jonathan Walpole Priority progress multicast streaming for quality-adaptive transmission of data
US7480252B2 (en) * 2002-10-04 2009-01-20 Koniklijke Philips Electronics N.V. Method and system for improving transmission efficiency using multiple-description layered encoding
US7116716B2 (en) 2002-11-01 2006-10-03 Microsoft Corporation Systems and methods for generating a motion attention model
US9077991B2 (en) 2002-12-10 2015-07-07 Sony Computer Entertainment America Llc System and method for utilizing forward error correction with video compression
US20090118019A1 (en) 2002-12-10 2009-05-07 Onlive, Inc. System for streaming databases serving real-time applications used through streaming interactive video
US9314691B2 (en) 2002-12-10 2016-04-19 Sony Computer Entertainment America Llc System and method for compressing video frames or portions thereof based on feedback information from a client device
US9108107B2 (en) * 2002-12-10 2015-08-18 Sony Computer Entertainment America Llc Hosting and broadcasting virtual events using streaming interactive video
US8964830B2 (en) * 2002-12-10 2015-02-24 Ol2, Inc. System and method for multi-stream video compression using multiple encoding formats
US9138644B2 (en) 2002-12-10 2015-09-22 Sony Computer Entertainment America Llc System and method for accelerated machine switching
US7063195B2 (en) * 2004-07-27 2006-06-20 Ford Global Technologies, Llc Dual clutch assembly for a motor vehicle powertrain
US9053754B2 (en) 2004-07-28 2015-06-09 Microsoft Technology Licensing, Llc Thumbnail generation and presentation for recorded TV programs
US7986372B2 (en) * 2004-08-02 2011-07-26 Microsoft Corporation Systems and methods for smart media content thumbnail extraction
EP1650973A1 (en) * 2004-10-25 2006-04-26 Alcatel USA Sourcing, L.P. Method for encoding a multimedia content
EP1847071A4 (en) * 2005-01-26 2010-10-20 Internet Broadcasting Corp B V MULTI-DIFFUSION IN LAYERS AND EXACT ATTRIBUTION OF BANDWIDTH AND PRIORIZATION OF PACKETS
US20060221847A1 (en) * 2005-03-29 2006-10-05 Dacosta Behram M Method and apparatus for selecting transmission modulation rates in wireless devices for A/V streaming applications
US20070112811A1 (en) * 2005-10-20 2007-05-17 Microsoft Corporation Architecture for scalable video coding applications
EP1781035A1 (en) * 2005-10-27 2007-05-02 Thomson Licensing S.A. Real-time scalable streaming system and method
US7773813B2 (en) 2005-10-31 2010-08-10 Microsoft Corporation Capture-intention detection for video content analysis
US8180826B2 (en) * 2005-10-31 2012-05-15 Microsoft Corporation Media sharing and authoring on the web
US8196032B2 (en) 2005-11-01 2012-06-05 Microsoft Corporation Template-based multimedia authoring and sharing
WO2009058118A1 (en) * 2007-11-01 2009-05-07 Thomson Licensing A method and apparatus for streaming scalable multimedia data streams
US8799940B2 (en) 2007-11-30 2014-08-05 France Telecom Method of coding a scalable video stream destined for users with different profiles
US8462797B2 (en) * 2009-11-30 2013-06-11 Alcatel Lucent Method of priority based transmission of wireless video
US9031073B2 (en) 2010-11-03 2015-05-12 Broadcom Corporation Data bridge
US8509072B2 (en) 2011-03-07 2013-08-13 Comcast Cable Communications, Llc Network congestion analysis
US20130318251A1 (en) * 2012-05-22 2013-11-28 Alimuddin Mohammad Adaptive multipath content streaming
US9285865B2 (en) * 2012-06-29 2016-03-15 Oracle International Corporation Dynamic link scaling based on bandwidth utilization
US9106391B2 (en) * 2013-05-28 2015-08-11 International Business Machines Corporation Elastic auto-parallelization for stream processing applications based on a measured throughput and congestion
US11375284B2 (en) * 2016-07-15 2022-06-28 Koninklijke Kpn N.V. Streaming virtual reality video
WO2018083211A1 (en) 2016-11-04 2018-05-11 Koninklijke Kpn N.V. Streaming virtual reality video
CN109391680B (zh) * 2018-08-31 2021-07-09 创新先进技术有限公司 一种定时任务数据处理方法、装置及系统
US11523185B2 (en) 2019-06-19 2022-12-06 Koninklijke Kpn N.V. Rendering video stream in sub-area of visible display area

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US23429A (en) * 1859-03-29 Improved milk-pan
US16008A (en) * 1856-11-04 Machine fob
CA2126467A1 (en) * 1993-07-13 1995-01-14 Barin Geoffry Haskell Scalable encoding and decoding of high-resolution progressive video
US5555244A (en) * 1994-05-19 1996-09-10 Integrated Network Corporation Scalable multimedia network
US5740075A (en) * 1994-09-12 1998-04-14 Bell Atlantic Network Services, Inc. Access subnetwork controller for video dial tone networks
US5621660A (en) * 1995-04-18 1997-04-15 Sun Microsystems, Inc. Software-based encoder for a software-implemented end-to-end scalable video delivery system
US5742892A (en) * 1995-04-18 1998-04-21 Sun Microsystems, Inc. Decoder for a software-implemented end-to-end scalable video delivery system
US6075768A (en) * 1995-11-09 2000-06-13 At&T Corporation Fair bandwidth sharing for video traffic sources using distributed feedback control
US6564262B1 (en) * 1996-09-16 2003-05-13 Microsoft Corporation Multiple multicasting of multimedia streams
US6233017B1 (en) * 1996-09-16 2001-05-15 Microsoft Corporation Multimedia compression system with adaptive block sizes
US6173013B1 (en) * 1996-11-08 2001-01-09 Sony Corporation Method and apparatus for encoding enhancement and base layer image signals using a predicted image signal
KR100261254B1 (ko) * 1997-04-02 2000-07-01 윤종용 비트율 조절이 가능한 오디오 데이터 부호화/복호화방법 및 장치
US6091777A (en) * 1997-09-18 2000-07-18 Cubic Video Technologies, Inc. Continuously adaptive digital video compression system and method for a web streamer
US6148005A (en) * 1997-10-09 2000-11-14 Lucent Technologies Inc Layered video multicast transmission system with retransmission-based error recovery
US6424624B1 (en) * 1997-10-16 2002-07-23 Cisco Technology, Inc. Method and system for implementing congestion detection and flow control in high speed digital network
US5928331A (en) * 1997-10-30 1999-07-27 Matsushita Electric Industrial Co., Ltd. Distributed internet protocol-based real-time multimedia streaming architecture
US5941951A (en) * 1997-10-31 1999-08-24 International Business Machines Corporation Methods for real-time deterministic delivery of multimedia data in a client/server system
US6215766B1 (en) * 1998-01-30 2001-04-10 Lucent Technologies Inc. Hierarchical rate control of receivers in a communication system transmitting layered video multicast data with retransmission (LVMR)
US6256623B1 (en) * 1998-06-22 2001-07-03 Microsoft Corporation Network search access construct for accessing web-based search services
US6275531B1 (en) * 1998-07-23 2001-08-14 Optivision, Inc. Scalable video coding method and apparatus
US6275847B1 (en) * 1999-01-07 2001-08-14 Iq Net Solutions, Inc. Distributed processing systems incorporating processing zones which communicate according to both streaming and event-reaction protocols
US6501797B1 (en) * 1999-07-06 2002-12-31 Koninklijke Phillips Electronics N.V. System and method for improved fine granular scalable video using base layer coding information
US6263022B1 (en) * 1999-07-06 2001-07-17 Philips Electronics North America Corp. System and method for fine granular scalable video with selective quality enhancement
US7028096B1 (en) * 1999-09-14 2006-04-11 Streaming21, Inc. Method and apparatus for caching for streaming data
US7016412B1 (en) * 2000-08-29 2006-03-21 Koninklijke Philips Electronics N.V. System and method for dynamic adaptive decoding of scalable video to balance CPU load

Also Published As

Publication number Publication date
JP2005518729A (ja) 2005-06-23
KR20040084922A (ko) 2004-10-06
US20040071083A1 (en) 2004-04-15
EP1479238A1 (en) 2004-11-24
AU2003202792A1 (en) 2003-09-09
WO2003071806A1 (en) 2003-08-28

Similar Documents

Publication Publication Date Title
CN1636404A (zh) 在因特网协议网络上流式传输细粒状可缩放性编码的视频的方法
US6148005A (en) Layered video multicast transmission system with retransmission-based error recovery
Li et al. Video multicast over the Internet
US8036125B2 (en) Apparatus and method for transmitting multimedia stream using virtual machines based on a number of transmissions at a data rate
CN101075957A (zh) Avs流媒体传输控制方法
US20080130658A1 (en) System and method for low-delay, interactive communication using multiple tcp connections and scalable coding
CN1961544A (zh) 数据分组传输的基于优先级的多路复用
CN1848810A (zh) 一种流媒体发送速率控制方法
CN1820462A (zh) 用于减轻环形网络中的客户端过订的系统和方法
CN1812575A (zh) 流媒体数据的并行传输调度方法
CN101030938A (zh) QoS自适应的P2P流媒体数据组织与传输系统及方法
KR100924309B1 (ko) 시간확장성과 버퍼상태판단을 통한 품질 적응적 멀티미디어 데이터 스트리밍 방법 및 시스템
CN1886968A (zh) 用于准备发送数据的设备和方法以及相应的产品
Song et al. Multipath based adaptive concurrent transfer for real-time video streaming over 5G multi-RAT systems
WO2012018339A1 (en) Application of unequal error protection rateless codes in multimedia streaming over multi-path networks
Huang et al. Multimedia streaming using partially reliable concurrent multipath transfer for multihomed networks
EP3641273B1 (en) Edge node control
CN1992891A (zh) 一种流媒体带宽适配系统
Mehrotra et al. Optimizing FEC transmission strategy for minimizing delay in lossless sequential streaming
CN1992886A (zh) 具有带宽适配功能的流媒体服务器
CN1649323A (zh) 通过无线网络进行通信的服务器系统
CN1529461A (zh) 多播环境中的自适应服务质量保证方法
Nakauchi et al. A network-supported approach to layered multicast
Smith et al. Bandwidth allocation for layered multicasted video
WO2008073881A2 (en) System and method for low-delay, interactive communication using multiple tcp connections and scalable coding

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication