WO2003092167A1 - Data processing system, data processing method, data processing device, and data processing program - Google Patents

Data processing system, data processing method, data processing device, and data processing program Download PDF

Info

Publication number
WO2003092167A1
WO2003092167A1 PCT/JP2003/004885 JP0304885W WO03092167A1 WO 2003092167 A1 WO2003092167 A1 WO 2003092167A1 JP 0304885 W JP0304885 W JP 0304885W WO 03092167 A1 WO03092167 A1 WO 03092167A1
Authority
WO
WIPO (PCT)
Prior art keywords
block
sub
data
basic
extended
Prior art date
Application number
PCT/JP2003/004885
Other languages
English (en)
French (fr)
Inventor
Kakehiro Tominaga
Original Assignee
Sony Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corporation filed Critical Sony Corporation
Priority to EP20030717624 priority Critical patent/EP1499023B1/en
Priority to US10/508,671 priority patent/US7827036B2/en
Priority to KR10-2004-7016370A priority patent/KR20040102091A/ko
Priority to DE60330762T priority patent/DE60330762D1/de
Priority to CN038091631A priority patent/CN1653697B/zh
Publication of WO2003092167A1 publication Critical patent/WO2003092167A1/ja

Links

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • HELECTRICITY
    • H03ELECTRONIC CIRCUITRY
    • H03MCODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • HELECTRICITY
    • H03ELECTRONIC CIRCUITRY
    • H03MCODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H03M7/46Conversion to or from run-length codes, i.e. by representing the number of consecutive digits, or groups of digits, of the same kind by a code word and a digit indicative of that kind
    • H03M7/48Conversion to or from run-length codes, i.e. by representing the number of consecutive digits, or groups of digits, of the same kind by a code word and a digit indicative of that kind alternating with other codes during the code conversion process, e.g. run-length coding being performed only as long as sufficientlylong runs of digits of the same kind are present
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164Feedback from the receiver or from the transmission channel
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/192Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/36Scalability techniques involving formatting the layers as a function of picture distortion after decoding, e.g. signal-to-noise [SNR] scalability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/233Processing of audio elementary streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2402Monitoring of the downstream path of the transmission network, e.g. bandwidth available
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/631Multimode Transmission, e.g. transmitting basic layers and enhancement layers of the content over different transmission paths or transmitting with different error corrections, different keys or with different transmission protocols
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643Communication protocols
    • H04N21/64322IP

Definitions

  • the present invention relates to a data processing system that transmits and receives data via a communication line, and creates, transmits, or receives data for distribution.
  • the present invention relates to a data processing apparatus, a data processing method, and a data processing program for performing data processing, in particular, a data processing system for streaming data distribution via a communication line, and processing for creating, transmitting, or receiving data for streaming distribution.
  • the present invention relates to a data processing device and a data processing method to be performed, and a data processing program.
  • the present invention relates to a data processing system for streaming distribution of data via a communication line having a different line capacity, a data processing apparatus for performing processing such as creation, transmission, or reception of data for streaming distribution, and a data processing system.
  • a data processing system that performs stable stream distribution using a scalable data compression method, and creates, transmits, or receives data for streaming distribution using a scalable data compression method
  • the present invention relates to a data processing device, a data processing method, and a data processing program for performing the above processing.
  • information processing and information and communication technologies have advanced to a high degree. In addition to ordinary computers, various data such as images (including still images and moving images) and audio are handled electronically. It has become.
  • data such as images and audios are generally highly redundant and enormous in size, so that the original data can be stored in a storage device as it is or transmitted over a network. If sent, the storage capacity and communication load would be excessive. For this reason, when storing or transmitting this type of data, it is common to temporarily encode the original data to remove redundancy, that is, perform compression processing. The compressed image data is decompressed and restored to the original data before being used again.
  • ATRAC Adaptive Transform Acoustic Coding
  • DCT DCT
  • a data sequence on the frequency axis converts the data sequence on the time axis into a data sequence on the frequency axis, and then compresses it.
  • Encode the minimum audible characteristics and the auditory masking effect are used to reduce the amount of coded data without deteriorating the sound quality heard by the user by thinning out data that is hard to hear or data before and after a loud sound. .
  • data encoding and compression are generally constructed and adjusted with the aim of keeping the compression ratio (bit rate) and compression / decompression quality within a certain range. For this reason, when transmitting data to multiple lines with different transmission capacities, or when transmitting data to a line where the quality of the transmission line fluctuates significantly, the compression ratio according to various transmission capacities And need to generate multiple compressed bit streams based on the target quality.
  • An object of the present invention is to provide an excellent data processing system capable of suitably streaming data through a communication line having a variable line capacity, and processing such as creating, transmitting, or receiving data for streaming distribution.
  • An object of the present invention is to provide an excellent data processing device and data processing method for performing the above, and a data processing program.
  • a further object of the present invention is to provide an excellent data processing system capable of performing stable stream distribution using a scalable data compression method, and to create, transmit, or receive data for streaming distribution using a scalable data compression method.
  • An object of the present invention is to provide an excellent data processing device and a data processing method capable of performing any processing, and a data processing program.
  • the present invention has been made in view of the above problems, and a first aspect of the present invention is to divide data into a plurality of blocks, divide the divided blocks into a plurality of frequency bands, Transmission data generating means for creating, for each block, a basic sub-block necessary for reproducing the data and an extended sub-block necessary for improving the reproduction quality of the data by compressing in a band,
  • Timing generating means for generating a timing for transmitting the basic sub-block or the extended sub-block
  • the basic sub-block of the current block is sequentially transmitted based on the timing generated by the timing generating means, and the next sub-block is transmitted after transmitting the basic sub-block. It is determined whether it is possible to transmit the extended sub-block of the current block before the basic sub-block of the current block is transmitted, and if it is determined that the extended sub-block can be transmitted, Transmission control means for selectively transmitting the extended sub-block of
  • a first data processing device comprising:
  • Restoring means for restoring data from the sub-block received by the receiving means; and when the sub-block received by the receiving means is a basic sub-block, receiving the data until the basic sub-block of the next block is received.
  • Restoration control means for supplying the extended sub-block received by the means and the received basic sub-block to the restoration means to restore data;
  • a second data processing device comprising:
  • a data processing system comprising:
  • system refers to a logical collection of multiple devices (or functional modules that realize specific functions), and each device or functional module is in a single housing. Whether or not it matters,
  • each compression operation processing unit can be small-scale (or the processing load for coding is light).
  • an audible frequency band (0 to 22 kHz) and other frequency bands (bands exceeding 22 kHz) are added to each time block. It may be divided into a plurality of bands), and performs encoding and compression calculation for each band.
  • the encoding and compression are performed by MDCT (Modified Discrete Cosine Transform) and quantization.
  • MDCT Modified Discrete Cosine Transform
  • the compression component and the quantization component are output.
  • the compressed component in the audible frequency band is indispensable at the time of data reproduction and is therefore positioned as a basic sub-block.
  • the quantization error component in the audio frequency band and the compression and quantization components in other bands contribute to the improvement of the data reproduction quality, so they are positioned as extended sub-blocks.
  • the data amount of the quantization error component may increase, and the same encoding and compression processing may be recursively applied to the quantization error component.
  • a compression component and a quantization error component for the quantization error component are generated, and these can be included as part of the stream data as an extended sub-block.
  • each sub-block may be provided with resource amount calculation information for obtaining the resource amount required for the transfer of the sub-block.
  • the resource amount calculation information is used to calculate the increment of the block transfer rate due to the transfer of the sub-block, and is composed of, for example, a data length indicating the size of the sub-block. Instead of the data length, the increase or decrease of the block transfer rate when the sub-block is transferred and not transferred may be used.
  • each sub-block may be further provided with a hierarchical ID for identifying, for example, which sub-block of which time block and which band.
  • the data distribution side that is, the first data processing device side, which is a stream server, always transmits the basic sub-block in a predetermined time unit, and determines the amount of the extended sub-block to be transmitted according to the line capacity. Control dynamically. For example, it is only necessary to determine which data block is to be transmitted when the transmission available timing is detected. In other words, at the transmittable timing, if the time block is the same as when the data was last transmitted, the remaining extended sub-packets within the time block are transmitted. If the next time block transmission timing has already arrived, the transmission of the remaining extended sub-blocks is abandoned and the next time block The transmission of the basic sub-block in is started.
  • transmittable timing of data refers to the time when the next transmission data can be sent out on the transmission line or a time equivalent to this.
  • the prepared protocol and the time when the buffer becomes available can be used as the transmittable timing.
  • the client that is, the second data processing device that receives the data stream, decodes and expands the basic subblock by inverse quantization and inverse MDCT for each time block, performs streaming reproduction, and performs extended subblock.
  • the client that is, the second data processing device that receives the data stream, decodes and expands the basic subblock by inverse quantization and inverse MDCT for each time block, performs streaming reproduction, and performs extended subblock.
  • the client that is, the second data processing device that receives the data stream, decodes and expands the basic subblock by inverse quantization and inverse MDCT for each time block, performs streaming reproduction, and performs extended subblock.
  • the client that is, the second data processing device that receives the data stream, decodes and expands the basic subblock by inverse quantization and inverse MDCT for each time block, performs streaming reproduction, and performs extended subblock.
  • the layer ID the layer ID
  • subblocks of the necessary layer can be selected and used for reproduction as necessary. For example, it is
  • the receiving side can itself select the quality of decompression when decoding and decompressing the received data.
  • each decompression processing unit can be small (or the processing load is light).
  • the data is divided into a plurality of blocks in a predetermined time unit, the divided block is divided into a plurality of frequency bands, and then compressed in each frequency band.
  • a basic sub-block necessary for reproducing the data and an extended sub-block necessary for improving the reproduction quality of the data are generated for each block,
  • the basic sub-blocks are transmitted sequentially in a predetermined time unit, and it is determined whether it is possible to transmit the extended sub-block after transmitting the basic sub-block and before transmitting the next basic sub-block. If it is determined that transmission is possible, an extended sub-block is transmitted.
  • a scalable data compression method is used. This makes it possible to easily generate data of various bit rates from one data at the time of data transmission. Therefore, the storage capacity for the stream data can be reduced.
  • TCP Transmission Control Protocol
  • the ability to encode and compress the original data for each band-divided sub-block, as well as the individual compression operation processing units, can be small (or the processing load of the encoding is light).
  • the transmission data generating means or step divides the input data in time block units into a band indispensable for data reproduction and one or more other bands, and applies an encoding / compression operation to each band.
  • the compression component for the band indispensable for data reproduction is used as the basic sub-block
  • the compression component for other bands and the compression error component for each band are used as the extended sub-block.
  • the transmission data generating means or step may recursively encode and compress the compression error component for each band, and use the recursive compression component and the recursive compression error component as extended sub-blocks.
  • the input data is blocked in a predetermined time unit, divided into a plurality of bands, and each band is coded and compressed. Creates a hierarchical structure divided into multiple extended sub-blocks that contribute to improved playback quality.
  • Hierarchized compressed data has scalability, and the data expansion quality can be easily selected and adjusted by selectively expanding the entire data stream or a part of it when decompressing.
  • the transmission data determination means or step may add a layer ID for identifying a sub-block and a data length to each sub-block as resource amount calculation information for obtaining a resource amount required for sub-block transfer. It may be. Alternatively, instead of the data length, a value for increasing or decreasing the data length may be used. Based on the resource amount calculation information, it is possible to calculate the increment of the block transfer rate due to the subblock transfer. Therefore, scalable compressed data can be recorded or read. However, when transmitting data, it is possible to identify the sub-block based on the hierarchical ID or skip the read position by the data length and retrieve the next sub-block at high speed.
  • the transmission data determining means or step may determine transmission of the basic sub-block for each time block and select an extended sub-block to be transmitted according to the line capacity.
  • the detected transmittable timing is the same time block as the last transmitted sub-block, that is, if the time block of the last data transmission has not yet expired, the remaining time within the same time block
  • the transmission of the extended suplock may be determined.
  • extended sub-blocks can be transmitted by the amount corresponding to the line capacity, so that the client receiving the data can enjoy higher-quality reproduction data. it can.
  • a third aspect of the present invention is a method for receiving a basic sub-block or an extended sub-block,
  • a data processing method characterized by the following.
  • a fourth aspect of the present invention is as follows.
  • the blocks After dividing the divided blocks into a plurality of frequency bands, the blocks are compressed in each frequency band, and a basic sub-block required for reproducing the data and an extended sub-block required for improving the reproduction quality of the data are provided for each block.
  • the basic sub-blocks are transmitted sequentially in a predetermined time unit, and it is determined whether it is possible to transmit the extended sub-block after transmitting the basic sub-block and before transmitting the next basic sub-block. Instructing transmission of an extended sub-block if transmission is determined to be possible;
  • a data processing program described in a computer-readable format so as to execute processing of transmission data on a computer system characterized by comprising: Further, a fifth aspect of the present invention provides
  • the received sub-block is a basic sub-block
  • data recovery is performed using the received extended sub-block and the received basic sub-block until the next basic sub-block is received. Steps to be performed;
  • a data processing program described in a computer-readable format so as to execute a process of restoring received data on a computer system characterized by comprising:
  • the computer 'program according to each of the fourth and fifth aspects of the present invention defines a computer' program described in a computer-readable format so as to realize a predetermined process on a computer system.
  • the computer program according to each of the fourth and fifth aspects of the present invention is stored in a computer system.
  • FIG. 2 is a diagram schematically illustrating a data structure of original data read from the recording device.
  • FIG. 3 is a diagram schematically illustrating a hierarchical sub-block configuration obtained by encoding and compressing by the data compression mechanism shown in FIG.
  • FIG. 4 is a diagram illustrating a mechanism for recursively encoding and compressing a quantization error component.
  • FIG. 5 is a diagram showing a hierarchical compressed data configuration including a recompression component and a requantization error component of the extended sub-block.
  • FIG. 6 is a diagram showing a hierarchical compressed data configuration including a re-compression component and a re-quantization component of the extended sub-block.
  • FIG. 7 is a diagram schematically showing the data structure of the basic and extended sub-blocks.
  • FIG. 8 is a diagram schematically illustrating a state in which scalable hierarchically compressed data is stored in a recording device.
  • FIG. 9 is a diagram schematically showing a configuration of a streaming distribution system 50 according to an embodiment of the present invention.
  • FIG. 10 is a diagram schematically showing a functional configuration of a streaming distribution process realized by the streaming distribution server 'application 62. As shown in FIG.
  • Figure 11 shows a streaming distribution server application 62 5 is a flowchart illustrating a processing procedure of one-time distribution.
  • FIG. 12 is a flowchart showing the procedure of the streaming 'data playback client application 72 receiving streaming' data.
  • FIG. 13 is a diagram schematically showing a configuration of a data decoding / decompression processing system 20 corresponding to scalable data encoding / compression.
  • FIG. 14 is a diagram showing a result of decoding and decompressing scalable compressed data by the data decoding / decompression processing system 20.
  • FIG. 15 is a diagram showing the result of decoding and decompressing scalable compressed data by the data decoding and decompression processing system 20.
  • FIG. 16 is a diagram showing a result of decoding and decompressing scalable compressed data by the data decoding and decompression processing system 20.
  • FIG. 17 is a diagram showing the result of decryption and decompression of scalable compressed data by the data decryption and decompression processing system 20.
  • FIG. 18 is a diagram showing a result of performing decryption and decompression processing of scalable compressed data by the data decryption and decompression processing system 20.
  • FIG. 19 is a diagram showing the result of decoding and expanding scalable compressed data by the data decoding and expanding system 20.
  • FIG. 20 is a diagram showing the result of decryption and decompression processing of scalable compressed data by the data decryption and decompression processing system 20.
  • FIG. 21 is a diagram showing a result of decoding and decompressing scalable compressed data by the data decoding and decompression processing system 20.
  • FIG. 22 is a diagram showing the result of decrypting and expanding scalable compressed data by the data decryption and expansion processing system 20.
  • FIG. 23 is a diagram showing the result of decoding and expanding scalable compressed data by the data decoding and expanding processing system 20.
  • FIG. 24 is a diagram schematically showing a configuration of a data stream transmitted from the server 60 side.
  • the input data is blocked in a predetermined time unit, divided into a plurality of bands, and the encoding and compression are performed for each band.
  • a hierarchical structure is created by dividing into multiple extended sub-blocks that contribute to the improvement of playback quality.
  • the basic sub-block is always transmitted in a predetermined time unit, and the amount of the extended sub-block to be transmitted is dynamically controlled according to the line capacity. That is, when the transmission available timing is detected, it is only necessary to determine which data 'block to send. For example, at the transmittable timing, if the time period of transmitting the same data block is ⁇ , the remaining extended sub-packets are transmitted, but if the next data block transmission timing has already arrived, the remaining Give up sending the extended sub-block and start sending the basic sub-block of the next data block.
  • Each time block is divided into audible frequency bands (0 to 22 kHz) and other frequency bands (bands exceeding 22 kHz may be further divided into multiple bands).
  • An encoding compression operation is performed for each band. Encoding and compression are performed by MDCT (Modified Discrete Cosine Transform) and quantization. At this time, the compression component and the quantization error component are output.
  • the compressed component in the audible frequency band is positioned in the basic sub-block because it is indispensable during data reproduction.
  • the quantization error component in the audio frequency band and the compression component and quantization component in other bands contribute to the improvement of data reproduction quality, so they are positioned as extended sub-blocks.
  • the data amount of the quantization error component may increase depending on the characteristics of the input data, the same encoding and compression processing may be applied recursively to the quantization error component.
  • a compression component and a quantization error component for the quantization error component are generated, and these can be included as part of the stream data as extended sub-blocks.
  • each sub-block is added with a layer ID for identifying which time block and which band of the sub-block the sub-block belongs to, and a data length indicating the size of the sub-block.
  • the client that is, the data stream receiving side, performs streaming reproduction by decoding and decompressing the basic sub-block by inverse quantization and inverse MDCT operation for each time block, and performs reproduction reproduction using the extended sub-block.
  • the receiving side it is not possible to know how many extended sub-blocks have been sent for each time block, but it is possible to reproduce them by identifying them using the hierarchical ID added to the sub-block.
  • the sub-block of the required layer can be selected and used for playback as needed. For example, unnecessary extended sub-blocks can be discarded by skipping for the data length.
  • the receiving side can itself select the quality to expand when performing the decoding process on the received data.
  • each decompression operation processing unit can be small (or the decoding processing load is light).
  • a scalable data encoding / compression system 10 will be described with reference to FIG.
  • the following description deals with audio data for convenience.
  • audio-data having a frequency band up to 88.2 kHz, that is, a sampling rate of 176.4 kHz is handled for convenience.
  • the original data is stored on a randomly accessible recording device such as a hard disk or a magneto-optical disk.
  • the audio 'data from the recording device are read out at a predetermined time block T B units (see FIG. 2), is decomposed into a plurality of frequency Direction by a filter that combines QMF the (Quadrature Mirror Filter) in multiple stages You.
  • the QMF 11 combined in two stages allows audio's data to be audible frequency band sub-blocks from 0 to 22 kHz and additional 22 kHz over 22 kHz.
  • Each band is divided.
  • the audible frequency band from 0 to 22 kHz will be referred to as “basic band”, and hereinafter referred to as “ ⁇ 2 band”, “ ⁇ 3 band”, and “ ⁇ 4 band”.
  • the super 22 kHz band may be divided in another manner, or may be treated as a single band sub-block without division.
  • Each of the divided bands is further transformed by an MDCT (Modified Discrete Cosine Transform) operation unit 12 from a data sequence on the time axis to a data sequence on the frequency axis, and further quantized by a quantization operation unit 13. Perform compression encoding.
  • MDCT Modified Discrete Cosine Transform
  • the output of the quantization operation unit 13 in each band is composed of a compression component and a quantization error component.
  • the original data cut out in a predetermined time block is configured as a plurality of hierarchical sub-blocks as shown in FIG. That is, the basic band has a hierarchical structure of a basic sub-block # 1 composed of the compressed component and an extended sub-block # 2 composed of the quantization error component. Also, the x2 band has a hierarchical structure of an extended sub-block # 3 composed of a compressed component and an extended sub-block # 4 composed of its quantization error component. Similarly, the X3 band is an extended sub-block # 5 consisting of compressed components for this band component and its quantization error component.
  • the X3 band has a hierarchical structure of an extended sub-block # 5 composed of a compressed component and an extended sub-block # 6 composed of its quantization error component.
  • each sub-block has a variable length.
  • encoding compression may be performed so as to have a fixed length.
  • the data amount of the quantization error component may increase.
  • a similar encoding and compression process may be recursively applied to the quantization error component by the recompression unit 14.
  • the recompression unit 14 similarly performs the MDCT operation and the quantization operation, and expands the power of the recompression component and the requantization error component generated for the quantization error component as shown in Fig. 5. It can be hierarchized as a subblock and included as part of the stream data.
  • the requantization error component can be compressed again to obtain the re-compression component and the re-quantization error component, and the extended sub-block can be further hierarchized.
  • the basic sub-block # 1 is an essential component for data reproduction.
  • the extended sub-blocks # 2 to # 8 are not indispensable for data reproduction, but can contribute to the improvement of data reproduction quality.
  • the band component closer to the basic sub-block # 1 has a property that the contribution to the data reproduction quality is higher.
  • the post-processing unit 15 adds a hierarchical ID for identifying the sub-block of which time block and which band is the sub-block to the hierarchically encoded and compressed sub-block.
  • the data length of the sub-block is further added.
  • FIG. 7 shows the data structure of the basic and extended sub-blocks.
  • the basic and extended sub-blocks generated in this way are stored in a time-series manner in a randomly accessible recording device such as a hard disk device (see Fig. 8). On the recording device, refer to the hierarchy ID described at the beginning of the sub-block. By doing so, it is possible to identify which time block is in which hierarchical subblock. When it is desired to proceed to the next sub-block, the read position may be skipped by the data length.
  • FIG. 13 illustrates the configuration of a data decoding / decompression processing system 20 corresponding to the scalable data encoding / compression described above.
  • the decompression processing system 20 includes a decompression decompression processing unit for each of the audible band and each of the bands X2, X3, and X4, and decodes the decoded data for each band by inverse QMF.
  • the data is multiplexed to reproduce the original data.
  • the pre-processing unit 21 reads the received sub-block hierarchy ID and inputs it to the decoding and decompression processing unit of the corresponding band.
  • the decoding / decompression processing unit includes an inverse quantization unit 22 and an inverse MDCT operation unit 23.
  • the inverse quantization unit 22 performs inverse quantization based on the compressed component sub-block and the quantization error component sub-block for the corresponding band.
  • the quantization error sub-block is recursively compressed, the sub-block is subjected to decoding and decompression processing once, and then input to the inverse quantization unit 22.
  • the inverse operation unit 23 converts a data sequence on the frequency axis into a data sequence on the time axis.
  • the decoded data for each band is multiplexed by inverse QMF 24 to reproduce the original data.
  • the X2 band is restored (see Fig. 16), and when the extended sub-block # 4 is input, the coded compression of the X2 band is performed.
  • the quantization error component at the time is also restored (see Fig. 17), and it is possible to reproduce up to the X2 band with high quality.
  • the data decoding / decompression processing system 20 sequentially obtains the extended sub-blocks # 5, # 6,..., Thereby reproducing higher band components of the original data with higher quality (see FIG. 18 to Figure 21).
  • the quantization component may be restored only in the audible band.
  • the quantified component is only in the audible band and the X2 region. May be restored.
  • the quantization error component may be restored only in the audible band.
  • the pre-processing unit 21 refers to the hierarchical ID and the data length added to each supplied sub-block, and converts the sub-block so as to obtain each of the decompression and decompression results shown in FIGS. 22 to 23. It is only necessary to make a selection.
  • the data decompression quality can be selected and adjusted by selectively decompressing the entire data stream or a part thereof during decompression.
  • FIG. 9 schematically shows a configuration of the streaming distribution system 50 according to the present embodiment.
  • the streaming distribution system 50 is composed of a server 60 that distributes a data stream, and a client 70 that reproduces the data stream simultaneously with reception.
  • the server 60 and the client 70 are interconnected by the Internet or another form of TCP network 80.
  • TCP network 80 it is not particularly required that the line capacity of the TCP network 80 be constant in order to perform stable stream distribution.
  • a plurality of servers may be arranged on the TCP network 80. Further, the server may provide various information providing services other than the streaming distribution service.
  • the server for streaming distribution ⁇ ⁇ application 62 is running on the TCP protocol 'stack 61.
  • the server 'application 62 reads the streaming distribution data from the attached recording device 63 and performs the streaming distribution via the TCP protocol' stack 61. For details on the TCP protocol, see RFC (request for comments).
  • Streaming distribution data subjected to scalable data compression processing is stored on the recording device 63. More specifically, the original data is divided into a plurality of bands for each predetermined time block, coded and compressed, hierarchized into a compressed component sub-block and its quantized component sub-block, and stored in chronological order. (See Figure 8). Each sub-block is added with a hierarchical ID that identifies the sub-block of which time block and which band, and the data length of the sub-block (see Fig. 7).
  • the recording device 63 is configured by a device such as a hard disk which can be accessed at random. The recording device 63 can access a desired sub-block by referring to the hierarchical ID and the data length.
  • the streaming sub-server / application 62 When the streaming sub-server / application 62 reads the sub-block to be transmitted next time from the recording device 63, it reads this from the TCP protocol stack 61. Write to transmit buffer 6 1 A provided by.
  • the transmission buffer 61A is configured by the following formula: FIFO (First In First Out), and sends the data to the TCP network 80 in the order of oldest data.
  • the transmission buffer 61A is provided to absorb the difference between the transmission data extraction timing (or transmission data generation timing) from the recording device 63 and the transmission timing.
  • the transmission data is written to the transmission buffer 61A (or becomes full with the transmission data) by the data writing operation by the application 62, the data transmission timing of the TCP protocol-stack 61 is reached.
  • the transmission buffer 61A is emptied (or a vacant area is generated) by the operation of transmitting data to the TCP network 80, the next data write timing by the application 62 occurs.
  • the streaming / data reproducing client / application 72 is activated on the TCP.
  • the stack 71 When the TCP 71 receives data distributed via the TCP network 80, the stack 71 writes the data to the reception buffer ⁇ 1A.
  • the streaming / data reproducing client / application 72 restores the original data by inverse quantization and inverse MDCT of the data extracted from the reception buffer # 1A, and reproduces and outputs the original data from the reproducer 73.
  • This decoding process is performed for each band using only the compressed component sub-block or further using the quantum error component sub-block.
  • streaming distribution data subjected to scalable data compression processing is transmitted from the server 60 side. More specifically, the transmission data is divided into a plurality of bands for each predetermined time block and encoded and compressed, and then hierarchized into a compressed component sub-block and its quantized component sub-block.
  • the client 70 cannot know how many extended sub-blocks have been sent for each time block, but it can be played back by using the hierarchical ID added to the sub-blocks. Becomes
  • the reception buffer 71A is configured in FIFO (First In First Out) format, and sends out to the application 72 in the order of oldest data.
  • Receive buffer The 71 A is provided to absorb the difference between the data reception timing via the TCP network 80 and the reception data extraction timing (or reception data reproduction timing) from the application 72.
  • the application 72 reads the received data.
  • the reception buffer 71A is emptied (or a vacant area is generated) by the read operation from the application 72, the TCP protocol stack 71 comes at a timing at which the next data can be received.
  • the original data is divided into a basic sub-block which is indispensable for data reproduction and a plurality of extended sub-blocks which are not indispensable for data reproduction but contribute to improvement of reproduction quality, and have a hierarchical structure.
  • the streaming distribution server-application 62 always transmits a basic sub-block for each predetermined time block, and dynamically controls the amount of extended sub-blocks to be transmitted according to the line capacity. In other words, at the transmittable timing, the remaining extended sub-packets are transmitted within the time period for transmitting the same data block, but when the transmission timing of the next data block has already arrived, the remaining extended sub-packets are transmitted. Give up the sending of the extended sub-block and start sending the basic sub-block of the next data block.
  • the original data can be further divided into bands in units of time blocks and encoded.
  • data of various bit rates can be created from one data. Therefore, it is not necessary to prepare a plurality of coded streams having different bit rates from one piece of original data for bit rate adjustment, so that the storage capacity of the recording device 63 can be reduced.
  • FIG. 10 schematically shows a functional configuration of a streaming distribution process realized by the streaming server application server 62.
  • the streaming server application server 62 includes a timer 65, a transmission block determining unit 66, and a transmitted block storage unit 67.
  • the transmission data is divided into a plurality of bands for each predetermined time block and sent to a basic sub-block which is indispensable for data reproduction and a plurality of extended sub-blocks which are not indispensable for data reproduction but contribute to improvement of reproduction quality.
  • Hierarchical Therefore, in order to avoid data interruption, it is essential to send a basic sub-block at every predetermined time block.
  • the extension of sub-blocks should be sent according to the capacity of the line to improve data reproduction quality.
  • the timer 65 measures the actual time using a system, a timer (not shown), and the like.
  • the transmission block determining unit 66 calculates the time block when the transmission timing is detected with reference to the time value of the timer 65. Then, at the transmittable timing, if the same data block is transmitted within the time period for transmitting the same data block, the remaining extended sub-packets are transmitted, but if the next data block transmission timing has already arrived, the remaining Give up sending the extended sub-block and start sending the basic sub-block of the next data block.
  • the sending block determining unit 66 uses the sent block storing unit 67 to hold the hierarchical ID of the last sent block B last and subblock SB last in order to determine the sending block.
  • the transmission block determination unit 66 retrieves the corresponding data from the recording device 63 and sends it to the transmission buffer 61 A of the TCP protocol stack 61. Write.
  • FIG. 11 shows a processing procedure of streaming distribution by the streaming client credit server application 62 in the form of a flowchart.
  • step S1 it is determined whether or not the output timing has arrived by checking the empty area of the transmission buffer 61A of the TCP protocol 'stack 61 (step S1).
  • the current time block B currait is calculated by referring to the time t of the timer 65 .
  • the block B last transmitted last is detected by referring to the transmitted block ID storage unit 67. Then, it is determined whether or not the last transmitted block B last matches the current time block B current (step S 2). If the last sent block B last matches the current time block B current Reads the last transmitted subblock SB last stored in the transmitted block ID storage unit 67 and checks whether the next subblock SB last + 1 exists within the same time block B last ( Step S3).
  • next sub-block SB last + 1 does not exist in the same time block B last , since all sub-blocks in the time block B last have already been transmitted, the process returns to step S 1 and returns to the next time. Wait for the data transmission timing for the block. If the next sub-block SB last + 1 exists in the same time block B last , the next sub-prog, SB last + 1 is selected in the time block B last as output data (step S4). ), The selected sub-block is read from the recording device 63 ', and this is written to the transmission buffer 61A of the TCP protocol stack 61 (step S6). Then, the storage contents of the transmitted block ID storage unit 67 are updated.
  • step S2 If it is determined in step S2 that the last transmitted block B last does not match the current time block B cummt , the time block for transmitting the last transmitted block B las , has already passed. Therefore, the basic sub-block of the current time block B current is selected as output data (step S5). Then, the selected sub-block is read from the recording device 63, and is written into the transmission buffer 61A of the TCP protocol stack 61 (step S6). Update the stored contents.
  • step S1 the process returns to step S1 to wait for the next data transmission timing.
  • FIG. 24 schematically shows the configuration of a data stream transmitted from the server 60 side.
  • streaming data is handled at predetermined time plot click T B, is how much of the sub-blocks are transmitted, times at that time pro click is determined depending on the line capacity, the The result data stream bit rate is dynamically adjusted and controlled.
  • T B time plot click
  • the streaming system 5 0 from a single data as shown in FIG. 8, vary depending on the bandwidth of the time each proc T B It is possible to easily generate data having a high bit rate. Therefore, the protocol for rate control is simplified, and sufficiently stable stream delivery can be performed even when implemented on standard TCP. Further, on the server 60 side, the storage capacity of the recording device 63 can be reduced.
  • the streaming data reproducing client application 72 restores the original data by inverse quantization and inverse MDCT of the data extracted from the reception buffer 71A, and reproduces and outputs the original data from the reproducer 72.
  • FIG. 12 shows, in the form of a flowchart, a procedure for receiving streaming data by the streaming data playback client / application 72.
  • the layer ID is read from the head of the sub-block read from the reception buffer 71A (step S11).
  • step S12 based on the hierarchical ID, it is determined whether or not the read sub-block is a basic sub-block in the time block concerned.
  • the read sub-block is a basic sub-block, since all the data input to the buffers of the decoding and decompression units of the respective layers at that point in time, the decoding processing of the data in each buffer is performed. After performing the reproduction output (step S13), the reception buffer 71A is cleared (step S14). Then, the data of the basic sub-block is read in the same manner as the data of the other layers (step S15). On the other hand, if the read sub-block is not the basic sub-block, the data itself of the hierarchy is sequentially read into the input buffer of the decompression and decompression unit of each hierarchy (step S15). Supplement
  • an excellent data processing system capable of performing stable stream delivery using a scalable data compression method, creating, transmitting, and transmitting data for streaming delivery using a scalable data compression method
  • an excellent data processing device and data processing method capable of performing processing such as reception, and a computer program.
  • the present invention it is possible to efficiently cope with a wide range of compression ratios using a single device or an information compression method.
  • transmission data having a compression rate corresponding to the line capacity can be automatically generated.
  • bit stream compressed according to the present invention can correspond to a plurality of bit rates by itself, information can be transmitted through transmission paths having various transfer rates, and different recording capacities (densities) can be used. ) Recording on recording media with

Description

明 細 書 データ処理システム、 データ処理方法及びデータ処理装置、 並びにデータ処理 プログラム 技術分野 本発明は、 通信回線を介してデータを送受信するデータ処理システム、 配信用 のデータを作成、 送信、 又は受信などの処理を行なうデータ処理装置及びデータ 処理方法、 並びにデータ処理プログラムに係り、 特に、 通信回線経由でデータを ストリーミング配信するデータ処理システム、 ストリーミング配信用のデータを 作成、 送信、 又は受信などの処理を行なうデータ処理装置及びデータ処理方法、 並びにデータ処理プログラムに関する。
さらに詳しくは、 本発明は、 回線容量が一 でない通信回線経由でデータをス トリーミング配信するデータ処理システム、 ストリーミング配信用のデータを作 成、 送信、 又は受信などの処理を行なうデータ処理装置及びデータ処理方法、 並 びにデータ処理プログラムに係り、 特に、 スケーラプルなデータ圧縮方法を用い て安定したストリーム配信を行なうデータ処理システム、 スケーラブルなデータ 圧縮方法によりストリーミング配信用のデータを作成、 送信、 又は受信などの処 理を行なうデータ処理装置及びデータ処理方法、 並びにデータ処理プログラムに 関する。 景技術 情報処理、 情報通信技術が高度に発達した昨今では、 通常のコンピュータ 'ザ ータのみならず、 イメージ (静止画及び動画を含む) やオーディオなどの各種デ ータも電子的に取扱われるようになってきた。
ところが、 イメージやオーディオなどのデータは、 一般に、 冗長性が高く且つ サイズが膨大であり、 原データのまま記憶装置に格納したりネットワーク上で伝 送したりすると、 記憶容量や通信負荷が過大となってしまう。 このため、 この種 のデータを蓄積したり伝送する際には、 原データを一旦符号化して冗長性を取り 除く、 すなわち圧縮処理を施すのが一般的となっている。 圧縮された画像データ は、 伸長処理を施して原データに復元してから再び利用に供される。
例えば、 オーディオ信号の高能率符号化圧縮方式の 1つとして A T R A C (Adaptive Transform Acoustic Coding) が知られている。 A T R A Cでは、 ォ 一ディォ信号を帯域分割フィルタで 4つの周波数帯域に分割し、 これを変形 D C T (MD C T) 演算して時間軸上のデータ列を周波数軸上のデータ列に変換して から圧縮符号化する。その際、最小可聴限特性と聴覚マスキング効果を利用して、 聴こえ難い成分や大きな音の前後のデータを間引くことにより、 ユーザが耳にす る音質を損なうことなく符号化データ量を減らしている。
ところで、 データの符号化圧縮は、 圧縮率 (ビットレート) 並びに圧縮伸長品 質がある特定の範囲におさまることを目的として構築、 調整されるのが一般的で ある。 このため、 伝送容量が異なる複数線路に対してデータ送出を行なう場合、 あるいは伝送線路の品質が大きく変動するような線路にデータ送出するような場 合には、 さまざまな伝送容量に応じた圧縮率や目標品質に基づいて複数の圧縮ビ ット · ストリームを生成する必要がある。
最近では、 ダウンロードしながら再生するという 「ストリーミング」 技術が開 発され、 インターネット上で普及し始めているが、 回線容量が一定しないという 問題がある。 例えば、 一時的な転送容量の減少やジッタに対応するために、 クラ イアント側で F I F Oバッファリングを行なうことが一般的に行なわれている。 一方、 大幅な転送容量の変化に対応するために、 オリジナル 'データから複数の ビットレートでエンコードした複数のストリームを用意しておき、 サーバとクラ イアント間の通信状況に応じて送出すべきス トリームを動的に切り替えるという 方法が採られている。 後者の実装例として、 米 R e a I N e t w o r k s社の" S u r e S t r e a m"が知られている。
しかしながら、 これらの方法を採用した場合、 クライアント側で F I F Oバッ ファが埋まるまで最初のデータが出てこないので、 ス トリーミング放送が開始す るまで数秒のディレイが生じることになる。 また、 通信状況に応じて複数のスト リームの中から送出すべきものを選択する場合、 1つのオリジナル.データに対 して複数のデータを作成する必要があるため、 圧縮プロセスが複雑化するという 問題がある。また、複数のデータを保存又は転送するために送出機構側のデータ - ストレージゃ通信回線などの面で無駄が多くなり、 その分システムの管理が繁雑 になる。 発明の開示 本発明の目的は、 回線容量が一定でない通信回線経由でデータを好適にストリ ーミング配信することができる優れたデータ処理システム、 ストリーミング配信 用のデータを作成、 送信、 又は受信などの処理を行なう優れたデータ処理装置及 びデータ処理方法、 並びにデータ処理プログラムを提供することにある。
本発明のさらなる目的は、 スケーラブルなデータ圧縮方法を用いて安定したス トリーム配信を行なうことができる優れたデータ処理システム、 スケーラブノレな データ圧縮方法によりストリーミング配信用のデータを作成、 送信、 又は受信な どの処理を行なうことができる優れたデータ処理装置及びデータ処理方法、 並び にデータ処理プログラムを提供することにある。 本発明は、 上記課題を参酌してなされたものであり、 その第 1の側面は、 デー タを複数のプロックに分割し、 該分割したブロックを複数の周波数帯域に分割し た後、 各周波数帯域にて圧縮することにより前記データの再生に必要な基本サブ プロックと前記データの再生品質向上に必要な拡張サブプロックとを各プロック 毎に作成する送信データ生成手段と、
前記の生成された基本サブプロック又は拡張サブプロックを送信する送信手段 と、
基本サブプロック又は拡張サブプロックを送信するタイミングを発生させるタ イミング発生手段と、
前記タイミング発生手段により発生されるタイミングに基づいて現プロックの 基本サブプロックを順次送信させるとともに、 基本サブプロックを送信した後次 のプロック基本サブプロックを送信するまでの間に現プロックの拡張サブブロッ クを送信することが可能かどうかを判断し、 拡張サブブロックの送信が可能であ ると判断された場合には、 現プロック中の拡張サブプロックを選択的に送信させ る送信制御手段と、
を備えた第 1のデータ処理装置と、
前記第 1のデータ処理装置から送信される基本サブプロック又は拡張サブプロ ックを受信する受信手段と、
前記受信手段にて受信したサブプロックからデータを復元する復元手段と、 前記受信手段にて受信したサブプロックが基本サブプロックである場合には、 次のブロックの基本サブプロックが受信されるまでの間に前記受信手段が受信し た拡張サブプロックと該受信した基本サブプロックとを前記復元手段に供給して データを復元させる復元制御手段と、
を備えた第 2のデータ処理装置と、
からなることを特徴とするデータ処理システムである。
但し、 ここで言う 「システム」 とは、 複数の装置 (又は特定の機能を実現する 機能モジュール) が論理的に集合した物のことを言い、 各装置や機能モジュール が単一の筐体内にある力否かは特に問わなレ、。
本発明によれば、 原データを時間プロック単位でさらに帯域分割して符号ィ匕す るというスケーラブルなデータ圧縮方法を用いることにより、 1つのデータから さまざまなビットレートのデータを容易に作り出すことができる。
したがって、 サーバ側ではストリーム用データのためのストレージ容量を削減 することができる。 また、 データ転送レートを制御するためのプロトコルも簡素 化されるので、 例えば T C P (Transmission Control Protocol) のような既存の 標準的なプロトコル上で動作して、 安定したストリーム配信を実現することがで きる。 また、 帯域分割されたサブブロック毎に原データを符号化圧縮することか ら、 個々の圧縮演算処理ユニットは小規模で済む (又は、 符号化のための処理負 荷は軽い)。
例えばオーディォ ·データを极う場合、 各時間プロック毎に可聴な周波数帯域 ( 0〜2 2 k H z ) とそれ以外の周波数帯域 (2 2 k H zを超える帯域をさらに 複数に分割してもよい) に帯域分割し、 各帯域毎に符号化圧縮演算を施す。 符号 化圧縮は、 MD C T (変形離散コサイン変換) と量子化処理により行なわれる力 このとき圧縮成分と量子化工ラ一成分が出力される。 可聴周波数帯域の圧縮成分 は、 データ再生時に不可欠であることから基本サブプロックに位置付けられる。 また、 可聴周波数帯域の量子化エラー成分や、 他の帯域の圧縮成分並びに量子化 成分はデータ再生品質の向上に寄与することから拡張サブプロックに位置付けら れる。
また、 入力データの特性によっては量子ィ匕エラー成分のデータ量が大きくなる ことがある力 さらに量子化エラー成分に同様の符号化圧縮処理を再帰的に適用 してもよい。 この場合、 量子化エラー成分についての圧縮成分と量子化エラー成 分が生成されるが、 これらを拡張サブプロックとしてストリーム用データの一部 に含めることができる。
このようにして、 入力データは、 所定の時間プロック単位で階層化された複数 のサブブロックに分割して取り扱われる。 また、 各サブブロックには、 サブプロ ックの転送に必要とされるリソース量を求めるためのリソース量算出情報を付カロ しておくようにしてもよい。 リソース量算出情報は、 サブブロックの転送による ブロック転送レートの増分を計算するために使用され、 例えば、 サブブロックの 大きさを示すデータ長などで構成される。 データ長の代わりに、 そのサブプロッ クを転送する場合と転送しない場合とで比較したときのプロック転送レートの増 減値を使用してもよい。 また、 各サブプロックには、 例えばどの時間ブロックの どの帯域のサブブロックであるかを識別する階層 I Dをさらに付カ卩してもよい。 ストリーミング配信時には、 データ配信側すなわちストリーム ·サーバとなる 第 1のデータ処理装置側では、 所定時間単位で、 基本サブブロックを必ず送信す るとともに、回線容量に応じて送出する拡張サブブロックの量を動的に制御する。 例えば、 送信可能タイミングを検出したときに、 どのデータ■プロックを送るか を決定するようにすればよい。 すなわち、 送信可能タイミングにおいて、 最後に データ送出したときと同じ時間プロックであれば当該時間プロック内の残りの拡 張サブ口ックを送出する。 また、 既に次の時間プロックの送出タイミングが到来 している場合には残りの拡張サブプロックの送出を諦めて、 次の時間プロック内 における基本サブブロックの送出を開始する。 ここで言うデータの 「送信可能タ ィムング」 とは、 次の送信データを伝送路上に送出するこどができる時刻又はこ れと等価な時刻のことであり、 例えば、 送出ジッターを吸収するために用意され ているプロトコル ,バッファに空きができた時刻を送信可能タイミングとして利 用することもできる。
一方、 クライアントすなわちデータ 'ストリームを受信する第 2のデータ処理 装置側では、 時間プロック毎に基本サブプロックを逆量子化及び逆 MD C T演算 により復号化伸張処理してストリーミング再生を行なうとともに、 拡張サブブロ ックを利用して再生品質を向上させる。 受信側では、 各時間プロックについて拡 張サブブロックを何個まで送出したかを知ることはできないが、 サブブロックに 付加されている階層 I Dを用いて識別することにより、再生が可能となる。また、 受信側では、 階層 I Dを参照することにより、 必要に応じて必要な階層のサブブ ロックを取捨選択して再生に用いることができる。 例えば、 データ長分だけスキ ップして不要な拡張サブブロックを破棄することができる。 すなわち、 受信側で は、 受信データを複号化伸張処理する際に、 伸張する品質を自ら選択することが できる訳である。 また、 帯域分割されたサブブロック毎に複号化伸張処理するこ と力 ら、個々の伸張演算処理ユニットは小規模で済む (又は、処理負荷は軽い)。 また、 本発明の第 2の側面は、 データを所定の時間単位で複数のプロックに分 割し、 該分割したブロックを複数の周波数帯域に分割した後、 各周波数帯域にて 圧縮し、 前記データの再生に必要な基本サブプロックと前記データの再生品質向 上に必要な拡張サブプロックとを各プロック毎に生成し、
所定の時間単位で基本サブプロックを順次送信させるとともに、 基本サブプロ ックを送信した後次の基本サブプロックを送信するまでの間に拡張サブプロック を送信することが可能か否かを判断し、 拡張サブプロックが送信可能であると判 断された場合には拡張サブプロックを送信させる、
ことを特 i とするデータ処理方法である。
本発明の第 2の側面に係るデータ処理方法によれば、 原データを時間プロック 単位でさらに帯域分割して符号化するといぅスケーラブルなデータ圧縮方法を用 いることにより、 1つのデータからさまざまなビットレートのデータをデータ送 出時に容易に作り出すことができる。 したがって、 ス トリーム用データのための ストレージ容量を削減することができる。
また、 データ転送レートを制御するためのプロトコルも簡素化されるので、 例 えば T C P (Transmission Control Protocol) のような既存の標準的なプロトコ ル上で動作して、 安定したストリーム配信を実現することができる。
また、 帯域分割されたサブプロック毎に原データを符号化圧縮すること力、ら、 個々の圧縮演算処理ュニットは小規模で済む(又は、符号化の処理負荷は軽い)。 ここで、 前記送信データ生成手段又はステップは、 時間ブロック単位の入力デ ータをデータ再生に不可欠の帯域とそれ以外の 1以上の帯域に分割して、 各帯域 について符号化圧縮演算を適用して、 データ再生に不可欠の帯域についての圧縮 成分を基本サブプロックとするとともに、 他の帯域の圧縮成分並びに各帯域につ いての圧縮誤差成分を拡張サブプロックとする。
さらに、 前記送信データ生成手段又はステップは、 各帯域についての圧縮誤差 成分を再帰的に符号化圧縮して、 その再帰的な圧縮成分並びに再帰的な圧縮誤差 成分を拡張サブブロックとしてもよい。
このようにして、 入力データを所定時間単位でプロック化するとともに、 複数 の帯域に分割して、 各帯域について符号化圧縮を行ない、 データ再生時に不可欠 となる基本サブプロックと、 データ再生に不可欠ではないが再生品質の向上に寄 与する複数の拡張サブプロックに分けて階層構造を作成する。
階層化された圧縮データはスケーラビリティを備えており、 伸張時にはデー タ · ストリーム全体あるいはその一部を選択的に伸張することによって、 データ 伸張品質を容易に選択■調整することができる。
また、 前記送信データ決定手段又はステップは、 サブプロックの転送に必要と されるリソース量を求めるためのリソース量算出情報として、 サブブロックを識 別する階層 I Dとデータ長を各サブブロックに付加するようにしてもよい。 ある いは、 データ長の代わりに、 データ長の増減の値を使用してもよい。 リソース量 算出情報を基に、 サブプロックの転送によるプロック転送レートの増分を計算す ることができる。 したがって、 スケーラブルな圧縮データを記録したり、 読み出 し、 データ伝送する場合には、 階層 I Dを基にサブブロックを同定したり、 デー タ長分だけ読み出し位置をスキップして次のサブプロックを高速に取り出すこと ができる。
そして、 データのストリーミング配信時には、 前記送信データ決定手段又はス テツプは、 時間ブロック毎に基本サブプロックの送信を決定するとともに、 回線 容量に応じて送信すべき拡張サブプロックを選択するようにすればよい。
例えば、 検出された送信可能タイミングが最後に送出したサブプロックと同じ 時間プロックである、 すなわち最後にデータ送信したときの時間プロックの送信 期限がまだ過ぎていない場合には、 同じ時間プロック内で残りの拡張サプロック の送信を決定すればよい。 この結果、 データ再生に不可欠な基本サブブロック以 外に、 回線容量に応じた分だけ拡張サブプロックを伝送することができるので、 データを受信するクライアント側ではより高品質の再生データを享受することが できる。
また、 検出された送信可能タイミングにおいて最後に送出したサブプロックと 同じ時間プロックの送信期限が既に経過している場合には、 該送信可能タイミン グに対応する時間プロックの基本サブプロックの送信を決定するようにする。 こ の結果、 回線容量に余裕がない場合には、 少なくとも基本サブブロックを伝送す るようにして、 データを受信するクライアント側で再生データの途切れを弓 Iき起 こさないようにする。 また、 本発明の第 3の側面は、 基本サブプロック又は拡張サブプロックを受信 し、
該受信したサブプロックが基本サブプロックであると判断された場合には、 次 の基本サブプロックが受信されるまでの間に受信した拡張サブプロックと該受信 した基本サブブロックとからデータを復元させる、
ことを特徴とするデータ処理方法である。
本発明の第 3の側面に係るデータ処理方法によれば、 回線容量に余裕がない場 合には、少なくとも基本サブプロックを用いてデータの復元を行なうことにより、 再生データの途切れを引き起こさないようにすることができる。 また、 回線容量 に余裕がある場合には、 次の基本サブプロックが受信されるまでの間に受信した 複数の拡張サブブロックの中から拡張サブプロックを選択し、 該選択された拡張 サブプロックと受信した基本サブプロックとからデータを復元することにより、 より高品質のデータ再生を行なうようにすることができる。 また、 本発明の第 4の側面は、
データを所定の時間単位で複数のプロックに分割するステップと、
該分割したプロックを複数の周波数帯域に分割した後、 各周波数帯域にて圧縮 し、 前記データの再生に必要な基本サブプロックと前記データの再生品質向上に 必要な拡張サブブロックとを各プロック毎に生成するステップと、
所定の時間単位で基本サブプロックを順次送信させるとともに、 基本サブプロ ックを送信した後次の基本サブプロックを送信するまでの間に拡張サブプロック を送信することが可能か否かを判断し、 拡張サブプロックが送信可能であると判 断された場合には拡張サブブロックの送信を指示するステップと、
を具備することを特徴とする送信データの処理をコンピュータ ·システム上で実 行するようにコンピュータ可読形式で記述されたデ一タ処理プログラムである。 また、 本発明の第 5の側面は、
受信したサブプロックが基本サブブロックであるかどうかを判断するステツプ と、
受信したサブブロックが基本サブブロックであると判断された場合、 次の基本 サプブ口ックが受信されるまでの間に受信した拡張サブプロックと前記受信した 基本サブブロックとを用いてデータの復元を実行させるステップと、
を備えることを特徴とする受信したデータを復元する処理をコンピュータ ·シス テム上で実行するようにコンピュータ可読形式で記述されたデ一タ処理プ口グラ ムである。
本発明の第 4及び第 5の各側面に係るコンピュータ 'プロダラムは、コンピュー タ ·システム上で所定の処理を実現するようにコンピュータ可読形式で記述され たコンピュータ 'プログラムを定義したものである。 換言すれば、 本発明の第 4 及び第 5の各側面に係るコンピュータ■プログラムをコンピュータ ·システムに インストールすることによって、 コンピュータ .システム上では協働的作用が発 揮され、 本発明の第 2及び第 3の各側面に係るデータ処理方法と同様の作用効果 を得ることができる。 本発明のさらに他の目的、 特徴や利点は、 後述する本発明の実施形態や添付す る図面に基づくより詳細な説明によつて明らかになるであろう。 図面の簡単な説明 図 1は、 本発明の一実施形態に係るストリーミング配信に利用されるデータ圧 縮メカニズムを模式的に示した図である。
図 2は、 記録装置から読み出される原データのデータ構造を模式的に示した図 である。
図 3は、 図 1に示したデータ圧縮メカニズムにより符号化圧縮して得られる階 層化サブプロック構成を模式的に示した図である。
図 4は、 量子化エラー成分を再帰的に符号化圧縮するメ力-ズムを示した図で ある。
図 5は、 拡張サブプロックの再圧縮成分と再量子化エラー成分を含む階層化圧 縮データ構成を示した図である。
図 6は、 拡張サブプロックの再々圧縮成分と再々量子化工ラ一成分を含む階層 化圧縮データ構成を示した図である。
図 7は、 基本及び拡張サブプロックのデータ構造を模式的に示した図である。 図 8は、 スケーラブルに階層化圧縮されたデータが記録装置に保存されている 様子を模式的に示した図である。
図 9は、 本発明の一実施形態に係るストリーミング配信システム 5 0の構成を 模式的に示した図である。
図 1 0は、 ストリーミング配信用サーバ'アプリケーション 6 2によって実現 されるストリーミング配信処理の機能構成を模式的に示した図である。
図 1 1は、 ストリーミング配信用サーバ ·アプリケーション 6 2によるストリ 一ミング配信の処理手順を示したフローチヤ一トである。
図 1 2は、 ストリーミング 'データ再生用クライアント ·アプリケーション 7 2によるストリーミング'データの受信処理手順を示したフローチャートである。 図 1 3は、 スケーラブルなデータ符号化圧縮に対応するデータ複号化伸張処理 システム 2 0の構成を模式的に示した図である。
図 1 4は、 データ復号ィ匕伸張処理システム 2 0によりスケーラブルな圧縮デー タを復号化伸張処理した結果を示した図である。
図 1 5は、 デ タ複号化伸張処理システム 2 0によりスケーラブルな圧縮デー タを復号化伸張処理した結果を示した図である。
図 1 6は、 データ複号化伸張処理システム 2 0によりスケーラブルな圧縮デー タを復号化伸張処理した結果を示した図である。
図 1 7は、 データ復号化伸張処理システム 2 0によりスケーラブルな圧縮デー タを複号化伸張処理した結果を示した図である。
図 1 8は、 データ複号化伸張処理システム 2 0によりスケーラブルな圧縮デー タを複号化伸張処理した結果を示した図である。
図 1 9は、 データ復号化伸張処理システム 2 0によりスケーラブルな圧縮デー タを復号化伸張処理した結果を示した図である。
図 2 0は、 データ複号化伸張処理システム 2 0によりスケーラブルな圧縮デー タを複号化伸張処理した結果を示した図である。
図 2 1は、 データ複号化伸張処理システム 2 0によりスケーラブルな圧縮デー タを復号化伸張処理した結果を示した図である。
図 2 2は、 データ復号化伸張処理システム 2 0によりスケーラブルな圧縮デー タを複号化伸張処理した結果を示した図である。
図 2 3は、 データ復号化伸張処理システム 2 0によりスケーラブルな圧縮デー タを復号化伸張処理した結果を示した図である。
図 2 4は、 サーバ 6 0側から送出されるデータ ·ストリームの構成を模式的に 示した図である。 発明を実施するための最良の形態 以下、 図面を参照しながら本発明の実施形態について詳解する。 A. 概要
例えばィンタ一ネットのような回線容量が一定しない通信回線を利用してデー タのストリーミングを行なう場合、 回線容量に応じてさまざまな圧縮率に適応し 得るスケーラブルなデータ圧縮手法が必要となる。
そこで、 本発明では、 入力データを所定時間単位でプロック化するとともに、 複数の帯域に分割して、 各帯域毎に符号化圧縮を行ない、 データ再生時に不可欠 となる基本サブブロックと、 データ再生に不可欠ではないが再生品質の向上に寄 与する複数の拡張サブプロックに分けて階層構造を作成する。
そして、 ストリーミング配信時には、 所定時間単位で、 基本サブプロックを必 ず送信するとともに、 回線容量に応じて送出する拡張サブプロックの量を動的に 制御する。 すなわち、 送信可能タイミングを検出したときに、 どのデータ 'プロ ックを送るかを決定するようにすればよい。 例えば、 送信可能タイミングにおい て、 同じデータ 'ブロックを送出する時間周期內であれば残りの拡張サブ口ック を送出するが、 既に次のデータ ·プロックの送出タイミングが到来した場合には 残りの拡張サブプロックの送出を諦めて次のデータ■プロックの基本サブプロッ クの送出を開始する。
このように原データを時間プロック単位でさらに帯域分割して符号化するとい ぅスケーラブルなデータ圧縮方法を用いることにより、 1つのデータからさまざ まなビットレートのデータを作り出すことができる。 したがって、 サーバ側では ストリーム用データのためのス トレージ容量を削減することができる。 また、 デ ータ転送レートを制御するためのプロトコノレも簡素化されるので、 例えば T C P (Transmission Control Protocol) のような既存の標準的なプロトコル上で動作 して、 安定したストリーム配信を実現することができる。 また、 帯域分割された サブプロック毎に原データを符号化圧縮すること力 ら、 個々の圧縮演算処理ュ- ットは小規模で済む (又は、 符号化の処理負荷は軽い)。
例えばストリーミング酉 S信用のデータとしてオーディオ'データを扱う場合、 各時間プロック毎に可聴な周波数帯域 (0〜 2 2 k H z ) とそれ以外の周波数帯 域 (2 2 k H zを超える帯域をさらに複数に分割してもよい) に帯域分割し、 各 帯域毎に符号化圧縮演算を施す。 符号化圧縮は、 MD C T (変形離散コサイン変 換) と量子化処理により行なわれるが、 このとき圧縮成分と量子化エラー成分が 出力される。 可聴周波数帯域の圧縮成分は、 データ再生時に不可欠であることか ら基本サブブロックに位置付けられる。 また、 可聴周波数帯域の量子化エラー成 分や、 他の帯域の圧縮成分並びに量子化成分はデータ再生品質の向上に寄与する ことから拡張サブブロックに位置付けられる。
また、 入力データの特性によっては量子化エラー成分のデータ量が大きくなる ことがあるが、 さらに量子化エラー成分に同様の符号化圧縮処理を再帰的に適用 してもよい。 この場合、 量子化エラー成分についての圧縮成分と量子化エラー成 分が生成されるが、 これらを拡張サブブロックとしてストリーム用データの一部 に含めることができる。
このようにして入力データは、 所定の時間プロック単位で階層化された複数の サブブロックに分割して取り扱われる。 また、 各サブブロックには、 どの時間プ 口ックのどの帯域のサブプロックであるかを識別する階層 I Dと、 サブブロック の大きさを示すデータ長を付加しておく。
一方、 クライアントすなわちデータ■ストリームの受信側では、 時間プロック 毎に基本サブブロックを逆量子化及び逆 MD C T演算により復号化伸張処理して ストリーミング再生を行なうとともに、 拡張サブプロックを利用して再生品質を 向上させる。 受信側では、 各時間プロックについて拡張サブプロックを何個まで 送出したかを知ることはできないが、 サブブロックに付加されている階層 I Dを 用いて識別することにより、 再生が可能となる。 また、 受信側では、 階層 I Dを 参照することにより、 必要に応じて必要な階層のサブプロックを取捨選択して再 生に用いることができる。 例えば、 データ長分だけスキップして不要な拡張サブ ブロックを破棄することができる。 すなわち、 受信側では、 受信データを復号ィ匕 伸張処理する際に、 伸張する品質を自ら選択することができる訳である。 また、 分割された帯域毎に復号化伸張処理することから、 個々の伸張演算処理ュニット は小規模で済む (又は、 復号化の処理負荷は軽い)。 B. スケーラフ レなデータ圧縮
まず、 本実施形態に係るスケーラブルなデータ符号化圧縮システム 1 0につい て、 図 1を参照しながら説明する。 但し、 以下の説明では便宜上オーディオ 'デ ータを扱うものとする。 但し、 以下の説明では便宜上、 8 8. 2 kH zまでの周 波数帯域を持つ、 すなわちサンプリング ' レートが 1 76. 4 kH zであるよう なオーディオ-データを扱うものとする。
原データは、 ハード .ディスクや光磁気ディスクなどのランダム ·アクセスが 可能な記録装置上に蓄積されている。 そして、 記録装置からオーディオ'データ が所定の時間ブロック TB単位で読み出され (図 2を参照のこと)、 QMF (Quadrature Mirror Filter) を多段に組み合わせたフィルタによって周波数方 向に複数に分解される。
図 1に示す例では、 2段に組み合わせた QMF 1 1によって、 オーディオ'デ ータは、 0〜2 2 kH zの可聴周波数帯域サブプロックと、 2 2 kH zを超える 帯域をさらに 2 2 kH z毎の帯域に分割されている。 以下では、 0〜22 kH z の可聴周波数帯域を 「基本帯域」 と呼び、 以降は 「χ 2帯域」、 「χ 3帯域」、 「χ 4帯域」 と呼ぶことにする。 勿論、 超 2 2 kH z帯域を他の様式で分割してもよ いし、 分割せずに単一の帯域サブブロックとして取り扱うようにしてもよい。 分割された各帯域は、 さらに、 MDCT (変形離散コサイン変換) 演算部 1 2 で時間軸上のデータ列を周波数軸上のデータ列に変換し、 さらに、 量子化演算部 1 3で量子化して圧縮符号化する。
ここで、 各々の帯域における量子化演算部 1 3の出力は、 圧縮成分と量子化工 ラー成分で構成される。
この結果、 所定の時間ブロックで切り出された原データは、 図 3に示すような 階層化された複数のサブプロックとして構成されている。すなわち、基本帯域は、 その圧縮成分からなる基本サブプロック # 1と、 その量子化エラー成分からなる 拡張サブプロック # 2という階層構造からなる。 また、 x 2帯域は、 この帯域成 分について圧縮成分からなる拡張サブプロック # 3と、 その量子化エラー成分か らなる拡張サブブロック # 4という階層構造からなる。 同様に、 X 3帯域はこの 帯域成分について圧縮成分からなる拡張サブプロック # 5とその量子化エラー成 分からなる拡張サブプロック # 6という階層構造からなり、 X 3帯域はこの帯域 成分について圧縮成分からなる拡張サブプロック # 5とその量子化エラー成分か らなる拡張サブプロック # 6という階層構造からなる。 本実施形態では、 各サブ ブロックは可変長であるが、 勿論、 固定長となるように符号化圧縮を施してもよ い。
また、 入力データの特性によっては量子化エラー成分のデータ量が大きくなる ことがある。 このような場合、 図 4に示すように、 再圧縮部 1 4により、 さらに 量子化エラー成分に同様の符号化圧縮処理を再帰的に適用してもよい。 再圧縮部 1 4は、 同様に MD C T演算と量子ィヒ演算を行ない、 量子化エラー成分について の再圧縮成分と再量子化エラー成分が生成される力 図 5に示すように、 これら を拡張サブプロックとして階層化して、 ストリーム用データの一部に含めること ができる。 勿論、 図 6に示すように再量子化エラー成分を再度圧縮して、 再々圧 縮成分と再々量子化エラー成分を得て、 拡張サブプロックをさらに階層化するこ ともできる。
基本サブブロック # 1は、 データ再生時に不可欠となる成分である。 これに対 して、 拡張サブプロック # 2〜# 8はデータ再生に不可欠ではないがデータ再生 品質の向上に寄与することができる。 また、 拡張サブブロックは、 原データの圧 縮成分と量子化エラー成分の 2種類があるが、 対応する圧縮成分がなければその 量子化エラー成分をデータ再生に利用することはできない (例えば、 拡張サブブ 口ック # 4を利用するためには拡張サブプロック # 3の復号化が必須である)。ま た、 基本サブプロック # 1により近い帯域成分ほどデータ再生品質への貢献度は 高いという性質がある。
後処理部 1 5では、 階層的に符号化圧縮されたサブブロックに、 どの時間プロ ックのどの帯域のサブプロックであるかを識別する階層 I Dを付加する。 また、 サブフロックを可変長形式で構成する場合には、 さらにサブプロックのデータ長 を付加する。 図 7には、 基本及び拡張サブブロックのデータ構造を示している。 このようにして生成された基本及ぴ拡張サブブロックは、 ハード-ディスク装 置のようなランダム ·アクセス可能な記録装置に時系列的に蓄積される (図 8を 参照のこと)。記録装置上では、サブプロックの先頭に記述された階層 I Dを参照 することによって、 どの時間ブロックのどの階層のサブプロックであるかを同定 することができる。 また、 次のサブブロックに進みたいときには、 データ長分だ け読み出し位置をスキップすればよい。
このように圧縮したデータを分割し且つ階層的に記録するようにして、 圧縮デ ータの伸張時の品質を動的に選択、 制御することが可能となり、 スケーラビリテ ィが実現される。 また、 圧縮処理の過程における誤差を検出して圧縮データに付 加することによって、 圧縮品質を向上させることができる。
また、 図 1 3には、 上述したスケーラブルなデータ符号化圧縮に対応するデー タ復号化伸張処理システム 2 0の構成を図解している。 同図に示すように、 この 伸張処理システム 2 0は、 可聴帯域及び X 2, X 3 , X 4の各帯域毎に復号化伸 張処理部を備え、それぞれの帯域についての復号データを逆 QMFで多重化して、 原データを再現する構成となっている。
前処理部 2 1では、 受信したサブプロックの階層 I Dを読み込んで、 該当する 帯域の復号化伸張処理部に投入する。
復号化伸張処理部は、逆量子化部 2 2と、逆 MD C T演算部 2 3で構成される。 逆量子化部 2 2は、 該当する帯域についての圧縮成分サブプロックと量子化エラ 一成分サブプロックを基に逆量子化を行なう。 量子化エラーサブプロックが再帰 的に圧縮処理が施されている場合には、 このサブプロックを一旦復号化伸張処理 を行なった後、 逆量子化部 2 2に投入する。 また、 逆]\10じ丁演算部2 3は、 周 波数軸上のデータ列を時間軸上のデータ列に変換する。
そして、 各帯域についての復号データを逆 QMF 2 4で多重化して、 原データ を再現する。
このデータ復号化伸張処理システム 2 0に基本サブプロック # 1が入力される と、 これが逆量子化及び逆 MD C T演算されて、 原データの可聴帯域が復元され る (図 1 4を参照のこと)。 次いで、拡張サブブロック # 2が入力されると、可聴 帯域の符号化圧縮時における量子化工ラ一成分も復元され (図 1 5を参照のこと)、 高品質の可聴帯域を再生することが可能となる。
さらに、 拡張サブブロック # 3が入力されると X 2帯域が復元され (図 1 6を 参照のこと)、また、拡張サブプロック # 4が入力されると X 2帯域の符号化圧縮 時における量子化エラー成分も復元され(図 1 7を参照のこと)、 X 2帯域までを 高品質で再生することが可能となる。
以下同様に、 データ複号化伸張処理システム 2 0が拡張サブプロック # 5 , # 6, …を順次得ることによって、 原データのより高い帯域成分をより高品質で再 現していくこととなる (図 1 8〜図 2 1を参照のこと)。
また、 スケーラブルな圧縮データを復号化伸張処理の変形例として、 図 2 1に 示すように、 可聴帯域及び X 2 , X 3 , X 4のすベての帯域において圧縮符号ィ匕 成分を復元する一方で、 可聴帯域のみ量子化工ラ一成分を復元するようにしても よい。 あるいは、 図 2 2に示すように、 可聴帯域及び X 2, X 3 , X 4のすベて の帯域において圧縮符号化成分を復元する一方で、 可聴帯域及び X 2領域のみ量 子化工ラー成分を復元するようにしてもよい。 あるいは、 図 2 3に示すように、 可聴帯域及び X 2, X 3の各帯域において圧縮符号化成分を復元する一方で、 可 聴帯域のみ量子化エラー成分を復元するようにしてもよい。 前処理部 2 1は、 供 給される各サブブロックに付加されている階層 I D及びデータ長を参照して、 図 2 2〜図 2 3の各複号化伸張結果となるように、 サブプロックを取捨選択するよ うにすればよい。
上述したように圧縮データはスケーラビリティを備えているので、 伸張時には データ ·ストリーム全体あるいはその一部を選択的に伸張することによって、 デ ータ伸張品質を選択 ·調整することができる訳である。
C ストリーミング配信
図 1に示したデータ符号化圧縮システム 1 0によれば、 スケーラブノレな階層化 圧縮データを得ることができ、 1つのデータからさまざまなビットレートのデー タを作り出すことができる。 このような階層化圧縮データを用いてストリーミン グ配信を行なうことにより、 サーバ側では、 ストリーム用データのためのストレ ージ容量を削減することができる。 また、 データ転送レートを制御するためのプ 口 トコルも簡素化されるので、 例えば T C P (Transmission Control Protocol) のような既存の標準的なプロトコル上で動作して、 回線容量が一定でないインタ ーネット上でも安定したストリーム配信を実現することができる。 図 9には、 本実施形態に係るストリーミング配信システム 5 0の構成を模式的 に示している。
同図に示すように、 ストリーミング配信システム 5 0は、 データ 'ストリーム を配信するサーバ 6 0と、 データ ·ストリームを受信と同時に再生するクライア ント 7 0で構成される。
サーバ 6 0とクライアント 7 0の間は、 インターネットあるいはその他の形態 の T C Pネットワーク 8 0で相互接続されている。 本実施形態では、 安定したス トリーム配信を行なう上で、 T C Pネットワーク 8 0の回線容量が一定であるこ とは特に要求されない。
なお、 図示しないが T C Pネットワーク 8 0上には図示しない複数のサーバ並 びに多数のクライアントが配置されていてもよい。 また、 サーバは、 ストリーミ ング配信サービス以外の、 さまざまの情報提供サービスを行なつていてもよい。 ストリーミング配信を行なうサーバ 6 0側では、 T C Pプロトコル'スタック 6 1上でストリーミング配信用サーバ■アプリケーション 6 2が起動している。 このサーバ 'アプリケーション 6 2は、 付設の記録装置 6 3からストリーミン グ配信用データを読み出して、 T C Pプロトコル 'スタック 6 1を介して、 スト リーミング配信を行なう。 T C Pプロ トコルの詳細については R F C (request for commentsリ ¾: 照 3れにレヽ。
記録装置 6 3上には、 スケーラプルなデータ圧縮処理が施されたストリーミン グ配信用データが蓄積されている。 より具体的には、 原データは所定の時間プロ ック毎に複数の帯域に分割並びに符号化圧縮され、 圧縮成分サブプロックとその 量子化成分サブブロックに階層化され、 時系列的に格納される (図 8を参照のこ と)。各サブブロックには、 どの時間プロックのどの帯域のサブブロックであるか を識別する階層 I Dと、 サブプロックのデータ長が付加されている (図 7を参照 のこと)。 また、記録装置 6 3は、 ハード'ディスクなどのランダム .アクセスが 可能な装置で構成され、 階層 I Dとデータ長を参照して所望のサブプロックに自 在にアクセスすることができる。
ストリーミング酉己信サーバ ·アプリケーシヨン 6 2は、 次回送出すべきサブブ ロックを記録装置 6 3から読み出すと、 これを T C Pプロトコル'スタック 6 1 が装備する送信バッファ 6 1 Aに書き込む。
送信バッファ 6 1 Aは、 F I F O (First In First Out:先入れ先出し) 开式 で構成され、 古いデータの順に T C Pネットワーク 8 0に送出する。 送信バッフ ァ 6 1 Aは、 記録装置 6 3からの送信データの取り出しタイミング (あるいは送 信データの生成タイミング) と送信タイミングとの差を吸収するために装備され ている。 アプリケーション 6 2によるデータ書き込み動作により送信バッファ 6 1 Aに送信データが書き込まれる (あるいは送信データで満杯になる) と、 T C pプロトコル-スタック 6 1のデータ送出タイミングとなる。 また、 T C Pネッ トワーク 8 0へのデータ送出動作により送信バッファ 6 1 Aが空になる (あるい は空き領域が生ずる) と、 アプリケーション 6 2による次のデータ書き込みタイ ミングとなる。
一方、 ストリーミング ·データを受信するクライアント 7 0側では、 T C P上 でストリーミング■データ再生用クライアント■アプリケーション 7 2が起動し ている。
T C Pプロトコ^ · ·スタック 7 1は、 T C Pネットワーク 8 0経由で配信され たデータを受信すると、これを受信バッファ Ί 1 Aに書き込む。ストリーミング · データ再生用クライアント ·アプリケーション 7 2は受信バッファ Ί 1 Aから取 り出したデータを逆量子化及び逆 MD C T演算して原データに復元して、 再生器 7 3から再生出力する。 この復号化処理は、 各帯域毎に、 圧縮成分サブブロック のみ、 あるいは、 さらに量子ィヒエラー成分サブブロックを用いて行なわれる。 上述したように、 サーバ 6 0側からは、 スケーラブルなデータ圧縮処理が施さ れたストリーミング配信用データが送信される。 より具体的には、送信データは、 原データを所定の時間ブロック毎に複数の帯域に分割並びに符号化圧縮した後、 圧縮成分サブプロックとその量子化成分サブプロックに階層化されている。一方、 クライアント 7 0側では、 各時間ブロックについて拡張サブプロックを何個まで 送出したかを知ることはできないが、 サブブロックに付加されている階層 I Dを 用いて識! ¾することにより、 再生が可能となる。
受信バッファ 7 1 Aは、 F I F O (First In First Out:先入れ先出し) 形式 で構成され、 古いデータの順にアプリケーション 7 2に送出する。 受信バッファ 7 1 Aは、 T C Pネットワーク 8 0経由でのデータ受信タイミングとアプリケー シヨン 7 2からの受信データの取り出しタイミング (あるいは受信データの再生 タイミング) との差を吸収するために装備されている。 受信データが受信バッフ ァ 7 1 Aに蓄積される (あるいは満杯になる) と、 アプリケーション 7 2は受信 データを読み出す。 また、 アプリケーション 7 2からの読み出し動作により受信 バッファ 7 1 Aが空になる(あるいは空き領域が生ずる) と、 T C Pプロトコル · スタック 7 1は次のデータの受信可能タイミングとなる。
本実施形態では、 原データは、 データ再生時に不可欠となる基本サブブロック と、 データ再生に不可欠ではないが再生品質の向上に寄与する複数の拡張サブブ ロックに分けて、 階層構造化されている。 ストリーミング配信用サーバ -アプリ ケーシヨン 6 2は、 所定の時間ブロック毎に、 基本サブプロックを必ず送信する とともに、 回線容量に応じて送出する拡張サブプロックの量を動的に制御するよ うになつている。 すなわち、 送信可能タイミングにおいて、 同じデータ 'ブロッ クを送出する時間周期内であれば残りの拡張サブ口ックを送出するが、 既に次の データ ·ブロックの送出タイミングが到来した場合には残りの拡張サブプロック の送出を諦めて次のデータ ·ブロックの基本サブプロックの送出を開始する。 このようにすれば、 原データを時間プロック単位でさらに帯域分割して符号化 するといぅスケーラブルなデータ圧縮方法を用いることにより、 1つのデータか らさまざまなビットレートのデータを作り出すことができる。 したがって、 ビッ トレート調整のために、 1つの原データからビットレートの異なる複数の符号化 ストリームを用意する必要がないので、 記録装置 6 3のストレージ容量を削減す ることができる。
図 1 0には、 ストリーミング酉己信用サーバ ·アプリケーション 6 2によって実 現されるストリーミング配信処理の機能構成を模式的に示している。
図示の通り、 ストリーミング酉己信用サーバ 'アプリケーション 6 2は、 タイマ 6 5と、送出ブロック決定部 6 6と、送出済みブロック記憶部 6 7を備えている。 ダウンロードしながら再生を行なうストリーミング配信においては、 回線容量 の変動に拘わらず、 クライアント側において途切れなくデータ再生を可能にする ために、 サーバ 6 0側ではビットレートを動的に調整する必要がある。 送信データは、 所定時間ブロック毎に、 複数の帯域に分割するとともに、 デー タ再生時に不可欠となる基本サブブロックとデータ再生に不可欠ではないが再生 品質の向上に寄与する複数の拡張サブプロックに送出プロックに階層化されてい る。 したがって、 データの途切れを回避するためには、 所定時間ブロック毎に基 本サブブロックを送出することが必須である。 さらに、 回線容量の余裕に応じて 拡張サブプロックを送出して、 データ再生品質の向上を図るべきである。
タイマ 6 5は、 システム,タイマ (図示しない) などを用いて実時間を計時し ている。
送出プロック決定部 6 6は、 タイマ 6 5の計時値を参照して、 送信タイミング を検出したときの時間プロックを算出する。 そして、 送信可能タイミングにおい て、 同じデータ ·プロックを送出する時間周期内であれば残りの拡張サブ口ック を送出するが、 既に次のデータ ·プロックの送出タイミングが到来した場合には 残りの拡張サプブ口ックの送出を諦めて次のデータ■プロックの基本サブブロッ クの送出を開始する。 送出プロック決定部 6 6は、 送出ブロックを決定するため に、 最後に送出したプロック B last及びサブプロック S B lastの階層 I Dを保持す るために、 送出済みプロック記憶部 6 7を使用する。
送出ブロック決定部 6 6は、 上述したようなメカニズムにより送出ブロック並 びにそのサブプロックを決定すると、 該当するデータを記録装置 6 3から取り出 して、 T C Pプロトコル 'スタック 6 1の送信バッファ 6 1 Aに書き込む。
また、 図 1 1には、 ストリーミング酉己信用サーバ■アプリケーション 6 2によ るストリーミング配信の処理手順をフローチヤ一トの形式で示している。
まず、 T C Pプロトコル 'スタック 6 1の送信バッファ 6 1 Aの空き領域をチ エックすることにより、 出力タイミングが到来したかどうかを判別する (ステツ プ S 1 )。
出力タイミングが到来すると、 タイマ 6 5の計時tを参照して、 現在の時間ブ ロック Bcurraitを算出する。 一方、 送出済みブロック I D記憶部 6 7を参照して最 後に送出したプロック B lastを検出する。 そして、 最後に送出したブロック B last が現在の時間プロック Bcurrentに一致するかどうかを判別する (ステップ S 2 )。 最後に送出したプロック Blastが現在の時間プロック Bcurrentに一致する場合に は、 送出済みブロック I D記憶部 6 7に記憶されている最後に送出したサブプロ ック S Blastを読み出し、 同じ時間プロック B last内で次のサブプロック S B last+ 1が存在するかどうかをチェックする (ステップ S 3 )。
同じ時間プロック B last内で次のサブプロック S B last+ 1が存在しない場合に は、 時間プロック B last内のすべてのサブブロックを既に送信しているので、ステ ップ S 1に戻り、次の時間プロックについてのデータ送信タイミングを待機する。 また、同じ時間プロック B last内で次のサブブロック S B last+ 1が存在する場合 には、出力データとして時間ブロック B last内で次のサブプロッグ, S B last+ 1を選 択して (ステップ S 4 )、選んだサブブロックを記録装置 6 3'から読み出して、 こ れを T C Pプロトコル■スタック 6 1の送信バッファ 6 1 Aに書き込む (ステツ プ S 6 )。 そして、 送出済みプロック I D記憶部 6 7の記憶内容を更新する。 また、 ステップ S 2において、最後に送出したブロック B lastが現在の時間プロ ック B cummtに一致しないと判定された場合には、 最後に送出したプロック B las、 を送信する時間プロックを既に経過しているので、現在の時間プロ ク B currentの 基本サブプロックを出力データとして選択する (ステップ S 5 )。 そして、選んだ サブブロックを記録装置 6 3から読み出して、 これを T C Pプロトコル ·スタツ ク 6 1の送信バッファ 6 1 Aに書き込むとともに(ステップ S 6 )、送出済みプロ ック I D記憶部 6 7の記憶内容を更新する。
その後、 ステップ S 1に戻り、 次のデータ送信タイミングを待機する。
図 2 4には、 サーバ 6 0側から送出されるデータ ·ストリームの構成を模式的 に示している。 本実施形態では、 ストリーミング配信データは所定の時間プロッ ク TB毎に取り扱われ、 どれだけのサブブロックが送出されるかは、その時間プロ ックにおける回,線容量に応じて決定され、 この結果データ ·ストリームのビット レートが動的に調整、 制御される仕組みとなっている。 同図に示す例では、 t = 0の時間プロックでは、 階層 # 1の基本サブプロックと階層 # 2〜 # 3の拡張サ プブロックが送出されている。 また、 t = TBの時間ブロックでは、 階層 # 1の基 本サブブロックと階層 # 2の拡張サブブロックのみが送出されている。
このように、 本実施形態に係るストリーミング配信システム 5 0では、 図 8に 示したような 1つのデータから、時間プロック TB毎の回線容量に応じてさまざま なビットレートのデータを容易に作り出すことができる。 したがって、 レート制 御のためのプロトコルが単純になるので、 標準的な T C P上で実装しても、 充分 に安定したストリーム配信を行なうことができる。 また、 サーバ 6 0側では、 記 録装置 6 3のストレージ容量を削減することができる。
一方、 ストリーミング ·データ再生用クライアント ·アプリケーション 7 2は 受信バッファ 7 1 Aから取り出したデータを逆量子化及び逆 MD C T演算して原 データに復元して、再生器 7 2から再生出力する。図 1 2には、ストリーミング' データ再生用クライアント■アプリケーション 7 2によるストリーミング ·デー タの受信処理手順をフローチャートの形式で示している。
まず、 受信バッファ 7 1 Aから読み出したサブプロックの先頭から階層 I Dを 読み込む (ステップ S 1 1 )。
そして、 階層 I Dを基に、 読み出したサブプロックが当該時間プロックにおけ る基本サブブロックかどうかを判別する (ステップ S 1 2 )。
読み込んだサブプロックが基本サブプロックである場合には、 その時点で各階 層の復号化伸張部のバッファに入力されたデータがすべてなので、 各バッファ内 のデータの復号化処理を行ない、 再生器 7 3から再生出力を行なった後 (ステツ プ S 1 3 )、 受信バッファ 7 1 Aをクリアする (ステップ S 1 4 )。 そして、 基本 サブブロックのデータを他の階層のデータと同様に読み込む(ステップ S 1 5 )。 一方、 読み込んだサブブロックが基本サブブロックでない場合には、 当該階層 のデータそのものを順次各階層の複号化伸張部の入カバッファに読み込む (ステ ップ S 1 5 )。 追補
以上、 特定の実施形態を参照しながら、 本発明について詳解してきた。 しかし ながら、 本発明の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成 し得ることは自明である。 すなわち、 例示という形態で本発明を開示してきたの であり、 本明細書の記載内容を限定的に解釈するべきではない。 本発明の要旨を 判断するためには、 冒頭に記載した特許請求の範囲の欄を参酌すべきである。 産業上の利用可能性 本発明によれば、 回線容量が一定でない通信回線経由でデータを好適にストリ 一ミング配信することができる優れたデータ処理システム、 ストリーミング配信 用のデータを作成、 送信、 又は受信などの処理を行なう優れたデータ処理装置及 ぴデータ処理方法、 並びにコンピュータ 'プログラムを提供することができる。 また、 本発明によれば、 スケーラブルなデータ圧縮方法を用いて安定したスト リーム配信を行なうことができる優れたデータ処理システム、 スケーラブルなデ ータ圧縮方法によりストリーミング配信用のデータを作成、 送信、 又は受信など の処理を行なうことができる優れたデータ処理装置及びデータ処理方法、 並びに コンピュータ■プログラムを提供することができる。
本発明によれば、 単一の装置又は情報圧縮方法により広範囲な圧縮率に効率用 対応することが可能となる。 また、 特に伝送経路の回線容量などがあまり保証さ れない場合であっても、 自動的に回線容量に対応した圧縮率の伝送データを生成 することができる。
また、 本発明により圧縮されたビット .ス トリームは、 それ単体で複数のビッ トレートに対応したものとなるので、 さまざまな転送レートを持った伝送経路に よる情報の伝送、 並びに異なる記録容量 (密度) を有する記録媒体への記録など
1 同一の圧縮ビット■ストリームにより対応することが可能となる。 したがつ て、 伝送経路あるいは記録媒体に合わせて複数の圧縮率のビット 'ストリームを 持つ必要がなくなるため、 システムの規格を容易に構築することができるととも に、 装置の規模も縮小することが可能となる。

Claims

請求の範囲
1 . データを複数のブロックに分割し、 該分割したプロックを複数の周波数帯域 に分割した後、 各周波数帯域にて圧縮することにより前記データの再生に必要な 基本サブプロックと前記データの再生品質向上に必要な拡張サブプロックとを各 プロック毎に作成する送信データ生成手段と、
前記の生成された基本サブプロック又は拡張サブプロックを送信する送信手段 と、
基本サブプロック又は拡張サプブ口ックを送信するタイミングを発生させるタ イミング発生手段と、
前記タイミング発生手段により発生されるタイミングに基づいて現プロックの 基本サブプロックを順次送信させるとともに、 基本サブプロックを送信した後次 のプロック基本サブプロックを送信するまでの間に現プロックの拡張サブプロッ クを送信することが可能かどうかを判断し、 拡張サブプロックの送信が可能であ ると判断された場合には、 現プロック中の拡張サブプロックを選択的に送信させ る送信制御手段と、
を備えた第 1のデータ処理装置と、
前記第 1のデータ処理装置から送信される基本サブブロック又は拡張サブブ口 ックを受信する受信手段と、
前記受信手段にて受信したサブプロックからデータを復元する復元手段と、 前記受信手段にて受信したサブプロックが基本サブプロックである場合には、 次のブロックの基本サブブロックが受信されるまでの間に前記受信手段が受信し た拡張サブプロックと該受信した基本サブプロックとを前記復元手段に供給して データを復元させる復元制御手段と、
を備えた第 2のデータ処理装置と、
からなることを特徴とするデータ処理システム。
2. データを所定の時間単位で複数のプロックに分割し、 該分割したプロックを 複数の周波数帯域に分割した後、 各周波数帯域にて圧縮し、 前記データの再生に 必要な基本サブプロックと前記データの再生品質向上に必要な拡張サブブロック とを各ブロック毎に生成し、
所定の時間単位で基本サブプロックを順次送信させるとともに、 基本サブプロ ックを送信した後次の基本サブプロックを送信するまでの間に拡張サブプロック を送信することが可能か否かを判断し、 拡張サブブロックが送信可能であると判 断された場合には拡張サブプロックを送信させる、
ことを特 ί敷とするデータ処理方法。
3 · サブプロックを識別する識別情報を各サブプロックに付加する、
ことを特徴とする請求項 2に記載のデータ処理方法。
4 . 前記識別情報は、 当該サブプロックのデータ量を示す情報を含む、 ことを特徴とする請求項 3に記載のデータ処理方法。
5 . 前記識別情報は、 当該サブブロックが基本サブブロック又は拡張サブフ、'ロック のいずれであるかを示す情報を含む、
ことを特徴とする請求項 3に記載のデータ処理方法。
6 . 各周波数帯域にて圧縮を実行することにより圧縮成分と圧縮誤差成分とを生 成し、 最も低い周波数帯域の圧縮成分を基本サブプロックとするとともに、 該最 も低レ、周波数帯域以外の圧縮成分と圧縮誤差成分、 及び該最も低レヽ周波数帯域の 圧縮誤差成分とを拡張サブプロックとする、
ことを特徴とする請求項 2に記載のデータ処理方法。
7 . 各周波数帯域についての圧縮誤差成分を再び圧縮処理して、 再圧縮成分と再 圧縮誤差成分とを生成し、 該再圧縮成分と再圧縮誤差成分を拡張サブプロックと する、
ことを特徴とする請求項 6に記載のデータ処理システム。
8 . 拡張サブブロックを送信する際、 複数の拡張サブブロックの中から送信する 拡張サブプロックを選択する、
ことを特徴とする請求項 2に記載のデータ処理方法。 9 . 基本サブプロックを送信した後、 次のブロックの基本サブブロックを送信す るまでにサブプロック送信タイミングを検出した場合には、 該送信された基本サ プブロックと同じブロックから生成された拡張サブブロックを送信する、 ことを特徴とする請求項 2に記載のデータ処理方法。 1 0 . データを所定の時間単位で複数のプロックに分割し、 該分割したプロック を複数の周波数帯域に分割した後、 各周波数帯域にて圧縮することにより前記デ ータの再生に必要な基本サブプロックと前記データの再生品質向上に必要な拡張 サブプロックとを各プロック毎に生成する送信データ生成手段と、
該生成されたサブプロックを送信する送信手段と、
所定の時間単位で基本サブプロックを順次送信させるとともに、 基本サブプロ ックを送信した後次の基本サブプロックを送信するまでの間に拡張サブプロック を送信することが可能か否かを判断し、 拡張サブプロックが送信可能であると判 断された場合には拡張サブプロックを送信させる送信制御手段と、
を具備することを特徴とするデータ処理装置。
1 1 . 前記送信データ生成手段は、 サブブロックを識別する識別情報を各サブブ 口ック毎に付加する、
ことを特徴とする請求項 1 0に記載のデータ処理装置。 1 2 . 前記識別情報は、 当該サブブロックのデータ量を示す情報を含む、 ことを特徴とする請求項 1 1に記載のデータ処理装置。
1 3 . 前記識別情報は、 当該サブプロックが基本サブブロック又は拡張サブプロ ックのいずれであるかを示す情報を含む、 ことを特徴とする請求項 1 1に記載のデータ処理装置。
1 4 . 前記送信データ生成手段は、 各周波数帯域にて圧縮を実行することにより り圧縮成分と圧縮誤差成分とを生成し、 最も低い周波数帯域の圧縮成分を基本サ ブブロックとするとともに、 前記最も低い周波数帯域以外の圧縮成分と圧縮誤差 成分及び前記最も低い周波数帯域の圧縮誤差成分とを拡張サブプロックとする、 ことを特徴とする請求項 1 0に記載のデータ処理装置。
1 5 . 前記送信データ生成手段は、 各周波数帯域についての圧縮誤差成分を圧縮 処理して、 再圧縮成分と再圧縮誤差成分とを生成し、 該再圧縮成分と再圧縮誤差 成分とを拡張サブブロックとする、
ことを特徴とする請求項 1 4に記載のデータ処理装置。
1 6 . 前記送信制御手段は、 拡張サブプロックを送信する際、 複数の拡張サブブ 口ックの中から送信する拡張サブブロックを選択する、
ことを特徴とする請求項 1 0に記載のデータ処理装置。
1 7 . 基本サブブロック又は拡張サブプロックを送信するタイミングを生成する タイミング生成手段をさらに備え、
前記送信制御手段は、 前記タイミング検出時に基本サブブロックを送信し、 次 ぎの基本サブブロックを送信するまでにタイミングを検出した場合には、 該送信 された基本サブブロックと同じブロックから生成された拡張サブブロックを送信 させる、
ことを特徴とする請求項 1 0に記載のデータ処理装置。
1 8 . データを所定の時間単位で複数のプロックに分割するステップと、 該分割したプロックを複数の周波数帯域に分割した後、 各周波数帯域にて圧縮 し、 前記データの再生に必要な基本サブプロックと前記データの再生品質向上に 必要な拡張サブプロックとを各プロック毎に生成するステップと、 所定の時間単位で基本サブプロックを順次送信させるとともに、 基本サブプロ ックを送信した後次の基本サブプロックを送信するまでの間に拡張サブプロック を送信することが可能力否かを判断し、 拡張サブプロックが送信可能であると判 断された場合には拡張サブブロックの送信を指示するステップと、
を具備することを特徴とする送信データの処理をコンピュータ ·システム上で実 行するようにコンピュータ可読形式で記述されたデ一タ処理プログラム。
1 9 . 基本サブプロック又は拡張サブブロックを受信し、
該受信したサブプロックが基本サブプロックであると判断された場合には、 次 の基本サブプロックが受信されるまでの間に受信した拡張サブプロックと該受信 した基本サブブロックとからデータを復元させる、
ことを特徴とするデータ処理方法。
2 0 . 次の基本サブブロックが受信されるまでの間に受信した複数の拡張サブプ ロックの中から拡張サブプロックを選択し、 該選択された拡張サブプロックと受 信した基本サブプロックとからデータを復元する、
ことを特徴とする請求項 1 9に記載のデータ処理方法。
2 1 . 基本サブブロック又は拡張サププロックを受信する受信手段と、
前記受信手段にて受信したサブプロックからデータを復元する復元手段と、 前記受信手段にて受信したサブプロックが基本サブプロックであると判断され た場合、 次の基本サブプロックが受信されるまでの間に前記受信手段が受信した 拡張サブプロックと該受信した基本サブプロックとを前記復元手段に供給してデ ータを復元させる復元制御手段と、
を具備することを特徴とするデータ処理装置。
2 2 . 前記復元手段は、 次の基本サブブロックが受信されるまでの間に前記受信 手段が受信した複数の拡張サブプロックの中から拡張サブプロックを選択し、 該 選択された拡張サブプロックと前記受信した基本サブプロックとを前記復元手段 に供給してデータを復元させる、
ことを特徴とする請求項 2 1に記載のデータ処理装置。
2 3 . 受信したサブブロックが基本サブブロックであるかどうかを判断するステ ップと、
受信したサブプロックが基本サブプロックであると判断された場合、 次の基本 サブプロックが受信されるまでの間に受信した拡張サブプロックと前記受信した 基本サブブロックとを用いてデータの復元を実行させるステップと、
を備えることを特徴とする受信したデータを復元する処理をコンピュータ■シス テム上で実行するようにコンビユータ可読形式で記述されたデ一タ処理プ口グラ ム。
PCT/JP2003/004885 2002-04-25 2003-04-17 Data processing system, data processing method, data processing device, and data processing program WO2003092167A1 (en)

Priority Applications (5)

Application Number Priority Date Filing Date Title
EP20030717624 EP1499023B1 (en) 2002-04-25 2003-04-17 Data processing system, data processing method, data processing device, and data processing program
US10/508,671 US7827036B2 (en) 2002-04-25 2003-04-17 Data processing system, data processing method, data processor, and data processing program
KR10-2004-7016370A KR20040102091A (ko) 2002-04-25 2003-04-17 데이터 처리 시스템, 데이터 처리 방법 및 데이터 처리장치와 데이터 처리 프로그램
DE60330762T DE60330762D1 (de) 2002-04-25 2003-04-17 Datenverarbeitungssystem, datenverarbeitungsverfahren, datenverarbeitungseinrichtung und datenverarbeitungsprogramm
CN038091631A CN1653697B (zh) 2002-04-25 2003-04-17 数据处理系统、数据处理方法及数据处理装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2002123533A JP4404180B2 (ja) 2002-04-25 2002-04-25 データ配信システム、データ処理装置及びデータ処理方法、並びにコンピュータ・プログラム
JP2002-123533 2002-04-25

Publications (1)

Publication Number Publication Date
WO2003092167A1 true WO2003092167A1 (en) 2003-11-06

Family

ID=29267489

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2003/004885 WO2003092167A1 (en) 2002-04-25 2003-04-17 Data processing system, data processing method, data processing device, and data processing program

Country Status (7)

Country Link
US (1) US7827036B2 (ja)
EP (1) EP1499023B1 (ja)
JP (1) JP4404180B2 (ja)
KR (1) KR20040102091A (ja)
CN (1) CN1653697B (ja)
DE (1) DE60330762D1 (ja)
WO (1) WO2003092167A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101964188A (zh) * 2010-04-09 2011-02-02 华为技术有限公司 语音信号编码、解码方法、装置及编解码系统

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7136066B2 (en) * 2002-11-22 2006-11-14 Microsoft Corp. System and method for scalable portrait video
JP4222169B2 (ja) * 2003-09-22 2009-02-12 セイコーエプソン株式会社 超音波スピーカ及び超音波スピーカの信号音再生制御方法
US7668848B2 (en) * 2005-12-07 2010-02-23 Motorola, Inc. Method and system for selectively decoding audio files in an electronic device
CN101371297A (zh) * 2006-01-18 2009-02-18 Lg电子株式会社 用于编码和解码信号的设备和方法
CA2636330C (en) * 2006-02-23 2012-05-29 Lg Electronics Inc. Method and apparatus for processing an audio signal
CN101361276B (zh) * 2006-02-23 2015-02-18 Lg电子株式会社 处理音频信号的方法和装置
US9172964B2 (en) * 2006-03-30 2015-10-27 Mediatek Inc. Systems and methods for changing rate-control setting during video encoding
EP1841072B1 (de) * 2006-03-30 2016-06-01 Unify GmbH & Co. KG Verfahren und Einrichtung zum Dekodieren von schichtkodierten Daten
US8521314B2 (en) * 2006-11-01 2013-08-27 Dolby Laboratories Licensing Corporation Hierarchical control path with constraints for audio dynamics processing
JP2009009545A (ja) * 2007-01-31 2009-01-15 Hewlett-Packard Development Co Lp データ処理システム及び方法
JP4973397B2 (ja) * 2007-09-04 2012-07-11 日本電気株式会社 符号化装置および符号化方法、ならびに復号化装置および復号化方法
CN101897156B (zh) * 2007-12-10 2012-12-12 爱立信电话股份有限公司 用于数据流的方法和系统
US8438630B1 (en) * 2009-03-30 2013-05-07 Symantec Corporation Data loss prevention system employing encryption detection
US8674935B2 (en) * 2009-10-21 2014-03-18 Qualcomm Incorporated System delay mitigation in interactive systems
US20130235274A1 (en) * 2010-11-17 2013-09-12 Mitsubishi Electric Corporation Motion vector detection device, motion vector detection method, frame interpolation device, and frame interpolation method
CN103581675A (zh) * 2012-08-07 2014-02-12 上海算芯微电子有限公司 视频数据的压缩/解压缩方法及系统
CN105745930B (zh) * 2013-12-18 2019-04-02 英特尔公司 用于图像比特流处理的技术
US10268543B2 (en) * 2017-01-27 2019-04-23 Hewlett Packard Enterprise Development Lp Online volume repair
CN108881288A (zh) * 2018-07-18 2018-11-23 广东惠利普路桥信息工程有限公司 施工现场数据处理中转控制装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0846960A (ja) * 1994-07-29 1996-02-16 Hitachi Ltd 画像符号化伝送装置
JPH11251917A (ja) * 1998-02-26 1999-09-17 Sony Corp 符号化装置及び方法、復号化装置及び方法、並びに記録媒体
US20020038216A1 (en) 2000-09-14 2002-03-28 Sony Corporation Compression data recording apparatus, recording method, compression data recording and reproducing apparatus, recording and reproducing method, and recording medium

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3003618B2 (ja) 1997-03-19 2000-01-31 日本電気株式会社 動画像送受信装置
KR100261254B1 (ko) * 1997-04-02 2000-07-01 윤종용 비트율 조절이 가능한 오디오 데이터 부호화/복호화방법 및 장치
JP3352406B2 (ja) * 1998-09-17 2002-12-03 松下電器産業株式会社 オーディオ信号の符号化及び復号方法及び装置
US6879634B1 (en) * 1999-05-26 2005-04-12 Bigband Networks Inc. Method and system for transmitting media streams over a variable bandwidth network
JP3910763B2 (ja) 1999-08-18 2007-04-25 株式会社東芝 データ多重装置およびプログラムを記録した記録媒体
KR20020064904A (ko) * 2000-09-22 2002-08-10 코닌클리케 필립스 일렉트로닉스 엔.브이. 파인-입상 스케일러빌리티의 바람직한 전송/스트리밍 오더

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0846960A (ja) * 1994-07-29 1996-02-16 Hitachi Ltd 画像符号化伝送装置
JPH11251917A (ja) * 1998-02-26 1999-09-17 Sony Corp 符号化装置及び方法、復号化装置及び方法、並びに記録媒体
US20020038216A1 (en) 2000-09-14 2002-03-28 Sony Corporation Compression data recording apparatus, recording method, compression data recording and reproducing apparatus, recording and reproducing method, and recording medium
JP2002094385A (ja) * 2000-09-14 2002-03-29 Sony Corp 圧縮データ記録装置、記録方法、圧縮データ記録再生装置、記録再生方法および記録媒体

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP1499023A4

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101964188A (zh) * 2010-04-09 2011-02-02 华为技术有限公司 语音信号编码、解码方法、装置及编解码系统
US9672830B2 (en) 2010-04-09 2017-06-06 Huawei Technologies Co., Ltd. Voice signal encoding and decoding method, device, and codec system

Also Published As

Publication number Publication date
JP4404180B2 (ja) 2010-01-27
EP1499023A4 (en) 2005-12-07
EP1499023B1 (en) 2009-12-30
US7827036B2 (en) 2010-11-02
CN1653697A (zh) 2005-08-10
KR20040102091A (ko) 2004-12-03
CN1653697B (zh) 2011-06-15
US20050240414A1 (en) 2005-10-27
EP1499023A1 (en) 2005-01-19
JP2003318977A (ja) 2003-11-07
DE60330762D1 (de) 2010-02-11

Similar Documents

Publication Publication Date Title
WO2003092167A1 (en) Data processing system, data processing method, data processing device, and data processing program
CA2711311C (en) Methods and systems for scalable video chunking
EP2151971B1 (en) Transcoding video data
US7987327B2 (en) Backup system and associated methodology for storing backup data based on data quality
JP4056407B2 (ja) スケーラブル無損失オーディオ符号化/復号化装置及びその方法
US7363230B2 (en) Audio data processing apparatus and audio data distributing apparatus
JP4616646B2 (ja) デジタルデータ処理
JP5329846B2 (ja) ディジタルデータプレーヤー、そのデータ処理方法及び記録媒体
US20020188745A1 (en) Stacked stream for providing content to multiple types of client devices
US7721180B2 (en) Information management system, information management apparatus and information management method
JP7099447B2 (ja) 信号処理装置、信号処理方法、およびプログラム
JP3942523B2 (ja) ディジタル信号符号化方法、復号化方法、符号器、復号器及びこれらのプログラム
JP2007288370A (ja) 映像・音声信号処理装置
JP4356225B2 (ja) 情報提供方法、情報提供装置及び情報記録媒体
KR100609173B1 (ko) Aac복호화 방법
JP2001337685A (ja) データ配信システム及びその送り側装置と受け側装置並びにデータ配信方法
JPH11187380A (ja) 配信システム、情報センタ、端末装置及び配信方法
JP2004140569A (ja) ディジタル信号符号化方法、復号化方法、これらの符号器、復号器及びこれらのプログラム
JP2004199785A (ja) 圧縮音声データ記録装置及び圧縮音声データ記録方法
KR20060107083A (ko) Vod서비스에서 디코딩 에러 발생 시 오디오 신호의동기를 처리하는 방법
JPH08279989A (ja) データ記録方法及び装置、データ再生方法及び装置、記録媒体、データ伝送方法及び装置

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): CN KR US

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LU MC NL PT RO SE SI SK TR

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 10508671

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2003717624

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 1020047016370

Country of ref document: KR

WWE Wipo information: entry into national phase

Ref document number: 20038091631

Country of ref document: CN

WWP Wipo information: published in national office

Ref document number: 1020047016370

Country of ref document: KR

WWP Wipo information: published in national office

Ref document number: 2003717624

Country of ref document: EP