EP0910927A1 - Process for coding and decoding stereophonic spectral values - Google Patents

Process for coding and decoding stereophonic spectral values

Info

Publication number
EP0910927A1
EP0910927A1 EP97925036A EP97925036A EP0910927A1 EP 0910927 A1 EP0910927 A1 EP 0910927A1 EP 97925036 A EP97925036 A EP 97925036A EP 97925036 A EP97925036 A EP 97925036A EP 0910927 A1 EP0910927 A1 EP 0910927A1
Authority
EP
European Patent Office
Prior art keywords
spectral values
stereo
coding
stereo audio
section
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
EP97925036A
Other languages
German (de)
French (fr)
Other versions
EP0910927B1 (en
Inventor
Uwe Gbur
Martin Dietz
Bodo Teichmann
Karlheinz Brandenburg
Heinz GERHÄUSER
Jürgen HERRE
James Johnston
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
AT&T Labs Inc
Nokia of America Corp
Original Assignee
Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Lucent Technologies Inc
AT&T Labs Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=7799742&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=EP0910927(A1) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV, Lucent Technologies Inc, AT&T Labs Inc filed Critical Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Publication of EP0910927A1 publication Critical patent/EP0910927A1/en
Application granted granted Critical
Publication of EP0910927B1 publication Critical patent/EP0910927B1/en
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S1/00—Two-channel systems
    • H04S1/007—Two-channel systems in which the audio signals are in digital form

Definitions

  • the present invention relates to encoding and decoding stereo audio spectral values, and more particularly to indicating the fact that stereo intensity encoding is active.
  • Modern audio coding methods or decoding methods which operate according to the MPEG layer 3 standard, for example, are able to compress the data rate of digital audio signals by a factor of twelve, for example, without noticeably deteriorating the quality thereof.
  • the redundancy and irrelevance of the two channels among one another is also used in the stereo case.
  • the MS stereo method known to those skilled in the art essentially uses the redundancy of the two channels with one another, a sum of the two channels and a difference between the two channels being calculated, which then each transmit as modified channel data for the left and right channel become.
  • the redundancy between the two channels removed in the encoder is added again in the decoder. This means that the MS stereo procedure is exactly reconstructive.
  • the intensity stereo method primarily uses stereo irrelevance.
  • stereo irrelevance it can be said that the spatial perception of the human hearing system depends on the frequency of the perceived audio signals. At lower frequencies, both the amount and phase information of both stereo signals are evaluated by the human auditory system, the perception of high-frequency components being based primarily on the analysis of the energy-time envelopes of both channels. The exact phase information of the signals in both channels is therefore not relevant for spatial perception. This property of the human ear is used to use the stereo irrelevance for further data reduction of audio signals by the intensity stereo method.
  • the stereo intensity method cannot resolve precise location information at high frequencies, it is therefore possible to transmit a common energy envelope for both channels instead of two stereo channels L, R from an intensity limit frequency determined in the encoder.
  • a common energy envelope for both channels instead of two stereo channels L, R from an intensity limit frequency determined in the encoder.
  • roughly quantified direction information is also transmitted as side information.
  • the bit savings can be up to 50%.
  • the IS method in the decoder is not exactly reconstructive.
  • mode_extension_bit indicates that the IS method is active at all in a block of stereo audio spectral values, each block having an associated one Mode_extension_bit.
  • FIG. 1 shows a basic illustration of the known IS method.
  • L ⁇ and R ⁇ here represent the stereo audio spectra values of channel L and channel R in any scale factor band.
  • the use of the IS method is only permitted above a certain IS cutoff frequency, in order to avoid coding errors in the coded Introduce stereo audio spectral values. Therefore, the left and right channels must be coded separately in a range from 0 Hz to the IS cutoff frequency.
  • the determination of the IS cutoff frequency as such is carried out in a separate algorithm which does not form part of this invention. From this limit frequency, the encoder encodes the sum signal of the left channel 10 and the right channel 12, which is formed at the summation point 14.
  • scaling information 16 for channel L and scaling information 18 for channel R are also necessary for decoding.
  • scale factors for the left and right channels are transmitted.
  • the scaling information 16 and 18 are transmitted as side information in addition to the coded spectral values of the channel L and the channel R.
  • a decoder supplies decoded audio signal values to a decoded channel L '20 or to a decoded channel R' 22, the scaling information 16 for channel R and the scaling information 18 for channel L with the decoded stereo audio spectral values of the respective channels an L multiplier 24 or an R multiplier 26 in order to decode the originally coded stereo audio spectral values again.
  • the stereo audio spectral values for each channel are grouped into so-called scale factor bands. These bands are adapted to the perceptual properties of the hearing. Each of these bands can be amplified with an additional factor, the so-called scale factor, which is transmitted as side information for the respective channel and which represents part of the scaling information 16 and the scaling information 18 from FIG. 1. These factors shape an interference noise introduced by quantization in such a way that it is "masked" taking psychoacoustic considerations into account and thus becomes inaudible.
  • FIG. 2a shows a format of the encoded right channel R, which is used, for example, in an audio coding method MPEG layer 3. All further explanations regarding the intensity stereo coding also relate to the method according to the MPEG layer 3 standard.
  • the individual scale factor bands 28, into which the stereo audio spectral values are grouped, are shown schematically in the first line in FIG. 2a.
  • the same bandwidth of the scale factor bands drawn in FIG. 2a only serves for clarity of presentation and will not occur in practice due to the psychoacoustic properties of the auditory system.
  • the third line of FIG. 2a contains part of the page information 34 for the right channel.
  • This part of the side information 34 shown consists, on the one hand, of the scale factors skf for the area below the IS cut-off frequency and of direction information rinfo 36 for the area above the IS cut-off frequency 32.
  • This directional information is also used in the intensity stereo method to ensure a rough spatial resolution of the IS-coded frequency range.
  • This direction information rinfo 36 which is also called intensity positions (is_pos), is therefore transmitted in the right channel instead of the scale factors. It should be noted once again that below the IS cutoff frequency, the scale factors 34 corresponding to the scale factor bands 28 are still present in the right channel. The intensity positions 36 indicate the perceived stereo imaging position (the ratio from left to right) of the signal source within the respective scale factor bands 28. In each scale factor band 28 above the IS cutoff frequency, the decoded values of the transmitted stereo audio spectral values are scaled according to the MPEG Layer 3 method by the following scaling factors k L for the left channel and k R for the right channel:
  • is_ratio tan (is_pos- ⁇ r / 12) (3)
  • R ⁇ and L ⁇ represent the intensity stereo decoded stereo audio spectral values.
  • the transition from the quantized sum spectral values not equal to zero to the zero values in the right channel can implicitly indicate the IS cut-off frequency to the decoder with the MPEG Layer 3 standard.
  • the transmitted channel L is thus calculated as the sum of the left and the right channel
  • the transmitted direction information can be determined using the following equation:
  • nint [x] represents the function "next integer", where E L and E R are the energies in the respective scale factor bands of the left and right channels.
  • the stereo audio spectral values are grouped into the scale factor bands, these bands being adapted to the perceptual properties of the hearing.
  • these scale factor bands are now divided into exactly three regions. In order to Areas with the same signal statistics should now be grouped. This is advantageous for the redundancy reduction now taking place by means of the known Huffman coding.
  • the non-backward-compatible NBC coding method which is currently in the standardization process, differs from the standard audio coding method MPEG Layer 3, among other things, in that not only exactly three regions from scale factor bands are allowed in the bitstream syntax for this method, but that so-called sections or "sections" can be present in any number and can have any number of scale factor bands.
  • a section is now assigned a corresponding Huffman table from a plurality of such tables in analogy to the previously described method in MPEG Layer 3 to achieve a maximum redundancy reduction, which table is then to be used for decoding. In extreme cases, for example, a section consists of only a single scale factor band. In practice, however, this is unlikely to occur, since the page information required would then be much too large.
  • the NBC method has a total of 16 Huffman coding table numbers that are transmitted as 4-bit values. This means that one of the twelve existing coding table numbers can be selected.
  • the object of the present invention is to provide methods for coding or decoding stereo audio spectral values, in which information relevant to the coding or decoding is signaled with a minimal amount of side information. This object is achieved by a method for encoding stereo audio spectral values according to claim 1 and by a method for decoding stereo audio spectral values partially encoded in the intensity stereo method according to claim 2.
  • the present invention is based on the recognition that additional coding table numbers which are not used to refer to coding tables can indicate other information relevant for a section.
  • the "additional" code table numbers are the code table numbers that do not refer to code tables. Due to a 4-bit coding of twelve different coding table numbers, the numbers 13, 14 and 15 are, as it were, freely available for assignment with other information.
  • two (no. 14 and no. 15) of the three (no. 13, no. 14 and no. 15) additional coding table numbers are used in order to, on the one hand, refer to an intensity which is present in a section. Coding and on the other hand to point out the mutual phase relationship of IS-coded stereo audio spectral values in two stereo channels.
  • the additional unused coding table number 13 can be used to indicate adaptive Huffman coding.
  • 2a shows a format of the data in the presence of stereo intensity coding for the right channel for the standard MPEG Layer 3
  • 2b shows a format of the data in the presence of stereo intensity coding for the right channel for the MPEG-NBC method
  • FIG. 3 is a schematic block diagram of a decoder that implements the present invention.
  • a method for encoding stereo audio spectral values and the method for decoding stereo audio spectral values partially encoded in the intensity stereo method according to a first exemplary embodiment of the present invention use novel signaling of the presence of the intensity stereo encoding within a section.
  • the first 12 coding table numbers correspond to actual coding tables.
  • the last and the penultimate coding table number it is now signaled that the stereo intensity method is used within the section to which this coding table number is assigned.
  • FIG. 2b shows a format of the data for the right channel R in the presence of stereo intensity coding, using the MPEG2-NBC method.
  • FIG. 2a or to the MPEG Layer 3 method, is that a user now has the flexibility to selectively insert or deactivate an intensity stereo coding of the stereo audio spectral values for each section even above the IS cut-off frequency 32 to switch off.
  • the IS cut-off frequency is therefore no longer a correct cut-off frequency, since with the NBC method, the IS coding can also be switched off or on again above the IS cut-off frequency.
  • the scale factors transmitted in a section with IS coding for the right channel now also represent the direction information 36 analogously to the prior art, these values themselves also being subjected to a difference and Huffman coding.
  • the right channel as already mentioned, there are no stereo audio spectral values in the scale factor bands that are not IS-coded, but a zero spectrum.
  • the left channel contains the sum signal of the left and right channels. However, the sum signal is normalized in such a way that its energy within the respective scale factor bands after IS decoding corresponds to the energy of the left channel. Therefore, the left channel can also be adopted unchanged in the decoding device if IS coding is used and does not have to be determined specifically by means of a re-scaling rule.
  • the stereo audio spectral values of the right channel can now be calculated back from the stereo audio spectral values of the left channel using the direction information is_pos 36, which are present in the side information of the right channel.
  • the stereo intensity method produces two coherent signals for the left or right channel, which differ only in their amplitude, ie intensity, depending on the direction information is_pos 36 (equations (4) and (5)).
  • the stereo intensity coding is signaled by means of two "unreal" coding table numbers, a phase relationship of the two channels to one another can be included. If the channels have the same phase position, the back-calculation rule according to the invention to be carried out in the decoder is as follows:
  • R ⁇ in the two previous equations denotes the back-calculated, i.e. decoded, stereo audio spectral values of the right channel
  • sfb denotes the scale factor band 28 to which the direction information is_pos 36 are assigned
  • L ⁇ denotes the stereo audio spectral values of the left channel, which are adopted unchanged in the decoder.
  • Coding table number 15 now indicates whether the first retroactive accounting step should be used, while coding table number 14 indicates that the second retroactive accounting rule should be used, i.e. that the two channels are out of phase.
  • a phase discriminator can be provided which, from a certain phase discriminator output value, which can be, for example, 90 °, determines that the signals are out of phase, the same being considered to be in phase with a phase difference of less than 90 °.
  • a section which consists of at least one scale factor band exists, by means of the code table numbers 14 or 15, the phase relationship of the two channels to one another is determined.
  • the side information caused by IS and phase signaling is 8 bits for a section, which is composed of four bits for the section length and four bits for the coding table number 14 or 15. If an audio signal is to be encoded which has frequent changes in the phase position in scale factor bands of its stereo audio spectral values, then according to the first exemplary embodiment a new section ("section") must be started each time the phase position is reversed from scale factor band to scale factor band.
  • a signal with a frequently changing phase position therefore generates a large number of sections, since each section can only display either the in-phase or the out-of-phase of its stereo audio spectral values in the two channels due to the coding table number assigned to it.
  • An unfavorable signal will therefore lead to a large number of sections and thus to a large amount of page information.
  • a second exemplary embodiment of the present invention allows a phase-factor coding on a scale factor band basis in a section in which the intensity coding is active.
  • this method according to the second exemplary embodiment of the present invention using an MS mask, which is described below, it is possible to encode phase factor by scale factor band without increasing the number of sections and without any additional expenditure.
  • center-side method and the intensity stereo method are mutually exclusive in a scale factor band. These two methods are therefore orthogonal.
  • MS coding of stereo audio spectral values is used in a bit stream
  • a signaling bit in the side information will be set accordingly globally turn on the MS coding. Setting this bit means that an MS bit mask is transmitted, with which it is possible to selectively switch MS coding on or off for each scale factor band (scfbd).
  • One bit is reserved in the MS bit mask for each scale factor band, which is why the length of the bit mask corresponds to the number of scale factor bands.
  • the MS scale factor information is not necessary, since the MS coding must not be activated here.
  • the MS bit mask can be used for other signaling in this area. It is therefore possible to display details of the IS coding using the MS bit mask.
  • the information relating to the phase position of the channels is specified in a section by means of the coding table numbers 14 and 15 in IS coding.
  • the coding table numbers also indicate that IS coding is active at all in a section.
  • the MS bit mask is used in the second exemplary embodiment of the present invention to allow scale factor bands with different phase positions in one section.
  • the MS bit mask is now used to indicate the phase relationship of the individual scale factor bands in this section in relation to the coding table number, which signals that IS coding is active in a section. If a bit in the MS bit mask for a scale factor band is not set (ie zero), the phase information indicated by the coding table number for the section in which the scale factor band is located is retained, while if a (ie one) bit is set in the MS bit mask for the scale factor band which is inverted by the phase table of the two channels indicated by the coding table number for the section in which the scale factor band is located. In principle, it is an EXCLUSIVE-OR link between the one indicated by the coding table number Phase position and the MS bit mask.
  • phase relationships of the two stereo channels L and R calculated from the coding table number and MS bit mask in a scale factor band located in a section in which the IS coding is used are as follows:
  • the described second exemplary embodiment of the present invention thus allows scale factor bands with stereo audio spectral values with different phase positions to occur in one section, as a result of which fewer sections than in the first exemplary embodiment have to be formed for coding. This means that less page information also has to be transmitted.
  • the additional coding table numbers can also be used to display other information relevant for a section.
  • Further information relevant to a section can, for example, indicate the use of an adaptive ven Huffman coding in one section.
  • an adapted Huffman table can be generated depending on the signal statistics.
  • the coding table number 13 instructs the coding device not to use any of the twelve fixed Huffman tables, but to use an adapted Huffman table which is not known a priori to the decoder. This is advantageous if the signal statistics in a section cannot be optimally coded, ie compressed, with one of the twelve fixed coding tables.
  • the coding is no longer fixed to the twelve fixed Huffman tables, but can generate and use a table that is optimally adapted to the signal statistics.
  • the information about the adaptive coding table is transmitted as additional page information.
  • a decoding device requires this additional side information in order to calculate back from it the adapted Huffman table used in the coding, in order to be able to correctly decode the Huffman-coded stereo audio spectral values again.
  • Audio spectral values partially coded using the intensity stereo method are each supplied to inverse quantizers 38 and 40, the inverse quantizers reversing the quantization introduced during coding.
  • the dequantized stereo audio spectral values then arrive in an MS decoder 42.
  • This MS decoder 42 reverses the middle-side coding introduced in the encoder.
  • An IS decoder 44 now uses the previously described recalculation regulations (7) and (8) in order to obtain the original stereo audio spectral values again for the IS-coded scale factor bands.
  • Respective reverse transformation devices for the left or right channel now convert the stereo audio spectral values into stereo audio time evaluate L (t), R (t).
  • the inverse transformers 46 and 48 can be implemented by an inverse MDCT, for example.

Abstract

A method of coding stereo audio spectral values first carries out grouping of those values in scale factor bands, with which scale factors are associated. Sections are formed next, each comprising at least one scale factor band. The spectral values are coded within at least one section with a code book assigned to the section, out of a plurality of code books each with a code book number assigned to it, the number of the code book used being transmitted as side information to the coded stereo audio spectral values. At least one additional code book number is provided, which does not refer to a code book but shows information relevant to the section to which it is assigned. A method of decoding stereo audio spectral values which are partly coded by the intensity stereo process and which have side information uses the relevant information, showing the additional code book numbers, to cancel the existing coding of the stereo audio spectral values.

Description

Verfahren zum Codieren und Decodieren von Stereoaudiospektralwerten Method for coding and decoding stereo audio spectral values
Beschreibungdescription
Die vorliegende Erfindung bezieht sich auf das Codieren und Decodieren von Stereoaudiospektralwerten und insbesondere auf das Anzeigen der Tatsache, daß eine Stereo-Intensity- Codierung aktiv ist.The present invention relates to encoding and decoding stereo audio spectral values, and more particularly to indicating the fact that stereo intensity encoding is active.
Moderne Audiocodierverfahren bzw. -Decodierverfahren, die beispielsweise nach dem Standard MPEG-Layer 3 arbeiten, sind in der Lage, die Datenrate von digitalen Audiosignalen beispielsweise um einen Faktor zwölf zu komprimieren, ohne die Qualität derselben merkbar zu verschlechtern.Modern audio coding methods or decoding methods, which operate according to the MPEG layer 3 standard, for example, are able to compress the data rate of digital audio signals by a factor of twelve, for example, without noticeably deteriorating the quality thereof.
Neben einem hohen Codierungsgewinn in den einzelnen Kanälen, wie z.B. dem linken Kanal L und dem rechten Kanal R, wird im Stereofall auch die Redundanz und Irrelevanz der beiden Kanäle untereinander ausgenutzt. Bekannte und bereits verwendete Verfahren sind das sogenannte MS-Stereo-Verfahren (MS = Mitte-Seite) und das Intensity-Stereo-Verfahren (IS-Verfahren) .In addition to a high coding gain in the individual channels, e.g. the left channel L and the right channel R, the redundancy and irrelevance of the two channels among one another is also used in the stereo case. Known and already used methods are the so-called MS stereo method (MS = middle side) and the intensity stereo method (IS method).
Das für Fachleute bekannte MS-Stereo-Verfahren nutzt im wesentlichen die Redundanz der beiden Kanäle untereinander aus, wobei dabei eine Summe der beiden Kanäle und eine Differenz der beiden Kanäle berechnet wird, welche dann jeweils als modifizierte Kanaldaten für den linken bzw. rechten Kanal übertragen werden. Die in dem Codierer entfernte Redundanz zwischen den beiden Kanälen wird im Decodierer wieder hinzugefügt. Das heißt, daß das MS-Stereoverfahren exakt rekonstruierend ist.The MS stereo method known to those skilled in the art essentially uses the redundancy of the two channels with one another, a sum of the two channels and a difference between the two channels being calculated, which then each transmit as modified channel data for the left and right channel become. The redundancy between the two channels removed in the encoder is added again in the decoder. This means that the MS stereo procedure is exactly reconstructive.
Im Gegensatz dazu nutzt das Intensity-Stereo-Verfahren vornehmlich die Stereoirrelevanz aus. Bezüglich der Stereoirrelevanz ist zu sagen, daß die räumliche Wahrnehmung des menschlichen GehörSystems von der Frequenz der wahrgenommenen Audiosignale abhängt. Bei niedrigeren Frequenzen werden sowohl Betrags- als auch Phaseninformationen beider Stereosignale durch das menschliche Gehörsystem bewertet, wobei die Wahrnehmung von Hochfrequenzkomponenten hauptsächlich auf der Analyse der Energie-Zeit-Hüllkurven beider Kanäle begründet ist. Somit sind die exakten Phaseninformationen der Signale in beiden Kanälen für die räumliche Wahrnehmung nicht relevant. Diese Eigenschaft des menschlichen Gehörs wird verwendet, um die Stereoirrelevanz zur weiteren Datenreduktion von Audiosignalen durch das Intensity-Stereo-Verfahren zu verwenden.In contrast, the intensity stereo method primarily uses stereo irrelevance. Regarding the stereo irrelevance it can be said that the spatial perception of the human hearing system depends on the frequency of the perceived audio signals. At lower frequencies, both the amount and phase information of both stereo signals are evaluated by the human auditory system, the perception of high-frequency components being based primarily on the analysis of the energy-time envelopes of both channels. The exact phase information of the signals in both channels is therefore not relevant for spatial perception. This property of the human ear is used to use the stereo irrelevance for further data reduction of audio signals by the intensity stereo method.
Da das Stereo-Intensity-Verfahren bei hohen Frequenzen keine genaue Ortsinformation aufzulösen vermag, ist es daher möglich, ab einer im Codierer bestimmten Intensity-Grenzfre- quenz statt zweier Stereokanäle L, R eine gemeinsame Energieeinhüllende für beide Kanäle zu übertragen. Zusätzlich zu dieser gemeinsamen Energieeinhüllenden werden grob quanti- sierte Richtungsinformationen zusätzlich als Seiteninformationen übertragen.Since the stereo intensity method cannot resolve precise location information at high frequencies, it is therefore possible to transmit a common energy envelope for both channels instead of two stereo channels L, R from an intensity limit frequency determined in the encoder. In addition to this common energy envelope, roughly quantified direction information is also transmitted as side information.
Da also bei der Verwendung der Intensity-Stereo-Codierung ein Kanal nur teilweise übertragen wird, kann die Biteinsparung bis zu 50% betragen. Es ist jedoch zu beachten, daß das IS-Verfahren im Decodierer nicht exakt rekonstruierend ist.Since a channel is only partially transmitted when using intensity stereo coding, the bit savings can be up to 50%. However, it should be noted that the IS method in the decoder is not exactly reconstructive.
Bei dem IS-Verfahren, das bisher in dem Standard MPEG-Layer 3 verwendet wird, wird über ein sogenanntes Modus_Erweite- rungs_Bit (mode_extension_bit) angezeigt, daß das IS-Verfahren in einem Block von Stereoaudiospektralwerten überhaupt aktiv ist, wobei jeder Block ein ihm zugeordnetes Modus_Erweiterungs_Bit aufweist.In the IS method, which was previously used in the standard MPEG layer 3, a so-called mode_extension_bit (mode_extension_bit) indicates that the IS method is active at all in a block of stereo audio spectral values, each block having an associated one Mode_extension_bit.
In Fig. 1 befindet sich eine Prinzipdarstellung des bekannten IS-Verfahrens. Stereoaudiospektralwerte für einen Kanal L 10 und für einen Kanal R 12 werden an einem Summations- punkt 14 summiert, um eine Energieeinhüllende I = Lj_ + R^ der beiden Kanäle zu erhalten. L^ und R^ stellen hier die StereoaudiospektraIwerte des Kanals L bzw. der Kanals R in einem beliebigen Skalenfaktorband dar. Wie bereits erwähnt wurde, ist die Verwendung des IS-Verfahrens nur oberhalb einer bestimmten IS-Grenzfrequenz erlaubt, um keine Codierstörungen in die codierten Stereoaudiospektralwerte einzuführen. Deshalb müssen in einem Bereich von 0 Hz bis zu der IS-Grenzfrequenz der linke und der rechte Kanal separat codiert werden. Die Bestimmung der IS-Grenzfrequenz als solche wird in einem separaten Algorithmus durchgeführt, der keinen Teil dieser Erfindung darstellt. Ab dieser Grenzfrequenz codiert der Codierer das Summensignal des linken Kanals 10 und des rechten Kanals 12 , das an dem Summations- punkt 14 gebildet wird.1 shows a basic illustration of the known IS method. Stereo audio spectral values for a channel L 10 and for a channel R 12 are summed at a summation point 14 by an energy envelope I = L j _ + R ^ of the two channels. L ^ and R ^ here represent the stereo audio spectra values of channel L and channel R in any scale factor band. As already mentioned, the use of the IS method is only permitted above a certain IS cutoff frequency, in order to avoid coding errors in the coded Introduce stereo audio spectral values. Therefore, the left and right channels must be coded separately in a range from 0 Hz to the IS cutoff frequency. The determination of the IS cutoff frequency as such is carried out in a separate algorithm which does not form part of this invention. From this limit frequency, the encoder encodes the sum signal of the left channel 10 and the right channel 12, which is formed at the summation point 14.
Zusätzlich zu der Energieeinhüllenden, d.h. dem Summensignal aus linkem und rechtem Kanal, die beispielsweise in dem codierten linken Kanal übertragen werden kann, sind ferner Skalierungsinformationen 16 für den Kanal L sowie Skalierungsinformationen 18 für den Kanal R für eine Decodie- rung notwendig. Bei dem Intensity-Stereo-Verfahren, wie es beispielsweise im MPEG Layer 2 implementiert ist, werden Skalenfaktoren für den linken und den rechten Kanal übertragen. An dieser Stelle sei jedoch angemerkt, daß bei dem IS-Verfahren im MPEG Layer 3 für IS-codierte Stereoaudiospektralwerte Intensity-Richtungsinformationen lediglich im rechten Kanal übertragen werden, mit denen dann, wie es weiter hinten dargelegt ist, die Stereoaudiospektralwerte wieder decodiert werden.In addition to the energy envelope, i.e. the sum signal from the left and right channel, which can be transmitted, for example, in the coded left channel, scaling information 16 for channel L and scaling information 18 for channel R are also necessary for decoding. In the intensity stereo method, as implemented in MPEG Layer 2, for example, scale factors for the left and right channels are transmitted. At this point, however, it should be noted that with the IS method in MPEG Layer 3 for IS-coded stereo audio spectral values, intensity direction information is only transmitted in the right channel, with which the stereo audio spectral values are then decoded again, as explained further below.
Die Skalierungsinformationen 16 und 18 werden als Seiteninformationen jeweils zusätzlich zu den codierten Spektralwerten des Kanals L sowie des Kanals R übertragen. Ein Decodie- rer liefert an einem decodierten Kanal L' 20 bzw. an einem decodierten Kanal R' 22 decodierte Audiosignalwerte, wobei die Skalierungsinformationen 16 für den Kanal R sowie die Skalierungsinformationen 18 für den Kanal L mit den decodierten Stereoaudiospektralwerten der jeweiligen Kanäle an einem L-Multiplizierer 24 bzw. an einem R-Multiplizierer 26 multipliziert werden, um die ursprünglich codierten Stereoaudiospektralwerte wieder zu decodieren.The scaling information 16 and 18 are transmitted as side information in addition to the coded spectral values of the channel L and the channel R. A decoder supplies decoded audio signal values to a decoded channel L '20 or to a decoded channel R' 22, the scaling information 16 for channel R and the scaling information 18 for channel L with the decoded stereo audio spectral values of the respective channels an L multiplier 24 or an R multiplier 26 in order to decode the originally coded stereo audio spectral values again.
Vor dem Anwenden einer IS-Codierung oberhalb einer bestimmten IS-Grenzfrequenz oder einer MS-Codierung unterhalb dieser Grenzfrequenz werden die Stereoaudiospektralwerte für jeden Kanal zu sogenannten Skalenfaktorbändern gruppiert. Diese Bänder sind an die Wahrnehmungseigenschaften des Gehörs angepaßt. Jedes dieser Bänder kann mit einem zusätzlichen Faktor, dem sogenannten Skalenfaktor, verstärkt werden, der als Seiteninformationen für den jeweiligen Kanal übertragen wird und der einen Teil der Skalierungsinformationen 16 sowie der Skalierungsinformationen 18 aus Fig. 1 darstellt. Diese Faktoren bewirken eine Formung eines durch eine Quantisierung eingeführten Störgeräusches, derart, daß dasselbe unter Berücksichtigung psychoakustischer Gesichtspunkte "maskiert" und damit unhörbar wird.Before applying IS coding above a certain IS cutoff frequency or MS coding below this cutoff frequency, the stereo audio spectral values for each channel are grouped into so-called scale factor bands. These bands are adapted to the perceptual properties of the hearing. Each of these bands can be amplified with an additional factor, the so-called scale factor, which is transmitted as side information for the respective channel and which represents part of the scaling information 16 and the scaling information 18 from FIG. 1. These factors shape an interference noise introduced by quantization in such a way that it is "masked" taking psychoacoustic considerations into account and thus becomes inaudible.
Fig. 2a zeigt ein Format des codierten rechten Kanals R, der beispielsweise bei einem Audiocodierverfahren MPEG-Layer 3 verwendet wird. Auch alle weiteren Ausführungen bezüglich der Intensity-Stereo-Codierung beziehen sich auf das Verfahren nach dem Standard MPEG Layer 3. In der ersten Zeile in Fig. 2a sind die einzelnen Skalenfaktorbänder 28, in die die Stereoaudiospektralwerte gruppiert sind, schematisch gezeigt. Die in Fig. 2a gezeichnete gleiche Bandbreite der Skalenfaktorbänder dient lediglich der Übersichtlichkeit der Darstellung und wird in der Praxis aufgrund der psychoaku- stischen Eigenschaften des Gehörsystems nicht auftreten.2a shows a format of the encoded right channel R, which is used, for example, in an audio coding method MPEG layer 3. All further explanations regarding the intensity stereo coding also relate to the method according to the MPEG layer 3 standard. The individual scale factor bands 28, into which the stereo audio spectral values are grouped, are shown schematically in the first line in FIG. 2a. The same bandwidth of the scale factor bands drawn in FIG. 2a only serves for clarity of presentation and will not occur in practice due to the psychoacoustic properties of the auditory system.
In der zweiten Zeile von Fig. 2a befinden sich codierte Stereoaudiospektralwerte sp, die unterhalb einer IS-Grenzfrequenz 32 ungleich Null sind, wobei die Stereoaudiospektralwerte in dem rechten Kanal über der IS-Grenzfrequenz, wie bereits erwähnt, zu Null (Zero_Part) gesetzt werden nsp (nsp = Nu11spektrum) . In der dritten Zeile von Fig. 2a befinden sich ein Teil der Seiteninformationen 34 für den rechten Kanal. Dieser gezeigte Teil der Seiteninformationen 34 besteht zum einen aus den Skalenfaktoren skf für den Bereich unterhalb der IS-Grenzfrequenz sowie aus Richtungsinformationen rinfo 36 für den Bereich über der IS-Grenzfrequenz 32. Diese Richtungsinformationen werden verwendet, um bei dem Intensity-Stereo-Verfahren noch eine grobe Ortsauflösung des IS-codierten Frequenzbereichs zu gewährleisten. Diese Richtungsinformationen rinfo 36, die auch Intensity-Positionen (is_pos) genannt werden, werden also anstelle der Skalenfaktoren im rechten Kanal übertragen. Es sei noch einmal angemerkt, daß unterhalb der IS-Grenzfrequenz im rechten Kanal nach wie vor die den Skalenfaktorbändern 28 entsprechenden Skalenfaktoren 34 vorhanden sind. Die Intensity-Positionen 36 zeigen die wahrgenommene Stereoabbildungsposition (das Verhältnis von links zu rechts) der Signalquelle innerhalb der jeweiligen Skalenfaktorbänder 28 an. In jedem Skalenfaktorband 28 über der IS-Grenzfrequenz werden die decodierten Werte der übertragenen Stereoaudiospektralwerte nach dem Verfahren MPEG Layer 3 durch die folgenden Skalierungsfaktoren kL für den linken Kanal und kR für den rechten Kanal skaliert:In the second line of FIG. 2a there are coded stereo audio spectral values sp which are not equal to zero below an IS cut-off frequency 32, the stereo audio spectral values in the right channel above the IS cut-off frequency being set to zero (Zero_Part) as mentioned above nsp (nsp = Nu11 spectrum). The third line of FIG. 2a contains part of the page information 34 for the right channel. This part of the side information 34 shown consists, on the one hand, of the scale factors skf for the area below the IS cut-off frequency and of direction information rinfo 36 for the area above the IS cut-off frequency 32. This directional information is also used in the intensity stereo method to ensure a rough spatial resolution of the IS-coded frequency range. This direction information rinfo 36, which is also called intensity positions (is_pos), is therefore transmitted in the right channel instead of the scale factors. It should be noted once again that below the IS cutoff frequency, the scale factors 34 corresponding to the scale factor bands 28 are still present in the right channel. The intensity positions 36 indicate the perceived stereo imaging position (the ratio from left to right) of the signal source within the respective scale factor bands 28. In each scale factor band 28 above the IS cutoff frequency, the decoded values of the transmitted stereo audio spectral values are scaled according to the MPEG Layer 3 method by the following scaling factors k L for the left channel and k R for the right channel:
kL = is_ratio / (l+is_ratio) (1)k L = is_ratio / (l + is_ratio) (1)
undand
kR = 1 / (l+is_ratio) (2)k R = 1 / (l + is_ratio) (2)
Die Gleichung für is_ratio lautet folgendermaßen:The equation for is_ratio is as follows:
is_ratio = tan(is_pos-τr/12) (3)is_ratio = tan (is_pos-τr / 12) (3)
Der Wert is_pos ist ein mit 3 Bit quantisierter Wert, wobei nur die Werte von 0 bis 6 gültige Positionswerte darstellen. Aus den folgenden beiden Gleichungen können aus dem I-Signal (I = Lj_ + R-j der linke und der rechte Kanal wieder zurückgerechnet werden: Rj_ = I • is_ratio/ (l+is_ratio) = I • kL (4)The value is_pos is a value quantized with 3 bits, whereby only the values from 0 to 6 represent valid position values. From the following two equations, the left and right channels can be calculated back from the I signal (I = L j _ + Rj: R j _ = I • is_ratio / (l + is_ratio) = I • k L (4)
Li - I • l/(l+is_ratio) = I ■ kR (5)Li - I • l / (l + is_ratio) = I ■ k R (5)
R^ und L^ stellen die Intensity-Stereo-decodierten Stereoaudiospektralwerte dar. An dieser Stelle sei angemerkt, daß das Format des linken Kanals zu dem in Fig. 2a gezeigten Format des rechten Kanals analog ist, wobei jedoch im linken Kanal oberhalb der IS-Grenzfrequenz 32 statt dem Nullspektrum das kombinierte Spektrum I = L^ + R^ zu finden ist, und wobei ferner keine Richtungsinformationen is_pos für den linken Kanal sondern gewöhnliche Skalenfaktoren vorhanden sind. Der Übergang von den quantisierten Summenspektralwer- ten ungleich Null zu den Nullwerten im rechten Kanal kann dem Decodierer beim Standard MPEG Layer 3 implizit die IS- Grenzfrequenz anzeigen.R ^ and L ^ represent the intensity stereo decoded stereo audio spectral values. At this point it should be noted that the format of the left channel is analogous to the format of the right channel shown in FIG. 2a, but in the left channel above the IS- Cutoff frequency 32 instead of the zero spectrum, the combined spectrum I = L ^ + R ^ can be found, and furthermore there is no direction information is_pos for the left channel, but normal scale factors. The transition from the quantized sum spectral values not equal to zero to the zero values in the right channel can implicitly indicate the IS cut-off frequency to the decoder with the MPEG Layer 3 standard.
Im Codierer wird der übertragene Kanal L also als die Summe des linken und des rechten Kanals berechnet, wobei die übertragenen Richtungsinformationen durch folgende Gleichung bestimmt werden können:In the encoder, the transmitted channel L is thus calculated as the sum of the left and the right channel, the transmitted direction information can be determined using the following equation:
is_pos = nint[arctan(VEL/VER) • 12/π] (6)is_pos = nint [arctan (VE L / VE R ) • 12 / π] (6)
Dabei stellt die Funktion nint[x] die Funktion "nächste Ganzzahl" dar, wobei EL und ER die Energien in den jeweiligen Skalenfaktorbändern des linken bzw. rechten Kanals sind. Diese Formulierung des Codierers/Decodierers führt zu einer annähernden Rekonstruktion von Signalen in dem linken und in dem rechten Kanal.The function nint [x] represents the function "next integer", where E L and E R are the energies in the respective scale factor bands of the left and right channels. This formulation of the encoder / decoder leads to an approximate reconstruction of signals in the left and in the right channel.
Wie bereits erwähnt wurde, werden bei bekannten Audiocodierverfahren die Stereoaudiospektralwerte in die Skalenfaktorbänder gruppiert, wobei diese Bänder an die Wahrnehmungseigenschaften des Gehörs angepaßt sind. Bei dem Audiocodierverfahren nach dem Standard MPEG-Layer 3 werden diese Skalenfaktorbänder nun in genau drei Regionen unterteilt. Damit sollen nun Bereiche mit gleicher Signalstatistik gruppiert werden. Dies ist zu der nun stattfindenden Redundanzreduktion mittels der bekannten Huffman-Codierung vorteilhaft. Für jede dieser Regionen aus Skalenfaktorbandern 28 wird nun eine einer Mehrzahl von Huffman-Tabellen ausgewählt, bei der der Gewinn durch die Redundanzreduktion mittels der Huff- man-Codierung mittels der ausgewählten Huffman-Tabelle am größten ist. Diese Tabelle wird in dem Bitstrom der codierten Daten mittels eines 5-Bit-Wertes für jede Region angezeigt. Es existieren 30 verschiedene Tabellen, wobei die Tabellen 4 und 14 nicht belegt sind.As already mentioned, in known audio coding methods, the stereo audio spectral values are grouped into the scale factor bands, these bands being adapted to the perceptual properties of the hearing. In the audio coding method according to the MPEG layer 3 standard, these scale factor bands are now divided into exactly three regions. In order to Areas with the same signal statistics should now be grouped. This is advantageous for the redundancy reduction now taking place by means of the known Huffman coding. For each of these regions from scale factor bands 28, one of a plurality of Huffman tables is now selected, in which the gain from the redundancy reduction by means of the Huffman coding using the selected Huffman table is greatest. This table is displayed in the bit stream of encoded data using a 5-bit value for each region. There are 30 different tables, but tables 4 and 14 are not used.
Das nicht-rückwärts-kompatible NBC-Codierverfahren, welches sich gerade in der Standardisierung befindet, unterscheidet sich von dem Standardaudiocodierverfahren MPEG Layer 3 nun unter anderem darin, daß in der Bitstromsyntax für dieses Verfahren nicht nur genau drei Regionen aus Skalenfaktorbandern erlaubt sind, sondern daß sogenannte Abschnitte oder "sections" in beliebiger Anzahl vorhanden sein können und eine beliebige Anzahl von Skalenfaktorbandern aufweisen können. Einem Abschnitt wird nun in Analogie zum vorher beschriebenen Verfahren im MPEG Layer 3 zum Erreichen einer maximalen Redundanzreduktion eine dementsprechende Huffman- Tabelle aus einer Mehrzahl derartiger Tabellen zugeordnet, welche dann zur Decodierung verwendet werden soll. Im Extremfall besteht ein Abschnitt beispielsweise nur aus einem einzigen Skalenfaktorband. In der Praxis wird dies jedoch eher nicht auftreten, da die dann notwendigen Seiteninformationen viel zu groß sein würden. Beim NBC-Verfahren existieren insgesamt 16 Huffman-Codiertabellennummern, die als 4- Bit-Werte übertragen werden. Damit kann eine der zwölf existierenden Codiertabellennummern ausgewählt werden.The non-backward-compatible NBC coding method, which is currently in the standardization process, differs from the standard audio coding method MPEG Layer 3, among other things, in that not only exactly three regions from scale factor bands are allowed in the bitstream syntax for this method, but that so-called sections or "sections" can be present in any number and can have any number of scale factor bands. A section is now assigned a corresponding Huffman table from a plurality of such tables in analogy to the previously described method in MPEG Layer 3 to achieve a maximum redundancy reduction, which table is then to be used for decoding. In extreme cases, for example, a section consists of only a single scale factor band. In practice, however, this is unlikely to occur, since the page information required would then be much too large. The NBC method has a total of 16 Huffman coding table numbers that are transmitted as 4-bit values. This means that one of the twelve existing coding table numbers can be selected.
Die Aufgabe der vorliegenden Erfindung besteht darin, Verfahren zum Codieren bzw. Decodieren von Stereoaudiospektralwerten zu schaffen, bei denen für die Codierung bzw. Decodierung relevante Informationen mit einem minimalen Aufwand an Seiteninformationen signalisiert werden. Diese Aufgabe wird durch ein Verfahren zum Codieren von Stereoaudiospektralwerten gemäß Anspruch 1 sowie durch ein Verfahren zum Decodieren von teilweise im Intensity-Stereo-Verfahren codierten Stereoaudiospektralwerten gemäß Anspruch 2 gelöst.The object of the present invention is to provide methods for coding or decoding stereo audio spectral values, in which information relevant to the coding or decoding is signaled with a minimal amount of side information. This object is achieved by a method for encoding stereo audio spectral values according to claim 1 and by a method for decoding stereo audio spectral values partially encoded in the intensity stereo method according to claim 2.
Der vorliegenden Erfindung liegt die Erkenntnis zugrunde, daß zusätzliche Codiertabellennummern, die nicht zum Verweisen auf Codiertabellen verwendet werden, andere für einen Abschnitt relevante Informationen anzeigen können. Die "zusätzlichen" Codiertabellennummern sind die Codiertabellennummern, die nicht auf Codiertabellen verweisen. Durch eine 4-Bit-Codierung von zwölf verschiedenen Codiertabellennummern sind die Nummern 13, 14 und 15 für eine Belegung mit anderen Informationen gewissermaßen frei verfügbar. Bei einem bevorzugten Ausführungsbeispiel der vorliegenden Erfindung werden zwei (Nr. 14 und Nr. 15) der drei (Nr. 13, Nr. 14 und Nr. 15) zusätzlichen Codiertabellennummern verwendet, um zum einen auf eine in einem Abschnitt vorhandene Inten- sity-Codierung und zum anderen auf die gegenseitige Phasenlage von IS-codierten Stereoaudiospektralwerten in zwei Stereokanälen hinzuweisen.The present invention is based on the recognition that additional coding table numbers which are not used to refer to coding tables can indicate other information relevant for a section. The "additional" code table numbers are the code table numbers that do not refer to code tables. Due to a 4-bit coding of twelve different coding table numbers, the numbers 13, 14 and 15 are, as it were, freely available for assignment with other information. In a preferred embodiment of the present invention, two (no. 14 and no. 15) of the three (no. 13, no. 14 and no. 15) additional coding table numbers are used in order to, on the one hand, refer to an intensity which is present in a section. Coding and on the other hand to point out the mutual phase relationship of IS-coded stereo audio spectral values in two stereo channels.
Die noch nicht verwendete zusätzliche Codiertabellennummer 13 kann verwendet werden, um auf eine adaptive Huffman-Codierung hinzuweisen.The additional unused coding table number 13 can be used to indicate adaptive Huffman coding.
Bevorzugte Ausführungsbeispiele der vorliegenden Erfindung werden nachfolgend bezugnehmend auf die beiliegenden Zeichnungen erläutert. Es zeigen:Preferred embodiments of the present invention are explained below with reference to the accompanying drawings. Show it:
Fig. l den Signalfluß bei einem Codierungs/Decodierungs- Schema nach dem Intensity-Stereo-Verfahren;1 shows the signal flow in a coding / decoding scheme according to the intensity stereo method;
Fig. 2a ein Format der Daten bei Vorliegen einer Stereo- Intensity-Codierung für den rechten Kanal für den Standard MPEG Layer 3; Fig. 2b ein Format der Daten bei Vorliegen einer Stereo- Intensity-Codierung für den rechten Kanal für das MPEG-NBC-Verfahren; und2a shows a format of the data in the presence of stereo intensity coding for the right channel for the standard MPEG Layer 3; 2b shows a format of the data in the presence of stereo intensity coding for the right channel for the MPEG-NBC method; and
Fig. 3 ein schematisches Blockschaltbild eines Decodie- rers, der die vorliegende Erfindung ausführt.3 is a schematic block diagram of a decoder that implements the present invention.
Ein Verfahren zum Codieren von Stereoaudiospektralwerten sowie das Verfahren zum Decodieren von teilweise im Intensity-Stereo-Verfahren codierten Stereoaudiospektralwerten gemäß einem ersten Ausführungsbeispiel der vorliegenden Erfindung verwenden eine neuartige Signalisierung des Vorhandenseins der Intensity-Stereo-Codierung innerhalb eines Abschnitts. Gemäß der vorliegenden Erfindung sind ebenfalls 16 Codiertabellennummern vorhanden. Im Gegensatz zum Stand der Technik entsprechen jedoch lediglich die ersten 12 Codiertabellennummern (Nr. 1 bis Nr. 12) wirklichen Codiertabellen. Mit Hilfe der letzten und der vorletzten Codiertabellennummer wird nun signalisiert, daß innerhalb des Abschnitts, dem diese Codiertabellennummer zugeordnet ist, das Stereo-Intensity-Verfahren eingesetzt wird.A method for encoding stereo audio spectral values and the method for decoding stereo audio spectral values partially encoded in the intensity stereo method according to a first exemplary embodiment of the present invention use novel signaling of the presence of the intensity stereo encoding within a section. According to the present invention, there are also 16 coding table numbers. In contrast to the prior art, however, only the first 12 coding table numbers (No. 1 to No. 12) correspond to actual coding tables. With the help of the last and the penultimate coding table number, it is now signaled that the stereo intensity method is used within the section to which this coding table number is assigned.
Fig. 2b zeigt ein Format der Daten für den rechten Kanal R bei Vorliegen einer Stereo-Intensity-Codierung, wobei das MPEG2-NBC-Verfahren verwendet wird. Der Unterschied zu Fig. 2a, bzw. zu dem Verfahren MPEG Layer 3, besteht darin, daß ein Anwender jetzt die Flexibilität besitzt, auch oberhalb der IS-Grenzfrequenz 32 eine Intensity-Stereo-Codierung der Stereoaudiospektralwerte für jeweils einen Abschnitt selektiv ein- bzw. auszuschalten. Damit ist die IS-Grenzfrequenz im Vergleich zum MPEG Layer 3 eigentlich keine richtige Grenzfrequenz mehr, da beim NBC-Verfahren auch oberhalb der IS-Grenzfrequenz die IS-Codierung wieder aus- bzw. angeschaltet werden kann. Dies war beim Layer 3 nicht möglich, d.h. die Stereoaudiospektralwerte über der IS-Grenzfrequenz mußten bei Vorliegen einer IS-Codierung für einen Abschnitt auf jeden Fall auch ganz bis zum oberen Ende des Spektralbe- reichs IS-codiert werden. Das neue NBC-Verfahren muß nun nicht für den gesamten Spektralbereich oberhalb der IS-Grenze die IS-Codierung aktivieren, sondern dasselbe erlaubt auch das Ausschalten der IS-Codierung, so dies signalisiert ist. Da nach der Bitstromsyntax für einen Abschnitt ohnehin eine Codiertabellennummer übertragen werden muß, vermehren sich bei der beschriebenen erfindungsgemäßen Signalisierung auch nicht die Seiteninformationen ("overhead") .2b shows a format of the data for the right channel R in the presence of stereo intensity coding, using the MPEG2-NBC method. The difference to FIG. 2a, or to the MPEG Layer 3 method, is that a user now has the flexibility to selectively insert or deactivate an intensity stereo coding of the stereo audio spectral values for each section even above the IS cut-off frequency 32 to switch off. In comparison to MPEG Layer 3, the IS cut-off frequency is therefore no longer a correct cut-off frequency, since with the NBC method, the IS coding can also be switched off or on again above the IS cut-off frequency. This was not possible with Layer 3, ie the stereo audio spectral values above the IS cut-off frequency had to be in any case up to the upper end of the spectral range if IS coding was available for a section be IS-coded. The new NBC method does not now have to activate the IS coding for the entire spectral range above the IS limit, but the same also allows the IS coding to be switched off, if this is signaled. Since a coding table number must be transmitted for a section anyway according to the bit stream syntax, the side information (“overhead”) does not increase in the inventive signaling described.
Die in einem Abschnitt mit IS-Codierung für den rechten Kanal übertragenen Skalenfaktoren stellen nun ebenfalls analog zum Stand der Technik die Richtungsinformationen 36 dar, wobei diese Werte selbst ebenfalls einer Differenz- und Huff- man-Codierung unterzogen werden. Im rechten Kanal stehen, wie es bereits erwähnt wurde, in den Skalenfaktorbandern die nicht IS-codiert sind, keine Stereoaudiospektralwerte, sondern ein Nullspektrum. Der linke Kanal enthält in IS-co- dierten Abschnitten das Summensignal des linken und des rechten Kanals. Das Summensignal wird jedoch derart normiert, daß seine Energie innerhalb der jeweiligen Skalenfaktorbänder nach der IS-Decodierung der Energie des linken Kanals entspricht. Daher kann der linke Kanal im Falle einer verwendeten IS-Codierung in der Decodiervorrichtung auch unverändert übernommen werden und muß nicht durch eine Rück- skalierungsvorschrift extra ermittelt werden. Die Stereoaudiospektralwerte des rechten Kanals können nun aus den Stereoaudiospektralwerten des linken Kanals unter Verwendung der RichtungsInformationen is_pos 36, die in den Seiteninformationen des rechten Kanals vorhanden sind, zurückgerechnet werden.The scale factors transmitted in a section with IS coding for the right channel now also represent the direction information 36 analogously to the prior art, these values themselves also being subjected to a difference and Huffman coding. In the right channel, as already mentioned, there are no stereo audio spectral values in the scale factor bands that are not IS-coded, but a zero spectrum. In IS-coded sections, the left channel contains the sum signal of the left and right channels. However, the sum signal is normalized in such a way that its energy within the respective scale factor bands after IS decoding corresponds to the energy of the left channel. Therefore, the left channel can also be adopted unchanged in the decoding device if IS coding is used and does not have to be determined specifically by means of a re-scaling rule. The stereo audio spectral values of the right channel can now be calculated back from the stereo audio spectral values of the left channel using the direction information is_pos 36, which are present in the side information of the right channel.
Wie eingangs beschrieben wurde, ergibt das Stereo-Intensi- ty-Verfahren gemäß dem Stand der Technik zwei kohärente Signale für den linken bzw. rechten Kanal, die sich lediglich in ihrer Amplitude, d.h. Intensität, in Abhängigkeit von den Richtungsinformationen is_pos 36 unterscheiden (Gleichungen (4) und (5)) . Bei der vorliegenden Erfindung kann nun, da das Vorhandensein der Stereo-Intensitäts-Codierung mittels zwei "unwirklichen" Codiertabellennummern signalisiert wird, eine Phasenbeziehung der beiden Kanäle zueinander einbezogen werden. Weisen die Kanäle die gleiche Phasenlage auf, so lautet die in dem Decodierer auszuführende erfindungsgemäße Rückrech- nungsvorschrift folgendermaßen:As described at the beginning, the stereo intensity method according to the prior art produces two coherent signals for the left or right channel, which differ only in their amplitude, ie intensity, depending on the direction information is_pos 36 (equations (4) and (5)). In the present invention, since the presence of the stereo intensity coding is signaled by means of two "unreal" coding table numbers, a phase relationship of the two channels to one another can be included. If the channels have the same phase position, the back-calculation rule according to the invention to be carried out in the decoder is as follows:
R± = 0,5 Λ (0,25 • is_pos(sfb)) ' L^, (7)R ± = 0.5 Λ (0.25 • is_pos (sfb)) 'L ^, (7)
während im Falle einer Gegenphasigkeit das Spektrum mit -l multipliziert wird, wodurch sich für die Berechnung des rechten Kanals folgende Gleichung ergibt:while in the case of an opposite phase, the spectrum is multiplied by -l, which results in the following equation for the calculation of the right channel:
Ri = (-1) • 0,5 A (0,25 • is_pos(sfb)) • Li. (8)Ri = (-1) • 0.5 A (0.25 • is_pos (sfb)) • Li. (8)
R^ bezeichnet in den beiden vorherigen Gleichungen die rückgerechneten, d.h. decodierten, Stereoaudiospektralwerte des rechten Kanals, sfb bezeichnet das Skalenfaktorband 28, dem die Richtungsinformationen is_pos 36 zugeordnet sind. L^ bezeichnet die Stereoaudiospektralwerte des linken Kanals, die im Decoder unverändert übernommen werden.R ^ in the two previous equations denotes the back-calculated, i.e. decoded, stereo audio spectral values of the right channel, sfb denotes the scale factor band 28 to which the direction information is_pos 36 are assigned. L ^ denotes the stereo audio spectral values of the left channel, which are adopted unchanged in the decoder.
Die Codiertabellennummer 15 zeigt nun an, ob die erste Rück- rechnungsvorschritt verwendet werden soll, während die Codiertabellennummer 14 anzeigt, daß die zweite Rückrechnungs- vorschrift verwendet werden soll, d.h. daß die beiden Kanäle gegenphasig sind. Für Fachleute ist es offensichtlich, daß die Ausdrücke Gleichphasigkeit und Gegenphasigkeit im Sinne dieser Anmeldung breit verwendet werden. So kann beispielsweise ein Phasendiskriminator vorgesehen sein, der ab einem bestimmten Phasendiskriminatorausgangswert, der beispielsweise 90° sein kann, bestimmt, daß die Signale gegenphasig sind, wobei dieselben bei einem Phasenunterschied von kleiner 90° als gleichphasig angesehen werden.Coding table number 15 now indicates whether the first retroactive accounting step should be used, while coding table number 14 indicates that the second retroactive accounting rule should be used, i.e. that the two channels are out of phase. It is obvious to those skilled in the art that the terms in-phase and out-of-phase are used broadly in the sense of this application. For example, a phase discriminator can be provided which, from a certain phase discriminator output value, which can be, for example, 90 °, determines that the signals are out of phase, the same being considered to be in phase with a phase difference of less than 90 °.
Bei dem beschriebenen ersten Ausführungsbeispiel kann also für einen Abschnitt, der aus mindestens einem Skalenfaktor- band besteht, durch die Codiertabellennummern 14 oder 15 die Phasenlage der beiden Kanäle zueinander bestimmt werden. Die Seiteninformationen, die durch IS- und Phasensignalisierung verursacht werden, betragen für einen Abschnitt 8 Bit, die sich aus vier Bit für die Abschnittslänge und vier Bit für die Codiertabellennummer 14 oder 15 zusammensetzen. Soll nun ein Audiosignal codiert werden, das in Skalenfaktorbandern seiner Stereoaudiospektralwerte häufige Änderungen der Phasenlage aufweist, so muß gemäß dem ersten Ausführungsbeispiel bei jeder Umkehrung der Phasenlage von Skalenfaktorband zu Skalenfaktorband ein neuer Abschnitt ("section") begonnen werden. Ein Signal mit einer häufig wechselnden Phasenlage erzeugt also sehr viele Abschnitte, da jeder Abschnitt durch die ihm zugeordnete Codiertabellennummer nur entweder Gleichphasigkeit oder Gegenphasigkeit seiner Stereoaudiospektralwerte in den beiden Kanälen anzeigen kann. Ein ungünstiges Signal wird demnach zu einer großen Anzahl von Abschnitten und damit zu einer großen Menge an Seiteninformationen führen.In the first exemplary embodiment described, a section which consists of at least one scale factor band exists, by means of the code table numbers 14 or 15, the phase relationship of the two channels to one another is determined. The side information caused by IS and phase signaling is 8 bits for a section, which is composed of four bits for the section length and four bits for the coding table number 14 or 15. If an audio signal is to be encoded which has frequent changes in the phase position in scale factor bands of its stereo audio spectral values, then according to the first exemplary embodiment a new section ("section") must be started each time the phase position is reversed from scale factor band to scale factor band. A signal with a frequently changing phase position therefore generates a large number of sections, since each section can only display either the in-phase or the out-of-phase of its stereo audio spectral values in the two channels due to the coding table number assigned to it. An unfavorable signal will therefore lead to a large number of sections and thus to a large amount of page information.
Ein zweites Ausführungsbeispiel der vorliegenden Erfindung erlaubt eine skalenfaktorbandweise Phasenlagencodierung in einem Abschnitt, in dem die Intensity-Codierung aktiv ist. Durch dieses Verfahren gemäß dem zweiten Ausführungsbeispiel der vorliegenden Erfindung gelingt damit unter Verwendung einer MS-Maske, die nachfolgend beschrieben wird, eine skalenfaktorbandweise Phasenlagencodierung ohne eine Vergrößerung der Anzahl von Abschnitten sowie ohne einen zusätzlichen Mehraufwand.A second exemplary embodiment of the present invention allows a phase-factor coding on a scale factor band basis in a section in which the intensity coding is active. By means of this method according to the second exemplary embodiment of the present invention, using an MS mask, which is described below, it is possible to encode phase factor by scale factor band without increasing the number of sections and without any additional expenditure.
Für Fachleute ist es offensichtlich, daß sich das Mitte-Seite-Verfahren und das Intensity-Stereo-Verfahren in einem Skalenfaktorband gegenseitig ausschließen. Diese beiden Verfahren sind also orthogonal.It will be apparent to those skilled in the art that the center-side method and the intensity stereo method are mutually exclusive in a scale factor band. These two methods are therefore orthogonal.
Wird eine MS-Codierung von Stereoaudiospektralwerten in einem Bitstrom verwendet, so wird ein Signalisierungsbit in den Seiteninformationen entsprechend eingestellt sein, das die MS-Codierung global anschaltet. Ein Setzten dieses Bits besagt, daß eine MS-Bitmaske übertragen wird, mit der es möglich ist, eine MS-Codierung selektiv für jedes Skalenfaktorband (scfbd) an- oder auszuschalten. Für jedes Skalenfaktorband ist in der MS-Bitmaske ein Bit reserviert, weshalb die Länge der Bitmaske der Skalenfaktorbandanzahl entspricht.If MS coding of stereo audio spectral values is used in a bit stream, a signaling bit in the side information will be set accordingly globally turn on the MS coding. Setting this bit means that an MS bit mask is transmitted, with which it is possible to selectively switch MS coding on or off for each scale factor band (scfbd). One bit is reserved in the MS bit mask for each scale factor band, which is why the length of the bit mask corresponds to the number of scale factor bands.
In den Skalenfaktorbandern, in denen IS aktiv ist, ist die MS-Skalenfaktorinformation nicht nötig, da die MS-Codierung hier nicht aktiviert sein darf. Die MS-Bitmaske kann in diesem Bereich für andere Signalisierungen verwendet werden. Es ist also möglich, mittels der MS-Bitmaske Details der IS-Codierung anzuzeigen. In Übereinstimmung mit dem ersten Auεführungsbeispiel werden bei der IS-Codierung die Informationen bezüglich der Phasenlage der Kanäle in einem Abschnitt mittels der Codiertabellennummern 14 und 15 angegeben. Die Codiertabellennummern zeigen ferner an, daß in einem Abschnitt die IS-Codierung überhaupt aktiv ist.In the scale factor bands in which IS is active, the MS scale factor information is not necessary, since the MS coding must not be activated here. The MS bit mask can be used for other signaling in this area. It is therefore possible to display details of the IS coding using the MS bit mask. In accordance with the first exemplary embodiment, the information relating to the phase position of the channels is specified in a section by means of the coding table numbers 14 and 15 in IS coding. The coding table numbers also indicate that IS coding is active at all in a section.
In Abweichung vom ersten Ausführungsbeispiel wird bei dem zweiten Ausführungsbeispiel der vorliegenden Erfindung die MS-Bitmaske dafür verwendet, um in einem Abschnitt Skalenfaktorbänder mit unterschiedlichen Phasenlagen zuzulassen. Die MS-Bitmaske dient nun dazu, in Relation zu der Codiertabellennummer, die signalisiert, daß eine IS-Codierung in einem Abschnitt aktiv ist, die Phasenlage der einzelnen Skalenfaktorbänder in diesem Abschnitt anzuzeigen. Ist ein Bit in der MS-Bitmaske für ein Skalenfaktorband nicht gesetzt (d.h. Null) , so werden die durch die Codiertabellennummer für den Abschnitt, in dem sich das Skalenfaktorband befindet, angezeigten Phaseninformationen beibehalten, während bei einem gesetzten (d.h. Eins-) Bit in der MS-Bitmaske für das Skalenfaktorband die durch die Codiertabellennummer für den Abschnitt, in dem sich das Skalenfaktorband befindet, angezeigte Phasenlage der beiden Kanäle invertiert wird. Im Prinzip handelt es sich also um eine EXKLUSIV-ODER-Verknüp- fung zwischen der durch die Codiertabellennummer angezeigten Phasenlage und der MS-Bitmaske.In deviation from the first exemplary embodiment, the MS bit mask is used in the second exemplary embodiment of the present invention to allow scale factor bands with different phase positions in one section. The MS bit mask is now used to indicate the phase relationship of the individual scale factor bands in this section in relation to the coding table number, which signals that IS coding is active in a section. If a bit in the MS bit mask for a scale factor band is not set (ie zero), the phase information indicated by the coding table number for the section in which the scale factor band is located is retained, while if a (ie one) bit is set in the MS bit mask for the scale factor band which is inverted by the phase table of the two channels indicated by the coding table number for the section in which the scale factor band is located. In principle, it is an EXCLUSIVE-OR link between the one indicated by the coding table number Phase position and the MS bit mask.
Im einzelnen lauten die aus Codiertabellennummer und MS-Bitmaske berechneten Phasenbeziehungen der beiden Stereokanäle L und R in einem Skalenfaktorband, das sich in einem Abschnitt befindet, in dem die IS-Codierung verwendet wird, folgendermaßen:Specifically, the phase relationships of the two stereo channels L and R calculated from the coding table number and MS bit mask in a scale factor band located in a section in which the IS coding is used are as follows:
Codiertabellennummer 15 15 14 14 (für einen Abschnitt)Coding table number 15 15 14 14 (for one section)
MS - Bitmaske 0 1 0 1 (für ein Skalenf.-band)MS - bit mask 0 1 0 1 (for a scale band)
Phasenlage von L und R 0° 180° 180° 0°Phase position of L and R 0 ° 180 ° 180 ° 0 °
Rückrechnungsvorschrift Gl. 7 Gl. 8 Gl. 8 Gl. 7Retroactive accounting rule Eq. 7 eq. 8 eq. 8 eq. 7
Tabelle 1Table 1
Das beschriebene zweite Ausführungsbeispiel der vorliegenden Erfindung erlaubt also das Auftreten von Skalenfaktorbandern mit Stereoaudiospektralwerten mit unterschiedlichen Phasenlagen in einem Abschnitt, wodurch weniger Abschnitte als beim ersten Ausführungsbeispiel zum Codieren gebildet werden müssen. Damit müssen auch weniger Seiteninformationen übertragen werden.The described second exemplary embodiment of the present invention thus allows scale factor bands with stereo audio spectral values with different phase positions to occur in one section, as a result of which fewer sections than in the first exemplary embodiment have to be formed for coding. This means that less page information also has to be transmitted.
In Abweichung von dem oben beschriebenen Ausführungsbeispiel können mit den zusätzlichen Codiertabellennummern auch andere für einen Abschnitt relevante Informationen angezeigt werden.In deviation from the exemplary embodiment described above, the additional coding table numbers can also be used to display other information relevant for a section.
Weitere für einen Abschnitt relevante Informationen können beispielsweise ein Hinweis auf die Verwendung einer adapti- ven Huffman-Codierung in einem Abschnitt sein. Bei einer adaptiven Huffman-Codierung kann in Abhängigkeit von der Signalstatistik eine adaptierte Huffman-Tabelle erzeugt werden. Die Codiertabellennummer 13 weist die Codiervorrichtung an, keine der zwölf festen Huffman-Tabellen zu verwenden, sondern eine adaptierte Huffman-Tabelle zu verwenden, die dem Decoder a priori nicht bekannt ist. Dies ist dann von Vorteil, wenn die Signalstatistik in einem Abschnitt nicht optimal mit einer der zwölf fest vorgegebenen Codiertabellen codiert, d.h. komprimiert, werden kann. Die Codierung ist also nicht mehr auf die zwölf festen Huffman-Tabellen festgelegt, sondern kann eine optimal an die Signalstatistik adaptierte Tabelle erzeugen und verwenden. Die Informationen über die adaptive Codiertabelle werden als zusätzliche Seiteninformationen übertragen.Further information relevant to a section can, for example, indicate the use of an adaptive ven Huffman coding in one section. With adaptive Huffman coding, an adapted Huffman table can be generated depending on the signal statistics. The coding table number 13 instructs the coding device not to use any of the twelve fixed Huffman tables, but to use an adapted Huffman table which is not known a priori to the decoder. This is advantageous if the signal statistics in a section cannot be optimally coded, ie compressed, with one of the twelve fixed coding tables. The coding is no longer fixed to the twelve fixed Huffman tables, but can generate and use a table that is optimally adapted to the signal statistics. The information about the adaptive coding table is transmitted as additional page information.
Eine Decodiervorrichtung benötigt diese zusätzlichen Seiteninformationen, um sich aus denselben die bei der Codierung verwendete adaptierte Huffman-Tabelle zurückzurechnen, um die Huffman-codierten Stereoaudiospektralwerte wieder korrekt decodieren zu können.A decoding device requires this additional side information in order to calculate back from it the adapted Huffman table used in the coding, in order to be able to correctly decode the Huffman-coded stereo audio spectral values again.
Fig. 3 zeigt ein vereinfachtes Blockschaltbild eines Deco- dierers, der das Verfahren zum Decodieren gemäß der vorliegenden Erfindung ausführen kann. Teilweise im Intensity-Stereo-Verfahren codierte Audiospektralwerte werden jeweils in- versen Quantisierern 38 und 40 zugeführt, wobei die inversen Quantisierer die bei der Codierung eingeführte Quantisierung wieder rückgängig machen. Anschließend gelangen die dequan- tisierten Stereoaudiospektralwerte in einen MS-Decodierer 42. Dieser MS-Decodierer 42 macht die im Codierer eingeführte Mitte-Seite-Codierung rückgängig. Ein IS-Decodierer 44 verwendet nun die vorher beschriebenen Rückrechnungsvor- schriften (7) und (8) , um wieder die ursprünglichen Stereoaudiospektralwerte auch für die IS-codierten Skalenfaktorbänder zu erhalten. Jeweilige Rücktransformationseinrich- tungen für den linken bzw. rechten Kanal führen nun eine Umsetzung der Stereoaudiospektralwerte in Stereoaudiozeit- werte L(t) , R(t) durch. Für Fachleute ist es offensichtlich, daß die Rücktransformationseinrichtungen 46 und 48 beispielsweise durch eine inverse MDCT ausgeführt werden können. 3 shows a simplified block diagram of a decoder that can carry out the method for decoding according to the present invention. Audio spectral values partially coded using the intensity stereo method are each supplied to inverse quantizers 38 and 40, the inverse quantizers reversing the quantization introduced during coding. The dequantized stereo audio spectral values then arrive in an MS decoder 42. This MS decoder 42 reverses the middle-side coding introduced in the encoder. An IS decoder 44 now uses the previously described recalculation regulations (7) and (8) in order to obtain the original stereo audio spectral values again for the IS-coded scale factor bands. Respective reverse transformation devices for the left or right channel now convert the stereo audio spectral values into stereo audio time evaluate L (t), R (t). It will be apparent to those skilled in the art that the inverse transformers 46 and 48 can be implemented by an inverse MDCT, for example.

Claims

Patentansprüche claims
1. Verfahren zum Codieren von Stereoaudiospektralwerten, mit folgenden Schritten:1. Method for coding stereo audio spectral values, with the following steps:
Gruppieren der Stereoaudiospektralwerte in Skalenfaktorbänder (28) , denen Skalenfaktoren zugeordnet sind;Grouping the stereo audio spectral values into scale factor bands (28) to which scale factors are assigned;
Bilden von Abschnitten, die jeweils aus mindestens einem Skalenfaktorband (28) bestehen;Forming sections each consisting of at least one scale factor band (28);
Codieren der Stereoaudiospektralwerte innerhalb wenigstens eines Abschnitts mit einer dem wenigstens einen Abschnitt zugeordneten Codiertabelle aus einer Mehrzahl von Codiertabellen, denen jeweils eine Codiertabellennummer zugeordnet ist, wobei die Codiertabellennummer der verwendeten Codiertabelle als Seiteninformationen zu den codierten Stereoaudiospektralwerten übertragen wird,Coding the stereo audio spectral values within at least one section with a coding table assigned to the at least one section from a plurality of coding tables, each of which is assigned a coding table number, the coding table number of the coding table used being transmitted as side information about the coded stereo audio spectral values,
wobei wenigstens eine zusätzliche Codiertabellennummer vorgesehen ist, die nicht auf eine Codiertabelle verweist, sondern für den Abschnitt, dem dieselbe zugeordnet ist, relevante Informationen anzeigt.wherein at least one additional coding table number is provided, which does not refer to a coding table, but rather displays information relevant to the section to which it is assigned.
2. Verfahren zum Decodieren von codierten Stereoaudiospektralwerten, die Seiteninformationen aufweisen, mit folgenden Schritten:2. A method for decoding coded stereo audio spectral values which have side information, with the following steps:
Erfassen je einer Codiertabellennummer aufgrund der Seiteninformationen für jeden Abschnitt der codierten Stereoaudiospektralwerte;Acquiring a coding table number based on the page information for each section of the coded stereo audio spectral values;
Decodieren der Stereoaudiospektralwerte eines Abschnitts mit einer Codiertabellennummer, die nicht auf eine Codiertabelle verweist, sondern für den Abschnitt, dem dieselbe zugeordnet ist, relevante Informationen anzeigt, gemäß den angezeigten Informationen; und Decodieren der Stereoaudiospektralwerte eines weiteren Abschnitts, dessen Codiertabellennummer auf eine entsprechende Codiertabelle verweist, unter Verwendung dieser Codiertabelle.Decoding the stereo audio spectral values of a section with an encoding table number that does not refer to an encoding table but indicates information relevant to the section to which it is associated, according to the displayed information; and Decoding the stereo audio spectral values of another section whose coding table number points to a corresponding coding table using this coding table.
3. Verfahren gemäß einem der Ansprüche 1 oder 2 ,3. The method according to any one of claims 1 or 2,
bei dem mindestens eine zusätzliche Codiertabellennummer auf eine Codierung nach dem Intensity-Stereo- Verfahren der Stereoaudiospektralwerte des zugeordneten Abschnitts hinweist.in which at least one additional coding table number indicates coding according to the intensity stereo method of the stereo audio spectral values of the assigned section.
4. Verfahren gemäß einem beliebigen der vorhergehenden Ansprüche,4. The method according to any one of the preceding claims,
bei dem mindestens eine zusätzliche Codiertabellennummer auf eine adaptive Huffman-Codierung der Stereoaudiospektralwerte des zugeordneten Abschnitts hinweist.in which at least one additional coding table number indicates adaptive Huffman coding of the stereo audio spectral values of the assigned section.
5. Verfahren gemäß einem beliebigen der vorhergehenden Ansprüche,5. The method according to any one of the preceding claims,
bei dem die wenigstens eine zusätzliche Codiertabellennummer für einen Abschnitt, der nach dem Stereo-Inten- sity-Verfahren codiert ist, ferner eine Phasenbeziehung zwischen zwei Stereokanälen anzeigt.in which the at least one additional coding table number for a section which is coded according to the stereo intensity method also indicates a phase relationship between two stereo channels.
6. Verfahren nach Anspruch 5,6. The method according to claim 5,
bei dem eine von zwei zusätzlichen Codiertabellennura- mern eine gleiche Phasenlage der zwei Stereokanäle anzeigt, wobei folgende Rückrechnungsvorschrift zum In- tensity-Decodieren gilt:in which one of two additional coding table names indicates the same phase position of the two stereo channels, the following recalculation rule for intensity decoding applies:
R-L = 0,5 A (0,25 • is_pos(sfb)) • L^,RL = 0.5 A (0.25 • is_pos (sfb)) • L ^,
wobei is pos Intensity-Richtungsinformationen für das vorhandene Skalenfaktorband darstellt , während L^ die normierten Summensignale der Stereoaudiospektralwerte des linken (L) und des rechten (R) Kanals sind .where is pos intensity direction information for the represents existing scale factor band, while L ^ are the normalized sum signals of the stereo audio spectral values of the left (L) and right (R) channels.
7. Verfahren nach Anspruch 5 oder 6 ,7. The method according to claim 5 or 6,
bei dem eine von zwei zusätzlichen Codiertabellennummern eine gleiche Phasenlage der zwei Stereokanäle anzeigt , wobei folgende Rückrechnungsvorschrif t zum In- tensity-Decodieren gilt:in which one of two additional coding table numbers indicates the same phase position of the two stereo channels, the following recalculation rule for intensity decoding applies:
Rj = (-1 ) • 0 , 5 Λ ( 0 , 25 • is_pos (sfb) ) • L^R j = (-1) • 0, Λ 5 (0, 25 • is_pos (sfb)) • L ^
wobei is_pos Intensity-Richtungsinfor ationen für das vorhandene Skalenfaktorband darstellt, während L^ die normierten Summensignale der Stereoaudiospektralwerte des linken (L) und des rechten (R) Kanals sind.where is_pos represents intensity direction information for the existing scale factor band, while L ^ is the normalized sum signals of the stereo audio spectral values of the left (L) and right (R) channels.
8. Verfahren gemäß einem beliebigen der vorhergehenden Ansprüche,8. The method according to any one of the preceding claims,
bei dem das Intensity-Stereo-Verfahren in einem linken Kanal ein normiertes Summensignal der Stereoaudiospektralwerte des linken und des rechten Kanals und als Seiteninformationen Skalenfaktoren bildet, während in dem rechten Kanal das Spektrum Null ist und Intensity- Richtungsinformationen als Seiteninformationen codiert werden.in which the intensity stereo method in a left channel forms a normalized sum signal of the stereo audio spectral values of the left and right channels and scale factors as side information, while in the right channel the spectrum is zero and intensity direction information is encoded as side information.
9. Verfahren gemäß einem beliebigen der vorhergehenden Ansprüche,9. The method according to any one of the preceding claims,
bei dem eine Bitmaske, die ein Bit für jedes Skalenfaktorband aufweist, verwendet wird, wobei ein Bit der Bitmaske für ein Skalenfaktorband in einem Abschnitt, dem eine der zusätzlichen Codiertabellennummern zugeordnet ist, mit der zusätzlichen Codiertabellennummer verknüpft wird, um ein Phasenbeziehung für zwei Stereo- kanäle zu bestimmen .in which a bit mask having a bit for each scale factor band is used, a bit of the bit mask for a scale factor band in a section to which one of the additional coding table numbers is assigned being combined with the additional coding table number in order to establish a phase relationship for two stereo to determine channels.
10. Verfahren gemäß Anspruch 9 ,10. The method according to claim 9,
bei dem die Bitmaske eine MS-Bitmaske ist und die zusätzlichen Codiertabellennummern mit der MS-Bitmaske skalenfaktorbandweise mittels einer EXKLUSIV-ODER-Ver- knüpfung verknüpft werden . in which the bit mask is an MS bit mask and the additional coding table numbers are linked with the MS bit mask on a scale factor band basis by means of an EXCLUSIVE-OR operation.
EP97925036A 1996-07-12 1997-06-03 Process for coding and decoding stereophonic spectral values Expired - Lifetime EP0910927B1 (en)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE19628292 1996-07-12
DE19628292A DE19628292B4 (en) 1996-07-12 1996-07-12 Method for coding and decoding stereo audio spectral values
PCT/EP1997/002874 WO1998003036A1 (en) 1996-07-12 1997-06-03 Process for coding and decoding stereophonic spectral values

Publications (2)

Publication Number Publication Date
EP0910927A1 true EP0910927A1 (en) 1999-04-28
EP0910927B1 EP0910927B1 (en) 2000-01-12

Family

ID=7799742

Family Applications (1)

Application Number Title Priority Date Filing Date
EP97925036A Expired - Lifetime EP0910927B1 (en) 1996-07-12 1997-06-03 Process for coding and decoding stereophonic spectral values

Country Status (14)

Country Link
US (1) US6771777B1 (en)
EP (1) EP0910927B1 (en)
JP (1) JP3622982B2 (en)
KR (1) KR100316582B1 (en)
AT (1) ATE188832T1 (en)
AU (1) AU712196B2 (en)
CA (1) CA2260090C (en)
DE (2) DE19628292B4 (en)
DK (1) DK0910927T3 (en)
ES (1) ES2143868T3 (en)
GR (1) GR3032444T3 (en)
NO (1) NO317570B1 (en)
PT (1) PT910927E (en)
WO (1) WO1998003036A1 (en)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7016547B1 (en) 2002-06-28 2006-03-21 Microsoft Corporation Adaptive entropy encoding/decoding for screen capture content
US7143030B2 (en) 2001-12-14 2006-11-28 Microsoft Corporation Parametric compression/decompression modes for quantization matrices for digital audio
US7240001B2 (en) 2001-12-14 2007-07-03 Microsoft Corporation Quality improvement techniques in an audio encoder
US7299190B2 (en) 2002-09-04 2007-11-20 Microsoft Corporation Quantization and inverse quantization for audio
US7460990B2 (en) 2004-01-23 2008-12-02 Microsoft Corporation Efficient coding of digital media spectral data using wide-sense perceptual similarity
US7502743B2 (en) 2002-09-04 2009-03-10 Microsoft Corporation Multi-channel audio encoding and decoding with multi-channel transform selection
US7539612B2 (en) 2005-07-15 2009-05-26 Microsoft Corporation Coding and decoding scale factor information
US7562021B2 (en) 2005-07-15 2009-07-14 Microsoft Corporation Modification of codewords in dictionary used for efficient coding of digital media spectral data
US7630882B2 (en) 2005-07-15 2009-12-08 Microsoft Corporation Frequency segmentation to obtain bands for efficient coding of digital media
US7688894B2 (en) 2003-09-07 2010-03-30 Microsoft Corporation Scan patterns for interlaced video content
US7782954B2 (en) 2003-09-07 2010-08-24 Microsoft Corporation Scan patterns for progressive video content
US7831434B2 (en) 2006-01-20 2010-11-09 Microsoft Corporation Complex-transform channel coding with extended-band frequency coding
US7885819B2 (en) 2007-06-29 2011-02-08 Microsoft Corporation Bitstream syntax for multi-process audio decoding
US7953604B2 (en) 2006-01-20 2011-05-31 Microsoft Corporation Shape and scale parameters for extended-band frequency coding
US8069052B2 (en) 2002-09-04 2011-11-29 Microsoft Corporation Quantization and inverse quantization for audio

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6539357B1 (en) * 1999-04-29 2003-03-25 Agere Systems Inc. Technique for parametric coding of a signal containing information
US6735561B1 (en) * 2000-03-29 2004-05-11 At&T Corp. Effective deployment of temporal noise shaping (TNS) filters
US7099830B1 (en) * 2000-03-29 2006-08-29 At&T Corp. Effective deployment of temporal noise shaping (TNS) filters
ATE387044T1 (en) * 2000-07-07 2008-03-15 Nokia Siemens Networks Oy METHOD AND APPARATUS FOR PERCEPTUAL TONE CODING OF A MULTI-CHANNEL TONE SIGNAL USING CASCADED DISCRETE COSINE TRANSFORMATION OR MODIFIED DISCRETE COSINE TRANSFORMATION
SE0202159D0 (en) * 2001-07-10 2002-07-09 Coding Technologies Sweden Ab Efficientand scalable parametric stereo coding for low bitrate applications
US8605911B2 (en) 2001-07-10 2013-12-10 Dolby International Ab Efficient and scalable parametric stereo coding for low bitrate audio coding applications
EP1423847B1 (en) 2001-11-29 2005-02-02 Coding Technologies AB Reconstruction of high frequency components
DE60330198D1 (en) 2002-09-04 2009-12-31 Microsoft Corp Entropic coding by adapting the coding mode between level and run length level mode
US7433824B2 (en) * 2002-09-04 2008-10-07 Microsoft Corporation Entropy coding by adapting coding between level and run-length/level modes
SE0202770D0 (en) 2002-09-18 2002-09-18 Coding Technologies Sweden Ab Method of reduction of aliasing is introduced by spectral envelope adjustment in real-valued filterbanks
US7724827B2 (en) 2003-09-07 2010-05-25 Microsoft Corporation Multi-layer run level encoding and decoding
KR20050027179A (en) * 2003-09-13 2005-03-18 삼성전자주식회사 Method and apparatus for decoding audio data
WO2006004048A1 (en) * 2004-07-06 2006-01-12 Matsushita Electric Industrial Co., Ltd. Audio signal encoding device, audio signal decoding device, method thereof and program
KR101315077B1 (en) * 2005-03-30 2013-10-08 코닌클리케 필립스 일렉트로닉스 엔.브이. Scalable multi-channel audio coding
KR100851970B1 (en) 2005-07-15 2008-08-12 삼성전자주식회사 Method and apparatus for extracting ISCImportant Spectral Component of audio signal, and method and appartus for encoding/decoding audio signal with low bitrate using it
US7684981B2 (en) 2005-07-15 2010-03-23 Microsoft Corporation Prediction of spectral coefficients in waveform coding and decoding
US7599840B2 (en) * 2005-07-15 2009-10-06 Microsoft Corporation Selectively using multiple entropy models in adaptive coding and decoding
US7693709B2 (en) 2005-07-15 2010-04-06 Microsoft Corporation Reordering coefficients for waveform coding or decoding
US7933337B2 (en) * 2005-08-12 2011-04-26 Microsoft Corporation Prediction of transform coefficients for image compression
US7565018B2 (en) * 2005-08-12 2009-07-21 Microsoft Corporation Adaptive coding and decoding of wide-range coefficients
US8599925B2 (en) 2005-08-12 2013-12-03 Microsoft Corporation Efficient coding and decoding of transform blocks
US8190425B2 (en) * 2006-01-20 2012-05-29 Microsoft Corporation Complex cross-correlation parameters for multi-channel audio
US8184710B2 (en) 2007-02-21 2012-05-22 Microsoft Corporation Adaptive truncation of transform coefficient data in a transform-based digital media codec
US7761290B2 (en) 2007-06-15 2010-07-20 Microsoft Corporation Flexible frequency and time partitioning in perceptual transform coding of audio
US7774205B2 (en) * 2007-06-15 2010-08-10 Microsoft Corporation Coding of sparse digital media spectral data
US8046214B2 (en) * 2007-06-22 2011-10-25 Microsoft Corporation Low complexity decoder for complex transform coding of multi-channel sound
US8249883B2 (en) 2007-10-26 2012-08-21 Microsoft Corporation Channel extension coding for multi-channel source
KR101444102B1 (en) 2008-02-20 2014-09-26 삼성전자주식회사 Method and apparatus for encoding/decoding stereo audio
US8179974B2 (en) 2008-05-02 2012-05-15 Microsoft Corporation Multi-level representation of reordered transform coefficients
US8406307B2 (en) 2008-08-22 2013-03-26 Microsoft Corporation Entropy coding/decoding of hierarchically organized data
JP6061121B2 (en) 2011-07-01 2017-01-18 ソニー株式会社 Audio encoding apparatus, audio encoding method, and program

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3310480C2 (en) * 1983-03-23 1986-02-13 Seitzer, Dieter, Prof. Dr.-Ing., 8520 Erlangen Digital coding process for audio signals
JPS59188764A (en) * 1983-04-11 1984-10-26 Hitachi Ltd Memory device
DE3943880B4 (en) * 1989-04-17 2008-07-17 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Digital coding method
JP3131249B2 (en) 1991-08-23 2001-01-31 日本放送協会 Mixed audio signal receiver
CA2090052C (en) 1992-03-02 1998-11-24 Anibal Joao De Sousa Ferreira Method and apparatus for the perceptual coding of audio signals
EP0559348A3 (en) 1992-03-02 1993-11-03 AT&T Corp. Rate control loop processor for perceptual encoder/decoder
DE4236989C2 (en) * 1992-11-02 1994-11-17 Fraunhofer Ges Forschung Method for transmitting and / or storing digital signals of multiple channels
JP3292522B2 (en) 1992-11-25 2002-06-17 京セラ株式会社 Mobile phone
JP3150475B2 (en) * 1993-02-19 2001-03-26 松下電器産業株式会社 Quantization method
US5581653A (en) * 1993-08-31 1996-12-03 Dolby Laboratories Licensing Corporation Low bit-rate high-resolution spectral envelope coding for audio encoder and decoder
DE4331367C2 (en) * 1993-09-15 1996-04-18 Lewin Martin Inner sleeve for sealing pipe joints in pipes
DE4331376C1 (en) * 1993-09-15 1994-11-10 Fraunhofer Ges Forschung Method for determining the type of encoding to selected for the encoding of at least two signals
US5488665A (en) 1993-11-23 1996-01-30 At&T Corp. Multi-channel perceptual audio compression system with encoding mode switching among matrixed channels
JP3435674B2 (en) 1994-05-06 2003-08-11 日本電信電話株式会社 Signal encoding and decoding methods, and encoder and decoder using the same
US5864802A (en) * 1995-09-22 1999-01-26 Samsung Electronics Co., Ltd. Digital audio encoding method utilizing look-up table and device thereof

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See references of WO9803036A1 *

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7143030B2 (en) 2001-12-14 2006-11-28 Microsoft Corporation Parametric compression/decompression modes for quantization matrices for digital audio
US7155383B2 (en) 2001-12-14 2006-12-26 Microsoft Corporation Quantization matrices for jointly coded channels of audio
US7240001B2 (en) 2001-12-14 2007-07-03 Microsoft Corporation Quality improvement techniques in an audio encoder
US7249016B2 (en) 2001-12-14 2007-07-24 Microsoft Corporation Quantization matrices using normalized-block pattern of digital audio
US7930171B2 (en) 2001-12-14 2011-04-19 Microsoft Corporation Multi-channel audio encoding/decoding with parametric compression/decompression and weight factors
US7016547B1 (en) 2002-06-28 2006-03-21 Microsoft Corporation Adaptive entropy encoding/decoding for screen capture content
US7218790B2 (en) 2002-06-28 2007-05-15 Microsoft Corporation Adaptive entropy encoding/decoding for screen capture content
US7340103B2 (en) 2002-06-28 2008-03-04 Microsoft Corporation Adaptive entropy encoding/decoding for screen capture content
US7801735B2 (en) 2002-09-04 2010-09-21 Microsoft Corporation Compressing and decompressing weight factors using temporal prediction for audio data
US8069052B2 (en) 2002-09-04 2011-11-29 Microsoft Corporation Quantization and inverse quantization for audio
US7299190B2 (en) 2002-09-04 2007-11-20 Microsoft Corporation Quantization and inverse quantization for audio
US7502743B2 (en) 2002-09-04 2009-03-10 Microsoft Corporation Multi-channel audio encoding and decoding with multi-channel transform selection
US7782954B2 (en) 2003-09-07 2010-08-24 Microsoft Corporation Scan patterns for progressive video content
US7688894B2 (en) 2003-09-07 2010-03-30 Microsoft Corporation Scan patterns for interlaced video content
US7460990B2 (en) 2004-01-23 2008-12-02 Microsoft Corporation Efficient coding of digital media spectral data using wide-sense perceptual similarity
US7630882B2 (en) 2005-07-15 2009-12-08 Microsoft Corporation Frequency segmentation to obtain bands for efficient coding of digital media
US7562021B2 (en) 2005-07-15 2009-07-14 Microsoft Corporation Modification of codewords in dictionary used for efficient coding of digital media spectral data
US7539612B2 (en) 2005-07-15 2009-05-26 Microsoft Corporation Coding and decoding scale factor information
US7831434B2 (en) 2006-01-20 2010-11-09 Microsoft Corporation Complex-transform channel coding with extended-band frequency coding
US7953604B2 (en) 2006-01-20 2011-05-31 Microsoft Corporation Shape and scale parameters for extended-band frequency coding
US7885819B2 (en) 2007-06-29 2011-02-08 Microsoft Corporation Bitstream syntax for multi-process audio decoding
US9741354B2 (en) 2007-06-29 2017-08-22 Microsoft Technology Licensing, Llc Bitstream syntax for multi-process audio decoding

Also Published As

Publication number Publication date
AU3031897A (en) 1998-02-09
ES2143868T3 (en) 2000-05-16
ATE188832T1 (en) 2000-01-15
EP0910927B1 (en) 2000-01-12
CA2260090C (en) 2000-10-17
US6771777B1 (en) 2004-08-03
KR100316582B1 (en) 2002-02-28
CA2260090A1 (en) 1998-01-22
NO990106D0 (en) 1999-01-11
WO1998003036A1 (en) 1998-01-22
DE19628292B4 (en) 2007-08-02
NO990106L (en) 1999-03-10
KR20000022435A (en) 2000-04-25
DK0910927T3 (en) 2000-05-08
JP3622982B2 (en) 2005-02-23
DE19628292A1 (en) 1998-01-15
JP2000505266A (en) 2000-04-25
NO317570B1 (en) 2004-11-15
PT910927E (en) 2000-04-28
DE59701014D1 (en) 2000-02-17
AU712196B2 (en) 1999-10-28
GR3032444T3 (en) 2000-05-31

Similar Documents

Publication Publication Date Title
DE19628292B4 (en) Method for coding and decoding stereo audio spectral values
EP0910928B1 (en) Coding and decoding of audio signals by using intensity stereo and prediction processes
DE19747132C2 (en) Methods and devices for encoding audio signals and methods and devices for decoding a bit stream
EP0931386B1 (en) Method for signalling a noise substitution during audio signal coding
EP0954909B1 (en) Method for coding an audio signal
DE19921122C1 (en) Method and device for concealing an error in a coded audio signal and method and device for decoding a coded audio signal
DE4135070C1 (en)
DE19742655C2 (en) Method and device for coding a discrete-time stereo signal
DE4222623C2 (en) Process for the transmission or storage of digitized sound signals
EP0611516B1 (en) Process for reducing data in the transmission and/or storage of digital signals from several dependent channels
EP0414838A1 (en) Process for transmitting a signal.
DE4217276C1 (en)
EP1926082A1 (en) Process for scaleable encoding of stereo signals
DE4430864C2 (en) Method for unnoticed transmission and / or storage of additional information within a source-coded, data-reduced audio signal
DE19742201C1 (en) Method of encoding time discrete audio signals, esp. for studio use
DE19747119C2 (en) Methods and devices for coding or decoding an audio signal or a bit stream
DE10113322C2 (en) Process for encoding audio data
DE19840853B4 (en) Methods and devices for encoding an audio signal
DE19617654C1 (en) Stereo or multi=channel sound signal coding method

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 19990105

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AT BE CH DE DK ES FI FR GB GR IE IT LI LU MC NL PT SE

GRAG Despatch of communication of intention to grant

Free format text: ORIGINAL CODE: EPIDOS AGRA

GRAG Despatch of communication of intention to grant

Free format text: ORIGINAL CODE: EPIDOS AGRA

GRAH Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOS IGRA

RIN1 Information on inventor provided before grant (corrected)

Inventor name: JOHNSTON, JAMES

Inventor name: HERRE, JUERGEN

Inventor name: GERHAEUSER, HEINZ

Inventor name: BRANDENBURG, KARLHEINZ

Inventor name: TEICHMANN, BODO

Inventor name: DIETZ, MARTIN

Inventor name: GBUR, UWE

17Q First examination report despatched

Effective date: 19990601

GRAH Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOS IGRA

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

AK Designated contracting states

Kind code of ref document: B1

Designated state(s): AT BE CH DE DK ES FI FR GB GR IE IT LI LU MC NL PT SE

ITF It: translation for a ep patent filed

Owner name: JACOBACCI & PERANI S.P.A.

REF Corresponds to:

Ref document number: 188832

Country of ref document: AT

Date of ref document: 20000115

Kind code of ref document: T

REG Reference to a national code

Ref country code: CH

Ref legal event code: EP

ET Fr: translation filed
REF Corresponds to:

Ref document number: 59701014

Country of ref document: DE

Date of ref document: 20000217

REG Reference to a national code

Ref country code: IE

Ref legal event code: FG4D

Free format text: GERMAN

GBT Gb: translation of ep patent filed (gb section 77(6)(a)/1977)

Effective date: 20000313

REG Reference to a national code

Ref country code: PT

Ref legal event code: SC4A

Free format text: AVAILABILITY OF NATIONAL TRANSLATION

Effective date: 20000131

REG Reference to a national code

Ref country code: DK

Ref legal event code: T3

REG Reference to a national code

Ref country code: ES

Ref legal event code: FG2A

Ref document number: 2143868

Country of ref document: ES

Kind code of ref document: T3

PLBE No opposition filed within time limit

Free format text: ORIGINAL CODE: 0009261

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT

26N No opposition filed
REG Reference to a national code

Ref country code: GB

Ref legal event code: IF02

REG Reference to a national code

Ref country code: CH

Ref legal event code: PFA

Owner name: AT & T LABORATORIES/RESEARCH

Free format text: FRAUNHOFER-GESELLSCHAFT ZUR FOERDERUNG DER ANGEWANDTEN FORSCHUNG E.V.#LEONRODSTRASSE 54#80636 MUENCHEN (DE) $ AT & T LABORATORIES/RESEARCH#180 PARK AVENUE#FLORHAM PARK, NJ 07932 (US) $ LUCENT TECHNOLOGIES#BELL LABORATORIES, 600 MOUNTAIN AVENUE#MURRAY HILL, NJ 07974-0636 (US) -TRANSFER TO- AT & T LABORATORIES/RESEARCH#180 PARK AVENUE#FLORHAM PARK, NJ 07932 (US) $ LUCENT TECHNOLOGIES#BELL LABORATORIES, 600 MOUNTAIN AVENUE#MURRAY HILL, NJ 07974-0636 (US) $ FRAUNHOFER-GESELLSCHAFT ZUR FOERDERUNG DER ANGEWANDTEN FORSCHUNG E.V.#HANSASTRASSE 27 C#80686 MUENCHEN (DE)

REG Reference to a national code

Ref country code: DE

Ref legal event code: R039

Ref document number: 59701014

Country of ref document: DE

Ref country code: DE

Ref legal event code: R008

Ref document number: 59701014

Country of ref document: DE

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 20

REG Reference to a national code

Ref country code: DE

Ref legal event code: R097

Ref document number: 59701014

Country of ref document: DE

Ref country code: DE

Ref legal event code: R040

Ref document number: 59701014

Country of ref document: DE

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: DE

Payment date: 20160622

Year of fee payment: 20

Ref country code: CH

Payment date: 20160621

Year of fee payment: 20

Ref country code: ES

Payment date: 20160622

Year of fee payment: 20

Ref country code: GR

Payment date: 20160621

Year of fee payment: 20

Ref country code: GB

Payment date: 20160628

Year of fee payment: 20

Ref country code: IE

Payment date: 20160621

Year of fee payment: 20

Ref country code: MC

Payment date: 20160621

Year of fee payment: 20

Ref country code: LU

Payment date: 20160622

Year of fee payment: 20

Ref country code: FI

Payment date: 20160620

Year of fee payment: 20

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: AT

Payment date: 20160620

Year of fee payment: 20

Ref country code: BE

Payment date: 20160621

Year of fee payment: 20

Ref country code: PT

Payment date: 20160525

Year of fee payment: 20

Ref country code: FR

Payment date: 20160621

Year of fee payment: 20

Ref country code: SE

Payment date: 20160621

Year of fee payment: 20

Ref country code: DK

Payment date: 20160622

Year of fee payment: 20

Ref country code: NL

Payment date: 20160621

Year of fee payment: 20

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: IT

Payment date: 20160621

Year of fee payment: 20

REG Reference to a national code

Ref country code: DE

Ref legal event code: R071

Ref document number: 59701014

Country of ref document: DE

REG Reference to a national code

Ref country code: DK

Ref legal event code: EUP

Effective date: 20170603

REG Reference to a national code

Ref country code: NL

Ref legal event code: MK

Effective date: 20170602

REG Reference to a national code

Ref country code: CH

Ref legal event code: PL

REG Reference to a national code

Ref country code: GB

Ref legal event code: PE20

Expiry date: 20170602

REG Reference to a national code

Ref country code: AT

Ref legal event code: MK07

Ref document number: 188832

Country of ref document: AT

Kind code of ref document: T

Effective date: 20170603

REG Reference to a national code

Ref country code: IE

Ref legal event code: MK9A

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: GB

Free format text: LAPSE BECAUSE OF EXPIRATION OF PROTECTION

Effective date: 20170602

REG Reference to a national code

Ref country code: SE

Ref legal event code: EUG

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: PT

Free format text: LAPSE BECAUSE OF EXPIRATION OF PROTECTION

Effective date: 20170614

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IE

Free format text: LAPSE BECAUSE OF EXPIRATION OF PROTECTION

Effective date: 20170603

REG Reference to a national code

Ref country code: ES

Ref legal event code: FD2A

Effective date: 20180508

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: ES

Free format text: LAPSE BECAUSE OF EXPIRATION OF PROTECTION

Effective date: 20170604