Institut für Schallforschung der Österreichischen Akademie der Wissenschaften: A-1010 Wien; Liebiggasse 5. Tel. +43 1/4277-29500; Fax +43 1/4277-9296; email: [email protected]; http://www.kfs.oeaw.ac.at Masking, Maths, Marseille & More - An introduction to the phase vocoder, the phase, psychoacoustic masking and frame multipliers (an extension of the talk given at the HASSIP minischool 2003 in Marseille and at the LMA, CRNS 2004) Peter Balazs Acoustics Research Institute, Austrian Academy of Science, Vienna - http://www.kfs.oeaw.ac.at - [email protected]
29
Embed
Institut für Schallforschung der Österreichischen Akademie der Wissenschaften: A-1010 Wien; Liebiggasse 5. Tel. +43 1/4277-29500; Fax +43 1/4277-9296;
This document is posted to help you gain knowledge. Please leave a comment to let me know what you think about it! Share it to your friends and learn new things together.
Transcript
Institut für Schallforschung der Österreichischen Akademie der Wissenschaften: A-1010 Wien; Liebiggasse 5. Tel. +43 1/4277-29500; Fax +43 1/4277-9296; email: [email protected]; http://www.kfs.oeaw.ac.at
Masking, Maths, Marseille & More- An introduction to the phase vocoder, the phase, psychoacoustic masking and frame multipliers (an extension of the talk given at the HASSIP minischool 2003 in Marseille and at the LMA, CRNS 2004)
Peter Balazs
Acoustics Research Institute, Austrian Academy of Science, Vienna- http://www.kfs.oeaw.ac.at- [email protected]
Institut für Schallforschung der Österreichischen Akademie der Wissenschaften: A-1010 Wien; Liebiggasse 5. Tel. +43 1/4277-29500; Fax +43 1/4277-9296; email: [email protected]; http://www.kfs.oeaw.ac.at
• Phase Vocoder • Phase in STFT
• Masking • Frame Multiplier
CONTENT
Institut für Schallforschung der Österreichischen Akademie der Wissenschaften: A-1010 Wien; Liebiggasse 5. Tel. +43 1/4277-29500; Fax +43 1/4277-9296; email: [email protected]; http://www.kfs.oeaw.ac.at
SHORT TIME FOURIER TRANSFORMATION
The phase vocoder is an algorithm whose first part of analysis is just the discrete STFT.
Short Time Fourier transformation, STFT
Institut für Schallforschung der Österreichischen Akademie der Wissenschaften: A-1010 Wien; Liebiggasse 5. Tel. +43 1/4277-29500; Fax +43 1/4277-9296; email: [email protected]; http://www.kfs.oeaw.ac.at
INTERPRETATION OF THE PHASE VOCODER (STFT)
Fourier-transform
Windowed signal
mathematically equivalent
Filterbank
A channel of the filterbank
Gabor projection
Shifted atoms
Institut für Schallforschung der Österreichischen Akademie der Wissenschaften: A-1010 Wien; Liebiggasse 5. Tel. +43 1/4277-29500; Fax +43 1/4277-9296; email: [email protected]; http://www.kfs.oeaw.ac.at
Uncertainty:
FROM FOURIER TO STFT
Non-uniqueness:
Institut für Schallforschung der Österreichischen Akademie der Wissenschaften: A-1010 Wien; Liebiggasse 5. Tel. +43 1/4277-29500; Fax +43 1/4277-9296; email: [email protected]; http://www.kfs.oeaw.ac.at
overlap addoscillator bankprojection on dual atoms
SYNTHESIS
REDUNDANCYSTFT
PERCEPTUAL REDUNDANCY
masking
Basis or frame
SYNTHESIS AND REDUNDANCY
Gabor frame :
Institut für Schallforschung der Österreichischen Akademie der Wissenschaften: A-1010 Wien; Liebiggasse 5. Tel. +43 1/4277-29500; Fax +43 1/4277-9296; email: [email protected]; http://www.kfs.oeaw.ac.at
PHASE VOCODER
Low pass filter
Phase calculation
Filterbank
A channel of the filterbank
Institut für Schallforschung der Österreichischen Akademie der Wissenschaften: A-1010 Wien; Liebiggasse 5. Tel. +43 1/4277-29500; Fax +43 1/4277-9296; email: [email protected]; http://www.kfs.oeaw.ac.at
AUDITORY PERCEPTION
In the human ear the sound wave excitates the basilar membrane and activates the nerve cells. Nearer to the window they react to high, farther away to low frequencies. This correlation between frequency and point on the membrane is called tonotopy.
The human ear
Institut für Schallforschung der Österreichischen Akademie der Wissenschaften: A-1010 Wien; Liebiggasse 5. Tel. +43 1/4277-29500; Fax +43 1/4277-9296; email: [email protected]; http://www.kfs.oeaw.ac.at
AUDITORY PERCEPTION
Bark :
0
2
4
6
8
10
12
14
16
18
030
060
090
012
0015
0018
0021
0024
0027
0030
0033
0036
0039
00
Institut für Schallforschung der Österreichischen Akademie der Wissenschaften: A-1010 Wien; Liebiggasse 5. Tel. +43 1/4277-29500; Fax +43 1/4277-9296; email: [email protected]; http://www.kfs.oeaw.ac.at
AUDITORY MASKING
Spectrum and relevance threshold
Masking : the presence of one stimulus, the masker, decreases the response to another stimulus, the target.
Thresholding = Gabor Multiplier
Institut für Schallforschung der Österreichischen Akademie der Wissenschaften: A-1010 Wien; Liebiggasse 5. Tel. +43 1/4277-29500; Fax +43 1/4277-9296; email: [email protected]; http://www.kfs.oeaw.ac.at
Institut für Schallforschung der Österreichischen Akademie der Wissenschaften: A-1010 Wien; Liebiggasse 5. Tel. +43 1/4277-29500; Fax +43 1/4277-9296; email: [email protected]; http://www.kfs.oeaw.ac.at
FRAME MULTIPLIER
Frame
Frame Multiplier:
Institut für Schallforschung der Österreichischen Akademie der Wissenschaften: A-1010 Wien; Liebiggasse 5. Tel. +43 1/4277-29500; Fax +43 1/4277-9296; email: [email protected]; http://www.kfs.oeaw.ac.at
FRAME MULTIPLIER
Institut für Schallforschung der Österreichischen Akademie der Wissenschaften: A-1010 Wien; Liebiggasse 5. Tel. +43 1/4277-29500; Fax +43 1/4277-9296; email: [email protected]; http://www.kfs.oeaw.ac.at
REFERENCES:
[1] S.S. Abeyseker, K.P. Padhi et al, Investigation Of Different Freqeuncy Estimation Techniques Using The Phase Vocoder , Circuits and Systems, 2001. ISCAS 2001. The 2001 IEEE International Symposium on, Volume: 2 ,(2001)[2] P.Balazs, H. Waubke, W.A. Deutsch, Phasenanalyse mit akustischen Anwendungsbeispielen, Proceedings DAGA 2003 - Fortschritte der Akustik, Aachen (2003)
[3] O. Christensen, An Introduction To Frames And Riesz Bases , Birkhäuser Boston (2003)[4] W.A. Deutsch, A. Noll, Simulation auditorischer Signaltrennung in komplexen musikalischen Signalen durch Übermaskierung, Fortschritte der Akustik 'DAGA'93 (1993) [5] M. Dolson, The Phase Vocoder: A Tutorial, Computer Musical Journal, Vol. 10. No. 4 (1986)[6] G. Eckel, Ein Modell der Mehrfachverdeckung für die Analyse musikalischer Schallsignale, PhD Thesis, Universität Wien (1989)[7] H. Fastl, Beschreibung dynamischer Hörempfindungen anhand von Mithörschwellen-Muster, HochschulVerlag Freiburg (1982)[8] H.G. Feichtinger, T. Stromer, Gabor Analysis and Algorithms, Theory and Applications, Birkhäuser Boston (1998)[9] H. G. Feichtinger, T. Strohmer, Advances in Gabor Analysis , Birkhäuser Bosten (2003)[10] S. A. Gelfand, Essentials of audiology, Thieme New York. (1997)[11] K. Gröchenig, Foundations of Time-Frequency Analysis, Birkhäuser Boston (2001)[12] B. Laback, Effekte der Simultanmaskierung auf die Musikperzeption bei sensorineuralen Hörschäden und ihre Anwendung für Signalverarbeitungsalgorithmen in Hörgeräten, PhD Thesis, Universität Wien (1998)[13] B. Moore, Perceptual Consequences of Cochlear Damage, Oxford Medical Publications (1995)[14] A. Noll, J. White, P. Balazs, W. A. Deutsch, STX - Intelligent Sound Processing, Programmer's Reference, http://www.kfs.oeaw.ac.at[15] Zwicker E, Fastl H, Psychoacoustics, Springer-Verlag, Berlin, Germany, 1990