Top Banner
Presenters: Guy Elazar, Eyal Shindler Supervised By: Pavel Kislov, Inna Rivkin תתתת תתתתתתת תתתתתתת תתתתתתh speed digital systems laboratory תתתת- תתתתתתת תתתתתתתת תתתתתת תתתתתתת תתתתתת תתתתTechnion - Israel institute of technology department of Electrical Engineering Final Presentation Blind Audio Source Separation Using Microphone Array Focusing Winter/Spring Semester 2001 1
26

Presenters: Guy Elazar, Eyal Shindler Supervised By: Pavel Kislov, Inna Rivkin המעבדה למערכות ספרתיות מהירות High speed digital systems laboratory הטכניון.

Jan 05, 2016

Download

Documents

Alvin Owen
Welcome message from author
This document is posted to help you gain knowledge. Please leave a comment to let me know what you think about it! Share it to your friends and learn new things together.
Transcript
Page 1: Presenters: Guy Elazar, Eyal Shindler Supervised By: Pavel Kislov, Inna Rivkin המעבדה למערכות ספרתיות מהירות High speed digital systems laboratory הטכניון.

Presenters: Guy Elazar, Eyal Shindler Supervised By: Pavel Kislov, Inna Rivkin

High speed digital systems laboratoryהמעבדה למערכות ספרתיות מהירות

הטכניון - מכון טכנולוגי לישראל

להנדסת חשמל הפקולטה

Technion - Israel institute of technologydepartment of Electrical Engineering

Final Presentation

Blind Audio Source SeparationUsing Microphone Array Focusing

Winter/Spring Semester 2001

1

Page 2: Presenters: Guy Elazar, Eyal Shindler Supervised By: Pavel Kislov, Inna Rivkin המעבדה למערכות ספרתיות מהירות High speed digital systems laboratory הטכניון.

Audio Source SeparationHigh speed digital systems laboratoryהמעבדה למערכות ספרתיות מהירות

2

Projects goal

To separate audio sources mixed in a room, without prior knowledge of the room and signal

characteristic

Implementation

Microphone Array Focusing Algorithm using DSP development tools

Page 3: Presenters: Guy Elazar, Eyal Shindler Supervised By: Pavel Kislov, Inna Rivkin המעבדה למערכות ספרתיות מהירות High speed digital systems laboratory הטכניון.

Problem DescriptionHigh speed digital systems laboratoryהמעבדה למערכות ספרתיות מהירות

2

“cocktail-party effect”

Page 4: Presenters: Guy Elazar, Eyal Shindler Supervised By: Pavel Kislov, Inna Rivkin המעבדה למערכות ספרתיות מהירות High speed digital systems laboratory הטכניון.

General DescriptionHigh speed digital systems laboratoryהמעבדה למערכות ספרתיות מהירות

3

Audio Sources

Input Stage

and A/D

Source Separation Algorithm

Separated Signals

Page 5: Presenters: Guy Elazar, Eyal Shindler Supervised By: Pavel Kislov, Inna Rivkin המעבדה למערכות ספרתיות מהירות High speed digital systems laboratory הטכניון.

Microphone Array FocusingHigh speed digital systems laboratoryהמעבדה למערכות ספרתיות מהירות

6

Ex. 2 Microphones, 2 Sources Microphone 1 Microphone 2

  

x1 y1  

x2 y2

  Speaker 1 Speaker 2    

m1(t) = s1(t-x1) + s2(t-y1)m2(t) = s1(t-x2) + s2(t-y2)

Page 6: Presenters: Guy Elazar, Eyal Shindler Supervised By: Pavel Kislov, Inna Rivkin המעבדה למערכות ספרתיות מהירות High speed digital systems laboratory הטכניון.

Microphone Array FocusingHigh speed digital systems laboratoryהמעבדה למערכות ספרתיות מהירות

6

Ex. 2 Microphones, 2 Sources Microphone 1 Microphone 2

  

x1 y1  

x2 y2

  Speaker 1 Speaker 2    

r1(t) = m1(t+x1) + m2(t+x2) = 2*s1(t) + s2(t-y1+x1) + s2(t-y2+x2)

r2(t) = m1(t+y1) + m2(t+y2) = 2*s2(t) + s1(t-x1+y1) + s1(t-x2+y2)

Page 7: Presenters: Guy Elazar, Eyal Shindler Supervised By: Pavel Kislov, Inna Rivkin המעבדה למערכות ספרתיות מהירות High speed digital systems laboratory הטכניון.

Microphone Array FocusingHigh speed digital systems laboratoryהמעבדה למערכות ספרתיות מהירות

2

r1(t) = 2*s1(t) + s2(t-y1+x1) + s2(t-y2+x2)

Generally for n microphones:E(r1) = E(s1) * n^2 + E(s2) * n

SNR gain = n^2 / n = n

Page 8: Presenters: Guy Elazar, Eyal Shindler Supervised By: Pavel Kislov, Inna Rivkin המעבדה למערכות ספרתיות מהירות High speed digital systems laboratory הטכניון.

Microphone Array FocusingHigh speed digital systems laboratoryהמעבדה למערכות ספרתיות מהירות

2

r1(t) = 2*s1(t) + s2(t-y1+x1) + s2(t-y2+x2)

Generally for n microphones:E(r1) = E(s1) * n^2 + E(s2) * n

SNR gain = n^2 / n = n

Microphones SNR gain (dB) 2 3 4 6 8 9

Page 9: Presenters: Guy Elazar, Eyal Shindler Supervised By: Pavel Kislov, Inna Rivkin המעבדה למערכות ספרתיות מהירות High speed digital systems laboratory הטכניון.

Microphone Array FocusingHigh speed digital systems laboratoryהמעבדה למערכות ספרתיות מהירות

2

Expected Results(Matlab simulation with 4 microphones:)

For artificial signalsTheoretical: 6 dB of SNR improvementPractical: 3-9 dB of SNR improvement

Mix: Separated: Speech Music

For real room signals0-3 dB of SNR improvement

Page 10: Presenters: Guy Elazar, Eyal Shindler Supervised By: Pavel Kislov, Inna Rivkin המעבדה למערכות ספרתיות מהירות High speed digital systems laboratory הטכניון.

Testing Room SetupHigh speed digital systems laboratoryהמעבדה למערכות ספרתיות מהירות

5

Testing room

Microphone Array

Sound source 1 Sound Source 2

Page 11: Presenters: Guy Elazar, Eyal Shindler Supervised By: Pavel Kislov, Inna Rivkin המעבדה למערכות ספרתיות מהירות High speed digital systems laboratory הטכניון.

Block DiagramHigh speed digital systems laboratoryהמעבדה למערכות ספרתיות מהירות

5

Pre Amplifier

6701 EVM

Creative SoundBlaster

SB2EVM PC Software

Speaker ProcessingAudio Codec

Input Files

Output Files

Page 12: Presenters: Guy Elazar, Eyal Shindler Supervised By: Pavel Kislov, Inna Rivkin המעבדה למערכות ספרתיות מהירות High speed digital systems laboratory הטכניון.

Delay Detection AlgorithmHigh speed digital systems laboratoryהמעבדה למערכות ספרתיות מהירות

6

Source 1

Source 2

Page 13: Presenters: Guy Elazar, Eyal Shindler Supervised By: Pavel Kislov, Inna Rivkin המעבדה למערכות ספרתיות מהירות High speed digital systems laboratory הטכניון.

Delay Detection AlgorithmHigh speed digital systems laboratoryהמעבדה למערכות ספרתיות מהירות

6

Mix 1

Mix 2

Mix3

Page 14: Presenters: Guy Elazar, Eyal Shindler Supervised By: Pavel Kislov, Inna Rivkin המעבדה למערכות ספרתיות מהירות High speed digital systems laboratory הטכניון.

Delay Detection AlgorithmHigh speed digital systems laboratoryהמעבדה למערכות ספרתיות מהירות

6

Cross CorrelationOf Mix 1,2

Cross CorrelationOf Mix 1,3

Page 15: Presenters: Guy Elazar, Eyal Shindler Supervised By: Pavel Kislov, Inna Rivkin המעבדה למערכות ספרתיות מהירות High speed digital systems laboratory הטכניון.

Delay Detection AlgorithmHigh speed digital systems laboratoryהמעבדה למערכות ספרתיות מהירות

6

Mix 1

Moved MixesMix 2a

Mix 2b

Mix 3a

Mix 3b

Page 16: Presenters: Guy Elazar, Eyal Shindler Supervised By: Pavel Kislov, Inna Rivkin המעבדה למערכות ספרתיות מהירות High speed digital systems laboratory הטכניון.

Delay Detection AlgorithmHigh speed digital systems laboratoryהמעבדה למערכות ספרתיות מהירות

6

Mix 1+2a

Mix 1+2b

Mix 3a

Mix 3b

Page 17: Presenters: Guy Elazar, Eyal Shindler Supervised By: Pavel Kislov, Inna Rivkin המעבדה למערכות ספרתיות מהירות High speed digital systems laboratory הטכניון.

Delay Detection AlgorithmHigh speed digital systems laboratoryהמעבדה למערכות ספרתיות מהירות

6

Result 1Mix 1+2a+3a

Result 2Mix 1+2b+3b

Page 18: Presenters: Guy Elazar, Eyal Shindler Supervised By: Pavel Kislov, Inna Rivkin המעבדה למערכות ספרתיות מהירות High speed digital systems laboratory הטכניון.

Delay Detection AlgorithmHigh speed digital systems laboratoryהמעבדה למערכות ספרתיות מהירות

6

Result 1Source 1

Source 2Result 2

Page 19: Presenters: Guy Elazar, Eyal Shindler Supervised By: Pavel Kislov, Inna Rivkin המעבדה למערכות ספרתיות מהירות High speed digital systems laboratory הטכניון.

Delay Detection AlgorithmHigh speed digital systems laboratoryהמעבדה למערכות ספרתיות מהירות

6

XCorr

XCorr

XCorr

S1

S2

S3

S4

Find 2 Maximums

Shift Signal

Shift Signal

Add Correlated

SignalsShifted S3Shifted S4

S1

Page 20: Presenters: Guy Elazar, Eyal Shindler Supervised By: Pavel Kislov, Inna Rivkin המעבדה למערכות ספרתיות מהירות High speed digital systems laboratory הטכניון.

DSP Algorithm ImplementationHigh speed digital systems laboratoryהמעבדה למערכות ספרתיות מהירות

6

- Radix 2 FFT/IFFT used for cross correlation calculation.

- Delay estimation done only once, to save processing time. Can be easily changed.

- Sub Blocks must be used – 8 Kbytes Block Size (Memory limits,

FFT overflow)

- Auxiliary Software: SB2EVM Wav2Dat/Dat2Wav

Page 21: Presenters: Guy Elazar, Eyal Shindler Supervised By: Pavel Kislov, Inna Rivkin המעבדה למערכות ספרתיות מהירות High speed digital systems laboratory הטכניון.

ResultsHigh speed digital systems laboratoryהמעבדה למערכות ספרתיות מהירות

6

Artificial SignalsPoor results

Real Room SignalsNo improvement

Page 22: Presenters: Guy Elazar, Eyal Shindler Supervised By: Pavel Kislov, Inna Rivkin המעבדה למערכות ספרתיות מהירות High speed digital systems laboratory הטכניון.

ConclusionsHigh speed digital systems laboratoryהמעבדה למערכות ספרתיות מהירות

6

Limited Block Size damages separation.EVM limit 16Kbytes

Average errorvs.Block Size

Page 23: Presenters: Guy Elazar, Eyal Shindler Supervised By: Pavel Kislov, Inna Rivkin המעבדה למערכות ספרתיות מהירות High speed digital systems laboratory הטכניון.

ConclusionsHigh speed digital systems laboratoryהמעבדה למערכות ספרתיות מהירות

6

Room acoustics degrades the ability to calculate delays

Page 24: Presenters: Guy Elazar, Eyal Shindler Supervised By: Pavel Kislov, Inna Rivkin המעבדה למערכות ספרתיות מהירות High speed digital systems laboratory הטכניון.

ConclusionsHigh speed digital systems laboratoryהמעבדה למערכות ספרתיות מהירות

6

Direct sound must be stronger thenreflected sound

Page 25: Presenters: Guy Elazar, Eyal Shindler Supervised By: Pavel Kislov, Inna Rivkin המעבדה למערכות ספרתיות מהירות High speed digital systems laboratory הטכניון.

SummaryHigh speed digital systems laboratoryהמעבדה למערכות ספרתיות מהירות

6

Microphone Array Focusing can bring good results but it needs…

- Bigger Blocks (more memory)- Better room acoustics- De-reverberation- Other delay detection mechanism (video, optical measurements)- More microphones

Page 26: Presenters: Guy Elazar, Eyal Shindler Supervised By: Pavel Kislov, Inna Rivkin המעבדה למערכות ספרתיות מהירות High speed digital systems laboratory הטכניון.

Thanks…

High speed digital systems laboratoryהמעבדה למערכות ספרתיות מהירות

6