KFB 2.0 - Gives eyes to the Blind

KFB 2.0 - Gives eyes to the Blind

שימקין • צחיזילבר • דני

: פרוייקט מנחהכוחי • קובי

לישראל, טכנולוגי מכון טכניוןחשמל להנדסת הפקולטה

) :' דלל) גל א חלק שותף

Quick Overview

•- - ה מוצר פיתוח שתכליתו סמסטריאלי דו .KFBפרויקט• - ה את מציג זה מכשיר. KFB (Kinect For the Blind)פרויקט

. היומיום בחיי להליכה לעיוורים לסייע ומיועד המתכונןיכולות • והוספת התכנה בשיפור התרכז ההמשך פרויקט

הממוחשבת הראייה מתחום

Why they need us

ישנם • לבדה של 23בישראל לקהילה המצטרפים עיוורים אלף. העולם ברחבי עיוורים מיליוני

טכנולוגיים • פתרונות ליצירת וגוברים הולכים וצורך דרישה ישעצמאי באופן דרכו את לנווט עיוור של לצורך מענה ייתנו אשר

. מוכרת לא בסביבהזה • צורך מספקים אינם בשוק היום הקיימים הפתרונות

במלואו.

Project Objectives (recap)

אוטונומי )• מוצר עיוור( standaloneתכנן אדם להכווין יוכל אשר. ברחוב והן מבנים בתוך הן הליכה במהלך

• ( , אחיזה מצריך אינו לנשיאה קל זול שיהיה כך המוצר בנית. ) עצמאי לתפעול ופשוט ביד ממושכת

ובעלי • מספיק יעילים יהיו אשר רובוסטים אלגוריתמים בנייתהביטחון תחושת את למשתמש לתת מספקת מהימנות

. במוצר הנדרשת

Project Objectives (Part B)

•. ' הפרויקט של א מחלק המערכת יכולות הרחבת•. במרחב אובייקטים וחיפוש לימוד יכולת הוספתקהל • של המיוחדים לצרכיו והתאמתו המשתמש ממשק שיפור

היעד.•. אנרגטית וצריכה חישובי עומס מבחינת המערכת תכנת ייעול

Similar Projects

מצלמות המשלבות עבודות מספר נעשו האחרונה השנה במהלך: לעוורים בכוונה עזרה שמטרתם במכשירים מיוחדות

במרחב • ברקודים המזהה קינקט מצלמת. האדם של המיקום מחושב הברקודים מיקומי זיהוי מתוך

כביש • בחציית לעזרה קינקט מצלמת

קינקט • מצלמת עם שולחן על אובייקטים זיהוילאוביקט המשתמש את מכווינה המערכת הזיהוי לאחר

נעות xtionחיישן • דמויות אחר עקיבה המבצעמכשלוים וזיהוי

Our solution

הינו • מכשולים standaloneהמוצר שיזהה כך ומיועדממכשיר המתקבלת עומק תמונת סריקת ידי עלאת ויכווין נלמדים אובייקטים שיזהה וכן הקינקט

. אליהם המשתמש• " אזור על שמולבשת רצועה י ע נישא המכשיר

נותן ופשוטה קלה ובהפעלה המשתמש של המותנים. ' מולו ' הנמצא מכשול כל לגבי אינדיקציה לעיוור

Device Components Overview

קינקט • כוח + מצלמת ספקחיישני ושני אדום אינפרא ממקרן מורכב – 30בקצב CMOSהקינקט הראשון הרץ

- ה להחזר כמצלמת IR uמקלט מתפקד מיקרופונים. RGBוהשני מערך קיים בנוסףשל דגימה .16בקצב קילוהרץ

הפתיחה ) בזווית מוגבל הקינקט , 57מכשיר לרוחב ( 43מעלות העצמים ובטווח לגובהבמדוייק לחזות יכול הוא מרחקם את אשר

נייד • הפעלה pc2מחשב מערכת .windowsמותקןבשנת לראשונה הושק מחשבים של זה חדש " 2007דור חברת י ע CompuLabומיוצר

הישראלית.

הפעלה smartphoneמכשיר • מערכת .androidמותקן . , המערכת לב המרכזי העיבוד ככוח לשמש תפקידו האנדרואיד מכשיר

אוזניות•

So how does it work ?

So how does it work ? Data transfer : Kinect to PC2

Raw Data

Running server

application

Captures image

So how does it work ? Client application

Process raw data, generate depth

matrix

Input:Run navigation

algorithmsraw data

Generate strings from algorithm

results

So how does it work ? Data transfer : PC2 to Android machine

String output

Clientapplication

Serverapplication

So how does it work ? Server Application

Process string

Input: Determine instruction

according to stringstring

Generate sound instructions

So how does it work ? Data transfer : Android Machine to Ears

Sound output

Play sound to user

Generate guiding instructions from

string

So how does it work ? Full Path

The System’s Heart – Navigation Algorithms

הנווט • אלגוריתמי עומדים המערכת של .בבסיסהשל • העומק תמונת של גולמי מידע מקבלים אלו אלגוריתמים

" , . ניתוחים י ע מטרתם למשתמש הקרובה הסביבה , סיגנלים ולשלוח זה מידע לעבד היא מתימטיים אלגוריתמים

. תנועה הנחיות מהם לייצר שניתןתהיה • המערכת כך יותר טובים יהיו שהאלגוריתמים ככל

יותר ושימושית יותר מהימנה•: הבאים האלגוריתמים את תכננו הראשון הפרוייקט במסגרת

Navigation by Shortest Distance – Stereo Beeps

• Navigation by Shortest Distance – Stereo Beeps . מהם אחד מכל המינימלי הערך ולקיחת אזורים לשני העומק מטריצת חלוקת

שומעת – אוזן כל סטראופוני באופן למשתמש האינפורמציה העברת מכן לאחרbeeps שלה החצי של המינימלי לערך הפוך ביחס שנקבע בתדר

• Hallway Navigation . , הממוצע חישוב אמצעי ואזור שמאלי אזור ימני לאזור העומק מטריצת חלוקת

. המקסימלי הערך בעל לאזור המשתמש והכוונת מהאזורים אחד כל על

Object train & search

Train object

Locate object

Train Object

User swings object in front of camera

Object is segmented from background

Image is captured

Cross validation algorithm is run at the background

Separate object from background - example

DifferenceImage

Threshold

Erode & dilate

Segmented motion

Motion area mask

Find Object

Receive object name from user and load object image from database

Run correlation algorithms including iterative correlation with different object image size

Capture RGB and Depth image from kinect camera

Iterate till object is reached

Find Object

שימוש בוחן האלגוריתםושימוש שונים צבע במרחבי

עבור שונות במטריקותהקורלציה חישוב

Matching techniques

שנבחנו • אובייקטים זיהוי טכניקות

Correlation (template matching) Keypoint matching (SIFT, SURF)

Very sensitive to scale & rotation changes Scale & rotation invariant

Fast Slow

Suitable for small templates Requires many points for good matches – Not suitable for small templates

Challenges

ורועשת Templatesיצירת • אוטומטיתמוצלחת • קורלציה לקביעת סף ערכי בבחירת קושיסוג • מכל לאובייקטים מספיק וגנרי אמין התאמה אלגוריתם בחירתהחיפוש • אלגוריתם של הרובוסטיות יעד בהשגת קושי

Android GUI – user Interface

היעד קהל לצרכי הממשק – התאמת

•. נוחים כפתורים•. אינטראקטיבי משתמש ממשק•. קולית וחיווי שליטה•. התוכנית הפעלת על קולי הסבר

Summary 1

הצגנו • זה לכדי אבטיפוסבפרוייקט אלמנטים מספר המשלבפוטנציאל בעל שהינו עיוורים ניווט לצרכי אינטגרלי מוצר

. השוק בדרישות לעמודשהוא • הינם הסופי המוצר של יחסית, יתרונותיו קל נייד

שלו, לחלופות יחסית וזול לתפעול פשוט . לנשיאה , : מחשב קינקט מצלמת במוצר המשולבים , pc2האלמנטים

רבים בבתים נפוצים מוצרים הינם ואוזניות אנדרואיד מכשיר. סבירים במחירים הרחב בשוק לקניה וזמינים

• , שלא אופציה נלמדים אובייקטים לזיהוי האפשרות קיימת לכך נוסף. לעיורים המתוכנן בשוק מוצר או פרוייקט בשום עדיין ראינו

Summary 2 – What did we learn?

• : חדשות טכנולוגיה סביבות עם בעבודה התנסינו הפרוייקט במהלך.1OpenNI for Kinect .2OpenCV for javaשל 3. הסיפריות המידע Javaעבור openCVלמידת את קוראת אשר אפליקציה וכתיבת

. מתקדמים תמונה עיבוד אלגוריתמי עליו ומפעילה מהמצלמהה 4. סיפריות אפליקצית Javaעבור TCP-IPלמידת בין תקשורת מודול על Javaוכתיבת

לבין ברשת . Smartphoneמחשב ה בין החיבוריות אנדרואיד smartphoneבסביבת. אלחוטית רשת דרך גם להתבצע יכולה למחשב

של 5. הפיתוח סביבת אפליקציה Androidלמידת במכשיר Multi-threadedויצירת.Androidה- למשתמש אודיו מעבירה גם אשר

.6 , מתוך אובייקט בבידוד הקשיים תמונה בעיבוד אלגוריתמים של הנושא עם התקלותבתמונה האובייקט במציאת הקשיים מכן ולאחר תמונה

Future Development

התמונה • עיבוד אלגוריתמי שיפורהחיישן • חומרת שדרוגמרוחק • לשרת החישובי העומס העברתהאלגוריתמים • לשדרוג לומדות מערכות של בטכניקות שימוש• ) למשתמש ) מידע להעביר בכדי רטט כגון נוספים בחיווים שימוש

Questions?