An Electronic Field Guide:Plant Exploration in the 21st Century
Peter Belhumeur, Columbia University
David Jacobs, University of Maryland
John Kress, Smithsonian Institution
Steven Fiener, Columbia University
Ravi Ramamoorthi, Columbia University
Collaborators
Smithsonian Institute• John Kress• Rusty Russell• Ida Lopez• Norm Bourg
University of Maryland• Haibin Ling• David Jacobs
Columbia University• Sean White• Ravi Ramamoorthi• Steve Feiner
Dioscorides: “De Materia Medica” (77 A.D.)
“Codex Vindobonensis” (512 A.D.)
Abu Hanifa Al-Dinawari: “Kitab Nabat” (895)
Ibn Wahshiyya: “Al Filaha Nabatiya” (930)
النبطية الفالحة كتاب
المقّد�مة
�ة وحشي بن بكر آبو ترجمه
سلم و صحبه و اله و محمّد �ّدنا سي على ا صلى و الرحيم الرحمن ا هللابســم هللاس ي ق ن ب ي ل ع ن ب د م ح ا كر ب و ب آا ة ّيي ب ر ع ل ا ى ل ا ن ي ي ن ا د س ك ل ا ن ا س ل ن م ه ل ق ن ة ّيي ط ب ن ل ا ة لاح ف ل ا ب ا كت ا ذ همن العرب تاريخ من ماتين و تسعين و احّدى سنة في �ة وحشي بابن المعروف القيسي الكسّدانيالملك عبّد بن محمّد بن احمّد بن علي بن الحسن بن احمّد طالب ابي بن على اماله و الهجرة
له فقال الهجرة من العرب تاريخ من ثلثماية و عشيرة ثماني سنة في �ات الزيالزرعو بالعربيةكتابافالحاالرضواصالح وجّدتمنكتبالكسّدانيينمترجمبترجمةمعناها الكتابفيجملةما بنيانيوجّدتهذا اعلميا قصّدياالولوغردي ذلكخطاءغيرصوابمناجلاّن� فاستكبرتهواستطلتهوخطرببالياختصارهثمفكرتفاذا الشجروالثمارودفعاالفاتعنهاتباركوتعالىعنّدهمفيادراك فيهمليعرفوامقّدارعقولهمونعما هوايصالعلومهؤالءالقوماعنيالنبطالكسّدانيينمنهمالىالناسوبثها هللانماعجزعنهغيرهممناالمموذلكانيوصلتالىكتبهمفيزماّنقّددرسفيهذكرهموانمحتاخبارهموعّدمت العلومالنافعةالغامضةواستنباطمافوجدتها كتبهم طلب في اجتهدت ذلك رايت فلما يذكرها ممن معرفة بلا كالخرافات ذكرا علومهم بعض ذكر و فقط ذكرهم الا يبق لم حتى اعلامهموالجزعمن �تهمولغتهمووجّدتعنّدهممنالكتبوهمفينهايةالكتماّنواالخفاءوالحجورلها الكسّدانيينوعلىدينهموسن عنّدقومهمبقايالمارهمعكثيراحّدوذلكاننيمنهماعنيمن تعالىوجلقّدرزقنيقبلذلكمنالمعرفةبلغتهمالتيهيالسريانيةالقّديمةما وكاّنا هللاظهارهامناننيمنهموانني احببتمنكتبهمبهذهالوجوهالتيعّددتها تعالىمنالّدراهموالّدنانيرولهالحمّدفوصلتالىما �ننيا هللانسلبعضهمومك
فيها نظر و كتبهم من امكنني ما الى الحيلة لطيف و البدل و المدارة فاستعلمت المال من متمكن انني و بلغتهم عارفكانتالكافةمنهؤالءالقومالذينهمفيبقاياهمكالبقروالحميروالعاجزينعنفهمشيءمنالعلوم اذ فيها وهيفييّدهانهمحتاجالىفهمما\هعلىاالفراطفيكتماّن اّناالنساّنالذيوجّدتهذهالكتبمجموعةعنّدهيتميزعنهذهالجملةويتفضلعنحماريةهذهالكافةفلمت اسالفهماالمضى بمن فيه اقتديت تعمله الذي هذا و محاسنهم طمر و قومك ذكر درس هو شيء بفعل الاحتياط تريد انك له قلت و العلوم هذه خبي و الكتب هذهالفعلكاّنالطريقالىانّدراسذكر قبلكوانتوالماضينمحطينفيذلكعلىمنتقّد�ممنالعلمائكمالذينهمعلمايواسالفيمعكموهذاو عرفوامقّدارعلومنا الىالعربيةحتىينظرالناسفيها وغيوبةعلومهمعنالناسواختفاءمحاسنهمعنهمولوقّدنقلتهذهالكتباوبعضها اسالفنا
لنا الفخر من ضرب ذلك في صار و اسلافنا وضع بما انتفعوا
Captain James Cook (1768)
Charles Darwin (1859)
Lt. Charles Wilkes (1838)
Species Identification: A Pain-staking Process
• Physical specimens are loaned and available to only one scientist for year(s)
• Herbaria visited in person
• Or samples are collected and never or incorrectly identified
Our Goal: Accelerate Species Identification
• Photograph and Electronically Catalogue Herbaria
• Make data available in the field
• Assist in locating the right information– Zoomable user interface– Search with metadata (text, gps, ….)– Visual Search
• Not to build an autonomous system– Automatic species identification still out of reach– We want to enhance the capabilities of experts
Project I:
Digitizing the U.S. National Herbarium
Acquisition System
• Phase One H20 back on Hasselblad 502 with 80mm lens
• Resolution: 3600x5000 = 18M pixels
• Dynamic Range: 36 bits per pixel over 3 color channels
Specimen Images
• 95,000 Type Specimens
• 15,000 non-type specimens digitized
• Derivatives available on web– Thousands of hits a month
• Hi-resolution available online and DVD
• Special projects– Puerto Rico rarities, Mexican Boundary
Survey, Hawaii….
Acer politum
Greene
Textual InformationPublications
Decision TreesVerbal
DescriptionLocations
Other Specimens
(Not Types)
Photographs of live plants
3D Computer Models
Basic Type Specimen Digital CollectionEnhanced Type Specimen Digital
Collection
Digital Image of Type Specimen
Type Specimen Digital Collection
16
1/3 of the Earth’s Plants....
Project II:
Automating Visual Search
Our Work in Plant Identification
• We haven’t been trying to emulate botanists
• Expert judgments can rely on features that are hard to automate
• General purpose algorithms needed for basic analysis, though humans take these for granted.
• Experience in other recognition tasks
Plant ID: Visual Search Criteria
Search Criteria– Shape – our current focus– Texture
– Venation
Venation
Texture
Shape
Albrecht Dürer, “Four Books on Human Proportion” (1528)
D’arcy Thompson, “On Growth and Form” (1917)
D’arcy Thompson, “On Growth and Form” (1917)
D’arcy Thompson, “On Growth and Form” (1917)
24
Shape Matching in Computer Vision, abridged...
• Grenander ’81
• Mumford ‘91
• Fry ‘94
• Kimia, Tannenbuam, and Zucker ’95
• Basri, Costa, Geiger and Jacobs ’95
• Zhu and Yuille ‘96
• Liu, Geiger, and Kohn ’98; Geiger, Liu, and Kohn ‘03
• Belongie, Malik, Puzicha ‘01
• Osada, Funkhouser, Chazelle, Dobkin ‘03
24
Representations that Capture Part Structures
• The Euclidean distance
• The inner-distance: length of the shortest path between landmark points (see also Bronstein et al. 2003)
• Part relationships can vary
Inner-Distance Shape Context (IDSC)
θ1
5
Histogram for Point 1
Inn
er-
Dis
tan
ce Angle
IDSC: Histogram for Each Point
θ1
5
Histograms for All Points
Angle
(see also Belongie et. al 2001)
Experiment I: Swedish Leaf Dataset
How often is the algorithm correct on first guess?• Combination of simple features: 82% [Söderkvist 01]• Fourier descriptors: 89.60%• SC+DP: 88.12%• IDSC+DP: 94.13%
The Swedish leaf dataset contains leaf images from 15 species. Each species has 75 leaves, 25 training and 50 for testing.
Experiment I: Swedish Leaf Dataset
Project III:
Designing User Interfaces and Prototypes
Devices
wireless audio
location sensor
see-throughhead-worn display
hand-held computer
orientationsensors
32
Augmented Reality Versions
Rep. John Tanner
33
Prototype: Tablet + Camera
+
34
Prototype: UMPC Version
35
Prototype: Mobile Phone Version
36
Not-There-Yet-Prototype: iPhone
Project IV:
Digitizing Regional Floras
Plummers Island, MD
Complete Collection of Vascular Plants
Plummers Island dataset contains leaf images from 249 species, with 5000+ images.
40
Woody Plants of DC Area
41
Complete Collection of All Woody Plants
DC Woody dataset contains 245 species, 10,000+ images
System Performance
Demo
Video Demo: UMPC Prototype
44
In Use by Botanists in the Field
44
What’s Next?
46
What’s Next?
Temperate Floras:
– Trees of Central Park, NYC (158 species)– Woody Plants of U.S., (5000+ species)
47
4848
4949
5050
5151
52
What’s Next?
Neo-Tropical Floras:
– Barro Colorado Island, Panama– Yasuni National Park, Ecuador
– Amazon River Basin, Brazil
Plant ID: Visual Search Criteria
Search Criteria– Shape – our current focus– Texture
– Venation
Venation
Texture
Shape
54
Venation
55
Three Neo-tropical Species from BCI
Insects: Electronic Field Guide