Surveyor SRV-1 Blackfin Camera.ppt

Surveyor SRV-1 Surveyor SRV-1 Blackfin CameraBlackfin Camera

http://www.surveyor.com/http://www.surveyor.com/

SoučástiSoučásti

►-500MHz Analog Devices Blackfin -500MHz Analog Devices Blackfin BF537 Processor BF537 Processor

►-Omnivision OV9655 1.3 Megapixel -Omnivision OV9655 1.3 Megapixel Sensor Sensor

►-Radio/Motor Control Module -Radio/Motor Control Module

SpecificationsSpecifications► 500MHz Analog Devices Blackfin BF537 Processor (1000 500MHz Analog Devices Blackfin BF537 Processor (1000

integer MIPS) integer MIPS) ► 32MB SDRAM, 4MB SPI Flash 32MB SDRAM, 4MB SPI Flash ► JTAG (tested with section5 ICEbear USB-JTAG) JTAG (tested with section5 ICEbear USB-JTAG) ► SPI Flash and UART boot mode select SPI Flash and UART boot mode select ► External I/O Header (32-pin - 16 x 2 x 0.1") External I/O Header (32-pin - 16 x 2 x 0.1") ► 3.3V Input - 145mA total draw at 500MHz, including camera 3.3V Input - 145mA total draw at 500MHz, including camera ► Board dimensions - 50 mm x 60 mm (2.0" x 2.6"), 36g (1.25 Board dimensions - 50 mm x 60 mm (2.0" x 2.6"), 36g (1.25

oz) including camera module oz) including camera module ► 2 UARTS - tested at up to 2.5Mbps with CTS/RTS flow control 2 UARTS - tested at up to 2.5Mbps with CTS/RTS flow control ► 4 Timers (2 share pins with UART1) 4 Timers (2 share pins with UART1) ► SPI - 2 slave select, 1 master select SPI - 2 slave select, 1 master select ► I2C I2C ► 16 GPIO 16 GPIO ► "S-32 expansion bus" header will support stacking of "S-32 expansion bus" header will support stacking of

expansion boards expansion boards ► RoHS compliant RoHS compliant

Blackfin BF537 ProcessorBlackfin BF537 Processor

► Features Up to 600MHz high performance Blackfin processor Two 16-bit MACs (Multiply-accumulate), two 40-bit

ALUs, four 8-bit video ALUs, 40-bit shifter RISC-like register and instruction model for ease of

programming and compiler-friendly support Advanced debug, trace, and performance monitoring 0.8V to 1.2V core VDD with on-chip voltage regulation 2.5 V and 3.3 V-compliant I/O with specific 5 V-

tolerant pins (PJ4 and TWI pins – SDA, SCL)

Blackfin BF537 ProcessorBlackfin BF537 Processor

►Memory Up to 132K bytes of on-chip memory comprised of:

► Instruction SRAM/cache► instruction SRAM►data SRAM/cache►additional dedicated data SRAM►scratchpad SRAM

External memory controller with glueless support for SDRAM and asynchronous 8-bit and 16-bit memories

Flexible booting options from external flash, SPI and TWI memory or from SPI, TWI, and UART host devices

Memory management unit providing memory protection

Blackfin BF537 ProcessorBlackfin BF537 Processor

►Peripherals IEEE 802.3-compliant 10/100 Ethernet MAC Controller area network (CAN) 2.0B interface Parallel peripheral interface (PPI), supporting ITU-R

656 video data formats Two dual-channel, full-duplex synchronous serial

ports (SPORTs), supporting eight stereo I2S channels 12 peripheral DMAs, 2 mastered by the Ethernet MAC Two memory-to-memory DMAs with external request

lines Event handler with 32 interrupt inputs

Blackfin BF537 ProcessorBlackfin BF537 Processor

► Peripherals Serial peripheral interface (SPI)-compatible Two UARTs with IrDA® support Two-wire interface (TWI) controller Eight 32-bit timer/counters with PWM support Real-time clock (RTC) and watchdog timer 32-bit core timer 48 general-purpose I/Os (GPIOs), 8 with high

current drivers On-chip PLL capable of 1 to 63 frequency

multiplication Debug/JTAG interface

Blackfin BF537 ProcessorBlackfin BF537 Processor

►Description Blackfin processors combine a dual-MAC state-of-

the-art signal processing engine, the advantages of a clean, orthogonal RISClike microprocessor instruction set, and single-instruction, multiple-data (SIMD) multimedia capabilities into a single instruction-set architecture.

low power and low voltage combining industry-standard interfaces with a

high performance signal processing core

Omnivision OV9655 1.3 Omnivision OV9655 1.3 Megapixel Sensor Megapixel Sensor

► (with support for OV7725 low light VGA sensor) (with support for OV7725 low light VGA sensor) ► AA Format Module (32-pin header - 16 x 2 x 0.1") AA Format Module (32-pin header - 16 x 2 x 0.1") ► Interchangeable Lens - M12 P=0.5 format (12mm Interchangeable Lens - M12 P=0.5 format (12mm

diameter, 0.5mm thread pitch). Standard lens is diameter, 0.5mm thread pitch). Standard lens is 3.6mm f2.0 (90-deg), optional 2.2mm f2.5 (120-3.6mm f2.0 (90-deg), optional 2.2mm f2.5 (120-deg) deg)

► Camera header on production board is 90-degree Camera header on production board is 90-degree female (vs straight female header shown in top left female (vs straight female header shown in top left photo) - 90-degree expansion connector available photo) - 90-degree expansion connector available to place camera parallel with processor board to place camera parallel with processor board

► RoHS compliant RoHS compliant

Omnivision OV9655 1.3 Megapixel SensorOmnivision OV9655 1.3 Megapixel Sensor► Power SupplyPower Supply

Core 1,8 V +-10%Core 1,8 V +-10% Analog 2,45 - 3,0 VAnalog 2,45 - 3,0 V I/O 1,7 - 3,3 VI/O 1,7 - 3,3 V 90 mW typical (15 fps SXGA YUV format)90 mW typical (15 fps SXGA YUV format) Standby <20uAStandby <20uA

► TemperatureTemperature -30°C to +70°C-30°C to +70°C Stable image 0°C to 50°CStable image 0°C to 50°C

► Output FormatsOutput Formats YUV/YCbCr 4:2:2YUV/YCbCr 4:2:2 RGB565/555RGB565/555 GRB 4:2:2GRB 4:2:2 Raw RGB DataRaw RGB Data

Omnivision OV9655 1.3 Megapixel SensorOmnivision OV9655 1.3 Megapixel Sensor

► Maximum Image Transfer RateMaximum Image Transfer Rate SXGA 15 fpsSXGA 15 fps VGA, CIF and down scaVGA, CIF and down scalling 30 fpsing 30 fps

► FeaturesFeatures High sensitivity for low-light operationHigh sensitivity for low-light operation VarioPixelVarioPixel®® method fo sub-sampling method fo sub-sampling

►VarioPixel is a newly developed technology that uses multiple pixels to act as a single pixel in order to improve the chips performance. CameraChips that incorporate the technology can provide significantly improved low light performance at video resolutions giving consumers improved LCD preview capabilities and enhanced video capture.

Omnivision OV9655 1.3 Megapixel SensorOmnivision OV9655 1.3 Megapixel Sensor► Automatic image control functionsAutomatic image control functions

ExposureExposure GainGain White balancWhite balanc Band filterBand filter Black-level calibrationBlack-level calibration

► Image quality controlsImage quality controls saturationsaturation gammagamma sharpness (edge enhancement)sharpness (edge enhancement) lens correctionlens correction white pixel cancelingwhite pixel canceling noise cancelingnoise canceling 50/60 Hz luminate detection50/60 Hz luminate detection

Radio/Motor Control Module Radio/Motor Control Module ► WiFi communication via Lantronix Matchport WLAN WiFi communication via Lantronix Matchport WLAN

802.11g radio 802.11g radio ► u.fl connector to external antenna u.fl connector to external antenna ► On-board 3.3V high efficiency switching regulator On-board 3.3V high efficiency switching regulator

(Recom R-783.3-1.0) for battery input (4.75 - 18.0 (Recom R-783.3-1.0) for battery input (4.75 - 18.0 VDC) VDC)

► Dual H-bridge motor driver (Fairchild FAN8200) with Dual H-bridge motor driver (Fairchild FAN8200) with 1000mA capacity per motor 1000mA capacity per motor

► 2 switching transistor drivers with 100mA capacity 2 switching transistor drivers with 100mA capacity for laser range pointers for laser range pointers

► Board dimensions - 50 mm x 65 mm (2.0" x 2.6"), Board dimensions - 50 mm x 65 mm (2.0" x 2.6"), 10g (0.4 oz) 10g (0.4 oz)

► Mounts to SRV-1 Blackfin Camera via 32-pin external Mounts to SRV-1 Blackfin Camera via 32-pin external i/o header ("S-32 expansion bus") i/o header ("S-32 expansion bus")

► RoHS compliant RoHS compliant

Lantronix Matchport Lantronix Matchport b/g►wireless embedded device server►provides a network-enabling solution

based on the IEEE 802.11b/g►combines a processor, memory,

802.11b/g transceiver, and 921 Kbps (maximum) serial ports

►includes an operating system, an embedded web server, and a full TCP/IP protocol stack.

Lantronix Matchport Lantronix Matchport b/g

►Security Wired Equivalent Privacy – WEP (RC4

encryption algorithm, 64-bit or 104-bit key)

Wireless Protected Access – WPA (Temporal Key Integrity Protocol - TKIP)

802.11i/WPA2-Personal models with and without AES encryption

Lantronix Matchport Lantronix Matchport b/g► Capabilities

Communication between TCP and UDP to serial Wireless interface (802.11b/g) with protection Wired Ethernet-to-wireless bridging

► host connected to the MatchPort b/g over a wired Ethernet interface to be accessible over a wireless network.

Two serial channels; up to 921 Kbps data rate Email notification of configurable alarms and events Upgradeable firmware Simple Network Management Protocol (SNMP) monitoring Connection to devices through a TCP or UDP data channel

to computers or to another device server Web server allowing presentation of custom content and

easy configuration through the browser Contains eight programmable I/O pins used to monitor or

control attached devices.

Lantronix Matchport Lantronix Matchport b/g►Protocol Support

ARP, UDP, TCP, ICMP, Telnet, TFTP, AutoIP, DHCP, HTTP, and SNMP for network communications and management.

TCP, UDP, and Telnet for connections to the serial ports.

TFTP for firmware and web page updates. IP for addressing, routing, and data block

handling over the network. UDP for typical datagram applications in which

devices interact with other devices without maintaining a point-to-point connection.

SMTP for email transmission.

Stereo Vision System Stereo Vision System ► Two SRV-1 Blackfin Cameras separated by 10.75 cm (4.25") Two SRV-1 Blackfin Cameras separated by 10.75 cm (4.25") ► Interprocessor communications via SPI bus (64MHz) Interprocessor communications via SPI bus (64MHz) ► WiFi communication via Lantronix Matchport WLAN 802.11g WiFi communication via Lantronix Matchport WLAN 802.11g

radio w/onboard 3dB dipole antenna radio w/onboard 3dB dipole antenna ► On-board 3.3V high efficiency switching regulator (Recom R-On-board 3.3V high efficiency switching regulator (Recom R-

783.3-1.0) for battery input (4.75 - 18.0 VDC) 783.3-1.0) for battery input (4.75 - 18.0 VDC) ► Headers for 8 servos (5V supply provided) Headers for 8 servos (5V supply provided) ► Dual H-bridge motor driver (Fairchild FAN8200) with 1000mA Dual H-bridge motor driver (Fairchild FAN8200) with 1000mA

capacity per motor capacity per motor ► Two switching transistor drivers with 100mA capacity for Two switching transistor drivers with 100mA capacity for

lights and laser pointers lights and laser pointers ► Low battery detect circuit Low battery detect circuit ► Headers for 8 servos (5V regulator provided) Headers for 8 servos (5V regulator provided) ► Extended pin headers for full access to S-32 expansion bus of Extended pin headers for full access to S-32 expansion bus of

both processors both processors ► Board dimensions - 60 mm x 150 mm (2.5" x 6.0"), 140g (5 Board dimensions - 60 mm x 150 mm (2.5" x 6.0"), 140g (5

oz) oz) ► 1" x 2" mounting hole pattern for compatibility with SRV-1 1" x 2" mounting hole pattern for compatibility with SRV-1

robot base (dual and quad motor versions) robot base (dual and quad motor versions) ► RoHS compliant RoHS compliant

Default Firmware Default Firmware ► Full-speed frame capture direct to SDRAM at 1280x1024, Full-speed frame capture direct to SDRAM at 1280x1024,

640x480, 320x256 or 160x128 pixel resolutions 640x480, 320x256 or 160x128 pixel resolutions ► JPEG (Motion JPEG) compression JPEG (Motion JPEG) compression ► Basic image processing - histogram, pixel sampling, mean, Basic image processing - histogram, pixel sampling, mean,

frame difference, blob, scan, count, find frame difference, blob, scan, count, find ► Motor control for PWM (H-bridge) and PPM (servo) Motor control for PWM (H-bridge) and PPM (servo)

interfaces interfaces ► Built-in C interpreter for scripting and autonomous Built-in C interpreter for scripting and autonomous

operation operation ► Real-Time-Clock (milliseconds since reset), internal timer Real-Time-Clock (milliseconds since reset), internal timer

resolution to 10 nanoseconds resolution to 10 nanoseconds ► Direct control of I2C and SPI devices Direct control of I2C and SPI devices ► In-Application-Programming (IAP) of flash memory In-Application-Programming (IAP) of flash memory ► XMODEM protocol for reliable file transfer XMODEM protocol for reliable file transfer ► Direct support for up to 4 Maxbotics ultrasound rangers, Direct support for up to 4 Maxbotics ultrasound rangers,

Locosys GPS and Honeywell HMC6352 compass Locosys GPS and Honeywell HMC6352 compass ► Compiled with GNU Blackfin Toolchain (bfin-elf-gcc) found Compiled with GNU Blackfin Toolchain (bfin-elf-gcc) found

below below ► Can be replaced by u-boot / uClinux found belowCan be replaced by u-boot / uClinux found below

Firmware Control Protocol Firmware Control Protocol

► Příkazy se posílají jako ASCII znakyPříkazy se posílají jako ASCII znaky►Na každý příkaz robot odpoví tím, že Na každý příkaz robot odpoví tím, že

zopakuje příkaz a před ním pošle znak #, zopakuje příkaz a před ním pošle znak #, nebo pošle ## následované delší odpovědínebo pošle ## následované delší odpovědí

► Příkazy lze posílat přes terminálový program Příkazy lze posílat přes terminálový program s TCP / telnetem jako je netcat, telnet…s TCP / telnetem jako je netcat, telnet…

► Při zapnutí robot pošle odpověď, jako kdyby Při zapnutí robot pošle odpověď, jako kdyby dostal příkaz ‘V‘ – vypíše verzi firmwaredostal příkaz ‘V‘ – vypíše verzi firmware

► Po zapnutí je nutné počkat asi 2 s, než bude Po zapnutí je nutné počkat asi 2 s, než bude robot schopný přijímat příkazyrobot schopný přijímat příkazy

► Popis příkazů na Popis příkazů na http://www.surveyor.com/SRV_protocol_020609.html

FirmwareFirmware

► Nejvíce informací na diskuziNejvíce informací na diskuzi

http://www.surveyor.com/cgi-bin/yabb2/http://www.surveyor.com/cgi-bin/yabb2/YaBB.plYaBB.pl

►Obsahuje 2 interpretyObsahuje 2 interprety Prototyp interpretu Lispu Prototyp interpretu Lispu

► 'P' spustí program Lispu z flash bufferu'P' spustí program Lispu z flash bufferu► '!' spustí Lisp interaktivně'!' spustí Lisp interaktivně

Little C interpret Little C interpret ► 'Q' spustí program z flash bufferu'Q' spustí program z flash bufferu►Založen na picoC open source C interpreterZaložen na picoC open source C interpreter

FirmwareFirmware

► Příkazy obrazuPříkazy obrazu 'vbc' - 'vb' hledá oblast s barvami mečujícími s 'vbc' - 'vb' hledá oblast s barvami mečujícími s

barvami v proměnné 'c', vrací souřadnice barvami v proměnné 'c', vrací souřadnice obdélníku ohraničujícího oblast a počet pixelů obdélníku ohraničujícího oblast a počet pixelů hledané barvy, může vrátit až 16 oblastíhledané barvy, může vrátit až 16 oblastí

'vccy1y2u1u2v1v2' - nastaví barvu v proměnné 'vccy1y2u1u2v1v2' - nastaví barvu v proměnné 'c''c'

'vh' – spočítá histogram'vh' – spočítá histogram 'vm' – spočítá průměrnou hodnotu barev Y, U a V'vm' – spočítá průměrnou hodnotu barev Y, U a V 'vpxxxxyyyy' – vrátí hodnotu pixelu daného 'vpxxxxyyyy' – vrátí hodnotu pixelu daného

souřadnicem xxx a yyysouřadnicem xxx a yyy 'vrc' – vrátí hodnotu barev v proměnné 'c''vrc' – vrátí hodnotu barev v proměnné 'c' 'vzx' – nuluje barvy v proměnné x (1-4), pro x=0 'vzx' – nuluje barvy v proměnné x (1-4), pro x=0

nuluje všechny barvynuluje všechny barvy

FirmwareFirmware

►Příkazy neuronové sítěPříkazy neuronové sítě 'np' – uloží nový vzorek'np' – uloží nový vzorek 'nd' – zobrazí uložený vzorek'nd' – zobrazí uložený vzorek 'ni' – inicializuje síť s náhodnými vahami'ni' – inicializuje síť s náhodnými vahami 'nt' – trénuje síť z uloženého vzorku'nt' – trénuje síť z uloženého vzorku 'nx' – testuje síť se zkušebním vzorkem'nx' – testuje síť se zkušebním vzorkem 'ng' – vezme vzorek použitím oblasti dané 'ng' – vezme vzorek použitím oblasti dané

"vb""vb" 'nb' – mečuje vzorek proti oblasti dané 'nb' – mečuje vzorek proti oblasti dané

"vb""vb"

Java konzoleJava konzole► Lze stáhnout na http://www.surveyor.com/Lze stáhnout na http://www.surveyor.com/► Jednoduché a rychlé ověření funkčnostiJednoduché a rychlé ověření funkčnosti► Po konfiguraci MatchPortu přes webový Po konfiguraci MatchPortu přes webový

prohlížeč a upravení konfiguračního souboru prohlížeč a upravení konfiguračního souboru konzole (adresa a port robota) je možné se k konzole (adresa a port robota) je možné se k robotovi přes ni připojitrobotovi přes ni připojit

► Lze nastavit vzhled a počet tlačítek a jaký Lze nastavit vzhled a počet tlačítek a jaký příkaz mají robotovi poslatpříkaz mají robotovi poslat button.12=buttons/laser.pngbutton.12=buttons/laser.png command.12=6Ccommand.12=6C

► Zobrazuje video z robotaZobrazuje video z robota►Obsahuje webový server umožňující přístup Obsahuje webový server umožňující přístup

k robotovi přes internetk robotovi přes internet

C++ konzoleC++ konzole

►Lze stáhnout na Lze stáhnout na http://agents.sci.brooklyn.cuny.edu/robotics.edu/bcsoftware.php

►Sama o sobě nezobrazuje video, umí Sama o sobě nezobrazuje video, umí ukládat obrázky na diskukládat obrázky na disk

►Využitelnější pro programování Využitelnější pro programování autonomního chování robotaautonomního chování robota

► Implementuje komunikační rozhraní k Implementuje komunikační rozhraní k robotovi, funkce jako robotovi, funkce jako setVideoMode(int setVideoMode(int mode)mode) nad posíláním příkazů robotovi nad posíláním příkazů robotovi