碩 士 論 文 快速短線濾波器於車牌辨識系統之應用ir.lib.isu.edu.tw/retrieve/94752/etd-0820110-215602.pdf · 車牌文字之擷取。在文字辨識階段中使用Adaboost

義 守 大 學

資 訊 工 程 研 究 所

碩 士 論 文

快速短線濾波器於車牌辨識系統之應用 The License Plate Recognition System Base on

Fast Stroke Filter

研究生：楊詠亘

指導教授：蘇益慶博士

中華民國九十九年七月

快速短線濾波器於車牌辨識系統之應用

The Licenese Plate Recognition System Base on Fast Stroke Filter

研究生：楊詠亘 Student：Yung-Hsuan Yang

指導教授：蘇益慶 Advisor：Yih-Ching Su

義 守 大 學

資 訊 工 程 研 究 所

碩 士 論 文

A Thesis Submitted to

Department of Information Engineering

I-Shou University

in Partial Fulfillment of the Requirements

for the Master Degree

in

Information Engineering

June, 2010

I

中 華 民 國 九十 九 年 七 月 二 十 二 日

快速筆觸濾波器於車牌辨識系統之系統

楊詠亘1 蘇益慶2

義守大學資訊工程研究所碩士論文

摘要

在車牌辨識中，將車牌文字從背景中擷取出為一重要步驟，其效能影響

著後端辨識之結果。為了克服複雜背景以及即時性的需求，本研究提出一

快速筆觸濾波器，並且配合後端改良連通元件分析以及高階資訊判斷達到

車牌文字之擷取。在文字辨識階段中使用 Adaboost 辨識器並針對二值化字

體設計一特徵擷取方式-linefeature，其設計目的為快速並且有效率的偵測車

牌字體的結構。最後整合為一車牌偵測系統，輸入為含有車牌之街道影像，

辨識完成後輸出車牌辨識結果以及車牌位置。

關鍵詞：車牌辨識、快速筆觸濾波器、改良連通元件偵測、高階資訊判斷、文字辨識、

ADAboost 辨識器、LineFeature。

1 作者 2 指導教授

II

Fast stroke filter for license plate recognition Yung-Hsuan Yang1 Yih-Ching Su2

Department of Information Engineering I-Shou University

Abstract

To extract the plate character is an important step in license plate recognition; its

performance will affect the result in back-end of the recognition system. This project designed

a Fast stroke filter to filter the complexity background and to reach Real-time conditions, then

to combine the modified connected component analysis (MCCA) and high-level information

grouping to segment the plate character. We used the adaboost classifier at stage of character

recognition, and to extract the feature of binary character by design line feature, which is fast

and efficiency to detect the structure of plate character. Finally, to integrate for a license plate

detection system, the input is license plate image from street, and the output is recognition

result of plate.

Keyword：License Plate Recognition、Fast Stroke Filter、Modified Connected Component

Analysis、High-Level Information Grouping、Character Recognition、ADAboost Classifier、

Line-Feature

1 Author 2 Advisor

III

致謝

非常感謝這兩年間許多人的幫助以及鼓勵。我要先感謝我的指導教授 蘇益慶博士，

在這段期間內，除了督促也時常教給我許多人生道理以及面對事情的態度，毫不吝嗇地

表達自己的見解，讓我從中學習許多解決問題的方法以及得到從另外一個角度觀察事情。

在此獻上最誠摯的感謝。

也要感謝我的父母以及家人，在這期間無時無刻的給我鼓勵以及支持，讓我在跌倒

時能夠再站起來。接著要感謝隆豪、孟祥學長以及美玲學姐的叮嚀，並在我停下腳步時

提出最佳的建議，讓我找到新的方向。同時也要感謝同學們的幫助，在他們的幫助下完

成許多一個人無法完成的事情，也在求學的階段中互相的扶持以及幫助，這是最值得感

謝的一件事情。也要謝謝學弟們仁民以及庭瑋的幫忙，除了幫忙實驗室的事物外，也在

學業上相輔相長。最後也要謝謝口試委員金明浩教授以及張國清教授的辛勞及指導，對

論文提供寶貴的意見，讓論文能夠更完整而嚴謹。

由衷感謝以上所提到的老師，學長，朋友，及家人。謝謝你們讓我的求學之路能夠

如此平順又不失精彩，在此獻上我最高的敬意以及最真誠的謝意。

IV

目錄

摘要 ................................................................................................................................ IAbstract ......................................................................................................................... II致謝 ............................................................................................................................. III圖目錄 ......................................................................................................................... VI演算法目錄 ................................................................................................................ VII第一章 緒論 ................................................................................................................. 1

1.1 研究動機與目的 ............................................................................................ 11.2 論文架構 ........................................................................................................ 2

第二章 文獻探討 ......................................................................................................... 32.1 邊緣複雜度為基礎的偵測 ............................................................................ 32.2 影像轉換為基礎的偵測 ................................................................................ 4

2.2.1 adaboost with haar-like ........................................................................ 52.2.2 adaboost with local and global features ............................................... 62.2.3 novel features ....................................................................................... 7

2.3 ADABOOST ................................................................................................... 72.3.1 ADABOOST原理 ................................................................................ 8

2.4 積分影像 ........................................................................................................ 9第三章 短線濾波器 .................................................................................................... 11

3.1 短線濾波器其原理以及方法 ...................................................................... 123.2 短線濾波器用於車牌偵測之實例 .............................................................. 143.3 加速方法 ............................................................................................... 15

第四章 快速短線濾波器 ........................................................................................... 164.1 快速短線濾波器原理及其架構 .................................................................. 164.2 快速短線濾波器分辨演算法 ...................................................................... 18

4.2.1 水平情況 ........................................................................................... 194.2.2 垂直情況 ........................................................................................... 204.2.3 斜線情況 ........................................................................................... 22

4.4 快速短線濾波器結果 ................................................................................... 23第五章 文字物件之分離 ........................................................................................... 27

5.1 整體系統架構 ............................................................................................... 275.2 MCCA ........................................................................................................... 285.3 高階資訊判斷 ............................................................................................... 315.4 實作結果 ....................................................................................................... 32

第六章 ADABOOST辨識器 ..................................................................................... 356.1 navel feature .................................................................................................. 35

V

6.2 Line Feature ................................................................................................... 38第七章 結果分析與比較 ........................................................................................... 40

7.1 實際平台實作 ............................................................................................... 407.2 實際數據以及比較 ...................................................................................... 42

第八章 結論與未來展望 ........................................................................................... 448.1 結論 ............................................................................................................... 448.2 未來展望 ....................................................................................................... 45

參考文獻 ..................................................................................................................... 46附錄 A Stroke Filter比較圖 ....................................................................................... 48

VI

圖目錄

Figure 1.邊際複雜度偵測 ............................................................................ 3Figure 2.SCW偵測結果 ................................................................................ 4Figure 3.以色域轉換以及模糊理論之流程圖 ............................................ 5Figure 4.車牌影像分佈分析 ........................................................................ 6Figure 5.全域特徵偵測情況 ........................................................................ 6Figure 6. 積分影像示意圖 ........................................................................ 10Figure 7.筆觸偵測示意圖 ........................................................................... 11Figure 8.文字影像示意圖 .......................................................................... 12Figure 9.Stroke Filter運算區域示意圖 ...................................................... 13Figure 10.單純文字示意圖 ........................................................................ 14Figure 11.實際車牌示意圖 ......................................................................... 14Figure 12.快速短線濾波器響應運算示意圖 ............................................ 17Figure 13.快速短線濾波器流程圖 ............................................................ 18Figure 14.水平較短之筆觸情況示意圖 .................................................... 19Figure 15.水平較長之筆觸情況示意圖 .................................................... 20Figure 16. 筆觸示意圖 .............................................................................. 21Figure 17.左斜線以及右斜線情況示意圖 ................................................ 22Figure 18.快速短線濾波器以及元短線濾波器之個基本線段比較 ........ 24Figure 19.結果比較圖 ................................................................................ 25Figure 20.結果比較圖 ................................................................................ 26Figure 21.車牌辨識系統流程圖 ................................................................ 27Figure 22.MCCA結果圖 ............................................................................. 30Figure 23 一車牌影像偵測之結果 ............................................................ 33Figure 24.多車牌影像偵測之結果 ............................................................ 34Figure 25.影像切割示意圖 ........................................................................ 36Figure 26.方向示意圖 ................................................................................ 37Figure 27.線段正規化示意圖 .................................................................... 37Figure 28.偵測線示意圖 ............................................................................ 38Figure 29.特徵示意圖 ................................................................................ 39Figure 30.車牌辨識程式起始介面 ............................................................ 40Figure 31.影像讀取流程 ............................................................................ 41Figure 32.影像讀取結果 ............................................................................ 42Figure 33.車牌辨識程式結果 .................................................................... 42

VII

演算法目錄

Algorithm 1. Adaboost演算法 ...................................................................... 9Algorithm 2. MCCA演算法 ....................................................................... 29Algorithm 3. 高階資訊判斷演算法 .......................................................... 31

1

第一章 緒論

1.1 研究動機與目的

科技進步至今，在我們生活的環境中到處充斥著攝影機。經由這些攝影機得到的龐

大資訊，若是以人工方式監視以及尋找目標需要花費過多的人力以及時間。如何以自動

化方式取得有效的資訊，便是本次主題之動機。

本次研究目的在於自動化車牌辨識之系統，其偵測影像為真實街道之影像，經過前處理

將車牌文字從複雜的背景中擷取出並且經過辨識，整個系統將取代使用人力對影像中車

牌辨識，並且自動化監控街道。

然而在影像分析中，如何將取得物件位置以及將物件經過一定程度前處理至可辨識

的影像是非常重要的一個關鍵。這影響著後端可辨識的程度以及正確性，故能夠快速並

且提高物件正確性是一個重要需求。在以此需求為前提之下，本研究透過改良短線濾波

器達到一適應性以及效率較高之濾波器。其濾波器主要設計目的為提升目前大部分技術

對於複雜背景的容忍度。其二則透過後端演算法取得完整之車牌文字，包含了 Modified

Connected Component analysis(MCCA)補回車牌文字以及高階資訊判斷將文字物件以車

牌為群組分類，當中克服掉車牌文字因為背景影響所造成的許多不確定性。最後再結合

一辨識演算法確認其效能以及正確性。使用的特徵為目前已有的技術 Direction Features

以及本研究為針對快速為訴求所提出之 Line Features，其目的為快速對文字結構進行第

二階段之分析。

2

1.2 論文架構

本論文一共分為九個章節，此九個章節詳細內容以及規劃如下 第一章， 動機與目的：

講解其研究動機以及最後期許之目標 第二章， 文獻探討：

將介紹參考過的方法以及將使用到的方法以及背景 第三章， 筆觸濾波器：

本篇論文中主要參考到的方法，在此章節將作一個詳盡的介紹 第四章， 快速筆觸濾波器：

在此章節將介紹本篇論文的第一個重點改進，快速筆觸濾波器。將從原本處

濾波器的問題描述開始，並且詳述其理念以及方法。 第五章， 文字物件之分離：

在快速筆觸濾波器之後文字仍然有缺失以及尚未從影像中擷取出來，為此所

提出之兩個方法將文字截出並且將車牌文字群組化；而此兩種方法將在此章

節詳述並且附上實驗結果。 第六章， ADABOOST 辨識器：

在經過截取後之車牌物件，將經過 ADABOOST 進行辨識之動作；本論文中

將使用已有技術 direction features 以及提出一新技術：line features 兩者串聯以

提高辨識率。此章節將詳述兩特徵之方法。 第七章， 結果分析以及比較：

此一章節把本次實驗成果以及詳細數據比較最後附上程式實際處理過程。 第八章， 結論以及未來展望：

最後一章節將把本次研究所改進之地方做整理，以及本次實驗後續仍需改進

之地方。 第九章， 附錄。

3

第二章 文獻探討

在目前車牌偵測之技術漸漸受到重視的背景下，本研究將參考到的方法基於理論以

及方法分為以下兩種：(1)以邊緣複雜度為基礎的偵測(2)以影像轉換為基礎的偵測。

2.1 邊緣複雜度為基礎的偵測

在車牌辨識中，利用邊際複雜度來偵測是最直接的方式之一。其原理為利用車牌紋

理與背景紋理有一定差異。是最基本的方法，將影像邊緣化後對水平進行複雜度分析，

再將複雜度最高之部分節取出，進行垂直複雜度分析以得到車牌之位置(圖)。

Figure 1.邊際複雜度偵測

而 Sliding Concentric Windows(SCW)為一適應性的影像切割技術，可在影像切割出

不確定型態以及大小的目標物件。其方法為統計影像中區域以及全域的標準差和平均值

最為其辨識門檻值。以上兩種方法皆為較直覺性的方法應用，其效能也取決於背景影像

的複雜度，假如背景存複雜度較高的情況下，將可能無法有效的進行偵測。

4

Figure 2.SCW 偵測結果

2.2 影像轉換為基礎的偵測

在訊號分析中，將資訊轉換至不同域後再進行分析，可能獲得實域所沒擁有的資訊。

頻域分析(Dct Domain Analysis)常用於人臉以及目標的偵測，過程為將影像進行 DCT 轉

換後，再利用其係數結合後端的辨識器進行偵測。雖然在人臉的偵測上有相當正確率，

不過在車牌上除了偵測的時間較久之外也存在著正確性偏低的問題。

而另外轉換還有霍夫轉換(hough transform)，利用車牌邊框為固定直線之特性，將

影像中線段進行分析以得到車牌位置，但此種偵測方法之效能仍難取決於背景紋理之複

雜度。

Shyang Lih Chang 等人提出利用顏色上資訊透過模糊化以及解模糊得到車牌邊緣資

訊。首先將真實影像透過 RGB domain 上的邊緣化影像(edge image)以及將影像轉換至

HIS domain 再將之邊緣化，接著透過模糊化以及解模糊過濾掉大部分非車牌影像(圖)。

5

Figure 3.以色域轉換以及模糊理論之流程圖

最後則是以電腦學習演算法為主的辨識器(classifier)，其方法有SVM、ADABOOST、

以及類神經網路(Neural Network)。其方法為欲辨識之影像透過各種特徵之擷取由訓練好

的辨識器進行判別。本研究主要參考三種方式。

2.2.1 adaboost with haar-like

在 Louka Dlagnekov[5]的論文中提出一個利用均值以及標準差的方式統計車牌的最

佳差量(圖)。整理得到對於車牌最佳的 haar-like 特徵(圖)，透過 adaboost 後端得到一辨

識器。除了原本的訓練大小外也必須在各 scale 上對原圖進行搜索，所花費的時間也相

對的龐大。也由於辨識器本身相當敏感，除了樣本數量必須非常龐大，所選擇的特徵也

會大大影響辨識的結果。

6

Figure 4.車牌影像分佈分析

2.2.2 adaboost with local and global features

而在 Huaifeng Zhang 的論文中，提出了一加速的方法。將特徵分為全域以及區域的

兩種不同特徵。在全域特徵上，先利用如圖進行差分運算先過濾掉大部分非車牌的背景

影像。接著再透過原始 haar-like 特徵進行辨識。

Figure 5.全域特徵偵測情況

7

2.2.3 novel features

考慮到車牌的文字特性，本研究嘗試使用 M. Blumenstein 所提出的方法。利用分析

字體的特徵，其中包跨九乘九的方格內存在幾個垂直線水平線以及斜線總數以及長度等

一共八十一個特徵加上整體性的特徵，包含尤拉數(eular number)、字體面積(Rigenal Area)

以及 Eccentricity，一共 92 個特徵去分析字體。不過在研究過程中發現，撇開正確性不

談，其高階資訊的演算法成本過高。辨識的正確性也因為非預期的影像而大大降低辨識

錯誤率(false postive rate)。

2.3 ADABOOST

ADABOOST 為 Adaptive Boosting 的縮寫，是一種由 Yoav Freund 和 Robert Schapire 所

制定出機械學習演算法(Machine Learning Algorithm)。它屬於變動演算法，並且可以結

合一個或多個以上辨識器以提升辨識效果。在最初 boosting 本身於機械學習領域中代表

提升的意義，直至 Valiant(1984)所提出 PAC(Probably Approximately Correct)架構中提到

可學習(Learnable)的概念，也就是說找到一個演算法，使其分類結果達到低錯誤率(Error

Rate)。接著在 Kearns and Valiant 在 1988 年提出了弱學習力(weak learnablility)概念，即

一個演算法的分類結果的正確率只要比隨機猜測的結果好就可以並將 1984 所提出的可

學習重新命名為強可學習力，更同時提出一種 boosting 猜測：是否一個原本屬於弱學習

的演算法，在經過多次的迭代(iteration)執行之後，再用投票機制(majority vote)使輸出的

結果不僅僅改進分類結果的正確率，並會等價於一個強學習力之演算法的結果。其理論

在 1990 年被證明，並且改良至目前的 ADABOOST 演算法。

8

2.3.1 ADABOOST 原理

Adaboost 演算法輸入為若干分類好的樣本，藉由多次迭代產生出弱分辨器，各弱分

辨器會依據分辨能力得到一個權重(weight)，藉由此權重組成一強分辨器。其演算法種

類有最原始的 original adaboost、gentle adaboost、floating adaboost 等，在本研究中使用

gentle adaboost 其演算法如圖演算法 1，函式h(xi, f, p, θ)代表著一個分辨器的結果，xi代

表第幾個樣本做為分辨來源，f 為辨識特徵， 為閥值，以及最後 p 為向位，則辨識結果

為：

h(xi, f, p, θ)=�1, if pf(x) < 𝑝𝑝𝑝𝑝0, otherwise

� (1)

演算法輸入為以分類好的樣本(x1, y1),…, (xn , yn)，並且各權重初始化後進入迭代中。在

每一輪中，首先先找出加上權重後誤差最小的弱分辨器(步驟二)，接著在步驟三中利用

此分辨器更新下一次迭代的權重，假如分辨錯誤，則該權重增加，而分辨正確時則將權

重減少。在更新完後下一輪迭代開始便將更新過後的權重做一次正規化之動作(步驟三)。在完成 T 次迭代後，強分辨器 C(x)由弱分辨器加上權重後所計算出來。其中迭代次數 T可由人工設定或者設定到錯誤率低於某目標後停止。

9

-Given example images(x1, y1),…, (xn , yn) where yi=0,1 for negative and positive examples

respectively.

-Initialize weights w1,i = 12m

, 12l

for yi = 0,1 respectively, where m and l are the number of

negatives and positives respcectively.

For t=1,…,T:

Step1:Normalize the weights, wt,i=wt,i

∑ wt,inj=1

Step2:Select the best weak classifier with respect to the weighted error

ϵt=minf,p,θ∑ wi|h(xi, f, p, θ) − yi|i

Step3:Define ht(x) = h(x, ft , pt , θt) where ft , pt and θt are the minimizers of

ϵt

Step4:Update the weights:

wt+1,i=wt,iβt1−ei

Whtere ei=0 if example xi is classified correctly, ei=1 otherwise,and

βt=ϵt

1−ϵt

-The final strong classifier is:

C(x)=�1,∑ αtht(x) ≥ 12∑ αt

Tt=1

Tt=1

0, otherwise�

Algorithm 1. Adaboost 演算法

2.4 積分影像

積分影像(Integral Image)又稱區域合表(Summed Area Table, SAT)為有效且快速的計

算方形區域累加運算的演算法，最早於1984 年於電腦圖學領域中提出並用於mipmaps，

但並沒有被廣泛的應用於電腦視覺。直到 Viola-jones 所提出的物件偵測法中才開始漸

漸受到重視以及使用。

10

其演算法如其名在積分影像中的任一點(x,y)的值為原影像中(x,y)至影像起始點(1,1)

所有像素的合如式()以及圖，其中 I 為原始影像。如此，積分影像能快速且有效的計算

一矩形區域只需四次加減法如圖 6，灰色矩形區域總合為式 2。而旋轉積分影像(Rotate

Integral Image)則可以計算旋轉 45 度之後之矩形區域如圖以及式，其中 I 為原始影像。

並且可以透過階段快速實現其演算法。在第一階段中對於原影像中由左到右，由上到下

使用式 4 算出第一階段之值，並且在圖像外的像素使用式 5 來定義。第二階段則由右到

左由下到上計算式 6。在完成兩階段後，便可快速計算其圖()中灰色區域，計算方法為

式 8。

∑≤≤

=yyxx

yxIyxSAT','

)','(),( (2)

∑−−≤≤

=|'|','

)','(),(yyxxxx

yxIyxRSAT (3)

)1,2(),(),1()1,1(),( −−−+−+−−= yxRASTyxIyxRSATyxRSATyxRSAT (4)

0)0,1(),2(),1( =−=−=− xRSATyRSATyRSAT (5)

),2()1,1(),(),( yxRSATyxRSATyxRSATyxRSAT −−+−+= (6)

Figure 6. 積分影像示意圖

(左上)SAT 中像素(x,y)包含區域

Integral Image Rotate Integral Image

Integral Image Rotate Integral Image

11

(右上) RSAT 中像素(x,y)包含區域

(左下)(右下)運算區域示意圖

)()()()()(Re DSATCSATBSATASATrcSum +−−= (7)

)()()()()(Re CRSATARSATBRSATDRSATrcSum −−+= (8)

第三章 短線濾波器

由於車牌本身是由文數字所組成，故本研究將車牌偵測視為一文字偵測之應用，而

真實影像中文字偵測之困難度在於除了偵測目標本身還存在許多不可預期的背景，和文

字本體具有類似的性質。在 Zhao 的 logical level technique(圖 7 左)和 Djeziri et al.的

filiformity(圖 7 右)皆為針對紙上文字中細長的筆觸偵測方法，用於真實影像中太過敏感，

故無法顯益。

)())}(()),(({)( pfqfAvggfAvgMinpL NjqNiqd −= ∈∈ (9)

)())}(()),(({)( 21 pfqfMaxqfMaxMinp SqSqd −= ∈∈µ (10)

其中 d={0,1,2,3}，四個方向{0,π/4, π/2,3π/4}。其二者響應為：

LW (p) = Maxd=03 {Ld(p)} (11)

μW (p) = Maxd=03 {μd(p)} (12)

Figure 7.筆觸偵測示意圖

(左) logical level technique (右) filiformity

而另外在Xiangyun Ye等人提出的Double edge(DE)方法為偵測字體筆觸本身具有兩

12

個邊緣並且透過一適應性之門檻值偵測文件上的字體。響應為式 13，方向為垂直以及水

平。在文件文字偵測中，快速敏感於以上兩方法，但此方法用於實際影像中，則因為太

過複雜的背景影像使得殘存過多的雜訊。

)())}(),(({)( 11 xfiWxfixfMinMaxxDE w

i −−+−= −= (13)

最後則是 Liu 等人所提出一 stroke filter 的方法，此方法主要用於電視影像中字型的

偵測，考慮到複雜背景以及文字的不確定性，正符合本次研究所需之目標。

3.1 短線濾波器其原理以及方法

在 Liu 等人於 2006 對於筆觸作一個初步的定義：一個文字片段中的直線或者弧線

定義為筆觸，且在影像或者圖像中的文字必包含了一個以上的筆觸，如圖()。只有在數

個類似筆觸的結構存在時此張影像才會被定義為文字。而筆觸濾波器是根據區域性的分

析所設計。為了設計筆觸濾波器，原作者首先定義在一個區域影像中含有類似筆觸的結

構具有以下三個特性：

(1)筆觸和兩側區域具有不同性質

(2)兩側區域具有類似的色彩飽和度

(3)筆觸附近的像素具有類似的色彩飽和度。

Figure 8.文字影像示意圖

13

]4/3,2/,4/,0[ πππθ ×∈ ]7,5,3[∈h

Figure 9.Stroke Filter 運算區域示意圖

接著對於原影像中每個像素計算其筆觸濾波響應。如圖 9 所示，筆觸濾波器中心點

表示一影像像素(x,y)，且可觀察到其周圍有三塊長方型區域。將中間方形區域定義為 1，

兩側區域定義為 2 和 3。其角度以及比率是依據 和 d 決定，而 d 是基於先前實驗數據之

經驗法則來決定，同時也決定方形區域之寬度。由於兩側區域和中間矩形的間隔為d2，

此一間隔目的旨在真實影像中文字圍繞著較明亮或者較暗的邊框，好讓觀看者清楚的辨

識文字的意思，再者，經過影像壓縮後在文字周圍會產生模糊的邊，如圖 8。根據以上

筆觸的結構定義，Liu 對一像素(x,y)定義出亮色以及深色的筆觸濾波響應，分別為：

σµµµµµµ

θ

θθ

323121,

,,max),(

−−−+−=

=

Bh

Bhh

B

R

RyxR

(14)

σµµµµµµ

θ

θθ

321312,

,,max),(

−−−+−=

=

Dh

Dhh

D

R

RyxR

(15)

在等式右邊的物理意義與筆觸的定義有著明顯的關聯，其中μi為區域 i 之色彩飽和

14

度的平均值，且 i∈ {1,2,3}。在亮色以及深色的筆觸濾波中μ1 − μ2 + μ1 − μ3和

μ2 − μ1 + μ3 − μ1相互對應，其目的在符合第一個特性，以及同樣的減去|μ2−μ3|以符合

第二個特性。參數 為區域 1 之色彩飽和度的標準差，此參數反映出在筆觸附近的相似

度，並且作為分母對應到響應當中。假如像素(x,y)中筆觸響應越高，則表示此像素為筆

觸的可能性越高。

3.2 短線濾波器用於車牌偵測之實例

本研究實作 Liu 等人所提出之筆觸濾波器，圖 10 中(a)為原始影像，(b)為筆觸濾波

器產生之結果。以及將之用於真實環境之車牌影像當中，如圖 11。

Figure 10.單純文字示意圖

左圖為輸入單純文字影像，右圖為經過原筆觸濾波器後之結果

Figure 11.實際車牌示意圖

左圖為輸入之車牌影像，右圖為原筆觸濾波器後之結果

在實驗結果可以觀察到筆觸濾波器在對於背景影像之去除有著顯著的效果，並且在所要

偵測的目標上保留了有效的資訊。

15

3.3 加速方法

然而在實驗過程中我們發現兩個問題：(1)運算成本過於龐大，(2)筆觸結構定義無

法適用於任何大小以及角度的字型。Liu等人在實驗過程中也發現運算成本龐大的問題，

並提出Quick Stroke Filter作為改良方法，透過以下三個方式進行改良：(a)藉由Edge mask

遮蓋掉低頻部份以減少需運算之像素，(b)Quick filling 為偵測到一筆觸強度較高時，視

筆觸大小以及角度將鄰近點數視為同一集合，並擁有相同響應，以及(c)利用積分影像省

去大部分重複的運算。但在高解析的真實影像中，前兩項改良方式後所需的運算點數仍

然過多，以及第三個方法雖大幅改善掉最多運算量的問題，但是用在真實環境之偵測仍

須付出相當成本。第二個問題發生的主要原因為 Liu 等人為了降低運算量在上只取三種

情況，以及 上取四個角度使之無法涵蓋於真實影像中車牌文字的各種變化。故本研究

提出一 fast stroke filter 以解決以上兩個問題，並於以下部分加以說明。

16

第四章 快速短線濾波器

再更進一步的分析，其筆觸濾波器是由兩個對筆觸的概念所組成(1)偵測邊情況為黑

-白-黑的亮色響應以及白-黑-白的深色響應，並且加上(2)筆觸結構這個層面的認知所組

成。在原本的方法中對於筆觸的粗細以及長度比例是由經驗法則為基礎設定，對此建構

出筆觸的概念以及種類，接著在影像中透過 d 以及 兩個變數以掃描的方式計算每一像

素各種筆觸的可能性，故筆觸結構的觀念為造成運算成本過大以及無法偵測預設情況外

之筆觸。為改良這個現象，首先將筆觸結構中央的矩形視為筆觸本體，以另外一種方式

觀察到筆觸本體的存在以及變化。

4.1 快速短線濾波器原理及其架構

假設一筆觸本體存在於圖()中，中間紅點為當前像素(x,y)，則此情況為水平線的條

件為筆觸體的寬度大於高度，反之為垂直線的情況為寬度小於高度。以此兩資訊去推測

筆觸的形狀為快速筆觸濾波器的物理意義。

快速筆觸濾波器(Fast stroke filter)，為兩階段的處理，在第一階段為主要濾波響應計

算(Primary Fast Stroke Filter)對影像中每一像素(x,y)計算(1)水平響應(2)垂直響應(3)高度

(4)長度。偵測筆觸寬度及高度方式為以兩條寬度為一的線段跨越該筆觸，如圖，將線段

中落在筆觸中的區域設定為μ1，長度為 2×s+1，其中，u2及u3區域長度各為 s/2，與μ1間

隔 g 皆為 s/2。水平響應為沿著該像素水平計算寫為式 16。

Length

Height pixel(x,y)

17

H

HHHHHHDS

DS

S

DH

DSS

DH

R

RyxS

RyxR

σ

µµµµµµ321312

maxarg),(

max),(

−−−+−=

=

=

(16)

同樣的垂直響應為該像素垂直線上強度的計算寫為式()。其中RH,sD 和RV,s

D 對應於式()

中Rθ,hD ，參數 s={1,2,3,4,5}定義為線段之長度。

V

VVVVVVDS

DS

S

DV

DSS

DV

R

RyxS

RyxR

σ

µµµµµµ321312

maxarg),(

max),(

−−−+−=

=

=

(17)

Figure 12.快速短線濾波器響應運算示意圖

經過第一階段響應值計算後進行一正規化的動作，若響應小於一門檻值THR1則為

零其對應長度也應為零，對整體較昏暗或者較明亮之影像做一個調整。其門檻值THR1為

18

經過大量實驗數據決定。假如此正規化放在前處理中則可能導致假如存在較黑於車牌文

字的背景影像，在正規化後反而會使車牌文字響應低下，可能會在接下來的階段中被過

濾掉。

4.2 快速短線濾波器分辨演算法

在接下來小節中將介紹第二階段筆觸分類演算法(secondary Stroke Qualification

Algorithm,SQA)，將該像素分類到屬於何種線段當中，或者該像素不屬於筆觸體內。此

演算法為 Fast Stroke Filter 如何有效的進行線段的分類最主要的關鍵，利用其已有資訊

推測線段情況已取代掉過多的計算。

在圖 13 中，SQA 所進入的資訊為 4.1 節中第一階段中經過濾波候且正規化至 0~255

的響應，對每個像素的四項資訊進行一個分類的動作，以下三小節分別為接下來的三個

步驟。

Luminance Normalization

Trimming Low Response Points

H. Stroke Qualified?

V. Stroke Qualified?

S. Stroke Qualified?

N

N

Primary Fast

Stroke Filtering

Stroke Map

Storage

Y

Y

Y

N

Stroke Not Found

Figure 13.快速短線濾波器流程圖

19

4.2.1 水平情況

在此步驟中，將利用四項資訊找出符合水平線段的情況。假如該像素位於一水平線

內會存在兩種情況，第一種情況為該水平線段的長度較長，超過 s 的長度(max(s=5))，

以及第二種情況該水平線段的長度較短，仍落在 s 偵測的範圍內。

情況一：如圖()所示，一像素(x,y)存在於一較短線段中，故水平跟垂直皆落在可以

偵測的情況內。在此情況下存在兩個條件(a)水平以及垂直響應應接近於一門檻值且(b)

水平向量應長於垂直向量。假如條件(a)不滿足則該筆觸體內違反筆觸的第三點特性，在

(b)條件不滿足則表示此筆觸體應落在垂直筆觸的情況中。經過整理可以得到以下分類條

件：

>−

<−

>

>

SD

VDH

RDH

DV

RD

V

RDH

THSSTHRR

THRTHR

||

(18)

其中 RTH 以及 STH 為一經過大量實驗所得之正數門檻值。

Figure 14.水平較短之筆觸情況示意圖

情況二：如圖()所示，一像素(x,y)存在於一較長線段中，故垂直落在可以偵測的情

況內，但水平則無法偵測。在此情況下(a)水平響應以及向量應為零(b)垂直響應以及向量

部為零。經過整理得到以下條件：

20

>

=

>

=

0

0

0

DV

DH

RD

V

DH

SS

THRR

(19)

其中 DHR 和 D

HS 在上一階段若小於一門檻值則會被設為零值。

Figure 15.水平較長之筆觸情況示意圖

4.2.2 垂直情況

假如該像素不屬於水平線，則進行此一步驟判斷是否為垂直線。同樣的，我們將使

用四項資訊以及兩種筆觸的情況：較長的垂直筆觸以及較短的垂直筆觸。

情況一：同樣如圖()所示，一像素(x,y)存在於一較短線段中，水平跟垂直皆落在可

以偵測的情況內。在此情況下存在兩個條件(a)水平以及垂直響應應接近於一門檻值且(b)

垂直向量應長於水平向量。假如條件(a)不滿足則該筆觸體內違反筆觸的第三點特性，在

(b)條件不滿足則表示此筆觸體應落在水平筆觸的情況中，而不會進入到此一階段中。經

過整理可以得到以下分類條件：

21

>−

<−

>

>

SDH

DV

RDH

DV

RD

V

RDH

THSSTHRR

THRTHR

||

(20)

Figure 16. 筆觸示意圖

(左)垂直較短筆觸示意圖(右)垂直較長

情況二：如圖()所示，一像素(x,y)存在於一較長線段中，故垂水平在可以偵測的情

況內，但垂直則無法偵測。在此情況下(a)垂直響應以及向量應為零(b)水平響應以及向量

部為零。經過整理得到以下條件：

>

=

>

=

0

0

0

DH

DV

RDH

DV

SS

THRR

(21)

22

4.2.3 斜線情況

在此一階段，該像素已經排除為垂直筆觸或者水平筆觸的可能性，並且有可能為一

斜筆觸或者為其他情況。我們講左斜以及右斜筆觸視為同一情況，則如圖()所示的幾何

結構中可以規畫出以下特點：

′<−

>

>

′<−

>

>

SDH

DV

SDH

SD

V

RDH

DV

RDH

RD

V

HTSS

THSTHS

HTRR

THRTHR

(22)

Figure 17.左斜線以及右斜線情況示意圖

最後則該像素不落在以上三種筆觸情況中則響應應為零，且同時在輸出結果時可以產生

相對應的筆觸情況圖(stroke type map)。

23

4.4 快速短線濾波器結果

透過原筆觸響應符合筆觸之第三點特性，使用猜測的方始使之成立。然而在斜筆觸狀況

中也可能偵測出類似筆觸之不規則圓形，倘若此圓非所要偵測筆觸則在高階資訊已予排

除，而在原筆觸濾波器同樣會偵測出此圓。表()中為原筆觸濾波器以及快速筆觸濾波器

基本筆觸比較圖。

輸入影像 Stroke Fast stroke

24

Figure 18.快速短線濾波器以及元短線濾波器之個基本線段比較

(表)為各種基本線段之情況。可以明顯看出在原 stroke filter 中偵測之線段與原圖不同大

小。在第六張至第十張影像中測試了兩種方法對各種角度線段偵測的情況，這說明了原

本 stroke 在非設定的 scale 上有著比較弱勢之情況。然而在 fast stroke filter 中對偵測的線

條粗細更加敏感。在最後使用 Liu 等人在原論文中使用之測試影像，在 fast stroke filter結果中有稍微雜點為 JPG 影像經過壓縮之誤差情況。

25

在圖組 19、20 中，(a)圖為輸入影像，(b)圖為原筆觸濾波器結果，(c)圖為快速筆觸

濾波器結果。主要為原筆觸濾波器在向量上為減少運算成本而縮減，使之在此情況外之

筆觸無法準確偵測如圖組 19，以及四種預設角度 也無法偵測現實情況中具有些微角度

之文字如圖 20 中第二以及第三個車牌文字。

Figure 19.結果比較圖

(上)為輸入影像(左下)原筆觸濾波器之結果(右下)快速筆觸濾波器之結果

26

Figure 20.結果比較圖

(上)為輸入影像(左下)原筆觸濾波器之結果(右下)快速筆觸濾波器之結果

27

第五章 文字物件之分離

此一章節將介紹整體系統以及在短線濾波器後所剩下的目標影像的擷取以及非目

標影像排除，並且一車牌中的文字做一個分群以提高後端辨識率。

5.1 整體系統架構

系統假設輸入影像為架設在路旁支測速照相機所拍攝之真實影像(圖 21)。

Figure 21.車牌辨識系統流程圖

在經過前處理後，將此處理後資料送至 Stroke filter、Modified CCA(Connect

Component Analysis)以及後端高階資訊判斷。接著進入 stroke filter 過濾掉大部分非車牌

文字之影像。由於 stroke filter 後之文字資訊並不完整，須透過 Modified CCA 補回缺失

之部分。最後進入高階資訊判斷，利用對車牌本身的認知排除非車牌物件以及補回缺失

Preprocessing

Image input Fast stroke filt

Modified

High-level imformation

Adaboost l ifi

Plate result

28

物件。其流程圖為 21。

5.2 MCCA

經過筆觸濾波器得以過濾掉大部分非目標影像，但文字本身也有可能因為某些因素

(如光線、角度)造成文字本身之缺失。Liu 等人為此提出一演算法為區域文字補回(local

region growing)演算法，其步驟為將所偵測之文字組於筆觸化影像(stroke result map)中切

割出文字所在區域，再對此區域參考原輸入影像將筆觸化影像作一補完之動作。可是在

車牌文字具有角度和多種不確定因素(如髒汙、毀損以及鄰近雜訊偏多)下，以及在辨識

階段仍須對具有角度之車牌文字進行切割之困難，故在此階段進行區域補回演算法有一

定困難度。本研究提出一改良連通元件偵測(modified connected component analysis)將筆

觸化影像作連通原件偵測，同時也參照原灰階化影像進行一補完之動作其演算法如演算

法 2。首先，輸入影像為(1)第一階段中二值化後筆觸影像以及(2)灰階化之原影像。接著

對筆觸化影像做全圖的掃描，若掃描到一像素(x,y)為'1'，則為一連通原件之起始點進行

八相鄰的深度優先搜索。搜索方式如下：

在像素(x,y)中，進行對八相鄰中下一點(x',y')的搜索。假如筆觸化影像之像素(x',y')

為'1'則直接加入物件推疊(obj stack)中，否則須滿足以下兩條件：

1.|gray level img(x,y)-gray level img(x',y')| thr1; (23)

2.|gray level img(x',y')-mean of objstack| (standard deviation of objstack+thr2)。(24)

第一條件建立於筆觸濾波器偵測仍為一偵測特殊邊緣變化情況(黑白黑或者白黑白)，

故筆觸存在時，該筆觸本體和兩側存在一定差量以及筆觸本體具有類似性質(筆觸特性

一與特性三)。第二條件為車牌文字受到光線之影響，單一文字具有漸層顏色變化。若

使用一固定閥值則可能導致文字缺失無法補回，故使用目前已有物件資訊計算其差量允

許值，而已有物件資訊則會依照每一次新增像素而更新內容。接著將找尋過的點標記為

'已找過'，其中 thr1 設定為 30，thr2 設定為 5，偵測深度為 800，以及物件大小為 800(pixel)

29

內。

mcca 後輸出為若干連通原件如圖()，包含各物件面積以及座標資訊，並同時完成車

牌文字物件擷取以及切割，接著送至下一階段利用高階資訊進行車牌群組化之動作以及

砍除非車牌文字之物件，亦可送至辨識系統中進行辨識。

Modified CCA Input:1.gray-level img(simg) 2.stroke result img(simg)

Step 1:for evey pixel in simg if simg is ’1’ goto step 2

Step 2:initial the stack and objstack

Push (i,j) and simg(i,j) to stack and objstack

do Step 3 until stack is empty

Step 3:

tempi,tempj,refpoint<=pop stack

Caculate the mean and standard deviation of objstack

if ( |gimg-mean|<standard deviation and | gimg(tempi,tempj)-refpoint|<30)

or simg(tempi,tempj) is ‘1’

mark simg(tempi,tempj) to ‘0’

push gimg(tempi,tempj) to objstack

push nighborp pixel to stack

end if

Step 4:record the objstack and goto step 1

Algorithm 2. MCCA 演算法

30

Figure 22.MCCA 結果圖

(左上)輸入影像(右上)筆觸濾波器後結果(下)MCCA 後結果

31

5.3 高階資訊判斷

在此階段主要針對已經物件化之文字進行同車牌的分群，也對大部分非車牌物件之

雜訊已予排除。高階資訊為人類對於車牌之認知的資訊，例如說車牌為方型且寬大於高，

由六位數字以及英文組成(台灣省自用小客車)，再來則是車牌文字應為於同一直線上且

大小相近。經整理，同一車牌之文字物件具有以下條件：

1.物件和物件之距離小於物件寬×4.2

2.物件和物件之間面積差小於 thr-area

3.各物件之間斜率誤差小於 thr-slope

接著透過以下流程進行分群之動作：

High level imformation grouping

Input：CCA 後物件資訊

step 1：將物件由左至右進行排序

step 2：根據物理位置進行第一次分群

a.物件和物件之間距離小於物件寬×4.2

b.物件和物件之面積面積比小於 thr-area

step 3：淘汰物件數量少於 thr-k 之群組

step 4：根據計算斜率淘汰群組中非目標物件

step 5：再度淘汰物件數量少於 thr-k 之群組

Algorithm 3. 高階資訊判斷演算法

首先將輸入物件由左至右進行排序動作，其物理意義為將物件二維座標資訊縮減至

一維平面以簡化群組條件。在步驟二對連續二物件進行第一次群組化動作，則連續兩物

件為同一群族條件為：a.距離小於兩物件寬取平均×4.2 b.其面積比小於 thr-area。在完

成第一次分群後將除去大部分非群組之個體物件或者雜訊群組，根據台灣自小客車車牌

為六位數英文以及數字組合我們將此閥值 thr-k 設為 4，再對目前已有群組進行斜率之分

析將車牌群組中非車牌物件加以排除。

32

利用斜率資訊排除非車牌文字物件首先對偵測群組中所有物件計算出與下一物件

之斜率，假如此斜率大於 45 度角則直接將此物件排除否則將剩下物件之斜率取一平均

值，接著將群組中與此斜率比大於 thr-slope 之物件排除，對所有群組完成此程序，最後

將少於物件數量少於 thr-k 之群組排除。其中 thr-area 與 thr-slope 設為 10%。

5.4 實作結果

實驗數據為兩組，第一組為複雜度較低且為靜態情況下拍攝包含各種偵測情況如斜

角車牌、光線偏亮以及偏暗、多車牌、以及毀損髒汙車牌，影像大小為 640×480、數量

為 249 張、車牌數量為 256 張。第二組為高解析之真實影像，和第一組數據比較起來較

為複雜，包含大量移動中人物以及車輛，紋理較為複雜之廣告招牌以及招牌文字，其影

像解析度為 1280×1024、數量為 100 張、車牌數量為 184 張。

圖組 23 為第一組數據部分結果，其中(a)(b)為較單純之情況，(b)為斜角車之偵測，

(d)為較昏暗背景下，(e)為較昏暗背景下之斜角車牌以及(f)為單純背景多車牌之偵測。此

組數據由於背景環境較為簡單，故在快速筆觸濾波器後非車牌影像過濾較完整，後端

MCCA 以及高階資判斷所需時間較少。

(a) (b)

33

(c) (d)

(e) (f)

Figure 23 一車牌影像偵測之結果

圖組 24 為第二實驗數據之部分結果，具有較高複雜背景，以及移動中影像，其解

析度若太小以人眼辨識有一定困難度故使用 1280×1024 較高解析度作為輸入。其中大部

分影像中具有複數車牌，如圖(a)(b)(c)。

34

(a) (b)

(c) (d)

Figure 24.多車牌影像偵測之結果

35

第六章 ADABOOST 辨識器

經過以上流程後可以一個影像中的所有車牌物件，每個車牌物件中包含 5-6 個英文

字以及數字，接著將進行辨識的階段。在辨識階段本研究選擇以 ADABOOST 做為辨識

的方法。由於 ADABOOST 具有結合多個強辨識器以增加辨識能力之特性，在此結合

Novel Feature 以及 Line Feature 兩者做為辨識之特徵。

6.1 navel feature

Navel feature 是藉由對文字結構進行分析之特徵，猶如人對文字之辨識有著類似的

方法。假設一文字 A，人在看到兩條斜線中間夾一橫線時，就會有”A”這個文字的概念

產生。至於兩條斜線形成一個角(corner)以及橫線的位置必須在兩條斜線中間，這種筆畫

之間相關的位置於 Navel Feature 中則是以將文字切割成更小區塊來確認其位置。其方法

為將文字切割成九個區塊，再分別對這九個區塊進行分析，如圖()中所示，九個區域分

別代表線段所在的位置。文字 A 中的橫線應該就落在區塊 5 的位置，以此作為依據來分

析。其步驟為：

1) 將文字骨架化(skeletonlize)

2) 將文字置中且文字剛好碰觸至邊框

3)將文字切割為九塊區域並且對每個區域個別作線段之分析

4)對文字整體進行分析

5)將分析結果整合為一特徵向量(feature vector)

36

Figure 25.影像切割示意圖

首先先將文字骨架化，其使用的演算法為 Zhang-Suen Thinning Algorithm(附錄 1)後在第

二階段將完成骨架化之文字放入一新的背景其大小剛好為骨架後文字大小。接著在第三

步驟中進行線段種類的分析。而在線段種類的分析中，則是採用一統計方式。首先如圖

()中為一直線，但可能因為掃描或者各種非確定因素導致扭曲或者歪斜之抖動情況。對

此一直線先計算出最多的方向，方向表為圖()。起初所有方向皆為 1(無方向)接著根據相

鄰點數決定其方向為何，最後以最多的方向為此線段之類別。在此階段對於每個切割區

域計算出九個特徵值：

1.水平線的數量

2.垂直線的數量

3.右斜線的數量

4.左斜線的數量

5.正規化後水平線的長度

6.正規化後垂直線的長度

7.正規化後右斜線的長度

8.正規化後左斜線的長度

9.骨架化後字體區域大小

其中長度的正規化為

) /() ( pixelszoneTotaltypelinethatinpixelTotallength = (25)

1 2 3

4 5 6

7 8 9

37

接著對整體也做出整體的分析，以及加上

1. Euler Number ：此為定義為物件數量以及空洞(holes)數量的關係數，公式為：Euler

number=number of objects-number of holes+1。

2.Region Area ：此為定義文字在骨架化後全部像素數量之合。

3.Eccentrictity：此為定義用一個最小的橢圓形涵蓋整個骨架化文字，其橢圓形的最短半

徑為其值。

一共九十二個特徵，最後整合為一特徵向量

Figure 26.方向示意圖

Figure 27.線段正規化示意圖

38

6.2 Line Feature

然而對於原本 Navel feature 所製作之辨識器對於車牌本身單純的字體辨識時，false

positive rate 卻異常的高，原因在於車牌字體相對較為單純，故特徵數量在樣本不夠多時

容易形成誤判，為此本研究加上了一個快速且運算成本較低之特徵作為第二階段之辨識，

以增強辨識之效能

Line feature 為 haar-like feature 演變而來，由於 haar-like feature 運算量過於龐大，且

對於較於單純且二值化字體存在著太多不必要的運算量，故本研究提出一向量無關

(scale ignore)且運算量小之特徵擷取法，其目的在於整個字體的架構在做進一步之確認。

Line feature 特徵分為垂直以及水平特徵，其特徵為偵測一水平或者垂直線上跨越零點

(zero crossing)的數量，我們將此水平或者垂直線稱為偵測線如圖()中一偵測線跨越過文

字 B 上一白-黑-白時計算為一次，故該偵測線值為 2。

Figure 28.偵測線示意圖

偵測線的數量決定著分析的效能，假設水平偵測線數量為 m，長度為 l1 且平均分布於

影像中，以及垂直偵測線數量為 n，偵測線長度為 l2 且平均分布於影像中。若 m=l2=image

height 以及 n=l1=image width 時便是針對全影像做出完全的結構上的分析，接著偵測線

的長度假如從 2 開始第增至全影像寬幅則該特徵會接近 haar-like feature。原因在於

haar-like feature 在經過 adaboost 訓練後會自動挑選最能分辨該區域變化之特徵，而 line

feature 也在經過 adaboost 訓練後也會挑選最符合長度的線段，且經過組合該區域之線段

可組合成為一類似 haar-like 之特徵如圖()，並且特徵數量遠遠小於 haar-like。在本次研

究中為了達到快速且向量無關之目標，水平偵測線數量為 m=9 以及垂直偵測線數量為

n=7，其中長度 l1=image width，l2=image height。

Detect line

39

Figure 29.特徵示意圖

(左)偵測輸入影像(中)Haar-like 特徵示意圖(右)line feature 特徵示意圖

40

第七章 結果分析與比較

本研究實驗平台為 Intel i7-920 Processor，4GB RAM 作業系統為 windowsXP 且實作

於 MATLAB 平台之上。

7.1 實際平台實作

本次實作採用 MATLAB 之式窗程式設計，可以讀入車牌影像以及進行辨識，其中

閥值可以在視窗中直接進行設定，最後結果值將會在右下角之式窗顯示。

Figure 30.車牌辨識程式起始介面

圖()中為程式欲設狀態，接著在左上角中開始選擇開啟檔案後，在圖()中可以直接

進行資料夾存取。最後使用預設閥值獲得車牌之資訊。

41

Figure 31.影像讀取流程

42

Figure 32.影像讀取結果

Figure 33.車牌辨識程式結果

7.2 實際數據以及比較

由於快速短線濾波器目的旨在改善時間上的問題。在此我們使用在單一像素上的運

算量比較(圖)以及在各線段之偵測結果比較(圖)，最後進行改善較為明顯之例子(圖)

(表)中先比較了在一像素上之運算量比較。原 stroke 中對 1,3,5 三個 scale 進行三個

43

區域的標準差以及平均值運算，然而在街道之真實影像中，透過我們實際數據測試，要

測試出多車牌之情況，其解析度需達到 1024×768 至 1280×1024。因為低於此解析之影

像有時就連透過人工方式也難以辨識出，所以我們比較了三種解析度以及其優化之情況。

實作平台透過 matlab 以及 C & OpenCV 兩種程式語言取五十張影像平均值做為比較依

據。

Fast stroke filter Stroke filter

640×480 0.4005829 1.2087821

1024×768 0.6041536 4.5219852

1280×1024 0.9235214 9.9214536

在原本筆觸濾波器中每個像素所之加法運算為：

Scale d×direction ×(area sum+three area×addition count of SAT+addition count of RSAT

in central area)=5×4×(5+3×4+4)=420 (26)

以及乘除法運算：

Scale d×direction ×(average of three area(multi or divide) count+variance)=5×4×(3+1)=80

(27)

以及計算變異數中 20 次的開更號運算和 19 次的比較。

而在快速短線濾波器中一個像素所需的運算為：

Sacle s×dirction×(area sum +three area×addition count of HSAT or VSAT+addition count of

SAT in central area)=5×2×(5+3×2+2)=130 (28)

乘除法運算：

Scale d×direction×(multi or divide count each scale + variance)=5×2×(3+1)=40

以及 10 次的開更號和平均 10+14.94=24.94 次的比較，由於四種情況(三種線段以及非線

段一共六種)是採用一串連(cascade)判斷故公式為：

hit possibility×hit cost + miss possibility×miss cost

44

7×16.6%+(4+7)×16.6%+(4+7+4)×16.6%+(7+4+7+4)×16.6%+(7+4+7+7+10)×16.6%=14.94

(29)

假設加減法以及比較所需運算時間為 x 週期(在 X86 架構中乘除法可以在一周期內完成)，

則原筆觸濾波器之運算時間為：420x+80x+20x+19x=539x，而在快速筆觸濾波器為：

130x+40x+10x+24.94x=204.94x，故在每個像素上每個點運算時間皆快 2.63 倍左右，故

在像素 N 逐漸變大後，此效能比數會隨著 N 逐漸提升為 N×2.63，其中無比較兩者積分

影像之運算量。

在 640×480 影像中快速筆觸濾波器效能約為改進前的三倍，但在影像逐漸變大時

(1280×1024)其效能差距達到十倍左右，若影像複雜度過高則第二個加速方法(Quick

filling)無法減少太多運算，可能導致效能差距更加為大。在附錄中為大量實驗結果圖。

第八章 結論與未來展望

8.1 結論

本研究目標為一即時性車牌辨識系統，透過改良 Stroke filter 達到即時性以及對於

車牌文字偵測上更好的效果，在配合後端 Adaboost 達到辨識之目的。經過大量實驗數

據測試後證明系統具有以下優點：

1.達到即時性：在軟體模擬演算法證實在高解析度下仍然壓在 1 秒以內，實作於硬

體架構速度則可達到即時影像偵測。

2.辨識率的提升：由於前端切割之文字較為完整，在辨識上，也提出一高速且辨識

率 90%以上之結果

3.對複雜環境的容忍度：相對於目前技術大多於固定角度單一車道之車牌偵測，本

系統對於真實環境也具有一定辨識程度，且對於背景影像中之文字也予以排除。

而在快速短線濾波器以及原本短線濾波器的效能上，其最大的改進為運算成本，在

45

效果上則為目標不同，所需要之靈敏度不同，故在效能上兩者的比較在於針對目標物的

種類而有所高低。

8.2 未來展望

在對於快速短線濾波器之設計，仍有改進的地方，針對變異數影響以及向量(scale)

上所能偵測的最小筆觸以及最大筆觸仍有爭議的空間，本次研究為了偵測車牌文字而針

對此訂出偵測值，若考慮到文字擷取以及偵測上之應用可以改良出一強快速短線濾波器

(robust fast stroke filter)。而在 line feature 上可能考慮提出一完整理論以證明校能接近或

者高於 haar-like feature，並且考慮針對人臉或者其他非二值化影像提出一特徵計算之演

算法。

本系統目前仍然為軟體模擬，未來希冀完成硬體部分的實作，初步期望能將其在

FPGA 板上實現，透過實際 CCD 從街道上擷取之影像，即時偵測車牌並且將擷取後之

文字影像經過 RS232 或者網路連接至電腦辨識，使其達到即時性的街道偵測，以及資訊

的截取，完成本次研究最大之目的：自動化車輛監控系統。

46

參考文獻

[1] A. K. Jain, B. Yu, Automatic text location in images and video frames, Pattern Recognition 31 (1998) 2055–2076.

[2] C. Jung, Q. Liu, J. Kim, A new approach for text segmentation using a stroke filter, Signal Processing, Elsevier 88(2008) 1907–1916.

[3] H. Li, D. Doermann, O. Kia, “Automatic text detection and tracking in digital video, IEEE Transactions on Image Processing 9 (1) (2000) 147–156.

[4] K.I. Kim, K. Jung, H. Kim, Texture-based approach for text detection in images using support vector machines and continuously adaptive mean shift algorithm, IEEE Transactions on Pattern Analysis and Matching Intelligence 25 (2003) 1631–1639.

[5] Louka Dlagnekov, “License Plate Detection Using AdaBoost”, Department for Computer Science & Engineering, La Jolla, CA 92093-0114.

[6] M. Lyu, J. Song, M. Cai, A Comprehensive Method for Multilingual Video Text Detection, Localization, and Extraction, IEEE Transactions on Circuits and Systems for Video Technology 15 (2005) 243–255.

[7] P. Viola, M. Jones, Rapid object detection using a boosted cascade of simple features, Conference on Computer Vision and Pattern Recognition (2001).

[8] P. Viola, M. Jones, Roust real-time face detection, International Journal of Computer Vision 57 (2004) 137–154.

[9] Q. Ye, Q. Huang, W. Gao, D. Zhao, Fast and robust text detection in images and video frames, Image and Vision Computing 23 (2005) 565–576.

[10] Q. Liu, C. Jung, S. Kim, Y. Moon, J. Kim, Stroke filter for text localization in video images, Proc. Int. Conf. Image Process. (2006) 1473–1476.

[11] Q. Liu, Ch. Jung, Y. Moon, Text Segmentation based on Stroke Filter, Proceedings of ACM international conference on Multimedia (2006) 129-132.

47

[12] R. Lienhart, A. Wernicke, Localizing and Segmenting Text in Images and Videos, IEEE Transactions on Circuits and Systems for Video Technology 12 (4) (2002) 256–268.

[13] R. Lienhart, J. Maydt, An extended set of haar-like features for rapid object detection, IEEE ICIP 1 (2002) 900–903.

[14] R. Lienhart, A. Kuranov, V. Pisarevsky, Empirical analysis of detection cascades of boosted classifiers for rapid object detection, MRL Technical Report (2002).

[15] T. Sato, T. Kanade, E. K. Hughes, M. A. Smith, Video OCR for digital news archive, Proc. IEEE Workshop on Content-Based Access of Image and Video Database (1998) 52–60.

[16] V. Wu, R. Manmatha, E.M. Riseman, Finding text in images, Proceedings of the second ACM international conference on Digital libraries (1997) 23–26.

[17] V. Wu, R. Manmatha, E. M. Riseman, Textfinder: An automatic system to detect and recognize text in images, IEEE Transactions on Pattern Analysis and Matching Intelligence 21 (11) (1999) 1224–1229.

48

附錄 A Stroke Filter 比較圖

附錄 A 中附加 50 張車牌原始 Stroke filter 以及 Fast Stroke Filter 比較圖 其中最上為輸入車牌，中間為原始 Stroke filter，最下為 Fast Stroke Filter

49