Top Banner
17 農業機械學刊 10 1 2001 3 以機器視覺分級文心蘭切花之研究 席友亮 1 ,李芳繁 2 1. 國立中興大學農業機械工程學系碩士 2. 國立中興大學農業機械工程學系教授,本文通訊作者 本研究之目的是使用機器視覺技術萃取文心蘭切花之特徵參數,以進行文心 蘭切花之分級。本文使用兩種方法對文心蘭切花進行分級。第一種方法係依據文 心蘭切花分級標準加以分級,所使用之分級參數有花部長、莖部長及分枝數。第 二種方法係使用類神經網路對切花分級,輸入網路的參數有花部投影面積、花部 邊界長度、花部長、莖部長、切花中間部分莖粗以及莖部底端莖粗。第一種分級 方法之分級結果與人工分級結果比較,相符的程度為 72%,而第二種分級方法之 分級結果與人工分級比較,相符程度為 79%關鍵詞:文心蘭、分級、機器視覺、類神經網路 ONCIDIUM CUT FLOWER GRADING WITH MACHINE VISION Yu-Liang Hsi 1 , Fang-Fan Lee 2 1. Former Graduate Student, Department of Agricultural Machinery Engineering, National Chung Hsing University. 2. Professor, Department of Agricultural Machinery Engineering, National Chung Hsing University, Corresponding Author. The objective of this study is to use digital image processing techniques to extract feature parameters of oncidium cut flowers for grading. Two methods were employed to grade the cut flowers. The first method utilized the length of the flower part, the length of the stem part, and the number of branches to grade the flowers according to the grading criteria of oncidium cut flowers. The second method used an artificial neural network to grade the cut flowers. The projected area of the flower part, the boundary length of the flower part, the length of the flower part, the length of the stem part, and the stem diameters of the cut flower in the middle as well as at the end of the stem were used as the grading input parameters to the neural network. The grading accuracy of the first method was 72% compared with manual grading results, while the grading accuracy was 79% for the second method. Keywords: Oncidium, Grading, Machine vision, Artificial neural network
14

以機器視覺分級文心蘭切花之研究agriauto.bime.ntu.edu.tw › printed › ciam › ciam10 › 10-1-2.pdf · 的。以游標卡尺量測36 朵盛開的文心蘭花朵...

May 30, 2020

Download

Documents

dariahiddleston
Welcome message from author
This document is posted to help you gain knowledge. Please leave a comment to let me know what you think about it! Share it to your friends and learn new things together.
Transcript
Page 1: 以機器視覺分級文心蘭切花之研究agriauto.bime.ntu.edu.tw › printed › ciam › ciam10 › 10-1-2.pdf · 的。以游標卡尺量測36 朵盛開的文心蘭花朵 之三種尺寸,分別為長、寬及深,各尺寸之

17農業機械學刊 第 10卷 第 1期 2001年 3月

以機器視覺分級文心蘭切花之研究

席友亮 1,李芳繁 2

1. 國立中興大學農業機械工程學系碩士

2. 國立中興大學農業機械工程學系教授,本文通訊作者

摘 要

本研究之目的是使用機器視覺技術萃取文心蘭切花之特徵參數,以進行文心

蘭切花之分級。本文使用兩種方法對文心蘭切花進行分級。第一種方法係依據文

心蘭切花分級標準加以分級,所使用之分級參數有花部長、莖部長及分枝數。第

二種方法係使用類神經網路對切花分級,輸入網路的參數有花部投影面積、花部

邊界長度、花部長、莖部長、切花中間部分莖粗以及莖部底端莖粗。第一種分級

方法之分級結果與人工分級結果比較,相符的程度為 72%,而第二種分級方法之

分級結果與人工分級比較,相符程度為 79%。

關鍵詞:文心蘭、分級、機器視覺、類神經網路

ONCIDIUM CUT FLOWER GRADING WITH MACHINE VISION

Yu-Liang Hsi 1, Fang-Fan Lee 2

1. Former Graduate Student, Department of Agricultural MachineryEngineering, National Chung Hsing University.

2. Professor, Department of Agricultural Machinery Engineering,National Chung Hsing University, Corresponding Author.

The objective of this study is to use digital image processing techniques toextract feature parameters of oncidium cut flowers for grading. Two methods wereemployed to grade the cut flowers. The first method utilized the length of the flowerpart, the length of the stem part, and the number of branches to grade the flowersaccording to the grading criteria of oncidium cut flowers. The second method usedan artificial neural network to grade the cut flowers. The projected area of the flowerpart, the boundary length of the flower part, the length of the flower part, the lengthof the stem part, and the stem diameters of the cut flower in the middle as well as atthe end of the stemwere used as the grading input parameters to the neural network.The grading accuracy of the first method was 72% compared with manual gradingresults, while the grading accuracy was 79% for the second method.

Keywords: Oncidium, Grading, Machine vision, Artificial neural network

Page 2: 以機器視覺分級文心蘭切花之研究agriauto.bime.ntu.edu.tw › printed › ciam › ciam10 › 10-1-2.pdf · 的。以游標卡尺量測36 朵盛開的文心蘭花朵 之三種尺寸,分別為長、寬及深,各尺寸之

18 農業機械學刊 第10卷 第1期 2001年3月

一、前 言

文心蘭( Oncidium spp. )為複莖地生蘭或著生

蘭,由於盛開時宛如一群少女婆娑起舞又稱跳舞

蘭,廣泛應用在西式插花。近年來在本省切花生

產占一席之地,且外銷美、日成功(林,1998),

以 1997 年為例,外銷日本估計有 450 萬支以上

(黃,1999),現為國內五大明星花卉產業之一。

近年來其生產面積的成長率達 30%,根據官方統

計其栽種面積約 160~170公頃,而在民間的非正

式統計其面積已超過 300公頃。文心蘭產期每年

以 9~ 11月為主,主要的產品為文心蘭切花占總

產量的四分之三,其外銷市場的需求量相當大,

日本為目前主要外銷市場(康與陳,1999)。

機器視覺能夠取得物體的外觀,再經由影像

處理技術的分析,便能得到物體的各種外形與顏

色的特徵,隨著影像處理技術的成熟與硬體設備

的進步,處理的過程更快速,結果也更準確,且

處理過程不與對象物接觸,不會造成產品的損傷

與污染,因此被廣泛的應用在農業上。(郭,

1996;Meyer et al., 1998;Wang et al., 1999;

Majumdar and Jayas, 1999;Paulus and Schrevens,

1999)。

類神經網路是一種模擬人類腦神經系統所架

構的網路,它具有自我學習的能力,適合在不是

很明確的條件下作最佳預測與判斷,被廣泛的應

用在各種領域。在農產品的分級上,經常將影像

處理的技術結合類神經網路,以影像處理代替人

的眼睛,以類神經網路取代人腦的判斷,若再結

合自動控制則可以完全的取代人工分級的作業。

因此有許多專家學者投入這方面的研究,希望藉

由影像處理與類神經網路的優越特性,達到農產

品分級或分類的自動化(黃,1995;楊與萬,

1996;李與蔡,1997;謝等人,1997;Ng et al.,

1998;Luo et al., 1999;Steinmetz et al., 1994)。

文心蘭的產量龐大,雖然已建立分級標準,

但目前仍舊以人工進行分級,不僅費時也需要大

量的勞力成本,且人工分級易受人為因素影響,

而使得等級不能一致,造成文心蘭切花品質無法

提昇。因此本研究擬以影像處理配合類神經網路

構成一套文心蘭切花分級系統,代替人工取得相

關的分級資訊,以判斷切花的等級。藉由這套文

心蘭切花分級系統提高文心蘭切花分級的準確性

及一致性,以期達到提高文心蘭切花品質、減低

生產成本的成效,提昇文心蘭切花在國際市場上

的競爭力。

本文之研究目的為:

發展求取文心蘭切花分級標準中三個主要參

數:花部長、莖部長與分枝數之方法,並找出

其他有利於類神經網路分級的特徵參數。

以分級標準的條件及類神經網路兩種方法分別

對文心蘭切花作等級的分辨判斷,並評估兩種

分級方法的分級能力。

二、實驗設備與材料

實驗設備

本研究所使用之設備如下:

1. 彩色 CCD攝影機

為 SONY 公司出品之 XC-711,其可輸出

NTSC複合彩色視訊與R、G、B視訊。攝影機

之鏡頭焦距為 8.5mm。

2. Matrox Corona 彩色影像擷取卡

本影像擷取卡可擷取NTSC/PAL、RGB及

一些非標準訊號的影像,CCD 所拍攝之影像

能即時顯示於電腦螢幕之視窗中,其具有 4M

bytes記憶體。擷取卡的使用是以 Visual Basic

或 C++程式語言透過MIL函式庫來控制。

3. 個人電腦( Pentium/ 133MHz )

撰寫 Visual Basic 6.0程式語言以控制影像

之擷取、處理與視窗介面之設計。使用 C++

程式語言撰寫程式進行類神經網路的訓練。

分析結果與撰寫報告,並於螢幕監控取像品

質及影像處理過程。

4. 翻拍燈架組

由取像平台、攝影機固定架、照明燈所

組成。攝影機固定架可調整上下距離與傾斜

角度。照明燈於翻拍架左右各一組,每組有

兩支長 60㎝的晝白色燈管。

5. 打光室

打光室長 135㎝、寬 96㎝、高 119㎝,以

木條為支架,打光室內壁貼上白色壁報紙,

Page 3: 以機器視覺分級文心蘭切花之研究agriauto.bime.ntu.edu.tw › printed › ciam › ciam10 › 10-1-2.pdf · 的。以游標卡尺量測36 朵盛開的文心蘭花朵 之三種尺寸,分別為長、寬及深,各尺寸之

19以機器視覺分級文心蘭切花之研究

使得打光室內之光線能夠均勻散射,而打光

室的外側則覆以黑色壁報紙,以防止外界光

線的干擾。打光室內放置翻拍燈架組,取像

時以黑色絨布鋪於平台上作為背景之用。

6. 照度計( TL-1 , MINOLTA )

量測範圍由 0至 20000 Lux。

實驗材料

本研究所使用之文心蘭切花購自台中市大坑

花卉產銷班,共 195枝,品種為南西(Onc. Gower

Remsey)是目前主要栽種的品種。在影像處理中

對象物的外形特徵為一重要的資訊,因此在取得

文心蘭切花後,便先以人工量取文心蘭切花各種

特徵尺寸:花部長度、莖部長度、分枝數,此外

亦量測分枝與主莖間的夾角與花朵之長、寬、深

的尺寸,分別敘述如下。

1. 分枝與主莖夾角

在文心蘭切花的分級作業中,最主要的

部份就是文心蘭切花的分枝判斷,除了分枝

的長度外,對分枝的判斷可能產生影響的就

是分枝與主莖夾角 (圖 1),因此在 26 枝文心

蘭切花的分枝中隨機選 65 枝分枝,量取這些

分枝與主莖之夾角,以作為實驗設計時參考

之依據。

分枝與主莖夾角的量測結果如圖 2所示,

其角度範圍大約從 35°±2.5°至 90°±2.5°,其中

分佈最多的角度約為 70°±2.5°其次約為 75°±

2.5°,平均則為 67.1°±2.5°。

2. 花朵之特徵尺寸

文心蘭的花朵遍佈於分枝與主莖上,且

數量多而密,這正是文心蘭受歡迎的特點之

一,但這項特點卻也造成影像處理上的困難,

因此對於文心蘭花朵外形尺寸的瞭解是必須

的。以游標卡尺量測 36 朵盛開的文心蘭花朵

之三種尺寸,分別為長、寬及深,各尺寸之

定義如圖 3所示。由量測結果可知文心蘭花朵

於盛開時其平均尺寸分別為長 37±2.0mm、寬

30.6 ±2.3 mm、深 26 ±2.9 mm。

三、研究方法

文心蘭切花之分級標準

文心蘭切花品質的分級標準依據花莖長度、

分枝數、花莖粗細、挺直與否、有無損傷等因子

圖 1 文心蘭切花示意圖

Fig.1 Schematic diagram of the oncidiumcut flowers

圖 2 文心蘭切花之分枝與主莖夾角量測結果

Fig.2 Histogram of the measured angles betweenthe main stem and branches

圖 3 文心蘭花朵尺寸定義圖

Fig.3 The definition of dimensions of the cutflowers

Angles between the main stem and branches

Page 4: 以機器視覺分級文心蘭切花之研究agriauto.bime.ntu.edu.tw › printed › ciam › ciam10 › 10-1-2.pdf · 的。以游標卡尺量測36 朵盛開的文心蘭花朵 之三種尺寸,分別為長、寬及深,各尺寸之

20 農業機械學刊 第10卷 第1期 2001年3月

來決定(林,1998),通常依照不同消費市場的

需求其分級的標準亦略有不同。近年來台灣文心

蘭的大宗消費市場為日本,依照日本市場的需

求,其重視的為花莖長度及分枝數兩因子。依據

台北花卉產銷股份有限公司訂定之分級標準分為

A、B、C三級,但是分成A、B、C級容易令人產

生各等級間有品質優劣的差異,而實際上各等級

間只是大小的不同而已,因此較恰當的分級則是

分為 4L、3L、2L、L四級(黃,1999),其中 4L

相當於 A 級、3L 相當於 B 級、2L 相當於 C 級、

其它的則列為L級,其詳細分級標準列於表一。

本研究以此分級標準為依據,亦即以花部長度、

莖部長度與分枝數作為判斷文心蘭切花等級的條

件。

在分枝數的判斷上,根據文心蘭栽培管理及

採後處理推廣手冊(黃,1999)中提及的分枝長

度,即長度需大於 15cm 才視之為一個分枝,且

經由觀察得知從分枝基部到第 10 朵花的長度亦

接近 15cm,因此本研究採用 15cm 為判斷分枝是

否成立的門閥值。

本研究自產銷班取得的文心蘭切花共 195枝,

經人工分級的結果為 4L級 54枝切花、3L級 53枝

切花、2L級 62枝切花、L級 26枝切花。

影像擷取

文心蘭切花的長度相當長,若一幅影像要包

含完整的文心蘭切花,會使得文心蘭切花的影像

因為組成的像素點數太少而降低影像處理的準確

性。因此本研究對一枝文心蘭切花取兩幅影像,

一幅為花部影像用來判斷分枝數、花部長、花部

面積與花部邊界;另一幅為莖部影像用來判斷莖

部長與莖粗。

文心蘭切花長度特徵擷取

在文心蘭切花的分級上,長度是一個重要的

決定因素,而長度又分為花部長和莖部長兩部

份,此兩部份的分界位置是由莖部底端算起的第

一個分叉點,因為由第一個分叉點開始再繼續往

上即為花部,所以將第一個分叉點稱為花部起始

點。要計算花部與莖部長就必須先找出花部起始

點的位置。

1. 花部起始點搜尋

本研究所擷取的影像是文心蘭切花的平

躺影像,花部的頂端位於影像平面的左側,

莖部則位於影像平面的右側。花部起始點的

搜尋判斷使用方框判斷法。

此方法由右至左沿著主莖影像上緣邊界

搜索,當檢測到莖粗大於 8個像素點時可能為

表 1 文心蘭切花分級標準(黃,1999)

Table 1 Grading criteria of the oncidium cut flowers

樣本整理

取得文心蘭切花後,為避免切花長時間的置

放產生枯萎或損傷,所以第一個步驟即是將切花

逐一編號並立即取像,以使得影像中切花的狀況

與分級場相同。接下來則是以人工量測並記錄每

枝文心蘭切花的花部長、莖部長以及分枝數,在

分枝數的判斷上,只有長度大於 15cm 的分枝才

被計算。而在切花的等級部分,係以實際量測的

花部長、莖部長與分枝數依照分級標準加以分

級。圖 4係不同等級的文心蘭切花。

圖 4 不同等級的文心蘭切花

Fig.4 Oncidium cut flowers of different grades

Page 5: 以機器視覺分級文心蘭切花之研究agriauto.bime.ntu.edu.tw › printed › ciam › ciam10 › 10-1-2.pdf · 的。以游標卡尺量測36 朵盛開的文心蘭花朵 之三種尺寸,分別為長、寬及深,各尺寸之

21以機器視覺分級文心蘭切花之研究

花部起始點,為了確認是否為花部起始點所

以先以一 25×25的虛擬方框作檢視,此方框是

以初步假設的花部起始點( x , y )為中心其四個

角座標分別為( x , y+12 )、( x , y– 12 )、( x +12

, y )、( x– 12 , y )。沿著方框的邊緣檢視像素

點,若像素點由背景灰階進入物體灰階達三

次以上表示此處可能有分叉;若在方框邊緣

上當背景灰階進入物體灰階一直到離開物體

灰階進入背景灰階之間超過 24 個像素點則此

處可能是花朵的影像,上述兩種狀況皆判定

( x , y )可能為花部起始點。為了再進一步確

認,以一個 49×49的虛擬方框再做一次檢視的

動作,同樣的當通過方框邊緣的像素點由背

景灰階進入物體灰階達三次以上或在方框邊

緣上背景灰階進入物體灰階一直到離開物體

灰階進入背景灰階之間超過 24 個像素點,則

確認( x , y )為花部起始點。

2. 花部端點與莖部端點

已知花部起始點的座標,若要計算花部

長尚需要花部左端點的座標;若要計算莖部

長則需要莖部的起點也就是切花的切口處座

標。根據觀察在花部影像中切花影像最左的

像素點即為花部左端點,因此只需從影像平

面之最左上點開始由左而右、由上而下逐點

檢視找到第一個屬於切花影像的像素點所在

的 x座標,則花部的端點即位於此 x座標 y方

向上的某一點。因為在此 x座標的 y方向上花

部端點的組成像素點可能不只一點;又為了

避免在此 x座標 y方向有除了花部端點以外的

影像像素點存在造成誤判,所以在程式判斷

上會取此 x座標 y方向所偵測到的第一個切花

影像像素點與最後一個切花影像像素點的中

間點作為花部端點。而莖部的端點則是對莖

部影像作掃描,掃描方向是自影像平面最右

上點開始由右而左、由上而下,與搜尋花部

端點同樣的方法,以搜尋到的第一個像素點

和同 x座標 y方向的最後一個像素點之中間點

為莖部端點。

3. 花部長與莖部長的計算

分別對花部影像與莖部影像求得花部起

始點,並對花部影像求得花部端點以及對莖

部影像求得莖部端點,即可計算出花部長與

莖部長。

分枝數的計算

在目前文心蘭切花的分級標準中,花部長、

莖部長及分枝數為最主要的三大因子。在分枝數

的計算上,因為文心蘭切花的分枝上花朵甚多,

影像較複雜而無法以基礎的影像處理技術直接求

出分枝數,因此設計了下述計算分枝數的方法,

依照方法流程說明如下:

1. 求近似主莖

文心蘭切花的主要結構就是由主莖與分

枝所構成,由於分枝是由主莖分生出去,所

圖 5 方框判斷法示意圖

Fig.5 Schematic diagram of the frame judging method

Page 6: 以機器視覺分級文心蘭切花之研究agriauto.bime.ntu.edu.tw › printed › ciam › ciam10 › 10-1-2.pdf · 的。以游標卡尺量測36 朵盛開的文心蘭花朵 之三種尺寸,分別為長、寬及深,各尺寸之

22 農業機械學刊 第10卷 第1期 2001年3月

以必須分辨出主莖才能有效計算分枝數。但

要判斷出主莖並非易事,原因在於從花部開

始不論是主莖或分枝上皆長滿花朵,造成花

朵影像各種形狀的相連,甚至覆蓋在分叉節

點上,使得各種搜尋主莖的方法無法使用。

本實驗曾嚐試將花朵與主莖分離,但文心蘭

切花無論是 RGB 系統或 HSI 系統在其花朵上

與莖上的分佈有相當高的重疊性,因此無法

以顏色或亮度作花與莖的分離。若以外形的

差異來分離花與莖雖有較好的效果,但事實

上花朵覆蓋了太多的莖部,即使將花朵與莖

分離,所分離出來的莖亦無助於分枝的計算。

因為無法找出實際的主莖,所以改求近

似主莖的直線。在此所使用的方法為最小平

方法( least squares method ) (梁,1998)。最小

平方法即是在x-y平面中找出能代表各座標點

的一條直線,其計算直線斜率 1與直線截距 0

之公式如下:

1 =

| |

|

2(1)

0=

|

1

|

(2)

其中

=第 i個座標點之 x值

=第 i個座標點之 y值|

=所有座標點 x值的平均值|

=所有座標點 y值的平均值

因為文心蘭之分枝大多位於主莖之兩側

呈扁平而對稱分佈,且文心蘭切花在影像平

面的擺放方向為橫向(x方向),故在影像平

面上的 x 方向每隔一段間隔便在 y 方向作掃

描,每當掃描通過切花影像時則記錄該段影

像的中點位置座標。將所有掃描到的中點座

標代入式 與式 中即可求得近似主莖的直

線。觀察發現文心蘭切花其分枝通常較集中

在影像平面的中段區域,影像平面的左右兩

側則為主莖影像占大部份,而通過分枝所掃

描到的點距離主莖較遠,其對最小平方法估

計的直線之準確度也有較高的負面影響,故

為了使最小平方法所求出的直線能更近似主

莖,所以在影像平面的 x方向左右各三分之一

區域內每隔 10 行讀取一行的資料,使得代表

主莖的資料點較多;而在中間三分之一的區

域每隔 40 行讀取一行的資料,使得掃描到的

資料點較少,對近似直線的影響也較小。

2. 刪除主莖區域

因為主莖與分枝的相連造成計算分枝數

的不便,若將主莖影像去除則剩下的分枝影

像將會形成各自獨立的影像區塊。在理論上

每一個影像區塊即代表一枝分枝,因此利用

標記法即可將各個影像區塊標記起來並計算

區塊的數量。

依據上述之理論,必須將主莖影像的部

份刪除。現在已經求得近似主莖的直線,但

刪除此近似直線並不等於刪除主莖。其次,

因為主莖上的花朵影像所佔面積頗大,造成

與分枝影像相連或覆蓋的情形,使得即使準

確的刪除了主莖影像,各分枝亦會因長在主

莖上的花朵影像而相連,無法達到各分枝影

像獨立的目的,因此必須將主莖影像連同主

莖上的花朵影像一併刪除。

在所量測之花朵樣本中,長、寬、深三個外

形尺寸最大的為長 42mm,因此以近似主莖直

線為基準線,將距離基準線上下各 42mm之內

的影像刪除,在理論上即可將主莖影像與其

上之花朵影像除去,而使得各分枝影像能成

為獨立的影像區塊。

3. 分枝長度計算

在分級標準中提到分枝的長度要大於 15cm

才能算是一枝分枝,因此將計算經由上述步

驟所得到的局部分枝影像長度。此長度的計

算是從分枝影像的切斷部位到分枝頂點間的

直線距離,因為分枝皆朝向文心蘭頂端的方

向生長,也就是在影像平面上朝左的方向,

所以在影像平面中位於主莖上方的分枝影像

取其影像區塊之最左點的xmin座標與最上點的

ymin座標組合為( xmin , ymin )做為分枝的頂點;

位於主莖下方的分枝影像則取其最左點的xmin

座標與最下點的 ymax座標組合為(xmin , ymax)做

為分枝的頂點。而在分枝切斷的部份則以影

像區塊在切斷線上連續像素點的中間點為代

表,將分枝頂點與切斷線上像素點之中間點

Page 7: 以機器視覺分級文心蘭切花之研究agriauto.bime.ntu.edu.tw › printed › ciam › ciam10 › 10-1-2.pdf · 的。以游標卡尺量測36 朵盛開的文心蘭花朵 之三種尺寸,分別為長、寬及深,各尺寸之

23以機器視覺分級文心蘭切花之研究

相連,所得到之直線長度代表分枝與主莖區

域分離後剩下的長度,此長度加上分枝被刪

除部份之長度,即可得到分枝之長度。圖 6為

分枝位於主莖上方的情況下,影像區塊長度

示意圖。

4. 分枝數的計算

理論上綜合上述方法即可計算文心蘭切

花之分枝數,然而實際上分枝部份的影像常

常因為分枝與主莖的夾角或分枝彼此間花朵

的接觸與重疊,造成多枝分枝在影像上的相

連,也就是說在去除主莖部份影像後剩下來

的各個影像區塊可能不僅僅由一枝分枝所形

成,因此必須再針對各個影像區塊加以判斷

其由多少分枝所組成,再將每個影像區塊的

組成分枝數相加即得到文心蘭切花的總分枝

數。本研究使用類神經網路作為判斷影像區

塊中分枝數的方法。

輸入參數

用來判斷分枝影像區塊的分枝組成數

的參數項目有 4 項,分別為分枝影像區塊

的面積、分枝影像區塊的長度、此區塊中

莖影像所佔的面積以及影像區塊切斷緣最

左到最右的距離。其中區塊中莖影像所佔

的面積求法是以水平方向對影像區塊作掃

描,當掃描到的影像寬度小於 8 pixels時便

假設為莖的影像並記錄像素點數,將影像

區塊中所有符合條件的像素點數相加即為

區塊中莖影像所佔的面積。此 4 項參數在

輸入類神經網路之前先進行正規化。

類神經網路的輸出

經觀察發現,分枝影像區塊的組成分

枝數由 1枝到 6枝不等,因此使用 6個輸出

節點。雖然 3 個輸出節點的組合即可以代

表分枝影像區塊 6 種不同的組成情形,但

以 6 個輸出節點各自代表一個組成情形,

能增加各輸出節點間的獨立性,避免輸出

節點間的混淆,以提昇分級結果的正確性。

類神經網路的訓練與測試

本研究從 150 枝文心蘭切花中選取 45

枝切花作為訓練樣本,取得 45枝切花的各

個分枝影像區塊的四個網路輸入參數,並

以人工判斷每個分枝影像區塊的組成分枝

數作為期望輸出,藉由誤差倒傳遞學習法

則重覆的演算修正,直到網路的輸出與期

望輸出之誤差收斂至限定值內即完成訓練。

再以其餘的 105 枝文心蘭切花作測試,選

擇較佳的網路模式作為本分級系統判斷分

枝數之單元。

切花等級的判斷

在本研究中對切花等級的判斷採用兩種方

法,一種是依照文心蘭切花的分級標準予以分

級;另一種方法則是以類神經網路直接進行切花

等級的判斷。此兩種分級方法之流程如圖 7 所

示。下面對這兩種方法加以說明:

1. 依分級標準分級

依前述的方法可以求出一枝文心蘭切花

的花部長、莖部長以及分枝數,因此即可依

照文心蘭切花的分級標準來判斷切花的等級。

首先分別將花部長、莖部長以及分枝數等三

個分級參數與 4L等級的標準做比對,當三個

參數皆符合 4L等級的標準則將此切花判定為

4L等級,若有任一個參數不符合 4L等級的標

準則與 3L等級的標準做比對;同樣的當三個

參數皆符合 3L等級的標準則將此切花判定為

3L等級,若有任一個參數不符合 3L的標準則

與 2L等級的標準做比對;當三個參數皆符合

2L等級的標準則將此切花判定為 2L等級,倘

若任一分級參數不符合 2L等級的標準,則將

此切花判斷為 L等級。

圖 6 主莖上方分枝影像區塊長度示意圖

Fig.6 Length of the image blob of branch above thestem

Page 8: 以機器視覺分級文心蘭切花之研究agriauto.bime.ntu.edu.tw › printed › ciam › ciam10 › 10-1-2.pdf · 的。以游標卡尺量測36 朵盛開的文心蘭花朵 之三種尺寸,分別為長、寬及深,各尺寸之

24 農業機械學刊 第10卷 第1期 2001年3月

2. 以類神經網路分級

因為文心蘭切花的正確分枝數不易得到,

因此嘗試將文心蘭切花的一些特徵描述(不

含分枝數)當作類神經網路的輸入參數,來

對切花進行分級。

輸入參數

用來判斷切花等級的輸入參數分別為花部

的投影面積、花部的邊界總長、花部長、

莖部長、切花中間部分莖粗以及切花底端

莖粗共 6 項。其中花部邊界總長是以切花

花部影像與背景影像相鄰的所有像素點數

來計算。而切花中間部分莖粗是以莖部影

像的花部起始點往右每 20 pixels 的間隔取

一次莖粗,共取 3 處莖粗再加以平均。切

花底端莖粗則是以莖部端點往左每 20 pixels

的間隔取一次莖粗,共取 3 處莖粗再加以

平均。此 6項參數均經正規化。

類神經網路的訓練與測試

在以類神經網路分級切花的試驗中,

訓練樣本的選取是從各等級中隨機挑選一

半的數量,未被選到的切花則當作測試樣

本,因此 195 枝文心蘭切花被分為訓練樣

本 98枝切花,測試樣本 97枝切花。取得訓

練樣本的 6項參數輸入類神經網路中訓練,

當類神經網路收斂後再以測試樣本進行測

試,選擇分級結果較佳的模式為判斷切花

等級的類神經網路。

四、結果與討論

花部起始點搜尋結果

花部起始點為計算花部長與莖部長的重要關

鍵點。本研究使用方框判斷法搜尋花部起始點,

方框判斷法以通過方框邊緣的物體影像數與通過

方框的連續像素點數為判斷條件,因此不受分枝

與主莖之夾角及莖部彎曲的影響。利用方框判斷

法對 195枝文心蘭切花的花部影像與莖部影像共

390幅影像作花部起始點的搜尋,皆無誤判情形。

圖 8上之白線係連接花部起始點與花部影像端點

之線條,此線條之長度即為花部長。圖 9上之白

線則為連接花部起始點與莖部端點之線條,此線

條之長度即為莖部長。

求近似主莖之結果

近似主莖的取得是整個分枝計算的第一個步

驟,如果所求出來的近似主莖與實際的主莖差異

太大,將使得後續的處理產生更大的誤差。在本

文中以最小平方法求文心蘭切花的近似主莖,發

現此法所求出的近似主莖直線皆非常接近真正的

主莖,因此大多能代表主莖的形態與擺放的角

度,圖 10a 中白色實線即為最小平方法所求出的

近似主莖直線。有少數的切花因為花部的主莖過

於彎曲,以致於彎曲部分的主莖離近似主莖直線

圖 7 文心蘭切花分級影像處理流程圖

Fig.7 Image processing flow chart for oncidium cutflowers grading

Page 9: 以機器視覺分級文心蘭切花之研究agriauto.bime.ntu.edu.tw › printed › ciam › ciam10 › 10-1-2.pdf · 的。以游標卡尺量測36 朵盛開的文心蘭花朵 之三種尺寸,分別為長、寬及深,各尺寸之

25以機器視覺分級文心蘭切花之研究

較遠,影響之後的處理與判斷,但此種在花部主

莖部分彎曲的情況並不多,圖 11a為其一例。

刪除主莖區域之結果

為了使文心蘭切花上的各分枝能夠各自成為

獨立的影像區塊,因此必須刪除主莖兩側各 42mm

內的區域,以便將主莖影像與主莖上的花朵影像

去除。能否正確且完全地刪除主莖區域的關鍵主

要在於近似主莖的準確性,如前所述,近似主莖

的準確性相當高,因此刪除主莖區域的成功率也

高,圖 10a 與圖 10b 分別為一枝文心蘭切花刪除

主莖區域前與刪除主莖區域後之影像,經由圖 10b

可以明顯發現刪除主莖區域後便能產生數個獨立

的分枝影像區塊。但亦有少部分的例外,即有些

情況下無法完全的刪除主莖區域,其原因正是因

為花部主莖過於彎曲以致於超出了刪除範圍,如

圖 11b所示。

分枝數的判斷結果

文心蘭切花的分枝往往因為花朵或分枝與主

莖之夾角的關係,使得影像中分枝影像有相連的

情形,致使刪除主莖區域後所剩下來的分枝影像

區塊可能含有一枝以上的分枝,如圖 11b 所示。

因此藉由類神經網路的訓練程序學習判斷影像區

塊所含的分枝數,並對測試樣本進行測試,瞭解

類神經網路對分枝數的判斷能力。

圖 9 連接花部起始點與莖部端點之線條

Fig.9 Line connected the starting point of theflower part and the end point of the stem part

圖 8 連接花部起始點與花部端點之線條

Fig.8 Line connected the starting point and endpoint of the flower part

圖 10b 將圖 10a 之影像刪除主莖區域後之結果

Fig.10b The image obtained after deleting thestem area from Fig.10a

圖 10a 文心蘭切花影像及其近似主莖

Fig.10a Oncidium cut flower and its approximatedstem

Page 10: 以機器視覺分級文心蘭切花之研究agriauto.bime.ntu.edu.tw › printed › ciam › ciam10 › 10-1-2.pdf · 的。以游標卡尺量測36 朵盛開的文心蘭花朵 之三種尺寸,分別為長、寬及深,各尺寸之

26 農業機械學刊 第10卷 第1期 2001年3月

從 45枝文心蘭切花中取得 112個分枝影像區

塊作為訓練樣本,將分枝影像區塊的面積、分枝

影像區塊的長度、此區塊中莖影像所佔的面積以

及影像區塊切斷緣最左到最右的距離四項參數正

規化後輸入神經網路中進行訓練。訓練完成後再

從另外的 105 枝文心蘭切花中取出 293 個分枝影

像區塊作測試。經過多次的試驗得到判斷影像區

塊組成分枝數效果較佳的網路模式,其判斷成功

率為 60%,訓練次數約為 255000次。

在訓練的過程中常常會遇到無法收斂的情

形,影響收斂的原因有初始權值的設定、學習常

數的設定、動量項的設定、隱藏層節點數等原

因。有時不適當的初始權值會使得類神經網路的

收斂誤差落入局部的最小值,使得類神經網路的

訓練無法收斂。在本研究中類神經網路的初始權

值是由程式隨機產生,當遇到此種無法收斂的情

形時則重新訓練以產生新的初始權值。

學習常數與動量項的大小會影響收斂誤差的

振盪現象與收斂速度,學習常數與動量項適當的

配合才能使網路的訓練更平穩快速,因此在試驗

中必須觀察神經網路的收斂情形,將學習常數與

動量項調至適當的大小,就本實驗的經驗得知學

習常數為 0.1,動量項為 0.3時,收斂狀況良好。

而隱藏層節點數的多寡決定類神經網路計算的複

雜程度,節點數愈多計算愈複雜,所需的時間也

愈長,但若節點數太少亦會造成無法收斂,因此

必須經由多次的試驗以選出較適當的隱藏層節點

數,在所試驗的隱藏層節點數中,節點數為 10

個、11 個或 12 個時網路均會收斂,而以節點數

為 12個時分枝數的判斷結果較佳。

分級結果分析

1. 依分級標準分級之結果

對 150 枝文心蘭切花以程式進行分級測

試,並將程式分級結果與人工分級結果作比

較,以評估程式分級的能力與效益。測試結

果顯示程式所判斷的文心蘭切花等級與人工

分級的結果相符程度為 72 %,分級一枝文心

蘭切花所需的時間約為 2.2秒(包含影像處理

與顯示影像所需的時間)。

表 2所示為程式判斷各等級切花的結果,

可以明顯地看出誤判的結果大多發生在相鄰

的等級。因為文心蘭切花的分級標準中各個

等級的分級條件是相銜接的且條件範圍很小,

所以容易產生相鄰等級的誤判。以分枝數的

計算為例,多計算了一枝分枝或少計算了一

枝分枝皆有可能改變等級判斷的結果,且在

人工分級時若切花的分級特徵接近分級條件

的交界邊緣時,則被分到較高或較低的等級

皆有可能。

如圖 12所示在誤判等級的 42枝文心蘭切

花中,有 64% 的切花誤判原因為程式計算的

分枝數不足,佔了相當高的比例,顯示分枝

數的計算結果有偏低的情形。此外尚有 5%的

切花是程式計算的分枝數與長度皆不足,以

及 10% 的切花是程式將分枝數計算的過多,

圖 11a 主莖彎曲之文心蘭切花及其近似主莖

Fig.11a Oncidium cut flower with a bending stemand its approximated stem

圖 11b 對圖 11a 影像刪除主莖區域之結果

Fig.11b The image obtained after deleting thestem area from Fig.11a

Page 11: 以機器視覺分級文心蘭切花之研究agriauto.bime.ntu.edu.tw › printed › ciam › ciam10 › 10-1-2.pdf · 的。以游標卡尺量測36 朵盛開的文心蘭花朵 之三種尺寸,分別為長、寬及深,各尺寸之

27以機器視覺分級文心蘭切花之研究

這些都是因為分枝數的計算錯誤使得切花的

等級誤判。造成分枝數計算錯誤的原因有下

列幾點:

在每個分枝影像區塊僅由一枝分枝組成的

情況下,程式對分枝數的計算準確度相當

高。若是由兩枝以上的分枝相連所產生的

分枝影像區塊,在類神經網路的判斷上便

容易產生錯誤,通常誤判的分枝數為±1

枝,雖然誤差僅一枝或兩枝分枝卻會影響

整個文心蘭切花等級的判斷結果。

在人工分級時,量測誤差對程式分枝數計

算的正確率也有很大的影響。在一般文心

蘭切花分級場裡對分枝的數目計算,全憑

分級者的肉眼來判斷,對於分枝的長度是

否符合計算的標準是由個人的感覺而定,

如此相當的不客觀。因此本研究在作文心

蘭樣本處理時是以尺來量分枝的長度,分

枝長度超過 15cm才記入分枝數中。但文心

蘭是生長形狀變化大的生物體,在量測中

難免會有誤差產生,且長度不滿 15cm但相

當接近 15cm的分枝也相當多。因此以這樣

人工量測的等級作為標準來與程式判斷的

等級相比較,自然在等級判斷的成功率上

會有較負面的影響。

雖然文心蘭切花的分枝生長趨勢是朝文心

蘭主莖兩側生長,形成扁平的形狀。但有

少部分切花的某些分枝生長方向可能會與

影像平面有較大的角度,這種情況的分枝

其投影位置會很接近主莖的影像。另一種

情況是分枝雖然是以扁平方向生長,但分

枝與主莖之夾角很小。這兩種情況的分枝

影像皆可能因為非常接近主莖影像而在刪

除主莖區域的處理中被刪除,所以就無法

被計入分枝數中,但此種情形較少發生,

這兩種分枝約佔總分枝數的 5%。

在花部長度與莖部長度方面,程式計

算的花部或莖部長度不足導致等級錯誤者

所佔的比例高達 19%,計算結果太長而導

致等級錯誤者佔 2%,而同時因為分枝與長

度的計算錯誤而造成等級誤判的有 5%,故

表 2 文心蘭切花依照分級標準分級之結果

Table 2 Grading results of the cut flowers according to the grading criteria

圖 12 文心蘭等級誤判原因與比例

Fig.12 Reasons and percentages of misclassifica-tion

Page 12: 以機器視覺分級文心蘭切花之研究agriauto.bime.ntu.edu.tw › printed › ciam › ciam10 › 10-1-2.pdf · 的。以游標卡尺量測36 朵盛開的文心蘭花朵 之三種尺寸,分別為長、寬及深,各尺寸之

28 農業機械學刊 第10卷 第1期 2001年3月

因為長度的計算錯誤而導致等級誤判的原

因總共佔了所有錯誤原因中的 26%。之所

以造成花部長與莖部長計算錯誤的原因除

了影像處理本身計算的誤差外,最主要的

原因是在於人為因素。因為文心蘭切花的

主莖並非長的非常筆直,因此會有彎曲或

主莖的兩端點翹起的情形。若擺放文心蘭

切花時端點的彎曲是朝下時,受到切花本

身重量往下壓的結果切花會向兩端伸長,

造成兩端點到花部起始點的距離較彎曲朝

上時的距離長。因此若取像時切花的擺放

與人工量測長度時的擺放情形不同時,便

會造成兩者在長度上的差異。人工量測時

手對切花的下壓力量皆會影響所量測的長

度值。

經由影像分析所計算出的花部長相對

於人工量測的花部長其平均誤差為 1.78cm,

相對誤差為 3.31%,而莖部長的平均誤差為

0.87 cm,相對誤差為 2.16%。此二部位之長

度,經人工量測與影像分析計算之結果亦

顯示於圖 13與圖 14。花部長誤差較大的原

因是因為花部的主莖較細而軟,容易因為

切花擺放的方式與人工量測的力道而改變

花部端點到花部起始點的距離;而莖部則

因為主莖較粗受力時變形較小,所以取像

或人工量測時莖部長的變化較輕微。

2. 以類神經網路分級之結果

將 98 枝訓練樣本的花部投影面積、花部

邊界總長、花部長、莖部長、切花中間部分

莖粗以及切花底端莖粗等 6項參數輸入類神經

網路中做訓練,訓練完後再以 97 枝文心蘭切

花做分級的測試。經由多次的試驗比較得到

判斷文心蘭切花等級效果較佳的網路模式,

此類神經網路具有一層隱藏層,9個隱藏層節

點及 4個輸出節點。在所嘗試的隱藏層節點數

中,當使用 5個、7個、9個、10個或 14個隱

藏層節點時網路均會收斂,而以節點數為 9個

時對切花的分級效果較好。至於輸出節點的

個數,因為網路的輸出為切花的等級,而切

花共分四級,所以輸出節點的個數設定為 4

個。此效果較佳的網路模式對文心蘭切花等

級的判斷與人工分級相符程度為 79 %,訓練

次數約為 1708 次,分級一枝切花所需的時間

約為 2.1秒(包含影像處理與顯示影像所需的

時間)。

表 3為經由類神經網路所得到的各等級切

花之判斷結果,其中 4L、3L與 2L等級的正確

率皆達到 80 %以上,相較之下 L 等級的切花

判斷正確率卻偏低,主要原因可能是因為L等

級與 2L等級的外型特徵非常接近,畢竟 L等

級本身並無明確的分級條件,而是只要不屬

於前三個等級者皆歸類為L等級。此外,L等

圖 13 人工量測與影像分析所得花部長之比較

Fig.13 Manual measured lengths versus imageanalysis measured lengths of the flowerparts

圖 14 人工量測與影像分析所得莖部長之比較

Fig.14 Manual measured lengths versus imageanalysis measured lengths of the stemparts

Page 13: 以機器視覺分級文心蘭切花之研究agriauto.bime.ntu.edu.tw › printed › ciam › ciam10 › 10-1-2.pdf · 的。以游標卡尺量測36 朵盛開的文心蘭花朵 之三種尺寸,分別為長、寬及深,各尺寸之

29以機器視覺分級文心蘭切花之研究

級的訓練樣本數較其它等級的訓練樣本少,

也可能影響網路對L等級的判斷,因為L等級

的訓練樣本較少時會使得類神經網路對 L 等

級的訓練較不完全。

3. 兩種分級結果之比較

整體而言以類神經網路判斷切花等級之

正確率較以切花分級標準判斷之正確率高且

處理時間略短。以切花分級標準來判斷切花

等級的方法之所以正確率較低,主要在於分

枝數難以判斷使得分枝數誤差較大,連帶影

響分級的正確;以類神經網路判斷切花等級

時因為不需計算實際的分枝數,而是以花部

面積、花部邊界長、花部長、莖部長、莖粗

等切花整體特徵來作為分級的考量,所以不

受分枝數誤判的影響。而在處理時間上,以

類神經網路判斷等級的方法因為省去了判斷

分枝數的繁瑣步驟,使得處理一枝切花的速

度大約比依分級標準判斷等級的方法快了 0.1

秒。

五、結 論

目前文心蘭切花都是由人工分級,分級方式

多是憑分級人員目測與經驗來判斷切花等級,不

僅準確性差也容易受個人的主觀意識影響,造成

各等級切花品質不一的情形。且人工分級時繁複

的動作亦容易對文心蘭切花造成傷害,因而減低

文心蘭切花的觀賞價值與瓶插壽命。因此將文心

蘭切花分級作業自動化是有絕對的必要性。

本研究使用兩種方法對文心蘭切花進行分

級。第一種方法係依照文心蘭切花之分級標準分

級,第二種方法係使用文心蘭切花的一些特徵

值,以類神經網路來分級。前一個方法是就切花

的花部長、莖部長及分枝數加以判斷,將切花分

級。其中分枝數係使用類神經網路對去除切花主

莖後之切花影像加以判斷而獲得的。因為分枝常

互相重疊,正確的分枝數不易得到,因此第二種

分級方法不使用分枝數做為分級參數。第二種方

法所使用之類神經網路具有一層隱藏層,輸入的

參數為花部投影面積、花部邊界總長、花部長、

莖部長、中間部分莖粗以及莖部底端莖粗。第一

種方法之分級結果與人工分級結果比較,相符程

度為 72%,而第二種方法之相符程度則為 79%。

六、參考文獻

1. 李芳繁、蔡玉芬。1997。以機器視覺與類神經

網路分級玫瑰切花之研究。農業機械學刊 6

(1): 57-69。

2. 林瑞松。1998。文心蘭─高屏地區重要花卉專

輯。台灣花卉園藝 135:30-33。

3. 梁方中。1998。統計學─觀念與方法。第三

版,557-562。台中:滄海書局。

表 3 文心蘭切花以類神經網路分級之結果

Table 3 Grading results of the cut flowers by artificial neural network

Page 14: 以機器視覺分級文心蘭切花之研究agriauto.bime.ntu.edu.tw › printed › ciam › ciam10 › 10-1-2.pdf · 的。以游標卡尺量測36 朵盛開的文心蘭花朵 之三種尺寸,分別為長、寬及深,各尺寸之

30 農業機械學刊 第10卷 第1期 2001年3月

4. 黃肇家。1999。目前文心蘭切花之採後處理。

出自〝文心蘭栽培管理及採後處理〞,65-75。

屏東:國立屏東科技大學農業推廣委員會。

5. 黃膺任。1995。使用影像處理與類神經網路分

級胡蘿蔔之研究。碩士論文。台中:國立中

興大學農業機械工程學系。

6. 康志忠、陳加忠。1999。文心蘭採收後處理過

程之改善與規劃。台灣花卉園藝 147:8-13。

7. 郭文杰。1996。甘藍苗品質相關外觀性狀之影

像量測系統。碩士論文。台北:國立台灣大

學農業機械工程學研究所。

8. 楊智超、萬一怒。1996。應用類神經網路判定

糙米品質之研究。出自〝八十五年度農機論

文發表會論文摘要集〞,65-66。台北:中華

農業機械學會。

9. 謝清祿、鄭聖夫、林達德。1997。應用影像紋

理分析及類神經網路辨識甘藍種苗之生長階

段。農業機械學刊 6 (2): 1-13。

10. Gonzalez, R. C. and R. E. Woods. 1992. Digital

Image Processing. New York: Addison-Wesley

Publishing Company.

11. Luo, X., D. S. Jayas and S. J. Symons. 1999.

Comparison of statistical and neural network

methods for classifying cereal grains using

machine vision. Transactions of the ASAE 42 (2):

413-419.

12. Majumdar, S. and D. S. Jayas. 1999. Classification

of bulk samples of cereal grains using machine

vision. J. Agric. Engng Res. 73: 35-47.

13.Meyer, G. E., T. Mehta, M. F. Kocher, D. A.

Mortensen and A. Samal. 1998. Textural imaging

and discriminant analysis for distinguishing weeds

for spot spraying. Transactions of the ASAE 41(4):

1189-1197.

14. Ng, H. F., W. F. Wilche, R. V. Morey and J. P. Lang.

1998. Machine vision evaluation of corn kernel

mechanical and mold damage. Transactions of the

ASAE 41 (1): 415-420.

15. Paulus, I. and E. Schrevens. 1999. Shape

characterization of new apple cultivars by Fourier

expansion of digitized images. J. Agric. Engng

Res. 72: 113-118.

16. Steinmetz, V., M. J. Delwiche, D. K. Giles and R.

Evans. 1994. Sorting cut roses with machine

vision. Transactions of the ASAE 37 (4): 1347

-1353.

17.Wang, Z., P. H. Heinemann, P. N. Walker and C.

Heuser. 1999. Automatedmicropropagated sugarcane

shoot separation by machine vision. Transactions

of the ASAE 42 (1): 247-254.