Journal of Institute of Control, Robotics and Systems Vol. 16, No. 7, July 2010 639 레이더와 비전센서 융합을 통한 전방 차량 인식 알고리즘 개발 Radar and Vision Sensor Fusion for Primary Vehicle Detection 양 승 한, 송 봉 섭 * , 엄 재 용 (Seunghan Yang, Bongsob Song, and Jaeyong Um) Abstract: This paper presents the sensor fusion algorithm that recognizes a primary vehicle by fusing radar and monocular vision data. In general, most of commercial radars may lose tracking of the primary vehicle, i.e., the closest preceding vehicle in the same lane, when it stops or goes with other preceding vehicles in the adjacent lane with similar velocity and range. In order to improve the performance degradation of radar, vehicle detection information from vision sensor and path prediction predicted by ego vehicle sensors will be combined for target classification. Then, the target classification will work with probabilistic association filters to track a primary vehicle. Finally the performance of the proposed sensor fusion algorithm is validated using field test data on highway. Keywords: vehicle detection, sensor fusion, target classification, path prediction I. 서론 운전자에게 편의성을 제공하고 주행 안전성을 향상시키기 위한 ACC (Adaptive Cruise Control) 와 FCW (Forward Collision Warning) 와 같은 DAS (Driver Assistance System) 이 상용화되고 있으며 더 나아가 복잡한 주행 상황을 고려한 TJA (Traffic Jam Assist) 나 전 주행속도(Stop & Go) ACC 개발로 활발히 연 구가 진행되고 있다. 이러한 DAS을 위해 강인하고 신뢰도 높은 주변 차량 검지 및 장애물 인지는 필수 핵심요소라 할 수 있다. 현재까지 ACC나 FCW 시스템의 경우 고속도로 환 경에서 날씨에 상관없이 강인하게 종방향 거리를 측정할 수 있는 레이더를 기반으로 대부분 개발되어 왔다[1]. 하지만 레이더의 경우 센서 자체 특성으로 인해 전방 다중 차량이 근접하여 동일한 속도로 주행시 이를 구분하지 못하 며 레이더 신호의 난반사로 인해 정지된 차량을 인식하지 못 하는 등 복잡한 주행 환경에서 성능이 떨어지는 문제점을 갖 고 있다. 이러한 단점을 보완하기 위하여 다른 센서와의 융 합을 통하여 해결하고자 하는 연구가 진행되고 있다. 사용되 는 센서의 구성에 따라서 크게 장거리와 중거리의 레이더 (77GHz와 24GHz 레이더) 의 센서융합, 레이더와 라이다(lidar) 의 센서융합, 레이더와 비전센서와의 융합으로 나뉠 수가 있 다. 그 중에 레이더와 모노비전 센서의 경우 이미 ACC 나 차선이탈경고(LDWS) 시스템을 위하여 장착되어 있어 가장 경제적이며 빠른 시일 내에 상용화가 될 수 있는 방법 중 하 나이다. 레이더와 비전 센서를 융합 방법은 센서의 정보가 융합되 는 단계에 따라 크게 sensor-level 프로세싱 ( 또는 high-level data), central-level 프로세싱( 또는 low-level data), hybrid-level 센 서융합으로 나뉘어진다[2]. 첫 번째로 sensor-level 프로세싱 센서융합은 레이더와 비전 센서에서 개별적으로 정보를 처 리하며 센서 별 트랙 리스트를 관리하며 최종적으로 이것의 결과를 융합하는 방식이다. 센서 별 추정 결과를 융합하기 위하여 EKF (Extended Kalman Filter), UKF (Unsented Kalman Filter), IMMPDAF (Interactive Multiple Model - Probabilistic Data Association Filter) 등과 같은 다양한 필터링 방법이 사용되고 있다[3,4]. 이 경우 센서 별로 데이터를 처리하므로 센서융합 알고리즘의 성능은 각 센서의 장애물 인지 알고리즘의 성능 에 많이 좌우되며 센서융합 알고리즘 자체만을 보았을 때 계 산적 효율이 높다고 할 수 있다. Central-level 프로세싱은 모든 센서의 low-level 데이터를 중 앙의 프로세서에 전달, 이를 종합하여 처리하며 개별 장애물 에 관하여 한 개의 트랙(track) 으로 관리한다. 이 경우 모든 데이터가 중앙의 프로세서로 전달되어야 하므로 많은 통신 량이 요구되며 각 센서별 데이터의 동기화 및 정렬을 위하여 복잡한 알고리즘을 필요로 한다. 따라서 레이더 센서와 비전 센서의 low-level 데이터를 직접 종합하여 처리하는 방법은 거의 쓰이고 있지 않으며 각 센서의 측정 결과가 다른 센서 의 low-level 데이터 처리에 반영되는 hybrid-level 프로세싱 방 식이 최근에 많이 연구되고 있다. 대표적으로 레이더의 측정 결과를 영상처리에 이용하는 방법이 널리 사용되는데 레이 더 측정 결과를 사용하여 영상 내 관심 영역을 설정하며 관 심 영역의 레이더 인식차량의 위치를 차량 특징 검출, SVM (Support Vector Machine), LCA (Lobe Component Analysis) 등의 영상처리 알고리즘을 사용하여 보완 및 검증하게 된다[5,6]. 현재 문헌에 나와 있는 대부분의 레이더와 비전 센서융합 알고리즘은 특정 시나리오를 기반으로 연구되고 있다. 즉, 레 이더가 단일 장애물에 대해서 여러 개의 타겟으로 인식하는 경우, 차량이 아닌 다른 장애물( 가드레일과 같은 도로 구조 물) 을 인식하는 경우, 곡선로 주행시 횡방향 위치정보가 틀 린 경우에 대해서 대부분 연구가 수행되고 있다. 하지만 실 제 고속도로 주행의 경우 레이더의 성능에 따라 다소 차이는 있을 수 있지만 대부분 교통혼잡에 의해서 정지차량을 포함 하여 전방에 많은 차량이 존재하는 경우 또는 차선변경 차량 등에 의해서 레이더의 미검지나 오검지가 발생한다( 그림 1 참조). 특히 ACC나 FCW 시스템의 경우 자 차량의 제어대상 이 되는 자 차량 주행 경로 내 선행 차량(primary vehicle) 의 * 책임저자(Corresponding Author) 논문접수: 2010. 3. 15., 수정: 2010. 4. 15., 채택확정: 2010. 4. 30. 양승한, 송봉섭: 아주대학교 기계공학부 ([email protected]/[email protected]) 엄재용: 현대자동차 전자개발센터([email protected]) ※ 본 연구는 한국과학재단 일반연구자지원사업(No.2009-0075110) 과 주식회사 엔지비 산학협동 연구과제에 의하여 지원 되었음.
7
Embed
Radar and Vision Sensor Fusion for Primary Vehicle Detection · 2018-12-06 · Radar and Vision Sensor Fusion for Primary Vehicle Detection 양 승 *한, 송 봉 섭 , 엄 재 용
This document is posted to help you gain knowledge. Please leave a comment to let me know what you think about it! Share it to your friends and learn new things together.
Transcript
Journal of Institute of Control, Robotics and Systems Vol. 16, No. 7, July 2010
639
레이더와 비전센서 융합을 통한 전방 차량 인식 알고리즘 개발
Radar and Vision Sensor Fusion for Primary Vehicle Detection
양 승 한, 송 봉 섭*, 엄 재 용
(Seunghan Yang, Bongsob Song, and Jaeyong Um)
Abstract: This paper presents the sensor fusion algorithm that recognizes a primary vehicle by fusing radar and monocular vision
data. In general, most of commercial radars may lose tracking of the primary vehicle, i.e., the closest preceding vehicle in the same
lane, when it stops or goes with other preceding vehicles in the adjacent lane with similar velocity and range. In order to improve the
performance degradation of radar, vehicle detection information from vision sensor and path prediction predicted by ego vehicle
sensors will be combined for target classification. Then, the target classification will work with probabilistic association filters to
track a primary vehicle. Finally the performance of the proposed sensor fusion algorithm is validated using field test data on highway.