오늘 제가 리뷰할 논문은 "An automatic zone detection system for safe landing of UAVs"입니다. 본 논문은 2019년에 "Expert Systems With Applications"라는 저널에 실린 Camera image와 Image processing 알고리즘을 활용해서 UAVs의 착륙(landing) 장소를 찾는 논문입니다. UAVs (Unmanned Aerial Vehicles)는 고전적으로 Millitary service (국방)에 많이 사용되었지만, 현재는 package delivery(배달), disaster exploration (재난지역 탐사) 등 다양한 지역에서 활용되고 있습니다. 그래서 목표지점에 안전하게 도착하기 위한 Collision avoidance (충돌 회피) 기술과 더불어, 사람이 없는 지역에서 임무를 마무리하기 위해 자동으로 landing 장소를 찾는 연구가 진행되고 있습니다.
Introduction
현재 UAVs는 Millitary service 뿐만 아니라, natural disaster monitoring (자연재해 감시), territories protection(영토 보호), aerial photograpy(영상촬영), 그리고 vigilance in urban area(도시 지역의 경계) 등 다양한 분야에서 활용되고 있습니다. MEMs sensor, GPS 등의 발달은 이러한 소형 UAV들이 civilian application에 더 많이 활용되도록 만들었습니다. UAV는 비행을 하는 시스템이기 때문에, 센서가 작동하지 않는 환경에서의 비행이나 기체의 고장 등의 emergency 한 상황이 발생했을 때, 긴급하게 landing 장소를 찾아서 안전하게 착륙해야 합니다.
Chellenges
ROI(Region of Interest)를 정의하거나 particular region을 classification 하는 것은, 우리가 제한된 수의 region을 가지고 있을 때에만 reliable합니다. 본 논문에서는 region에 상관없이 landing site를 detection 할 수 있는 알고리즘을 제안하고 있습니다.
본 논문에서 제안한 방법은 Gabor filter를 사용하는 것입니다. Gabor filter는 아래의 그림과 같이 angle에 따라 region의 texture를 추출할 수 있습니다. 어느 한 지역에 대해 8가지의 각도 값을 가진 Gabor filter를 통과시킵니다. 아래에 보이는 한자를 구성하고 있는 특정 선분들은 Gabor filter의 angle에 따라 각각 추출됩니다. 만약 8개의 filter를 통과시켰는데 아무것도 검출되지 않았다면, 그 지역은 선분이 없는 지역으로 간주할 수 있습니다. 즉, 검은색 배경처럼 선분이 검출되지 않은 부분은 flat 한 region으로 간주되어 landing region으로 선택될 수 있습니다.
Proposed System
Image 정보를 기반으로 Landing site를 본 논문에서는 아래와 같은 Procedure를 제안하고 있습니다. Input image를 8개의 angle을 가진 Gabor filter를 통과시켜 Histogram을 얻습니다. Histogram은 Gabor filter를 통과한 Gabor image에 대해서 같은 intensity를 가진 pixel의 수를 나타낸 것입니다. Histogram을 기반으로 가장 많은 수를 가지고 있는 Pixel intencity를 Candidate Pixel(CP)로 정의하고, Markov Chain Code를 사용하여 Candidate Rigion(CR)을 추려냅니다. 가장 큰 CR을 Reference CR로 정의하고 그래프의 유사도를 측정하는 방법 중의 하나인 Chi square distance를 기반으로 Reference CR과 가장 유사한 CR와의 범위를 합쳐서 최종적으로 Safe landing zone을 결정하게 됩니다.
1. Cabor transformations
본 논문에서는 8개의 Gabor filter를 사용했습니다. Input image가 Gabor filter를 통과한 결과는 아래의 그림과 같습니다. 각 angle 마다 다른 texture들이 extraction(추출)되는 것을 확인할 수 있습니다. 다만, 도로와 같이 flat하거나 homogeneous 한 texture를 가지고 있는 경우는 모든 Gabor filter에서 uniform결과가 나오는 것을 확인할 수 있습니다. 즉, 어떠한 texture도 extraction 되지 않기 때문에 flat 한 지역으로 간주할 수 있습니다.
2. Histogram & Candidate Region
Gabor filter를 통과한 각각의 Gabor image에 대해서 Histogram을 만듭니다. Histogram의 가로축은 0~255의 intensity를 0~1로 normalization한 것이고, 세로축은 해당 intensity를 가지고 있는 pixel의 수를 나타냅니다. Histogram을 기준으로 가장 많은 수를 가지고 있는(즉, 가장 큰 peak을 가지고 있는) intensity를 선택하고, 선택한 pixel만을 따로 추출하여 각 8개의 angle에 해당하는 Candidate Pixel을 만듭니다.
3. Markov Chain Code (MCC)
인접한 pixel들을 하나의 Region으로 만들거나, 떨어져 있는 pixel들을 다른 Region으로 인식하기 위해 MCC를 사용했습니다. 아래의 예제와 같이 3 x 3 크기의 커널을 이용하여, 인접한 Pixel의 수가 절반보다 크면 파란색으로 표시된 가운데 부분을 1(pixel 값이 있는 것으로)로 바꾸고, 반대의 경우는 0(pixel 값이 없는 것으로)으로 바꿉니다. 따라서 pixel이 많이 뭉쳐 있는 부분은 하나의 Region으로 간주하고 pixel이 coarse(듬성듬성) 있는 경우는 다른 Region에 있는 pixel로 간주할 수 있습니다.
MCC를 통해서 아래와 같이 Cadidate Region(CR)을 만듭니다.
Cadidate Region(CR)들을 나타내는 image들은 noise가 많이 포함되어 있기 때문에, 일정 크기보다 작은 Region은 제거하고, Dilation을 이용하여 기준보다 크지만 작은 Region을 큰 Region과 합쳐서 최종적인 Candidate Region을 만듭니다.
4. Reference CR(Candidate Region) & Chi square distance
Reference CR은 Candidate Region중에서 가장 큰 Region으로 선택합니다. Reference CR은 CR 중에서 가장 좋은 CR이지만 또 모든 정보를 포함하고 있지는 않습니다. 따라서 Histogram을 기반으로 Reference CR과 가장 유사한 CR을 선택하여 부족한 정보를 보충합니다.
아래의 그림은 Histogram의 유사도를 판단하는 Chi square distance를 나타냅니다. 먼저 인접한 intensity간의 차이를 계산합니다. 왼쪽 Histogram에서는 green으로, 오른쪽 Histogram에서는 blue로 나타납니다. 다른 모든 Histogram에서도 차이를 모두 계산합니다. 각 Histogram 중에서 각각의 차이의 합이 Reference CR과 가장 적게 차이가 나는 Histogram이 가장 유사한 Histogram이 됩니다. 이러한 방법으로 Reference CR과 가장 유사한 CR을 찾아서 Union(합집합) 연산을 통해 최종적인 safe landing zone을 결정합니다.
Experimental Results
다음 그림은 실험 결과를 나타냅니다. White는 safe landing zone을 의미합니다. Input image와 결과를 비교했을 때, 제안한 방법이 safe landing zone을 가장 잘 찾아내는 것을 확인할 수 있습니다. 가장 오른쪽의 이미지에 대해서 자동차 때문에 도로임에도 불구하고 safe landing zone으로 detection하지 않았습니다.
Erroneous Results
본 연구는 uniform한 texture를 기반으로 safe landing zone을 detection 했습니다. 따라서 water와 같이 homogeneous 한 texture를 가진 image에 대해서 safe landing zone으로 detection 하기 때문에 이러한 점은 추후에 개선해야 할 사항으로 언급하고 있습니다.
Reference
논문을 이해하기 위해 많은 사람들의 도움을 받았습니다. 아래는 제가 블로그를 작성하면서 참조했던 논문과 블로그, 유튜브 주소입니다. 자신의 지식을 기꺼이 나누어주시는 고마운 분들 덕분에 보다 쉽게 공부할 수 있었습니다. 블로그를 읽으시면서 부족했던 부분은 아래의 Reference를 참고하시면 큰 도움을 받을 수 있을 거라고 생각합니다. 혹시 포스팅을 하면서 궁금하신 점이나 코멘트 또는 틀린 부분을 지적해주시면 감사히 수정하도록 하겠습니다. 감사합니다.
1. Paper URL
https://www.sciencedirect.com/science/article/pii/S0957417419300272
2. Blog
https://en.wikipedia.org/wiki/Gabor_filter
https://homepagees.inf.ed.ac.uk/rbf/HIPR2/histgram.htm
https://homepages.inf.ed.ac.uk/rbf/HIPR2/dilate.htm
