논문: https://arxiv.org/abs/2004.09374
저자: Maya Aghaei, Matteo Bustreo, Pietro Morerio, Nicolo Carissimi, Alessio Del Bue, Vittorio Murino Pattern Analysis and Computer Vision (PAVIS), Istituto Italiano di Tecnologia (IIT), Genova, Italy
인용: Aghaei, Maya, et al. "Complex-Object Visual Inspection via Multiple Lighting Configurations." arXiv preprint arXiv:2004.09374 (2020).
0. 초록 (Abstract)
자동 시각화 검사 시스템은 크게 두 단계로 나누어진다. 첫 번째는 표면에서 결함을 검출하기 위한 적합한 하드웨어 셋업 단계이며 두 번째는 검출된 데이터를 이용하기 위한 알고리즘 단계이다. 해당 논문에서는 새로운 조명 셋업과 이로 얻은 데이터의 기여도를 분석하는 단계이다.
1. 서론 (Introduction)
자동화된 품질 관리 시스템은 산업계에서 수동 검사의 한계를 극복하는데 도움이 되어, 매년 visual inspection은 발전하면서 산업계 전반에 사용되었다. 일반적인 시각 검사 시스템은 디지털카메라, 광학 및 조명 시스템 그리고 이에 맞는 적절한 소프트웨어로 이루어진다. 이들은 제품 이미지를 얻어 평가하고 결정을 내리므로 적절한 하드웨어 선택은 중요하다.
산업 제품은 다양한 물성치(specular, diffusive, directional, transparent) 혹은 기하학적 모양(flat, curved, prismatic)을 가지고 있으며 이는 시각 검사를 위해 다양한 조건을 구분해야 한다. (그림 1) 우리는 기존에 정의되지 않은 표면 특징을 가진 제품을 complex-object라 명한다. 이런 맥락에서 일반적인 촬영 시스템은 이 연구에 충분하지 않다. 기존 시스템은 대게 표면 물성치의 일부분만 검사가 가능하기 때문이다.
이 논문은 complex-objects 자동화 검사의 문제를 해결할 수 있는 촬영 시스템을 제시하고 결함 검출에서 해당 시스템의 효과를 분석할 수 있는 방법을 제시한다. contribution은 다음과 같다.
- 우리는 complex-object에서 결함 검출을 보장하기 위해 다중 조명 시스템으로 구성된 이미지 촬영 셋업을 제안한다.
- 우리는 다중 조명 시스템의 중요성을 증명하기 위한 실험을 진행한다.
- 우리는 late-fusion detections가 결합된 평가단계에서 다중 조명 시스템이 가장 효과적인 결함 검출을 수행함을 보인다.
2. 관련 연구(RELATED WORK)
Non-complex objects의 시각 검사 시스템은 대개 일반적인 조명 기술로 해결되어 왔다. 하지만 non-regular object의 경우는 하드웨어와 소프트웨어가 발전하여도 여전히 어려운 작업으로 여겨져 왔다. silver halide films 검사 방법은 스크래치와 먼지 검출에 좋고, 작은 결함들은 표준 조명 기술에 적합하지 않았으나 D. Mery and C. Arteta는 X-ray image와 Feature Pyramid Networks를 이용해 0.51MAP를 이끌어냈다.
이 논문에서, 첫 번째로 우리는 여러 조명 기술을 포함하는 맞춤화된 (customized) 조명 시스템을 소개한다. 이는 complex-object의 표면 물성치에서 나오는 다양한 결함 종류들을 발견하기 위한 세 가지 카메라 노출 값을 포함한다. 그리고 조명으로부터 얻은 데이터를 RGB이미지로 표현되는 여러 모양의 인공물로 인식한다.
두 번째로 우리가 제안한 시스템의 상용 가능성을 분석한다. 많은 경우, 조명 시스템은 비용이나 스펙의 사유로 함부로 선택하거나 수정할 수 없기에 우리는 제한된 환경에서의 알고리즘과 시스템의 성능 향상을 보인다.
이 점에 있어서, 우리와 가장 유사한 연구는 Y. Park and I. S. Kweon이 제안한 논문이다. 거기서는 스마트폰 표면의 결함을 검출하기 위해 다양한 카메라와 조명에서 이미지를 얻었다. 하지만 다양한 조명 조건 내 단일 카메라만을 사용한 우리와 다르게 위 논문은 얻은 이미지간의 상호 과정이 없었다.
우리의 논문 motivations은 아래 3가지이다. 첫째, 한 개의 카메라만 사용하여 비용을 절감할 수 있는 셋업이다. 둘째, 로봇 팔이 complex-object를 촬영하기 위해 회전 가능한 적절한 무게이다. 셋째, 같은 결함 영역을 여러 경우로 제공할 수 있다. 이는 결함 검출 과정에서 큰 효과를 보인다.
3. 이미지 촬영 시스템 (ACQUISITION SETUP)
제안한 조명 셋업은 다섯 개의 평평한 돔 (flat-dome) 조명으로 구성되어 있고 개별적으로 on/off가 가능하다. 조명들은 diffused, dark-field and front lighting가 가능하고 다양한 표면에서도 그림자 없이 일정한 조명이 가능하다. (그림 2) 해당 셋업은 반사가 심한 표면의 조명 시스템 반사율을 줄이기 위해 white flat-dome에 dark collimator filters를 결합하였다. 연구에서는 네 가지 조명 환경을 구분하였다. (그림 2 C, UD, LR, UDLR) Front lighting은 color와 flat defects에 유용하고 dark-field lighting은 scratches, bumps, missing pieces 등에 유용하다.
제품 표면 이미지에 적절한 조명을 위해 조명들은 세 가지 다른 카메라 셔터 스피드(low, medium, high)에 활성화된다. 연구에서 사용된 카메라와 렌즈는 Basler acA2440-75uc camera, an Edmund Optics 16mm F1.4 lens이다. 카메라는 중앙 구멍 (hole)에 존재한다. 외부 조명을 차단하기 위해 어두운 검은 상자 안에서 촬영한다.
4. 데이터셋 (Dataset)
조명 셋업을 고려하면 시스템은 12개 이미지를 얻는다. (4 modalities X 3 exposures) 표면 특성과 결함 특징에 따라 결함은 12장에서 모두 나타날 수도 있고, 일부 images에서만 나타날 수도 있다. (그림 3) 이미지 선택 순서 없이, 주석이 12장 중 한 장만 결함을 표시한다. 그림 4는 각 조명 상태에 따른 주석의 비율을 정규화 하였다. 12장에서 모두 결함이 검출되지 않으면 ‘검출 없음’이라고 판단한다.
데이터셋은 complex-objects에 대해 5,071 결함 지역 (defective regions)을 가지고 있다. 각 지역은 한 개 이상의 결함을 가지고 있다. 각각의 지역에 대해 12장의 이미지를 가지고 있기에 총 60,852(5,071*12) images를 가진다. 실험에서는 데이터 셋을 훈련데이터, 검증데이터, 테스트데이터에 대해 각각 70%, 15%, 15%로 나누었다.
5. 방법론 (Methodology)
- 전통적인 단일 조명 기술이 가장 효과적인 선택인가?
- 테스트 성능을 올리기 위해 훈련 단계에서 multi-modal data를 잘 이용할 수 있는가?
- 다양한 조명 환경이 자연스러운 데이터 증가를 가져올 수 있는가?
- 검사 시나리오가 평가 단계에서 도움이 되는가?
위 네 가지에 대한 질문에 답을 하나씩 해보자.
A. Study 1: Training and evaluation on one single modality
시각 검사 시스템은 주로 훈련 단계와 평가 단계에서 같은 조명 셋업을 사용한다. 우리는 이 방법을 채택하여 데이터셋의 특성을 파악하고, 과제를 잘 수행하기 위해 각각 다른 조명 환경을 이용하여 얻은 성능들을 비교하였다. 단일 modality를 이용하므로 우리는 전체 데이터셋의 1/4만을 이용한다.
B. Study 2: Training on multiple modalities, evaluation on a single modality
우리는 multi-modal 검사 시스템을 적용했을 때 단일 modality 평가 단계에서 얻은 성능을 향상시킬 수 있는지 여부를 연구한다. Study 1과 비교하기 위해 두 가지 전략 중 하나를 선택할 수 있다.
- 개별 결함 지역당 12개의 이미지 중 하나의 조명 값으로 3개의 다른 modality 사진을 선택한다.
- $\frac{1}{4}$ 결함 지역만을 이용하여 해당 지역의 12장 이미지를 이용한다.
두 전략에 대한 성능을 비교하는 것은 훈련 단계에서 결함 제품과 modalities 중 어느 것을 더 많이 사용하는 게 좋은 지 비교할 수 있다.
C. Study 3: Training on all the images and modalities, test on a single modality
Study 2에서는 Study 1과 비교를 위해 전체 데이터의 $\frac{3}{4}$를 사용하지 않았다. Study 3에서는 훈련 단계에서 전체 데이터를 사용한다. 더 많은 훈련데이터를 이용하는 것은 과제 수행에 더 나은 결과를 가져올 수 있다. 이는 다음을 의미한다. 첫째, 시스템이 하나의 조명 modality에서 얻은 정보를 다른 modality로 전이가 가능하다. 둘째, 시스템이 평가 단계에 없는 훈련 modalities의 검출 과제에 대해 잘 수행할 수 있다.
D. Study 4: Training and evaluation on multiple modalities
이번에는 훈련 단계와 평가 단계 둘 다 multi-modal 조명 시스템을 적용할 때의 효과에 대해 살펴본다. 같은 결함 지역에 여러 조명들을 적용해 얻은 12장의 이미지들은 같은 주석을 공유하고 같은 결과를 생산한다. 각각 생성된 결과를 합치는 것은 알고리즘 수행 능력을 높인다. Fusing procedure은 NMS(non-maximum suppression)을 사용한다. 한 region에서 모은 12장의 이미지를 I = [I1, I2, …, I12], M개의 결함 박스를 B = [b1, b2, …, bm], 상응하는 신뢰도 (confidence)를 C = [c1, c2, …, cm], IOU threshold = $\theta$ 라고 하자. Study 4에서는 multi-modal이 훈련 단계와 검증 단계에 적용되었을 때, 제안된 late-fusion technique의 적용 여부에 대한 시스템 성능을 분석한다.
5. 실험 결과 및 토의 (Experimental setup, results and discussion)
(생략)
7. 결론 (Conclusion)
(생략)