3.1 특징 기반 영상 정합을 위한 피사체 설계 및 제작

피사체에 원형 마커를 원주방향, 반경방향으로 배치할 수 있도록 피사체의 중심을 기준으로 수평, 수직, 45도 방향으로 피사체를 천공하였다(그림 3(a) 참조). 코로나카메라와 피사체가 5m 떨어진 상태에서 천공된 구멍 중에서 자외선 카메라의 최대 수직 화각 근방에 마커가 위치하도록 그림 3(b)과 같이 8각형 꼭지점과 그 중심에 원형 마커를 천공된 구멍 위에 부착하였다. 영상 정합처리를 위하여 설계 제작된 피사체의 주요 특징은 지름 27mm의 9 개의 원형 마커들이 방사형으로 배치되어 있고, 위, 아래에 위치한 2 개의 마커는 자외선 카메라의 수직방향 최대 화각 근방에 놓여 있다.

그림 3. 원형 마커가 부착된 피사체(평가판)

Fig. 3. Photo subject with circular marker attached

3.2 영상 정합 알고리듬 제안

듀얼 카메라 기반의 코로나카메라에서 가시광선 카메라는 화각이 크고 잡음(noise)가 적은 특성이 있고, 자외선 카메라는 화각이 작고, 광학필터를 끼우지 않으면 잡음이 많이 포함되는 특성이 있다. 그림 3에 나와 있는 피사체를 찍은 가시광선 영상과 자외선 영상(광학필터 미 설치)이 그림 4에 나와 있다. 피사체에 부착된 원형마커는 가시광선 영상에서 쉽게 인식되나, 자외선 영상에서는 잡음이 많이 포함되어 원형 마커가 매우 희미하게 보인다.

그림 4. 코로나카메라의 평가판 촬영 영상(이격 거리 5m)

Fig. 4. Corona camera photography of the image registration plate(5m distance)

광학필터를 설치하면 영상에 잡음은 없으나 자외선 LED 빛이 원형이 아니라 마치 불가사리 모양으로 보여 그 중심을 파악하기 어렵기 때문에 본 논문에서는 광학필터를 설치하지 않은 상태로 촬영한 영상으로부터 노이즈를 제거하는 방식으로 영상 정합 알고리듬을 개발하였다.

이질적인 특성을 갖는 자외선 카메라와 가시광선 카메라의 영상 정합을 위한 영상처리 알고리듬은 그림 5와 같다. 그림 5에서 카메라 1은 자외선 카메라를 나타내고, 카메라 2는 가시광선 카메라를 나타낸다.

그림 5. 코로나카메라의 영상 정합 처리 절차

Fig. 5. Corona Camera Image Registration Processing Procedure

그림 5의 1단계(동시 영상취득)에서는 카메라 1과 카메라 2에 트리거 신호를 보내어 카메라 1과 2로부터 동시에 영상을 취득한다.

2단계(잡음 제거 및 이진화)에서는 잡음이 있는 자외선 영상으로부터 잡음 제거를 위하여 두 단계의 필터링을 한 후 이진화 처리를 한다. 첫 번째 단계 필터링에서는 픽셀값 설정치 이상의 픽셀만을 남기고 나머지 픽셀을 버린다. 두 번째 단계 필터링에서는 1단계를 통과한 픽셀들 중에서 서로 이웃하는 한 그룹의 픽셀의 총 개수가 설정치 이상인 경우에는 서로 이웃하는 한 그룹의 픽셀들을 남기고, 설정치 미만이면 버린다. 이런 방법으로 잡음을 제거한 영상을 보면 마커의 속이 비어 있거나 바깥 경계가 찌그러져 있어 마커의 중심 좌표를 찾기 어렵다. 이를 해결하고자 본 논문에서는 잡음이 제거된 여러 장의 자외선 영상을 여러 장 겹치도록 오버레이(overlay)하여 마커의 빈 속을 채우고, 영상처리 기법(OpenCV의 영상처리 명령어 erode)을 사용하여 들쑥날쑥한 경계를 말끔한 원형 경계를 갖도록 마커의 이미지를 개선한다.

3단계(특징점 검출)에서는 자외선 영상과 가시광선 영상에 있는 원형 마커들의 중심 좌표를 각각의 영상으로부터 추출한다.

4단계(특징점 매칭 및 변환 관계식 도출)에서는 카메라 2의 영상(자외선 영상)에서 원형 마커 중심 좌표와 카메라 1의 영상(가시광선 영상)에서 원형 마커 중심 좌표를 매칭하는 선형 변환 관계식인 식 (1)의 Affine 변환식^[8]을 도출한다. 본 논문의 코로나카메라는 그림 1과 같은 일축 광학계 듀얼 카메라이므로 코로나카메라와 피사체가 어떤 이격거리에서 일단 Affine 변환에 의하여 영상 정합이 맞추어지면 피사체의 거리가 바뀌어도 영상 정합은 맞게 된다.

여기서, 계수 a, b, c, d는 영상의 확대, 축소, 회전, 전단을 각각 담당하고, e와 f는 이동을 담당한다.

Affine 변환을 완전히 표현하려면 최소 세 개의 비공선점(non-collinear points, 한 직선 위에 있지 않은 점들)이 필요하다. 본 논문에서는 Affine 변환식 도출을 위하여 9개의 마커 중에서 4개(상, 하, 좌, 우에 위치한 마커)의 마커 중심 좌표를 사용하여 Affine 변환의 계수를 도출한다.

5단계(영상 변환 및 오버레이)에서는 4단계에서 도출한 Affine 변환식을 사용하여 카메라 2의 영상(자외선 영상)을 좌표 변환(스케일링, 회전, 이동 등) 시켜 카메라 1의 영상(가시광선 영상)에 실시간 오버레이한다.

3.3 제안한 영상 정합 알고리듬 적용 예

제안한 알고리듬의 1단계(동시 영상취득)에서는 트리거 신호에 맞추어 동시에 가시광선 영상과 자외선 영상을 동시에 촬영하였다(촬영 결과는 그림 4 참조). 그림 4를 보면 자외선 카메라의 화각이 가시광선 카메라의 화각에 비하여 작음을 확인할 수 있다.

2단계(잡음 제거 및 이진화)에서는 잡음이 있는 자외선 영상에서 1단계 필터링을 위한 픽셀 값으로 100을 설정하고, 2단계 필터링을 위하여 서로 이웃하는 한 그룹의 픽셀 총 개수를 100개로 설정하여 잡음 제거/이진화 처리를 하여 그림 6의 (a)와 같은 결과를 얻었다. 그림 6의 (a)를 보면 마커의 경계는 원형이 아니라 찌그러져 있고 속이 비어 있기도 하다. 마커의 경계가 원형이 아니면 마커의 중심 좌표를 찾는 것이 어렵기 때문에 본 논문에서는 여러 장의 잡음 제거 자외선 영상을 오버레이하고, 영상처리 프로그램 OpenCV의 영상처리 명령어인 Erode를 사용하여 그림 6의 (b)에서 보는 바와 같이 마커의 이미지를 개선하였다.

3단계(특징점 검출)에서는 자외선 영상과 가시광선 영상에 있는 마커들의 경계를 원으로 표시하고 그 원의 중심을 마커 중심 좌표로 추출하였다(그림 7 참조).

표 2, 3에는 자외선 영상에서의 마커 중심 좌표와 가시광선 영상에서의 마커 중심 좌표가 각각 나와 있다. 표 2, 3의 첫 번째 열에 나오는 숫자는 그림 7에 나와 있는 번호를 기준으로 하고 있다.

그림 6. 자외선 영상의 잡음제거 및 이진화 처리결과

Fig. 6. Results of noise removal and binarization processing of ultraviolet images

그림 7. 듀얼 카메라의 특징점 매칭을 위한 마커들

Fig. 7. Markers for matching feature points of dual cameras

그림 8. 코로나카메라의 영상 오버레이 결과

Fig. 8. Corona Camera video overlay results

4단계(특징점 매칭 및 변환관계식 도출)에서는 그림 7의 마커 중에서 4개(1번, 5번, 6번, 9번)를 선택하여 자외선 영상에서의 마커 중심 좌표와 가시광선 영상에서의 마커 중심 좌표가 일치하도록 Affine 변환식의 계수(영상의 확대, 축소, 회전, 전단, 이동)를 도출하였다.

표 2, 3의 데이터로부터 구한 Affine 변환식은 식 (2)와 같다.

5단계(영상 변환 및 오버레이)에서는 자외선 영상을 식 (2)를 이용하여 좌표 변환을 한 후 이를 가시광선 영상에 오버레이하였다. 그 결과가 그림 8에 나와 있다. 그림 8에서 볼 수 있는 바와 같이 자외선 영상의 마커와 가시광선 영상의 마커가 잘 일치함을 알 수 있다.

3.4 제안한 영상 정합 알고리듬 오차 평가

4.1 이격거리 10m에서 자외선 촬영

제 3절에서는 피사체(평가판)와 코로나카메라의 이격거리를 5m로 둔 상태에서 영상 정합을 위한 좌표 변환식(식 (2))을 도출하였다. 코로나카메라는 일축 광학계를 가지므로 이론적으로 일단 영상 정합이 맞추어지면 피사체와 코로나카메라의 이격거리에 상관없이 영상 정합이 이루어져야 한다. 이를 확인하기 위하여 이격거리 10m에서 피사체(평가판)의 한 가운데 있는 구멍에 Sun-blind 대역의 자외선을 방출하는 램프를 둔 상태에서 코로나카메라로 피사체(평가판)을 촬영하였다. 가시광선 영상의 초점이 잘 맞는지를 확인하기 위하여 피사체의 4곳에 사각형 형태의 알루미늄 테이프를 부착하였다. 코로나카메라 촬영 결과(그림 9 참조)를 보면 4개의 알루미늄 테이프를 식별할 수 있고, 피사체의 가운데 부분에서 자외선이 나오는 것을 확인할 수 있다.

그림 9. 이격거리 10m에서 코로나카메라의 sun-blind 자외선 촬영결과

Fig. 9. Visualization of the Elbow Method for Determining the Optimal Cluster Count

4.2 실제 애자의 코로나방전 촬영

고속철도에 실제로 적용되는 폴리머 재질의 지지 애자가 그림 10에 나와 있다. 본 논문에서는 그림 10과 같은 실제 애자에 80kV 이상의 고전압을 걸어 놓은 상태에서 애자로부터 5m 떨어진 위치에서 코로나방전을 촬영하였다.

참고문헌 ^[9]에 따르면 애자의 코로나방전은 전원측 접합면(그림 12의 ①, ② 사이의 전원측 경계면)에서 발생한다고 한다.

코로나방전 촬영 결과(그림 11 참조)를 보면 애자의 코로나방전 위치는 참고문헌 ^[9]에서 언급한 바와 같이 폴리머 애자의 접합면이다. 따라서, 실제 애자에 대한 코로나 방전시험을 통하여 본 논문에서 제안한 영상 정합 알고리듬을 사용한 코로나카메라는 애자의 코로나방전 위치를 실시간으로 정확히 식별할 수 있음을 확인할 수 있었다.

그림 10. 고속철도 지지애자[10]

Fig. 10. High-speed rail supporting insulator

그림 11. 고속철도 지지애자 코로나방전(이격거리 5m)

Fig. 11. Corona discharge from high-speed rail supporting insulator(5m distance)