2.1 단순 픽셀 단위의 전통적 증강 기법에 관한 연구

데이터가 제한적인 상황에서, 학습 이미지에 대해 크롭(crop), 회전(rotation), 밝기(brightness) 변화, 블러(blur) 조정 등의 변환을 적용하여 학습 데이터를 확장하는 방식은 모델의 일반화 성능을 향상시키는데 유용하다는 선행 연구들이 존재한다. 예컨대, Kumar et al. (2025)는 blur, rotation, color jitter 등의 변형이 Caltech-101 기반 분류 성능을 개선한 것을 보고하였다^[15]. 또한 Goceri, E. et al.(2023)의 연구에 따르면, 의료 영상 분류 실험에서 rotation, translation, shearing, color shifting 등과 같은 기하학적 변환 기반 증강 (Transformation-based augmentation)이 이미지 인식 성능을 높이는데 효과적인 것으로 나타났다. 이러한 방식은 구현이 간단하면서도 학습 데이터의 다양성을 확보하여, 복잡한 합성 모델(GAN 기반 증강)보다 안정적으로 분류 성능을 개선하는 결과를 보였다^[16]. 이러한 선행 연구들은 크롭, 회전, 밝기/블러 조절 등의 단순한 픽셀 단위의 전통적 증강 기법이 단순한 이미지 인식 모델의 학습에서도 효과적일 수 있다는 근거를 제시한다.

2.2 의료 분야에서의 증강 연구

딥러닝 기반의 객체 검출 성능은 학습 데이터의 다양성과 품질에 크게 의존한다. 그러나 실제 환경에서는 다양한 조건(조명, 날씨, 노이즈 등)에 대한 데이터 수집이 어렵고 비용이 많이 드는 한계가 있어, 이를 보완하기 위한 데이터 증강(Data Augmentation) 기법이 활발히 연구되고 있다.

특히 의료 영상 분야에서는 환자의 데이터가 한정적이거나 특정 질병의 사례 수가 적어, 딥러닝 학습을 위한 충분한 표본을 확보하기 어렵다. 이를 극복하기 위해 GAN 기반의 생성형 모델을 활용한 합성 이미지 기반 증강이 효과적으로 활용되고 있다. 예를 들어, Frid-Adar et al. (2018)은 CT 영상에서 간 결절을 검출하기 위해 GAN을 활용해 합성 병변 이미지를 생성하고, 이를 학습에 활용함으로써 객체 검출 정확도를 향상시킨 바 있다^[17]. 또한, Chuquicusma et al. (2018)은 폐결절 데이터를 GAN으로 증강하여 훈련 데이터의 다양성을 확보하고, 검출 모델의 일반화 성능을 개선하였다^[18]. 이러한 연구들은 증강 기반 학습이 제한된 데이터 환경에서 객체 검출 성능을 효과적으로 향상시킬 수 있음을 시사한다.

2.3 도로 교통 분야에서의 증강 연구

의료 이미지에서 시작된 이와 같은 증강 접근법은 이후 일반 이미지 영역으로 확장되어, 복잡한 환경에서도 강건한 객체 검출을 가능하게 하는 다양한 연구로 이어지고 있다.최근 몇몇 연구에서는 낮 시간대 강우 조건을 모사하기 위해 GAN 계열 모델을 활용한 이미지 증강 기법을 도로 객체 검출에 적용하고 있다. 예컨대 김솔람(2023)은 주간 도로 영상 데이터에서 실제 비가 오는 이미지 세트와 CycleGAN을 통해 생성한 증강된 강우 이미지를 각각(① 실제 강우 데이터만, ② 증강 강우 데이터만, ③ 실제 강우 + 증강 강우 데이터의 혼합) 학습에 투입하여 YOLO v8 기반 객체 검출 모델의 성능을 실험하였다^[19]. 그 결과, ①과 ② 구성 모델 간 검출 정확도 및 재현율(precision, recall)은 거의 차이가 없었으며, ③ 구성 모델에서는 두 단독 구성보다 소폭 향상된 성능을 확인할 수 있었다.

그러나 이러한 선행 연구는 주로 주간·양호한 조도 환경에 한정되어 있으며, 야간이나 저조도 상태에서의 악천후 등의 복합 조건을 다룬 연구는 드물다. 실제 자율주행·스마트 교통 시스템이 마주하는 환경은 야간·악천후의 조합일 때 시야가 크게 제한되며, 이에 대응할 데이터 확보 및 모델 견고성 확보가 매우 중요하다. 특히 야간 시간대의 강우·폭설·안개 등 복합 기상 상황을 정밀하게 증강하고, 이를 기반으로 한 객체 검출 성능 평가를 수행한 사례는 극소수에 불과하다. 또한, 도로 교통 관점에서 야간 강우 이미지의 데이터 세트의 규모는 주간 대비 현저히 적어, 해당 분야의 추가 연구가 시급하다.

3.1 데이터 세트

3.1.1 데이터 세트 개요

본 연구에서는 자율주행 및 스마트 교통 환경의 객체 검출 성능을 검증하기 위해, AI Hub에서 제공하는 국내 도로 교통 CCTV 영상 데이터를 활용하였다. 수집 대상은 주·야간을 모두 포함하며, 맑은 날뿐 아니라 비·눈·안개 등 다양한 악천후 조건이 혼합된 대용량 학습용 이미지이다. AI Hub는 개인이나 소규모 기관이 확보하기 어려운 규모의 고품질 학습 데이터를 제공하는 플랫폼으로, 본 연구에서는 이를 통해 안정적이고 대표성 있는 데이터 세트를 구축하였다.

먼저, 국내 시내도로 CCTV 데이터는 대전·부천·안양 등 주요 도심 구간에서 촬영된 FHD(1920×1080) 해상도의 영상으로 구성된다. 총 18만여 장의 프레임이 Bounding Box 형태로 라벨링되어 있으며, 주·야간 촬영이 고루 포함된다. 특히 전체 데이터의 약 10%가 비·눈·안개 등 악천후 상황을 반영하여 다양한 기상 조건에서의 객체 검출 성능 평가가 가능하다. 라벨링 클래스는 승용차, 소형버스, 대형버스, 트럭, 대형 트레일러, 오토바이, 보행자 등 7개로 세분화되어 도심 교통 환경의 주요 객체를 포괄한다. 그림 1은 국내 시내도로 CCTV 데이터 세트의 예시를 나타낸다^[20].

그림 1. 국내 시내도로 CCTV 데이터 세트 예시

Fig. 1. Example of Domestic Urban Road CCTV Dataset

국내 고속도로 CCTV 데이터는 전국 60개 고속도로 구간에서 수집된 이미지로, FHD(1920×1080·1080×1920)와 HD(1280× 720) 해상도를 모두 포함한다. 약 30만 장의 프레임이 Bounding Box로 라벨링되어 있으며, 맑음(약 79.4%), 비(12.6%), 안개(4.5%), 눈(3.2%) 등 기상별 분포를 고루 반영한다. 라벨링 클래스는 Car, Truck, Bus 총 세 가지로 단순화되어 고속도로 주행 환경에서 주요 차량 유형 검출에 최적화된다. 이러한 데이터 구성은 조명·기상 변화에 따른 모델의 견고성을 종합적으로 검증하는 데 적합하다. 그림 2는 국내 고속도로 CCTV 데이터 세트의 예시를 나타낸다^[21].

그림 2. 국내 고속도로 CCTV 데이터 세트 예시

Fig. 2. Example of Domestic Highway CCTV Dataset

3.1.2 데이터 세트 전처리

수집한 데이터 세트로부터 잘못된 데이터를 선별하고, 학습에 방해 요소로 작용하는 데이터들에 대해서 선별하여 정확한 모델 학습이 수행되도록 전처리 작업을 수행했다. 수행한 전처리 작업은 <표 1>과 같다.

표 1. 전처리 작업 목록

Table 1. List of Preprocessing Tasks

구분	데이터 전처리 수행 작업
1	유효하지 않는 바운딩 박스 좌표 값을 레이블로 갖는 데이터 선별
2	데이터 세트 간의 클래스 분류의 통합 및 값의 재정의로 인한 라벨링 데이터 일괄 수정
3	영상 내 객체가 존재하지 않는 데이터 선별
4	부족한 데이터에 대해서 약한 증강을 수행 (약한 증강 : 밝기, 명암, 채도 등을 조절)
5	객체 검출 모델에서 요구하는 바운딩 박스 정보 형식으로 Labeling 파일의 내용을 변환.

구분 1번, 데이터 품질 확보를 위해 바운딩 박스 정보 오류가 있는 샘플을 사전 제거하였다. 구체적으로, Labeling 데이터의 바운딩 박스 좌표가 실제 객체 위치와 불일치하거나 유효 범위를 벗어나는 경우 해당 이미지는 학습 및 평가에서 제외하였다(그림 3 참조).

그림 3. 바운딩 박스 정보와 실제 객체의 불일치

Fig. 3. Discrepancy between Bounding Box Information and Actual Objects

오류 검출은 두 단계로 이루어졌다. 첫째, 사전 학습된 객체 검출 모델을 이용해 예측된 바운딩 박스와 Labeling 데이터의 박스 간 IoU(Intersection over Union)를 계산하여 일차적으로 부정합 샘플을 선별하였다. 둘째, 일차 선별된 샘플에 대해 육안 검수를 수행하여 최종적으로 오류 바운딩 박스를 제거하였다. 이러한 이중 검증 과정을 통해 데이터 세트의 신뢰도를 높이고, 학습 및 테스트 결과의 왜곡을 최소화하였다.

구분 2번, 시내도로 데이터와 고속도로 데이터에서 사용되는 객체 카테고리를 단일한 체계로 통합하는 작업이다. 두 데이터 세트가 서로 다른 분류 기준을 적용하고 있으므로, 별도 조정 없이 학습에 투입할 경우 결과의 일관성과 신뢰성을 보장하기 어렵다. 이에 공통의 클래스 정의(car, bus, truck, bicycle, person)로 레이블을 다시 매핑하여 학습 및 평가를 수행하였다.

구분 3번, 객체가 전혀 포함되지 않은 이미지 샘플은 학습 시 메모리·캐시 활용만 증가시키므로 제거하였다. 이를 위해 사전 학습된 객체 검출 모델을 이용해 무검출 이미지를 1차 선별하고, 이후 육안 검수를 통해 최종 제거하였다(그림 4 참조).

그림 4. 이미지 내 아무 객체도 존재하지 않는 데이터

Fig. 4. Data with No Objects in Images

구분 4번, 야간의 강우 조건의 실제 도로 이미지가 부족하여 학습 데이터 분포가 편향되는 문제를 완화하기 위해 약한 증강을 적용하였다. 본 증강은 실제 비 오는 기상 조건의 데이터에 대해서 스타일이 변이되지 않는 수준과 객체 의 바운딩 박스 좌표가 변하지 않는 수준에서 밝기, 명암, 채도, 선명도 등을 조절하는 방식으로 수행되며, CNN 기반 모델이 픽셀 값 분포에 과도하게 의존하지 않고, 보다 일반화된 특징을 학습하여 과적합을 방지하도록 설계되었다(그림 5 참조).

그림 5. 약한 증강을 적용한 이미지

Fig. 5. Image with Weak Augmentation Applied

구분 5번, 데이터 세트별로 바운딩 박스 표기 방식이 상이하므로, YOLO v9 모델의 입력 형식에 맞추기 위해 전처리를 수행하였다. YOLO v9는 클래스 ID, 객체 중심의 x·y 좌표, 객체의 너비 및 높이를 순서대로 요구하며, 클래스 ID를 제외한 모든 값은 0과 1 사이로 정규화된 값을 사용해야 한다. 이에 각 데이터 세트의 원본 좌표를 모델 요구 형식으로 변환하고, 좌푯값이 [0,1] 범위에 들어가도록 정규화하였다.

3.2 강우 스타일 데이터 증강 모델

본 연구에서 스타일 전이를 수행하는 증강 모델로 사용된 CycleGAN Turbo는 짝지어진 학습 데이터가 없는 비정합(Unpaired) 이미지 간의 변환 문제를 해결하기 위해 제안된 비지도 학습 기반의 이미지-이미지 변환 프레임워크이다^[22]. 도메인 간의 명시적 매칭 정보 없이도 스타일을 변환할 수 있도록 설계되었으며, 핵심은 Cycle Consistency(사이클 일관성) 제약에 기반한다. 이는 도메인 X의 이미지를 도메인 $Y$로 변환한 뒤, 다시 도메인 X로 복원했을 때 최종 결과가 원본 이미지와 유사해야 함을 의미한다.

이러한 구조는 그림 6과 같이 두 개의 생성기 ($G$, $F$)와 판별기($D_{X}$, $D_{Y}$)로 구성되며, 각각의 방향성에 대한 학습을 수행한다. 또한 Stable Diffusion Turbo(SD-Turbo) 구조를 백본으로 채택하여, 기존 diffusion 방식의 반복적인 de-noising 과정을 제거하고, 단일 단계 추론만으로 고해상도 이미지 생성이 가능하도록 최적화되었다. 그리고 그림 7과 같이 텍스트 조건 기반 제어를 위해 CLIP 임베딩을 활용하여, 의미론적 조건을 이미지 생성 과정에 통합한다.

그림 6. CycleGAN Turbo의 동작 구조

Fig. 6. Operational structure of CycleGAN Turbo

그림 7. CycleGAN Turbo의 모델 구조

Fig. 7. Model Structure of CycleGAN Turbo

제안된 CycleGAN Turbo 모델을 통한 증강은 손실 함수의 다중 결합 구조로 구성되어 동작한다.

먼저, Consistency Loss를 통해 변환된 이미지가 원본 구조를 유지하도록 제약한다. 해당 Loss를 통해 기상 조건이 변경되어도 도로·건물·차선 등의 기하학적 구조는 유지되고, 조명·색조·명암 등의 기상 스타일은 변환된다. 단순히 픽셀은 바꾸는 합성이 아니라 원본의 공간적 구조를 보존한 채 시각적 속성만 조정하는 변환이 가능하다. 그리고 Adversarial Loss를 통해 생성기(G)가 만든 이미지와 실제 이미지를 판별기 $D_{Y}$가 구별하도록 학습하여 목표 도메인의 시각적 특성을 반영하고, 기상 조건 변환 시 생기는 색상 불연속성, 노이즈, 왜곡을 판별기의 피드백을 통해 줄여서 시각적으로 자연스러운 합성 결과를 생성한다. 또한 CLIP Alignment Loss를 통해 기상 상태의 의미적 특성을 반영함으로써 기상 스타일의 적용과 객체의 구조적 일관성을 보존이 가능하다. 이러한 손실 함수의 다중 결합 구조는 생성기의 feature embedding 공간에서 도메인 간 시각적 특징(조명, 채도, 대비, 스타일 등)을 분리하고, 객체 경계 및 윤곽선과 같은 구조적 특징을 유지하도록 학습을 유도한다는 점에서 기상 스타일 전이에 적합한 증강 기법임을 모델 구조적으로 확인할 수 있다.

본 연구의 실험에서는 이러한 CycleGAN Turbo 모델에 사전 학습된 강우 스타일 변환 가중치를 그대로 활용하여, 별도의 미세 조정(fine-tuning) 과정 없이 맑은 날 도로 영상을 강우 스타일로 변환하였다. 원본 맑은 날 이미지는 모델의 Source Domain 입력으로 제공되며, 출력 이미지는 강우 환경의 시각적 특성을 반영한 Target Domain 이미지로 생성된다. 이때 모델은 명시적 라벨 매칭이 없는 비지도 학습 기반 구조로 작동하므로, 실제 강우 영상이 부족한 상황에서도 효과적인 스타일 전이가 가능하다. 생성된 증강 이미지는 실제 도로 영상과 동일한 해상도 및 시점 정보를 유지하며, 차량 표면 반사광, 도로 수막, 시야 흐림 등 강우 환경 특유의 시각적 특징을 포함한다. 그림 8은 CycleGAN Turbo로 생성된 증강 이미지가 실제 강우 효과를 실질적으로 모사함을 시각적으로 보여준다. 본 연구에서는 이렇게 생성된 데이터를 ‘강우 스타일 증강 세트’로 정의하고, 이후 객체 검출 모델의 학습 및 평가에 투입하였다. 이를 통해 기상 조건 변화에 대한 모델의 일반화 성능을 정량적으로 검증하였다.

그림 8. CycleGAN Turbo 모델을 이용한 증강 예시

Fig. 8. Augmentation Example Using CycleGAN Turbo Model

3.3 도로 교통 객체 탐지 모델

최근 객체 검출 분야에서 YOLO 시리즈는 경량성과 정확도 면에서 지속적인 발전을 이뤄왔다. 본 연구에서 객체 탐지 모델로 사용된 YOLO v9은 단일 단계(Single-Stage) 객체 검출 모델이며, 그림 9에서 나타낸 바와 같이 손실 함수별로 경사 정보를 개별적으로 조정하는 Programmable Gradient Information(PGI) 기법과 Task-Aligned Assigner를 결합함으로써 학습 안정성과 정합성을 향상시켰으며, 그림 10과 같이 기존 ELAN 구조를 일반화한 GELAN 네크워크를 도입하여 다양한 스케일의 특징 정보를 더욱 효과적으로 통합하였다. 이를 통해 동일 해상도 조건에서 mAP@0.50 57.7%, 210 FPS의 성능을 기록하며, 정확도와 실시간 처리 성능 모두에서 향상된 결과를 보여주었다^[23].

그림 9. YOLO v9 PGI 핵심 기능

Fig. 9. Core functionalities of YOLO v9 PGI

그림 10. YOLO v9 GELAN 핵심 기능

Fig. 10. Core functionalities of YOLO v9 GELAN

본 연구의 실험에서는 이러한 특징을 갖는 YOLO v9의 세부 버전 중 YOLO v9-e 기반 객체 검출 모델을 활용하여 맑은 날·비 오는 날, 주간·야간 등 다양한 기상 및 시간대 조건에서의 탐지 성능을 비교·분석하였다. 학습에서는 앞서 생성한 강우 스타일 증강 데이터를 실제 데이터와 통합하여 모델을 훈련하였다. 이를 통해 증강 데이터 도입이 검출 정확도(mAP)에 미치는 영향과, 기상 변화에 대한 도메인 일반화 효과를 정량적으로 검증하였다. 또한 주·야간 간 교차 추론을 수행하여, 야간 학습 모델의 주간 일반화 성능을 점검하였다. 그림 11은 주간 및 야간의 강우 환경에서 YOLO v9-e의 탐지 결과 예시를 보여준다.

그림 11. YOLO v9을 활용하여 객체를 추출하는 예시

Fig. 11. Example of Object Extraction Using YOLO v9

3.4 4-way 학습 시나리오 정의

도로 교통 이미지에 대해서 기상 스타일 증강에 대한 효과 검증과 도로 교통 이미지 내 차량 객체 검출 모델의 성능 확인을 위해 <표 4>와 같은 4개의 실험 유형을 수행하는 프로세스를 제시한다. 제안하는 네 가지 실험 유형은 주간 및 야간 데이터 모두에 대해 동일하게 수행된다. 유형 1은 YOLO v9-e의 기본 성능을 확인하기 위한 기준 실험이며, 유형 2와 3은 실제 강우 데이터와 증강 강우 데이터를 각 유형별 모델의 학습에 활용하여 두 모델 간 성능이 유사함을 검증함으로써 증강 기법의 효과를 입증한다. 유형 4에서는 증강 데이터를 혼합 학습한 모델이 더 우수한 성능을 보임을 통해 증강의 효용을 추가로 확인한다.

3.5 실험 유형별 데이터 세트의 구성

<표 5>와 <표 6>은 각각 3.4절에서 언급한 4 way 시나리오에 따른 실험 유형별 주간 및 야간 실험 데이터 세트의 구성을 나타내는 표이다. D1 및 N1은 맑은 주간 및 야간의 이미지 소량과 적은 학습 반복 횟수를 사용하여 YOLO v9-e 사전 학습 모델의 기본 성능을 확인하는 기준 실험이다. D2 및 N2는 주간 및 야간 실제 강우 이미지 15,000장과 맑은 주간 및 야간 이미지 20,000장을 혼합하여 학습함으로써, 실제 강우 데이터가 객체 탐지 및 분류 성능에 미치는 영향을 평가한다. D3 및 N3는 주간 및 야간 증강 강우 이미지 15,000장과 맑은 주간 및 야간 이미지 20,000장을 함께 학습하여, 증강 기법이 모델 성능에 기여하는 정도를 검증한다. D4 및 N4는 모든 실제 및 증강 강우 이미지를 통합하여 학습함으로써, 두 데이터 소스를 결합했을 때 최대 성능 향상을 확인하는 실험이다.

검증(Validation) 및 테스트(Test) 세트는 모든 유형에서 동일하게 유지된다. 검증 세트는 주간 및 야간 별로 맑은 이미지 6,000장과 실제 강우 이미지 3,000장을 혼합하여 구성하며, 테스트 세트의 경우에는 주간 및 야간 별로 실제 강우 이미지 800장으로 이루어진다.

학습과 검증 데이터의 비율은 D2 · D3 (N2 · N3)에서 35,000 : 9,000(약 4 : 1)으로 이상적인 비율을 적용하였다. D1 · N1, D4 · N4는 실험 목적 및 맥락에 따라 비율을 일부 조정하여 부가 실험 형태로 진행되었다.

3.6 주간 데이터 세트와 야간 데이터 세트의 대조

그림 12는 야간과 주간의 맑은 기상과 강우 기상의 차이를 나타낸다. 주간 맑은 기상 및 강우 환경에서는 물방울이 카메라 렌즈에 맺히거나 폭우가 아닌 이상 차량 객체를 육안으로 쉽게 식별할 수 있으며, 노이즈 수준이 상대적으로 낮다. 반면 야간 데이터는 차량 전조등·후미등의 빛 번짐과 노면 반사로 인해 객체 경계가 불분명해지고, 특히 강우가 겹칠 경우 노이즈가 더욱 심화된다. 이와 같은 도메인 차이를 고려하여, 3.5절과 같이 주간과 야간을 별도의 도메인으로 간주하여 데이터 세트와 학습 모델을 따로 학습하고, 각각의 최적화된 학습 모델을 선택하는 알고리즘을 설계할 수 있다. 또는 주·야간 데이터를 통합하여 대규모 혼합 학습 세트를 구성함으로써 모델이 시간대별 조명 및 기상 변화에 보다 강인하게 대응하도록 할 수도 있다.

그림 12. 주간 도로 및 야간 도로 이미지 데이터의 기상별 비교

Fig. 12. Weather-wise Comparison of Daytime and Nighttime Road Image Data

3.7 실험 유형별 학습 횟수

객체 검출 모델 학습 시 배치 크기(batch size)와 에폭(epoch) 수는 학습 안정성과 성능에 큰 영향을 미치므로, 데이터 세트의 크기 및 분포에 맞추어 적절히 설정해야 한다. 일반적으로 배치 크기 8–32는 메모리 사용량이 적고 모델의 일반화에 유리하지만, 학습 속도가 느리고 업데이트마다 노이즈가 많아진다. 반면 배치 크기 128–1024는 병렬 처리 효율이 높고 학습 속도가 빠르나, 과적합 위험이 크고 더 많은 GPU 자원이 필요하다.

에폭은 전체 학습 데이터를 배치로 나눈 후 모든 배치에 대해서 1회 학습을 수행하는 단위를 의미한다. 즉, 전체 학습 데이터를 한 번 모두 사용하여 모델이 학습을 완료하는 단위이다. 에폭 수가 너무 적으면 모델이 충분히 학습되지 못하고, 과도하면 과적합이 발생할 수 있다.

본 연구에서는 <표 7>과 같이 주간(D1–D4) 및 야간 (N1–N4) 실험 유형별로 배치 크기와 에폭 수를 다르게 설정하였다. D1과 N1은 사전 학습된 YOLO v9-e 모델의 기본 성능을 확인하기 위한 소규모 학습으로 에폭 수를 최소화하였으며, D4와 N4는 실제 및 증강 강우 데이터를 혼합하여 학습량이 증가함에 따라 에폭 수를 다소 높여 최적의 성능을 도출하도록 설계하였다.

배치 크기와 에폭의 구체적인 수치는 GPU 메모리 용량과 학습 안정성 그리고 사전 실험의 결과를 고려하여 배치 크기와 에폭 수를 설정하였다. 이는 증강 데이터 세트를 포함한 전체 학습 이미지 수 대비 적절한 균형을 이루며, 학습 안정성과 수렴 속도 간의 trade-off를 고려한 수치이다.

4.1 실험 환경

강우 환경 데이터 증강 및 도로 교통 객체 검출 실험을 위해 <표 8>과 <표 9>에 제시된 하드웨어 및 소프트웨어 구성을 사용하였다. 객체 검출 시 데이터 로딩 속도를 높이기 위해 충분한 메인 메모리를 캐시 용도로 할당하였으며, 증강 처리의 원활한 수행을 위해 gpu(vga)의 메모리를 최대 용량으로 구성하였다.

4.2 강우 환경 데이터 증강 실험 결과 및 분석

3.5절의 실험 유형별 데이터 세트 구성에 포함되어 있는 D3 실험과 N3 실험은 강우 스타일의 데이터 증강을 필요로 한다. 따라서 본 절에서는 CycleGAN Turbo를 활용한 데이터 증강을 수행하고, 그 결과를 평가한다.

그림 13. 주간 원본 이미지와 증강 이미지의 샘플 및 비교

Fig. 13. Sample and Comparison of Original and Augmented Daytime Images

그림 14. 야간 원본 이미지와 증강 이미지의 샘플 및 비교

Fig. 14. Sample and Comparison of Original and Augmented Nighttime Images

그림 13과 그림 14는 각각 주·야간 맑은 기상 이미지에 CycleGAN Turbo를 적용하여 강우 스타일로 변환한 증강 샘플이다. 증강 후 도로 표면에는 빗방울이 맺힌 질감이 구현되었으며, 전반적으로 흐릿한 안개 효과가 추가되었다. 중앙의 검정색 점 형태 노이즈는 강우로 인한 물방울 반사를 모델이 추론하여 표현한 결과이다.

4.3 도로 교통 객체 탐지 실험 결과 및 분석

4.3.1 도로 교통 객체 탐지 실험 학습 결과 및 분석

3.4절과 3.5절에서 제안한 방법과 데이터 구성대로 도로 교통 객체의 검출 실험은 주간과 야간의 데이터 세트로 나누었다. 그리고 각각의 데이터 세트에 대해서 4가지 실험을 수행 후 학습 결과(검증 결과)에 대해서 분석한다

<표 10>은 주간 기상 데이터에 대해서 네 가지 실험을 수행한 결과 지표를 나타낸 표이다. 주간 데이터에 대해 네 가지 실험을 수행한 결과, 사전 학습된 YOLO v9-e 모델의 기본 성능을 확인하기 위한 D1 실험에서는 맑은 기상 데이터만으로 학습하고 실제 강우 이미지를 검증 세트로 사용하여 낮은 mAP 값을 기록하였으나 실험 설계의 타당성을 확보하였으며, 맑은 기상과 실제 강우 데이터를 혼합 학습한 D2 실험과 맑은 기상과 증강 강우 데이터를 혼합 학습한 D3 실험에서는 mAP@0.50 기준으로 0.003 포인트 차이로 거의 동일한 성능을 보여 증강 데이터가 실제 강우 데이터와 동등한 학습 효과를 냄을 입증하였고, 맑은 기상, 실제 강우, 증강 강우 이미지를 모두 통합 학습한 D4 실험에서는 모든 평가 지표에서 가장 우수한 성능을 보여 다양한 우천 조건에 대한 모델의 일반화 능력을 극대화함을 확인하였다.

표 10. 주간 기상 데이터에 대한 네 가지 실험 결과 지표

Table 10. Performance Metrics of Four Experiments on Daytime Weather Data

실험	Precision	Recall	mAP@0.50	mAP@0.50:0.95
D1	0.769	0.588	0.657	0.452
D2	0.862	0.742	0.817	0.601
D3	0.859	0.736	0.814	0.598
D4	0.868	0.753	0.828	0.611

그림 15는 주간 데이터 세트에 대해서 실험 유형별 학습 결과 평가 지표를 비교한 그래프이다.

그림 15. 주간 실험 모델별 학습 결과 평가 지표 비교 그래프

Fig. 15. Comparison Graph of Evaluation Metrics for Daytime Experimental Models

<표 11>은 야간 기상 데이터에 대해서 네 가지 실험을 수행한 결과 지표를 나타낸 표이다. 출력 클래스 수 보정 및 사전 학습된 모델의 기본 성능을 확인하기 위한 N1 실험에서는 낮은 mAP 값을 기록하였으나 실험 설계의 타당성을 확보하였고, 실제 강우 데이터로 학습한 N2 실험과 증강 강우 데이터로 학습한 N3 실험에서는 실제 강우 학습이 다소 우수했으나 그 차이는 미미하였으며, 실제 및 증강 강우 이미지를 모두 통합 학습한 N4 실험에서는 모든 지표에서 안정적인 성능 향상이 관찰되어 강건성이 유지됨을 확인했다. 그림 16은 야간 데이터 세트에 대해서 실험 유형별 학습 결과 평가 지표를 비교한 그래프이다.

표 11. 야간 기상 데이터에 대한 네 가지 실험 결과 지표

Table 11. Performance Metrics of Four Experiments on Nighttime Weather Data

실험	Precision	Recall	mAP@0.50	mAP@0.50:0.95
N1	0.760	0.599	0.662	0.445
N2	0.838	0.774	0.828	0.597
N3	0.835	0.736	0.798	0.573
N4	0.843	0.783	0.834	0.601

그림 16. 야간 실험 모델별 학습 결과 평가 지표 비교 그래프

Fig. 16. Comparison Graph of Evaluation Metrics for Nighttime Experimental Models

4.3.2 도로 교통 객체 탐지 실험 시험 결과 및 분석

4.3.1절에서 전이 학습한 모델의 가중치 결과를 이용하여 테스트 데이터 세트에 대해서 객체 탐지 실험 후 그 결과를 분석한다.

<표 12>와 <표 13>은 각각 주간 데이터 세트와 야간 데이터 세트에서 각각의 테스트 세트를 이용하여 각 실험 별로 추론한 결과를 나타낸 표이다. 3.5 절의 실험 유형별 데이터 세트 구성에서 기술한 바와 같이 테스트 데이터 세트는 맑은 기상과 실제 강우 기상의 데이터로 구성된 검증 데이터 세트와 달리 실제 강우 기상의 데이터로만 구성되어 있다.

표 12. 테스트 세트에 대한 클래스, 주간 실험 유형별 mAP@0.50지표

Table 12. Class-wise mAP@0.50 Metrics for Daytime Experiment Types on the Test Set

	D1	D2	D3	D4
all	0.637	0.884	0.825	0.884
bicycle	0.571	0.821	0.796	0.826
bus	0.687	0.939	0.898	0.940
car	0.853	0.949	0.918	0.949
person	0.360	0.807	0.665	0.806
truck	0.717	0.902	0.847	0.897

표 13. 테스트 세트에 대한 클래스, 야간 실험 유형별 mAP@0.50지표

Table 13. Class-wise mAP@0.50 Metrics for Nighttime Experiment Types on the Test Set

	N1	N2	N3	N4
all	0.703	0.876	0.831	0.892
bicycle	0.657	0.923	0.843	0.936
bus	0.733	0.886	0.883	0.905
car	0.905	0.964	0.930	0.969
person	0.368	0.691	0.574	0.724
truck	0.853	0.915	0.924	0.929

실제 강우 기상 데이터만으로 구성된 테스트 세트에 대한 추론 결과, 증강 강우 데이터(D3, N3)는 실제 강우 데이터(D2, N2)에 비해 전체 클래스 기준 mAP@0.50이 주간에서 약 0.059, 야간에서 약 0.045 낮게 나타났다. 세부적으로는 person·bicycle 등의 소형 객체에서 최대 0.142까지 성능 차이가 집중되었으나, bus·truck 등 대형 차량에서는 거의 차이가 없었다. 이는 소형 객체의 데이터의 양이 충분하지 못한 한계와 CycleGAN Turbo가 차량 실루엣과 배경 패턴을 충분히 재현했으나, 소형 객체의 미세 질감과 야간 글레어·모션 블러까지 완벽히 모사하지 못한 한계로 해석된다. 그럼에도 불구하고 대형 교통 객체에 한정하면 증강 데이터만으로도 실제 데이터 수준의 검출 성능을 달성하였다.

또한 테스트 세트에서도 실제 강우와 증강 강우 이미지를 혼합 학습한 D4·N4 실험이 여전히 최고 성능을 기록하여, 혼합 증강 방식이 모델의 강건성 확보에 가장 효과적임을 재확인하였다. 그림 17은 모든 실험의 클래스별 mAP@0.50 값을 시각적으로 비교한 히트맵 그래프이다.

그림 17. 테스트 세트에 대한 클래스, 주·야간 실험 유형별 mAP@0.50 지표 히트맵

Fig. 17. Heatmap of Class-wise mAP@0.50 Metrics for Daytime and Nighttime Experiment Types on the Test Set

4.3.3 주·야간 모델과 주·야간 데이터의 교차 추론 실험 결과

주간 데이터로 학습한 모델에 야간의 테스트 데이터로 추론하고 야간 데이터로 학습한 모델에 주간 테스트 데이터로 추론하여 일반화 능력과 도메인 적응 능력을 평가하는 추가적인 교차 추론 실험을 수행했다.

<표 14>는 주·야간 학습 모델과 주·야간 테스트 데이터를 교차로 추론한 실험의 결과이다. 교차 추론 실험에서 야간 데이터로 학습된 모델(N1, N2, N3, N4)은 전반적으로 주간 데이터로 학습된 모델(D1, D2, D3, D4)보다 더 높은 mAP 값을 나타냈다. 이는 야간 학습 모델이 보다 강건하게 학습되었을 가능성을 시사한다. 야간 이미지는 조명 부족, 저조도, 객체의 모호성 등으로 인해 객체 검출에 불리한 조건을 갖고 있으며, 이러한 어려운 환경을 학습한 모델은 상대적으로 추론에 방해 요소가 적은 주간 이미지에 대해 더 우수한 일반화 성능을 보일 수 있다. 반대로, 주간 데이터로 학습한 모델들은 전체적으로 낮은 mAP 결과를 나타냈다. 그럼에도 불구하고, 학습 데이터에는 존재하지 않았던 야간 테스트 데이터에 대해 수행된 D2 실험과 D3 실험의 결괏값이 유사하게 나타난 점은, 증강 데이터가 실제 데이터를 일정 부분 대체할 수 있음을 시사한다. 그림 18은 모든 실험의 클래스별 mAP@0.50 값을 시각적으로 비교한 히트맵 그래프이다.

표 14. 교차 추론 실험 결과

Table 14. Cross-Inference Experiment Results

	D1	D2	D3	D4	N1	N2	N3	N4
all	0.454	0.704	0.680	0.726	0.597	0.839	0.767	0.845
bicycle	0.314	0.656	0.617	0.695	0.511	0.817	0.739	0.811
bus	0.338	0.669	0.599	0.701	0.611	0.857	0.826	0.860
car	0.737	0.870	0.842	0.879	0.843	0.930	0.919	0.934
person	0.335	0.626	0.622	0.654	0.362	0.761	0.542	0.781
truck	0.547	0.700	0.721	0.702	0.656	0.832	0.811	0.838

그림 18. 주·야간 학습 모델과 주·야간 테스트 데이터의 교차 추론 결과

Fig. 18. Cross-Inference Results Between Daytime and Nighttime Training Models and Test Sets