DNN/ANN 모델에서 데이터 분할과 검증

오늘 주정태 학생 논문 수정하다가 인공신경망 모델 최적화와 검증 관련해서 Gemini와 Claude로 정리한 내용입니다. 

 

DNN/ANN 모델에서 데이터 분할과 검증 전략: 환경 모니터링 연구를 중심으로

---

1. 핵심 원칙: 테스트 세트의 순결성

데이터 분할 방식을 논할 때 가장 중요한 원칙은 분할 비율 자체가 아니라 테스트 세트의 오염 여부입니다. 테스트 세트는 최종 성능 평가에만 단 한 번 사용해야 하며, 하이퍼파라미터 조정 과정에 어떤 방식으로도 관여해서는 안 됩니다. 이 원칙이 지켜지는 한, 80:20이든 60:20:20이든 분할 비율 자체는 부차적인 문제입니다.

---

2. 80:20 단순 분할의 한계

회귀 분석이나 하이퍼파라미터가 거의 없는 단순 모델에서는 80:20 홀드아웃도 유효합니다. 그러나 DNN/ANN처럼 에포크 수, 은닉층 개수, 노드 수, 학습률 등 다수의 하이퍼파라미터를 조정해야 하는 모델에서는 문제가 생깁니다.

20% 테스트 세트의 성능을 보면서 모델 구조를 수정한다면, 그 테스트 세트는 이미 최적화 과정에 간접적으로 관여한 것입니다. 결과적으로 테스트 세트에 과적합이 발생하고, 실제 미지 데이터에 대한 추정 성능이 부풀려집니다. 리뷰어들이 가장 먼저 지적하는 부분이기도 합니다.

---

3. 표준 프로토콜: 60:20:20 3-Way Split

DNN/ANN 모델에서 학계가 권장하는 표준 방식은 다음과 같습니다.

Step 1 — 하이퍼파라미터 최적화

• Train (60%): 가중치와 편향을 학습
• Validation (20%): 조기 종료(Early Stopping) 시점 결정 및 하이퍼파라미터 조합 선택에만 사용

Step 2 — 최종 성능 평가

• Test (20%): 최적 구조가 확정된 후 단 한 번만 사용하여 R², RMSE 등을 보고

최종 모델을 구성하는 방식은 두 가지가 있습니다.

• 방법 A (체크포인트 방식, 권장): Validation 손실이 최소가 된 시점의 가중치를 그대로 가져와 Test 세트로 평가합니다. 구현이 간단하고 직관적입니다.
• 방법 B (데이터 극대화 방식): 데이터 수가 적을 때 유용합니다. 최적 에포크 수를 Step 1에서 결정한 뒤, Train과 Validation을 합친 80%로 처음부터 재학습하여 Test 세트로 평가합니다. 단, 재학습 시 에포크 수를 고정하는 것이 원칙이지만, 데이터 규모가 달라지면 수렴 속도도 변하므로 학습 곡선을 다시 모니터링하는 것이 더 안전합니다.

---

4. 시계열 자료에서의 핵심 주의사항

PM2.5 일별 자료처럼 시계열 구조를 가진 환경 모니터링 데이터에서는 추가적인 원칙이 적용됩니다.

랜덤 분할은 사용하지 않습니다. 무작위로 섞으면 미래 데이터가 과거 학습에 섞이는 데이터 누수(data leakage)가 발생합니다. 예를 들어 2023년 데이터로 학습하고 2022년 데이터를 테스트하는 상황이 만들어집니다.

대신 다음 방식을 사용합니다.

• 시간 순서 유지 홀드아웃: 초기 구간을 학습, 후기 구간을 테스트로 고정합니다.
• Time Series Split: 교차검증이 필요한 경우 일반 K-Fold 대신 sklearn.TimeSeriesSplit을 사용합니다. 각 폴드에서 항상 과거로 학습하고 미래로 검증합니다.
• LOYO-CV (Leave-One-Year-Out CV): 연도별로 한 해씩 테스트 세트로 순환하는 방식으로, 계절성과 연도 간 변동성을 모두 평가할 수 있어 리뷰어 방어에 특히 유리합니다.

---

5. 데이터가 풍부한 경우 vs. 제한적인 경우

상황권장 전략

수년간 일별 자료 (데이터 풍부)	시간 순서 유지 홀드아웃 + LOYO-CV
계절별·연도별 대표성 확보 필요	Time Series Split 기반 교차검증
샘플 수 제한 (수십~수백 개)	LOYO-CV, LOMO-CV, LOOCV
공간 구조 포함 (다지점)	LOSO-CV (Leave-One-Site-Out CV)

수년간의 일별 PM2.5 성분 자료처럼 데이터가 풍부한 경우에는 단순 홀드아웃도 통계적으로 충분히 안정적입니다. 다만 계절성과 연도별 트렌드가 모델 성능에 미치는 영향을 검증하려면, 테스트 세트가 모든 계절을 포함하도록 설계하거나 LOYO-CV를 병행하는 것이 논문의 완성도를 높입니다.

---

6. 결론 및 논문 작성 시 체크리스트

• 테스트 세트를 하이퍼파라미터 조정 과정에서 완전히 격리했는가?
• 시계열 자료에서 랜덤 분할을 피하고 시간 순서를 유지했는가?
• 분할 방식과 최종 모델 빌드 절차를 Methods 섹션에 명확히 기술했는가?
• 교차검증 방식이 데이터의 시계열·공간 구조와 일치하는가?
• 최종 성능 지표(R², RMSE 등)가 테스트 세트 기준으로 보고되었는가?