AI 모델 검증에서는 사용 목적에 맞게 평가 자료를 분리해야 한다. 메탄 데이터 분석에서 같은 농장의 인접한 시점 자료를 섞어 얻은 성능은 다른 농장에서의 적용 성능과 다를 수 있다. 『탄소감축을 증명하는 기술과 솔루션』 8장은 학습과 평가의 경계, 단순한 기준 모델과의 비교를 강조한다.
개념과 적용 범위를 먼저 정한다
평가 자료는 모델 선택에 사용한 자료와 마지막 성능을 확인할 자료로 구분할 필요가 있다. 여러 방법을 비교하면서 반복 사용한 자료를 최종 평가처럼 제시하면 실제 적용 성능을 과대평가할 수 있다. 사용 목적에 맞게 평가 절차를 먼저 정해야 한다. 현장에서는 자료 분포와 운영 조건이 바뀔 수 있다. 변경을 감지하는 기준과 재평가, 사용 중지의 절차를 남겨야 한다. 성능 지표와 함께 잘못된 예측이 초래할 행동과 비용을 검토하는 것이 중요하다.
보고(R)는 맥락과 계산을 남긴다. 원자료를 어떤 규칙으로 처리해 어떤 결론에 도달했는지의 전 과정을 문서화한다. 결측을 어떻게 채웠는지, 이상치를 어떤 기준으로 제외했는지, 어떤 모델의 어떤 버전을 썼는지, 불확실성을 어떻게 추정했는지가 여기 들어간다. 보고서의 품질은 결론의 화려함이 아니라 재현 가능성으로 평가된다.
시스템 경계는 계산에 포함할 배출원·가스·기간·조직을 정하는 기준이다. 경계가 불명확하면 같은 감축량을 두고도 당사자가 서로 다른 결과를 기대하게 된다. 적용 방법론의 포함·제외 규칙과 중요성 기준을 확인하고, 농장 전체 결과인지 특정 배출원의 결과인지 보고서 첫머리에 명시한다.
배출계수 기반 기준선도 선택지다. IPCC Tier 1은 기본계수를 이용하고, 장내발효 Tier 2는 사양 특성·총에너지섭취량·메탄전환율 등을 보다 상세히 반영한다. 평균계수만으로 개별 농장의 기술 효과를 포착하기 어려울 수 있지만, 계수 사용 자체가 보상에 부적합한 것은 아니다. 적용 방법론이 허용하는 계수와 활동자료, 적용 조건 확인, 불확실성 처리 및 검증을 갖추었는지가 판단 기준이다.
현실적인 발전 경로는 농도 관측과 기준 배출률 측정을 함께 축적하고, 환기·기상·두수·사료 정보를 연결하는 것이다. 모델 개발에 쓰지 않은 농장과 기간에서 예측오차를 평가하고 적용 범위를 명시해야 한다. 동시 관측자료가 많아져도 대표성이 부족하거나 공통 편향이 있으면 모델의 신뢰가 저절로 높아지지 않는다.
급이와 반추에 따른 메탄 배출은 하루 안에서도 달라진다. 정점 시각은 사료와 급이 방식, 개체 행동에 따라 달라 수십 분으로 고정할 수 없다. 기록 간 시각 오차와 관로의 이송 지연은 분석하려는 변화의 시간 규모보다 충분히 작게 관리한다.
시각 기준이 확인되지 않으면 먼저 오차와 지연의 크기를 추정하고 분석에 미칠 영향을 평가한다. 일 단위 집계에는 작던 오차가 분 단위 사건 분석에는 클 수 있다. 복구가 불가능한 자료는 해당 시간 규모의 결합 분석에서 제외하거나 해석 범위를 제한하고 그 이유를 남긴다.
현장 적용의 조건과 한계
여러 날의 센서 기록을 무작위로 나누어 학습과 평가에 사용한 사례를 가정하자. 반복되는 일중 패턴을 잘 맞춘 결과가 새 농장의 조건까지 설명하는 것은 아니다. 미래 운전을 위한 평가와 농장 간 확대를 위한 평가는 자료 분리 방식부터 달라져야 한다. 전처리와 결측 처리도 평가 자료의 정보를 미리 사용하지 않아야 한다.
평가 자료를 먼저 분리한다. 같은 농장의 인접 시각 자료를 무작위로 섞으면 현장의 반복 패턴을 기억한 성능을 새 농장에 대한 성능으로 오해할 수 있다. 미래 운전이 목적이면 시간 순서로, 다른 농장에 배포할 목적이면 농장 단위로 분리한다. 모델 선택에 쓴 검증 자료와 마지막 성능 확인 자료를 구분하고, 전처리와 결측 보정도 학습 자료에서 정한 규칙으로 실행한다.
AI 평가 자료는 사용 목적에 맞게 나눈다. 미래의 운전을 예측하려면 시간 순서를, 다른 농장에 배포하려면 농장 단위의 분리를 고려해야 한다. 모델 선택에 사용한 자료와 마지막 성능 확인에 사용할 자료도 구분한다. 단순한 기준 모델과 비교하고 평균 오차뿐 아니라 농장·계절별 편향과 실패 조건을 확인해야 실제 사용 범위를 설명할 수 있다.
실패하면 어떻게 할지도 적는다. 교정 유효기간 경과, 통신 누락, 평가하지 않은 사료·계절·환기 조건에서는 출력에 제한을 표시하거나 사용을 중지하고 담당자에게 넘긴다. 재학습했다고 곧바로 다시 사용하지 않는다. 변경된 모델을 독립된 평가 자료로 확인하고 적용 시점과 승인자를 기록한다. 모델의 판단 보조와 감축량의 외부 검증은 별개 업무다.
투자 검토에 필요한 근거
투자자는 평균 성능 외에 농장과 계절별 오차, 지속적인 편향을 살펴야 한다. 기존의 간단한 예측 방법보다 무엇이 개선됐는지도 확인해야 한다. 재학습 후에는 독립된 평가 자료로 변경된 성능을 확인하고 적용 시점과 승인자를 기록할 필요가 있다.
데이터 계보는 최종 수치가 어떤 원자료에서 어떤 변환을 거쳐 나왔는지의 경로다. 장비와 채널, 생성 시각과 함께 단위 변환·보정·필터링·집계 규칙을 기록한다. 누가 실행하고 승인했는지, 이후 무엇을 왜 수정했는지도 남겨야 한다. 원자료가 남아 있다는 사실과 적격 검토자가 처리 과정을 다시 확인할 수 있다는 사실은 함께 점검할 조건이다.
시험의 질문과 판단 기준을 미리 정하면 참여자도 무엇을 위해 기록하는지 이해할 수 있다. 예상과 다른 결과가 나와도 자료를 남기고, 확대할 부분과 보완하거나 멈출 부분을 나누어 판단한다.
판단에 남겨야 할 기준
모델 검증은 높은 점수를 제시하는 절차로 끝나지 않는다. 배포 목적과 실패 비용에 맞는 자료로 사용 범위를 확인해야 한다. 학습 범위를 벗어난 조건에서는 다시 평가하거나 사용을 제한할 근거가 필요하다.
저자 소개
이봉준은 서강대학교 기술경영대학원(MOT)을 졸업했다. 인피트론(주) 7년, 하니웰(Honeywell) 20년 등 가스계측 분야에서 27년간 서비스 엔지니어·기술영업·채널 관리 업무를 수행했다. 현재 에이아이세이프티코리아(주) 창업자로서 센서·AI·데이터 분석을 활용한 축산 메탄 모니터링과 측정·보고·검증(MRV) 체계를 연구 중이다.