센서 그래프에 빈칸이 보이면 빨리 채우고 싶어집니다. 그런데 저는 그 빈칸이 왜 생겼는지도 함께 보자고 말씀드립니다. 『탄소감축을 증명하는 기술과 솔루션』 8장의 탄소 데이터 품질 이야기입니다. 센서 데이터 결측은 단순한 불편일 수도 있지만 고장이나 급여 중단처럼 결과와 관련된 신호일 수도 있거든요.
책에서 먼저 구분해볼 내용입니다
결측을 보완하는 방법도 자료의 일부라고 생각하시면 좋겠습니다. 어느 길이의 구간을 어떤 규칙으로 추정했는지 남기는 겁니다. 결과를 본 뒤 유리한 방법만 선택하지 않도록 처리 기준을 미리 정해두면 도움이 됩니다. 관측값이 수정되는 일 자체가 잘못은 아닙니다. 다만 수정한 이유와 적용 범위를 확인할 수 있어야 하지요. 원자료와 보완한 자료를 구분하면 다른 사람이 결과를 다시 살펴보는 데도 도움이 됩니다.
보고(R)는 맥락과 계산을 남깁니다. 원자료를 어떤 규칙으로 처리해 어떤 결론에 도달했는지의 전 과정을 문서화합니다. 결측을 어떻게 채웠는지, 이상치를 어떤 기준으로 제외했는지, 어떤 모델의 어떤 버전을 썼는지, 불확실성을 어떻게 추정했는지가 여기 들어갑니다. 보고서의 품질은 결론의 화려함이 아니라 재현 가능성으로 평가됩니다.
계절. 여름과 겨울의 섭취량, 사료 조성과 환기 조건이 다르면 단순 전후 차이에 계절 영향이 섞입니다. 그 차이를 모두 기술 효과나 모두 계절 효과로 단정하지 말고, 비교 설계와 보정의 타당성을 검토합니다.
품질관리(QC)는 자료 수집과 산정 과정에서 일관성·완전성·오류를 점검하는 활동입니다. 품질보증(QA)은 체계와 결과가 정해진 품질 목표를 충족하는지 검토하는 활동을 포함합니다. 계획 단계의 예방과 수행 중 점검, 결과 검토가 서로 보완되어야 합니다. 구체적인 역할과 절차는 적용 지침에 맞추며, QA를 예방만으로 또는 QC를 사후 수정만으로 좁히지 않습니다.
농도는 공기 중 가스의 비율이고 배출률은 단위 시간에 배출되는 질량입니다. 배출량을 측정하거나 추정하려면 목적에 맞는 농도와 유량, 측정모형을 연결해야 합니다. 농도가 낮아져도 공기 이동량이 늘었다면 질량 배출률이 같은 방향으로 달라진다고 단정할 수 없습니다. 시간에 따른 배출률을 배출량으로 연결할 때는 측정 기간과 누락 구간의 처리도 필요합니다.
시각 기준이 확인되지 않으면 먼저 오차와 지연의 크기를 추정하고 분석에 미칠 영향을 평가합니다. 일 단위 집계에는 작던 오차가 분 단위 사건 분석에는 클 수 있습니다. 복구가 불가능한 자료는 해당 시간 규모의 결합 분석에서 제외하거나 해석 범위를 제한하고 그 이유를 남깁니다.
AI는 이상 징후의 후보를 찾고, 정해진 조건에서 짧은 결측을 추정하며, 여러 변수의 관계를 탐색하는 데 활용할 수 있습니다. 자료 정리와 품질 점검, 보고서 초안 작성을 도울 수도 있습니다. 각 기능의 목적과 실패 비용은 다르므로 같은 성능 지표로 모두 평가하지 않습니다. 어떤 입력과 가정으로 만든 결과인지 밝히고 추정값을 직접 관측한 값과 구분해야 합니다.
현장에서는 이렇게 살펴보시면 좋겠습니다
통신이 잠깐 끊긴 때와 장비가 고장 난 때를 떠올려보세요. 둘 다 화면에는 빈칸으로 보일 수 있지만 같은 방식으로 보완해도 되는지는 다릅니다. 관측이 빠진 이유와 기간, 그때의 운영 상태를 살펴야 합니다. 추정해 채웠다면 직접 측정한 값과 구분해두어야 하지요.
AI는 관측을 정리하고 누락된 값을 추정할 수 있습니다. 그 가치는 추정 사실을 숨기는 데 있지 않고, 어떤 자료와 가정으로 어느 범위까지 믿을 수 있는 값을 만들었는지 드러내는 데 있습니다.
평가 자료를 먼저 분리합니다. 같은 농장의 인접 시각 자료를 무작위로 섞으면 현장의 반복 패턴을 기억한 성능을 새 농장에 대한 성능으로 오해할 수 있습니다. 미래 운전이 목적이면 시간 순서로, 다른 농장에 배포할 목적이면 농장 단위로 분리합니다. 모델 선택에 쓴 검증 자료와 마지막 성능 확인 자료를 구분하고, 전처리와 결측 보정도 학습 자료에서 정한 규칙으로 실행합니다.
마지막으로 프라이버시와 데이터 권리가 있습니다. 농장 데이터는 개체 정보, 생산 성과, 재무 정보와 연결될 수 있습니다. 이 데이터가 감축 검증 목적을 넘어 금융·보험·마케팅에 재사용되면 농가의 신뢰를 잃습니다. 1장에서 언급했듯 신뢰를 잃으면 데이터 품질도 함께 잃습니다. 목적 제한, 별도 동의, 접근권한 차등화, 이의제기 절차가 기술적 보안만큼 중요한 이유입니다. 이 설계는 12장의 계약 논의와 정책 제언 12번에서 구체화합니다.
투자 검토에서 함께 물어볼까요?
자료를 받으셨다면 결측률과 함께 제외하거나 보완한 규칙을 물어보세요. 그 규칙을 적용했을 때 결론이 얼마나 달라지는지도 중요합니다. 센서와 급이기, 환기 제어기의 시간이 맞는지 확인하는 일도 빠뜨리기 쉽습니다. 서로 다른 시점의 자료를 같은 상황으로 묶으면 해석이 달라질 수 있습니다.
대조가 어려우면 반복 기초선으로 변동과 시간 추세를 파악하되, 그 자료만으로 모든 교란을 제거했다고 보아서는 안 됩니다. 변화가 개별 관측의 자연 변동보다 작아도 충분한 독립 반복을 통해 평균 효과를 추정할 수 있습니다. 반대로 차이가 커 보여도 계절이나 성장의 영향일 수 있습니다. 효과 추정치와 신뢰구간, 인과 해석의 한계를 함께 제시합니다.
기대보다 낮거나 뚜렷한 효과가 없는 결과도 기록합니다. 보고서에 예상과 달랐던 관측과 원인 검토를 포함하면, 후속 시험에서 같은 문제를 반복하지 않는 데 도움이 됩니다.
책을 덮기 전에 남겨볼 질문입니다
매끈한 그래프보다 빠진 구간과 처리 이유를 설명할 수 있는 기록이 더 도움이 될 때가 있습니다. 빈칸을 숨기지 않고 어떤 자료로 어디까지 보완했는지 남겨보세요. 그 설명이 다음 검토의 출발점이 됩니다.
저자 소개
이봉준은 서강대학교 기술경영대학원(MOT)을 졸업했다. 인피트론(주) 7년, 하니웰(Honeywell) 20년 등 가스계측 분야에서 27년간 서비스 엔지니어·기술영업·채널 관리 업무를 수행했다. 현재 에이아이세이프티코리아(주) 창업자로서 센서·AI·데이터 분석을 활용한 축산 메탄 모니터링과 측정·보고·검증(MRV) 체계를 연구 중이다.