AIモデルを検証する際は、利用目的に合わせて評価データを分割する必要がある。同じ農場の隣接する時点のデータを混ぜて得た性能は、別の農場での適用性能とは異なる場合がある。『炭素削減を実証する技術とソリューション』第8章は、学習と評価の境界、および単純なベースラインモデルとの比較を重視している。
概念と適用範囲を先に定める
評価データは、モデル選択に使ったデータと、最終性能を確認するデータに分ける必要がある。複数の方法を比較する中で繰り返し使ったデータを最終評価のように提示すると、実際の適用性能を過大評価しかねない。利用目的に合った評価手順を先に定める必要がある。現場ではデータの分布や運用条件が変化し得る。変化を検知する基準、再評価、使用停止の手順を記録しておく。性能指標とあわせて、誤った予測がどのような行動や費用を招くかを検討することが重要である。
報告（R）は、文脈と計算過程を記録する。元データをどのルールで処理し、どのような結論に至ったかという全過程を文書化する。欠測をどう補ったか、外れ値をどの基準で除外したか、どのモデルのどのバージョンを使ったか、不確実性をどのように推定したかが含まれる。報告書の質は、結論の華やかさではなく再現可能性で評価される。
システム境界とは、計算に含める排出源・ガス・期間・組織を定める基準である。境界が曖昧だと、同じ削減量について当事者が異なる結果を期待することになる。適用方法論の算入・除外ルールと重要性基準を確認し、農場全体の結果なのか、特定の排出源の結果なのかを報告書の冒頭に明記する。
排出係数に基づくベースラインも選択肢の一つである。IPCC Tier 1はデフォルト係数を使い、腸内発酵のTier 2は飼養特性、総エネルギー摂取量、メタン転換率などをより詳細に反映する。平均係数だけでは個別農場における技術の効果を捉えにくいことがあるが、係数を使うこと自体が補償に適さないわけではない。適用方法論が認める係数と活動データ、適用条件の確認、不確実性の処理、検証を備えているかが判断基準である。
現実的な発展経路は、濃度観測と基準排出率の測定をあわせて蓄積し、換気・気象・飼養頭数・飼料の情報を結びつけることである。モデル開発に使っていない農場と期間で予測誤差を評価し、適用範囲を明示しなければならない。同時観測データが増えても、代表性が不足したり共通の偏りがあったりすれば、モデルの信頼性が自動的に高まるわけではない。
給餌と反芻に伴うメタン排出は、一日の中でも変化する。ピークとなる時刻は飼料、給餌方法、個体の行動によって変わるため、数十分単位の固定値にはできない。記録間の時刻誤差と配管内の輸送遅延は、分析対象とする変化の時間スケールに比べて十分小さく管理する必要がある。
時刻の基準が確認できない場合、まず誤差と遅延の大きさを推定し、分析への影響を評価する。日単位の集計では小さかった誤差が、分単位の事象分析では大きくなることもある。復元できないデータは、その時間スケールの結合分析から除外するか、解釈範囲を限定し、その理由を記録する。
現場適用の条件と限界
複数日にわたるセンサー記録を無作為に分けて、学習と評価に使ったケースを考えてみよう。繰り返し現れる日内パターンをよく予測できても、新しい農場の条件を説明できるとは限らない。将来の運転を目的とする評価と、農場間に展開するための評価では、データの分割方法から異なる。前処理や欠測処理にも、評価データの情報を先に使ってはならない。
評価データはまず分割する。同じ農場の隣接時刻のデータを無作為に混ぜると、現場の反復パターンを記憶した性能を、新しい農場での性能と誤認するおそれがある。将来の運転が目的なら時間順に、別の農場への展開が目的なら農場単位で分割する。モデル選択に使った検証データと最後の性能確認データを区別し、前処理と欠測補完も学習データで定めたルールに従って実行する。
AIの評価データは、利用目的に応じて分ける。将来の運転を予測するなら時間順の分割を、別の農場に展開するなら農場単位の分割を検討する。モデル選択に使うデータと、最終的な性能確認に使うデータも分ける。単純なベースラインモデルと比較し、平均誤差だけでなく、農場・季節ごとの偏りや失敗条件も確認しなければ、実際の利用範囲は説明できない。
失敗した場合の対応も記す。校正の有効期間切れ、通信の欠落、評価していない飼料・季節・換気条件では、出力に制限を表示するか使用を停止し、担当者に引き継ぐ。再学習しただけで直ちに再利用してはならない。変更したモデルを独立した評価データで確認し、適用時点と承認者を記録する。モデルによる判断支援と、削減量の外部検証は別の業務である。
投資検討に必要な根拠
投資家は平均性能だけでなく、農場・季節ごとの誤差や継続的な偏りも確認する必要がある。従来の簡単な予測方法に比べて何が改善したのかも確かめるべきである。再学習後は、独立した評価データで変更後の性能を確認し、適用時点と承認者を記録する必要がある。
データ系譜とは、最終数値がどの元データから、どのような変換を経て得られたかという経路である。機器とチャンネル、生成時刻に加え、単位換算・補正・フィルタリング・集計のルールを記録する。誰が実行・承認したか、その後何をなぜ修正したかも残さなければならない。元データが保存されていることと、適格なレビュー担当者が処理過程を再確認できることは、あわせて点検すべき条件である。
試験の問いと判断基準を事前に定めれば、参加者も何のために記録するのかを理解できる。予想と異なる結果が出てもデータを残し、拡大する部分と補完または中止する部分を分けて判断する。
判断に残すべき基準
モデル検証は、高いスコアを示すだけで終わる手続きではない。展開の目的と失敗時のコストに合ったデータで、利用範囲を確認する必要がある。学習範囲を外れる条件では、再評価するか使用を制限する根拠が求められる。
著者紹介
イ・ボンジュンは、西江大学校の技術経営大学院（MOT）を修了。Infitron Co., Ltd.で7年、Honeywellで20年、ガス計測分野に27年間従事し、サービスエンジニア、技術営業、チャネル管理の業務を担当した。現在はAI Safety Korea Co., Ltd.の創業者として、センサー・AI・データ分析を活用した畜産メタンモニタリングと測定・報告・検証（MRV）の仕組みを研究している。