センサーのグラフに空白が見えると、すぐに埋めたくなります。しかし私は、その空白がなぜ生じたのかも一緒に見てみましょうとお伝えします。『炭素削減を実証する技術とソリューション』第8章で扱う、炭素データの品質の話です。センサーデータの欠測は、単なる不便かもしれませんが、故障や給餌の中断など、結果に関係するシグナルである可能性もあるからです。
まず本の中で区別しておきたいこと
欠測を補う方法も、データの一部だと考えるとよいでしょう。どの長さの区間を、どのルールで推定したのかを記録します。結果を見てから都合のよい方法だけを選ばないよう、処理基準を事前に定めておくと役立ちます。観測値を修正すること自体が誤りなのではありません。ただし、修正理由と適用範囲を確認できる必要があります。元データと補完したデータを区別すれば、ほかの人が結果を再確認しやすくなります。
報告（R）は、文脈と計算を記録します。元データをどのルールで処理し、どのような結論に至ったか、その全過程を文書化します。欠測をどう補ったか、どの基準で外れ値を除外したか、どのモデルのどのバージョンを使ったか、不確実性をどう推定したかもここに含まれます。報告書の品質は結論の華やかさではなく、再現可能性で評価されます。
季節。夏と冬で摂取量、飼料組成、換気条件が異なれば、単純な前後差には季節の影響が混ざります。その差をすべて技術の効果、またはすべて季節の効果と決めつけず、比較設計と補正の妥当性を検討します。
品質管理（QC）は、データ収集と算定の過程で一貫性・完全性・誤りを点検する活動です。品質保証（QA）には、仕組みや結果が定められた品質目標を満たすか検討する活動が含まれます。計画段階の予防、実施中の点検、結果のレビューは互いに補い合う必要があります。具体的な役割と手順は適用指針に合わせ、QAを予防だけに、QCを事後修正だけに限定しません。
濃度は空気中に占めるガスの割合で、排出率は単位時間当たりに排出される質量です。排出量を測定または推定するには、目的に合った濃度と流量、測定モデルを結び付ける必要があります。濃度が下がっても、空気の移動量が増えていれば、質量排出率も同じ方向に変わるとは限りません。時間ごとの排出率を排出量につなげる際には、測定期間と欠測区間の扱いも必要です。
時刻の基準が確認できない場合は、まず誤差と遅延の大きさを推定し、分析への影響を評価します。日単位の集計では小さかった誤差が、分単位の事象分析では大きな影響を持つことがあります。復旧できないデータは、その時間スケールでの統合分析から除外するか、解釈範囲を限定し、その理由を記録します。
AIは、異常の候補を見つけ、定められた条件のもとで短い欠測を推定し、複数の変数の関係を探るために活用できます。データ整理や品質点検、報告書の草案作成にも役立つことがあります。機能ごとに目的と失敗時の費用は異なるため、すべてを同じ性能指標で評価することはできません。どの入力と仮定から結果を作ったのかを明らかにし、推定値を直接観測した値と区別する必要があります。
現場ではこのように見てみましょう
通信が一時的に途切れたときと、装置が故障したときを考えてみてください。どちらも画面上では空白に見えるかもしれませんが、同じ方法で補ってよいとは限りません。観測が欠けた理由と期間、そのときの運用状況を調べる必要があります。推定で補った場合は、直接測定した値と区別しておきましょう。
AIは観測データを整理し、欠測値を推定できます。その価値は推定した事実を隠すことではなく、どのデータと仮定を使い、どの範囲まで信頼できる値を作ったのかを明らかにすることにあります。
評価用データは先に分けます。同じ農場の隣接する時刻のデータを無作為に混ぜると、現場の繰り返しパターンを記憶した性能を、新しい農場に対する性能と誤解することがあります。将来の稼働を予測する目的なら時間順に、別の農場へ展開する目的なら農場単位で分けます。モデル選択に使う検証データと最終的な性能確認データを区別し、前処理や欠測補完も学習データで定めたルールに従って実行します。
最後に、プライバシーとデータの権利があります。農場データは個体情報、生産成績、財務情報と結び付く可能性があります。このデータを削減検証の目的を超えて、金融・保険・マーケティングに再利用すれば、農家の信頼を失います。第1章で述べたように、信頼を失えばデータ品質も同時に失います。目的の限定、個別の同意、アクセス権の段階設定、異議申立ての手続きが、技術的なセキュリティと同じくらい重要なのはそのためです。この設計は第12章の契約に関する議論と政策提言12で具体化しています。
投資審査では、こんな点も確認してみましょう
データを受け取ったら、欠測率と合わせて、除外または補完したルールを尋ねてください。そのルールを適用した場合に結論がどれほど変わるかも重要です。センサー、給餌器、換気制御装置の時刻が合っているかを確認するのも見落としがちです。異なる時点のデータを同じ状況としてまとめると、解釈が変わることがあります。
対照群を設けるのが難しければ、反復ベースラインで変動や時間的傾向を把握しますが、そのデータだけですべての交絡要因を除去したと考えてはいけません。変化が個々の観測の自然変動より小さくても、十分な独立反復によって平均効果を推定できることがあります。反対に、差が大きく見えても季節や成長の影響かもしれません。効果の推定値と信頼区間、因果的な解釈の限界を合わせて示します。
期待を下回った結果や、明確な効果が見られなかった結果も記録します。予想と異なった観測や原因の検討を報告書に含めれば、後続の試験で同じ問題を繰り返さないために役立ちます。
本を閉じる前に考えておきたい問い
滑らかなグラフより、欠測区間と処理理由を説明できる記録のほうが役立つことがあります。空白を隠さず、どのデータでどこまで補ったのかを残しましょう。その説明が次のレビューの出発点になります。
著者紹介
イ・ボンジュンは、西江大学校の技術経営大学院（MOT）を修了。Infitron Co., Ltd.で7年、Honeywellで20年、ガス計測分野に27年間従事し、サービスエンジニア、技術営業、チャネル管理の業務を担当した。現在はAI Safety Korea Co., Ltd.の創業者として、センサー・AI・データ分析を活用した畜産メタンモニタリングと測定・報告・検証（MRV）の仕組みを研究している。