Os resultados observados em uma fazenda apareceriam da mesma forma em outras? Essa é a primeira pergunta que surge ao ampliar a validação de metano na pecuária. Mesmo criando a mesma espécie animal, as fazendas podem diferir em alimentação, estágio de produção, estrutura das instalações e métodos de trabalho. Um procedimento de medição que funcionou bem em um local pode ser difícil de operar em outro.
O valor de uma validação em múltiplas fazendas não está na quantidade de pontos marcados no mapa. Está em identificar as condições nas quais os resultados se mantêm e aquelas nas quais mudam. Para relacionar o aumento do número de fazendas à maior confiabilidade das evidências, é preciso definir o desenho amostral e os princípios de medição e análise antes de recrutar os locais.
Reunir apenas fazendas do mesmo tipo dificulta ampliar o escopo
Mesmo que vários locais participem, o alcance comprovado é limitado se todos usam alimentação e práticas de manejo semelhantes. Por outro lado, misturar locais excessivamente diferentes sem um motivo torna difícil distinguir por que os resultados variaram. Primeiro é necessário definir o conjunto de fazendas às quais se pretende aplicar a tecnologia e organizar quais diferenças são importantes dentro dele.
As diretrizes da EFSA sobre a eficácia de aditivos para alimentação animal explicam que nutrição, raça, composição da dieta, manejo, ambiente e sistema de criação podem afetar os resultados. Embora sejam diretrizes para autorização na UE, elas indicam quais condições devem ser registradas, além da simples disposição em participar, ao escolher vários locais. EFSA, diretrizes para avaliação da eficácia de aditivos para alimentação animal
Por isso, ao recrutar fazendas-alvo, é necessário um quadro de condições para análise, e não uma lista para divulgação pública. Devem-se definir primeiro a espécie animal e a etapa produtiva adequadas ao uso pretendido, a forma de alimentação e a extensão possível dos registros. Se foram recrutados apenas locais de acesso conveniente, a limitação de se tratar de uma amostra por conveniência também deve constar na explicação dos resultados.
Não é preciso ampliar desde o início o escopo da validação para o país inteiro. Primeiro, pode-se confirmar se a observação e a análise são viáveis sob condições operacionais específicas e, na etapa seguinte, acrescentar outras condições. Mesmo começando com um escopo restrito, indicar com precisão o que foi confirmado ajuda a avaliar o alcance de aplicação.
Mais registros não significam mais comparações independentes
Coletar dados a cada minuto de um animal faz o arquivo crescer rapidamente. No entanto, valores observados repetidamente no mesmo indivíduo podem estar relacionados entre si. Tratá-los todos como amostras independentes obtidas de indivíduos diferentes pode fazer o resultado parecer mais conclusivo do que realmente é. É por isso que se deve distinguir o número de linhas de dados do número de unidades experimentais independentes.
A unidade experimental é definida pela unidade à qual o tratamento pode ser atribuído independentemente e pelo desenho do estudo. A estrutura da análise pode variar conforme a alimentação seja individual ou igual para todo um curral ou grupo. A orientação do NIST sobre desenho de experimentos também explica como tratar a variação segundo a estrutura da unidade experimental e da randomização restrita. NIST, Variação aninhada e randomização restrita
Para aplicar esse princípio no campo, a revisão estatística não deve ser deixada para a etapa do relatório final. As unidades experimentais e o período de medição necessários variam conforme o que se deseja comparar, a magnitude da diferença a distinguir e a variação entre locais. Não é adequado apresentar um único número mínimo de fazendas como regra válida para todas as tecnologias.
Se for difícil obter uma amostra, a pergunta pode ser restringida. Pode-se relatar que uma validação limitada confirmou a viabilidade operacional e deixar para testes posteriores a conclusão de generalizar o efeito de redução para uma população ampla. Mesmo um teste pequeno pode ser bastante útil quando o objetivo e o alcance da conclusão são coerentes.
Em vez de eliminar as diferenças entre fazendas, inclua-as na estrutura de comparação
As diferenças entre locais são tanto ruído a ser administrado quanto parte do ambiente real de adoção. Na prática, pode-se considerar comparar unidades com condições principais semelhantes ou análises que levem em conta diferenças entre fazendas e períodos. Antes de tudo, o plano experimental deve registrar o que será controlado e o que será tratado como fator de variação.
O NIST explica que, quando fatores além do objeto de interesse influenciam as medições, um desenho em blocos que agrupa condições semelhantes pode ajudar a controlar esse efeito. Para aplicar isso à validação pecuária, é preciso confirmar primeiro se é possível fazer atribuições compatíveis com as práticas reais de alimentação e manejo dos animais. NIST, Desenhos em blocos randomizados
Por exemplo, se uma região for medida apenas em uma estação específica e outra região apenas em uma estação diferente, poderá ser difícil separar os efeitos de região e estação. Este não é um caso de uma fazenda real, mas um exemplo de problema de desenho. Em vez de tentar resolvê-lo depois com um modelo complexo, é melhor assegurar antecipadamente cronogramas e condições comparáveis.
Também são necessários procedimentos comuns. Padronizar como se registra a posição de instalação, a frequência de inspeção dos equipamentos, as mudanças na alimentação e os períodos de falha facilita interpretar as diferenças entre locais. Itens que não podem ser padronizados devem permanecer como variáveis separadas, sem ocultar as exceções.
Observe conjuntamente a média geral e os resultados de cada local
Apresentar apenas uma média que combina os valores de várias fazendas pode ocultar diferenças reais. Se a mudança for nítida em algumas condições e não for confirmada em outras, essa diferença pode ajudar a escolher os próximos alvos de adoção. Não se deve prometer o mesmo efeito a todas as fazendas apenas porque a média é positiva.
No relatório final, é útil apresentar juntos o resultado geral, os resultados por local, o período de observação e a proporção de dados utilizada. Também se pode verificar se a conclusão muda muito quando determinada fazenda é excluída. Contudo, para que essa verificação não seja usada depois para selecionar apenas resultados favoráveis, a análise principal deve ser distinguida das análises adicionais.
As unidades dos indicadores de metano também devem permanecer consistentes até o fim. Concentração, emissão diária por animal e emissão por unidade de produto respondem a perguntas diferentes. Não se deve afirmar que a emissão total diminuiu apenas porque um indicador melhorou em uma situação em que a produção mudou. Deixar o denominador e o escopo de medição claros já nos títulos das tabelas reduz equívocos do leitor.
A plataforma de validação precisa permitir rastrear as diferenças
Uma plataforma que lida com dados de múltiplas fazendas precisa de recursos além de gráficos de média. Deve ser possível rastrear qual equipamento coletou dados em qual período, quais valores foram excluídos no processo de tratamento e quando o método de análise mudou. Os registros necessários para explicar novamente um resultado também fazem parte dos dados.
Ao oferecer comparações entre fazendas, os direitos sobre os dados e o escopo de divulgação também devem estar alinhados. Deve-se evitar mostrar informações operacionais detalhadas a outros participantes sem o consentimento da fazenda. Mesmo em comparações anônimas, uma fazenda pode ser identificada se houver poucos participantes; por isso, as unidades e os itens divulgados exigem cuidado. Acesso aos dados brutos, reanálise, retenção e condições de exclusão são questões práticas a acordar antes da participação.
A validação de metano na pecuária conquista confiança não quando exibe em destaque um grande número de fazendas participantes, mas quando consegue explicar as diferenças nos resultados. Mostrar o que foi observado em quais condições e quais conclusões ainda não podem ser tiradas também esclarece a direção da próxima validação. A validação em múltiplas fazendas não é uma declaração que amplia de uma vez o seu alcance, mas um processo de confirmar, uma a uma, as condições nas quais ela pode ser aplicada.