Um modelo espacial e temporal só pode ser avaliado por uma partição que reproduza o uso pretendido. Prever o próximo ano exige testar em anos não vistos; recomendar prioridades para uma região exige testar em regiões não vistas.
Esta página avalia o modelo ambiental — a floresta aleatória de adequabilidade de habitat que sustenta as páginas de determinantes e de cenários. Com linhas sorteadas ao acaso, o mesmo município e anos adjacentes aparecem dos dois lados da partição, e o modelo nunca precisa extrapolar. Os quatro esquemas abaixo mantêm tudo constante e variam apenas o que é retirado do treino. A previsão operacional usa outro modelo e outra validação — ver Previsão.
| Esquema | ROC-AUC | PR-AUC | Vezes o acaso | Municípios por surto |
|---|
Com prevalência de 0,74%, a PR-AUC é a métrica informativa. A partição aleatória sugere um modelo 57 vezes melhor que o acaso; sob o bloco espaço-temporal, 2,4 vezes.
A decomposição por macrorregião usa o mesmo bloco espaço-temporal: para cada região deixada de fora, o treino usa apenas as demais regiões e apenas anos anteriores. É o teste de transferência — o modelo precisa acertar num território de que nunca viu um único registro.
Figura 1. ROC-AUC por macrorregião sob bloco espaço-temporal. O ponto é a estimativa e a barra o intervalo de confiança de 95% por reamostragem. A linha vertical marca o sorteio. Quatro das cinco regiões têm intervalo que cruza 0,5. O Sul é a exceção, e por margem larga.
Retirada do treino, cada região perde desempenho — o Norte cai 0,20 de AUC e o Centro-Oeste 0,17. O Sul cai 0,02. É a única região cujo risco o modelo prevê a partir de relações ecológicas aprendidas em outro lugar, sem nenhuma história local — a afirmação de transferibilidade ecológica que um modelo de habitat precisa sustentar.
Discriminação e calibração são propriedades distintas. Um modelo pode ordenar corretamente os municípios e ainda assim errar sistematicamente a magnitude do risco. A figura confronta, por decil de risco previsto, a probabilidade média que o modelo atribui com a frequência de eventos efetivamente observada.
Figura 2. Calibração por faixa de risco previsto, bloco espaço-temporal. Pontos sobre a diagonal indicariam calibração perfeita. O decil de maior risco previsto é superestimado por um fator de —. É a razão direta pela qual a rampa de cor de um mapa de risco não poderia ser lida como probabilidade de surto.
A pergunta operacional não é se o modelo discrimina, e sim se existe algum ponto de corte em que agir sobre o alerta produza mais benefício do que as duas estratégias triviais: investigar todos os municípios ou não investigar nenhum. A curva de decisão responde diretamente, ponderando verdadeiros e falsos positivos pela razão de troca implícita em cada limiar.
Figura 3. Curva de decisão sob bloco espaço-temporal. Em nenhum limiar a curva do modelo supera simultaneamente as duas referências. À esquerda ela acompanha a estratégia de investigar todos; à direita, colapsa para a de não investigar nenhum. O número de limiares com benefício líquido estritamente superior às duas é —.
Isso não invalida a vigilância baseada em risco — invalida o modelo de habitat como instrumento de priorização municipal no horizonte testado. A priorização municipal vem do modelo de propagação, que tem limiares com benefício líquido positivo em validação prospectiva; ver Previsão.