Começar pela decisão, não pelo conjunto de dados disponível

Um conjunto de dados pode estar limpo e, ainda assim, ser inadequado para um caso de utilização. A preparação depende do que o modelo irá influenciar, de quem é afetado, do significado do erro, da rapidez com que as condições mudam e do que uma pessoa pode fazer quando a confiança é baixa. Estas perguntas determinam que factos são relevantes e quanta evidência é necessária.

Defina a recomendação ou ação pretendida em termos operacionais. Identifique o responsável, o utilizador, o titular afetado, o momento da decisão, as alternativas e as consequências. Depois, rastreie os dados necessários para a sustentar. Isto evita que um conjunto de dados atraente origine um caso de utilização que a organização não consiga operar de forma responsável.

O significado partilhado é uma dependência da produção

Os sistemas de treino e operacionais podem utilizar o mesmo rótulo para conceitos diferentes. «Cliente» pode significar uma conta, uma pessoa coletiva, um agregado familiar ou um contrato ativo. «Caso encerrado» pode significar resolvido, terminado ou abandonado por razões administrativas. Se o significado variar consoante o período, a fonte ou a equipa, o comportamento do modelo pode mudar por motivos que a avaliação nunca testou.

As variáveis e os resultados críticos precisam de definições empresariais, regras de inclusão e exclusão, contexto temporal e responsáveis identificados. As mudanças históricas devem ser visíveis. O objetivo não é documentar todos os campos, mas tornar os significados que afetam de forma relevante a decisão suficientemente estáveis para serem questionados e monitorizados.

A proveniência deve acompanhar a decisão operacional

A linhagem é útil quando explica a origem de um valor, que transformações o alteraram e ao abrigo de que regra ou versão entrou no treino, na avaliação e na produção. Um diagrama do fluxo técnico pode mostrar o movimento dos dados e omitir as decisões empresariais de seleção e correção que os moldaram.

Registe a proveniência a um nível proporcional ao risco. A equipa deve conseguir investigar um resultado, avaliar o impacto de uma mudança na fonte e reproduzir a avaliação relevante. Se os dados forem enriquecidos ou rotulados por pessoas ou fornecedores, esse contexto e os respetivos controlos de qualidade fazem parte da perspetiva da linhagem.

Ligar os controlos de qualidade às consequências

As pontuações globais de completude e exatidão são testes fracos de preparação. Um valor raramente ausente pode ser relevante se eliminar uma condição de segurança ou elegibilidade, enquanto um defeito frequente pode não ter importância para a decisão pretendida. Defina a qualidade em função da utilização: intervalos válidos, atualidade, representatividade, coerência, duplicação e fiabilidade dos rótulos, sempre que afetem o resultado.

Para cada defeito crítico, decida se deve ser prevenido, detetado, corrigido, rejeitado, escalado ou se a incerteza deve ser apresentada a uma pessoa. Atribua um responsável e um limiar de ação. Estes controlos devem funcionar depois da entrada em produção, além da fase de preparação, porque as fontes e o comportamento em produção irão mudar.

Ter acesso não equivale a ter autoridade para utilizar

Uma equipa pode ter capacidade técnica para obter dados sem dispor de uma finalidade justificada, de permissão ou de um modelo de retenção adequado à utilização em IA. Por outro lado, controlos de acesso rigorosos podem continuar a ser insuficientes se os resultados derivados revelarem informação ou se os revisores humanos receberem contexto a que não deveriam ter acesso.

Mapeie os titulares dos dados, os responsáveis, as finalidades permitidas, os percursos de acesso, a retenção, os artefactos derivados e os efeitos da eliminação ou correção. Especialistas jurídicos, de privacidade, segurança e do setor devem validar as obrigações efetivas. O contributo da engenharia consiste em tornar a utilização e o fluxo da informação suficientemente concretos para que essas decisões possam ser aplicadas.

Os dados de avaliação devem representar as condições de funcionamento

Um conjunto de avaliação deve refletir os casos, períodos, exceções e populações que a capacidade irá encontrar, incluindo as condições em que o modelo deve recusar uma resposta. A separação dos dados de treino é importante, tal como evitar fugas através de entidades relacionadas, informação posterior ao resultado e correções manuais que não existirão no momento da decisão.

Defina a aceitação em torno da ação empresarial, não de uma pontuação agregada do modelo. Inclua as classes de erro relevantes, a capacidade de revisão humana, a latência, o comportamento em caso de falha e o custo da abstenção. Registe as versões do conjunto de dados e das regras para que uma mudança posterior possa ser comparada de forma significativa.

A produção precisa de um sistema de retorno e mudança

A preparação dos dados não termina no lançamento. Os sistemas de origem e as definições mudam, o comportamento operacional adapta-se e a população pode evoluir. A monitorização deve abranger as condições de entrada, os controlos dos dados, o comportamento do modelo, as intervenções humanas, a evidência dos resultados e as exceções por resolver, com uma frequência adequada ao risco da decisão.

A organização também precisa de autoridade para responder: quem investiga, quem pode suspender a automatização, como funciona a reversão, quando considerar novo treino ou uma reformulação e que evidências permitem retomar o serviço. Sem este modelo operacional, um modelo pode permanecer tecnicamente disponível mesmo depois de o contexto da decisão ter mudado.