Prompts de custeio com IA · Leia isto primeiro
Como impedir a IA de inventar os seus numeros
Um grande modelo de linguagem nao consulta nada. Preve as palavras seguintes mais plausiveis, e um numero com aspeto plausivel e exatamente o tipo de texto que ele e bom a produzir. Na maior parte da escrita isso e inofensivo. Em financas e perigoso, porque um valor fabricado que se le como um valor real vai passar diretamente para um modelo, uma previsao ou um documento para o conselho antes de alguem o questionar. Esta pagina e a disciplina que impede que isso aconteca.
Em resumo
A solucao nao e um modelo melhor nem um truque mais esperto; e um conjunto curto de instrucoes de protecao que adiciona a cada prompt de custeio. Forcam a IA a trabalhar apenas com os dados que lhe da, a mostrar as formulas, a sinalizar o que esta em falta, e a admitir quando nao sabe. Use as sete abaixo individualmente, ou cole o bloco combinado no fundo desta pagina a frente de qualquer prompt. Transformam um adivinhador confiante num assistente cuidadoso.
Porque acontece
Isto nao e um bug que uma versao futura ira remover discretamente. E inerente ao modo como os modelos de linguagem funcionam. Sao treinados para gerar texto que e estatisticamente provavel dado tudo o que veio antes, sem qualquer conceito embutido de se uma afirmacao e verdadeira ou se um numero foi efetivamente calculado. Quando o seu prompt deixa uma lacuna, o modelo preenche-a com o que for mais plausivel, e "plausivel" e "correto" nao sao a mesma coisa. Investigacao independente reportou taxas de alucinacao aproximadamente no intervalo de 15 a 25 por cento em tarefas financeiras e numericas quando nao ha salvaguardas em vigor; esse valor e aproximado, varia muito por modelo e tarefa, e deve ser verificado em vez de citado como preciso. A direcao da conclusao e que importa: sem protecoes, estas ferramentas inventam a um ritmo que importa em financas.
Testamo-lo nos proprios antes de escrever isto. Dada uma instrucao vaga, "constroi-me um modelo TDABC", sem dados anexados, o modelo produziu um modelo completo e confiante: inventou um custo de departamento, um numero de efetivos e uma taxa de capacidade por minuto, nenhum dos quais existia, e apresentou-os com a mesma autoridade calma que usaria para um resultado real. Nada no resultado sinalizou que a base era ficcao. E esse precisamente o modo de falha de que nos devemos proteger, porque quanto mais polida a resposta parece, menos provavel e que alguem a verifique.
As sete protecoes
1. Restrinja-o aos dados que fornece
A instrucao mais importante. Remove as lacunas que o modelo de outra forma preencheria com invencao.
Trabalha apenas com os dados que te dou. Nao inventes nenhum numero, taxa ou volume.
2. Faca-o sinalizar cada pressuposto
Quando um modelo tem de assumir algo, quer isso dito em voz alta, nao enterrado na aritmetica.
Lista cada pressuposto que fizeres. Se faltar um valor, identifica-o como DADOS EM FALTA e diz-me o que precisas.
3. Faca-o mostrar a formula antes do numero
Uma formula visivel e verificavel; um numero nu nao e. Isto tambem apanha deslizes aritmeticos.
Mostra a formula em cada passo antes de calcular qualquer valor.
4. De-lhe permissao para dizer "nao sei"
Os modelos inventam em parte porque sao empurrados a ser uteis. Permita explicitamente uma nao resposta.
Se nao conseguires derivar um valor dos meus dados, di-lo. Nao estimes.
5. Faca-o citar a linha de origem
Ligar cada numero a uma linha dos seus dados torna a fabricacao obvia, porque os numeros inventados nao tem origem.
Para cada numero, cita a linha de origem exata nos meus dados.
6. Faca-o separar facto de inferencia
Precisa de saber que partes sao os seus dados, quais sao pressupostos, e qual e a opiniao do modelo.
Separa claramente o que calculaste a partir dos meus dados, o que assumiste, e o que e a tua sugestao.
7. Faca-o verificar os totais
Uma verificacao de reconciliacao no fim apanha invencao e erro aritmetico numa so passagem.
Depois do calculo, verifica que as partes somam o total e sinaliza qualquer discrepancia.
O bloco completo de protecoes
Cole isto uma vez no topo de qualquer prompt de custeio. Combina as sete numa unica instrucao que o modelo tem de seguir antes de tocar nos seus dados.
Antes de responder, segue estas regras durante toda a resposta: 1. Trabalha apenas com os dados que te dou. Nao inventes nenhum numero, taxa ou volume. 2. Lista cada pressuposto que fizeres. Se faltar um valor, identifica-o como DADOS EM FALTA e diz-me o que precisas. 3. Mostra a formula em cada passo antes de calcular qualquer valor. 4. Se nao conseguires derivar um valor dos meus dados, di-lo. Nao estimes. 5. Para cada numero, cita a linha de origem exata nos meus dados. 6. Separa claramente o que calculaste a partir dos meus dados, o que assumiste, e o que e a tua sugestao. 7. Depois do calculo, verifica que as partes somam o total e sinaliza qualquer discrepancia.
Uma protecao reduz o risco; um modelo real elimina-o
Esta e exatamente a disciplina que aplicamos quando construimos um modelo de custos: trabalhar apenas com dados reconciliados, mostrar cada formula, sinalizar cada pressuposto, ligar cada numero a uma origem. Uma protecao de prompt reduz a probabilidade de um valor fabricado, mas nao consegue reconciliar o seu razao, validar os seus indutores ou responder pelo resultado. So um modelo construido sobre os seus dados reais e reconciliados faz isso. Se os numeros importam o suficiente para serem protegidos, construa-os sobre algo solido.
Marque um profitability health check Voltar a todos os prompts