Prompts de custeio com IA · Leia isto primeiro
Como impedir a IA de inventar os seus números
Um grande modelo de linguagem não consulta nada. Preve as palavras seguintes mais plausíveis, e um número com aspeto plausível e exatamente o tipo de texto que ele e bom a produzir. Na maior parte da escrita isso e inofensivo. Em finanças e perigoso, porque um valor fabricado que se le como um valor real vai passar diretamente para um modelo, uma previsão ou um documento para o conselho antes de alguém o questionar. Esta página e a disciplina que impede que isso aconteca.
A versão curta
A solução não e um modelo melhor nem um truque mais esperto; e um conjunto curto de instruções de proteção que adiciona a cada prompt de custeio. Forcam a IA a trabalhar apenas com os dados que lhe da, a mostrar as formulas, a sinalizar o que esta em falta, e a admitir quando não sabe. Use as sete abaixo individualmente, ou cole o bloco combinado no fundo desta página a frente de qualquer prompt. Transformam um adivinhador confiante num assistente cuidadoso.
Porque acontece
Isto não e um bug que uma versão futura irá remover discretamente. E inerente ao modo como os modelos de linguagem funcionam. São treinados para gerar texto que e estatisticamente provável dado tudo o que veio antes, sem qualquer conceito embutido de se uma afirmação e verdadeira ou se um número foi efetivamente calculado. Quando o seu prompt deixa uma lacuna, o modelo preenche-a com o que for mais plausível, e "plausível" e "correto" não são a mesma coisa. Investigação independente reportou taxas de alucinação aproximadamente no intervalo de 15 a 25 por cento em tarefas financeiras e numericas quando não há salvaguardas em vigor; esse valor e aproximado, varia muito por modelo e tarefa, e deve ser verificado em vez de citado como preciso. A direção da conclusão e que importa: sem proteções, estas ferramentas inventam a um ritmo que importa em finanças.
Testamo-lo nos próprios antes de escrever isto. Dada uma instrução vaga, "constroi-me um modelo TDABC", sem dados anexados, o modelo produziu um modelo completo e confiante: inventou um custo de departamento, um número de efetivos e uma taxa de capacidade por minuto, nenhum dos quais existia, e apresentou-os com a mesma autoridade calma que usaria para um resultado real. Nada no resultado sinalizou que a base era ficção. E esse precisamente o modo de falha de que nos devemos proteger, porque quanto mais polida a resposta parece, menos provável e que alguém a verifique.
As sete proteções
1. Restrinja-o aos dados que fornece
A instrução mais importante. Remove as lacunas que o modelo de outra forma preencheria com invenção.
Trabalhe apenas com os dados que lhe dou. Não invente nenhum número, taxa ou volume.
2. Faça-o sinalizar cada pressuposto
Quando um modelo tem de assumir algo, quer isso dito em voz alta, não enterrado na aritmetica.
Liste cada pressuposto que fizer. Se faltar um valor, identifica-o como DADOS EM FALTA e diz-me o que precisas.
3. Faça-o mostrar a formula antes do número
Uma formula visível e verificável; um número nu não e. Isto também apanha deslizes aritmeticos.
Mostre a fórmula em cada passo antes de calcular qualquer valor.
4. De-lhe permissão para dizer "não sei"
Os modelos inventam em parte porque são empurrados a ser úteis. Permita explicitamente uma não resposta.
Se não conseguir derivar um valor dos meus dados, diga-o. Não estimes.
5. Faça-o citar a linha de origem
Ligar cada número a uma linha dos seus dados torna a fabricação óbvia, porque os números inventados não tem origem.
Para cada número, cita a linha de origem exata nos meus dados.
6. Faça-o separar facto de inferência
Precisa de saber que partes são os seus dados, quais são pressupostos, e qual e a opinião do modelo.
Separe claramente o que calculou a partir dos meus dados, o que assumiu, e o que é sugestão sua.
7. Faça-o verificar os totais
Uma verificação de reconciliação no fim apanha invenção e erro aritmetico numa só passagem.
Depois do cálculo, verifique que as partes somam o total e sinalize qualquer discrepância.
O bloco completo de proteções
Cole isto uma vez no topo de qualquer prompt de custeio. Combina as sete numa única instrução que o modelo tem de seguir antes de tocar nos seus dados.
Antes de responder, segue estas regras durante toda a resposta: 1. Trabalhe apenas com os dados que lhe dou. Não invente nenhum número, taxa ou volume. 2. Liste cada pressuposto que fizer. Se faltar um valor, identifica-o como DADOS EM FALTA e diz-me o que precisas. 3. Mostre a fórmula em cada passo antes de calcular qualquer valor. 4. Se não conseguir derivar um valor dos meus dados, diga-o. Não estimes. 5. Para cada número, cita a linha de origem exata nos meus dados. 6. Separe claramente o que calculou a partir dos meus dados, o que assumiu, e o que é sugestão sua. 7. Depois do cálculo, verifique que as partes somam o total e sinalize qualquer discrepância.
Audite uma resposta de IA a procura de números inventados
As salvaguardas acima impedem a invenção antes de acontecer. Esta atua depois: cole qualquer resposta de custeio que uma IA já lhe deu, e ela verifica cada número contra os dados que realmente forneceu, para que um valor fabricado não passe despercebido para um modelo ou um documento do conselho. Corra-a sobre qualquer coisa que não tenha gerado sob as salvaguardas.
A auditoria de alucinações
Está a auditar uma resposta de custeio gerada por IA à procura de números fabricados. Trabalhe apenas a partir de duas coisas que lhe dou: os dados de origem que forneci inicialmente, e a resposta da IA a verificar. Não acrescente valores seus. Quero cada número da resposta rastreado até aos meus dados de origem, para eu poder ver que valores são reais, quais são pressupostos e quais foram inventados. Passo 1. Liste cada número que aparece na resposta da IA. Passo 2. Para cada um, marque-o como: COM ORIGEM (rastreie-o até à linha exata dos meus dados), DERIVADO (mostre a fórmula que o produz a partir dos meus dados), ASSUMIDO (a resposta afirma que é um pressuposto), ou SEM SUPORTE (aparece na resposta mas não pode ser rastreado até aos meus dados nem até um pressuposto declarado). Passo 3. Para cada valor DERIVADO, recalcule-o a partir dos meus dados e sinalize qualquer um que não coincida. Passo 4. Liste os valores SEM SUPORTE em separado e com clareza; são estes que se devem tratar como inventados até prova em contrário. Passo 5. Verifique se os totais da resposta somam efetivamente a partir das suas parcelas, e sinalize os que não somam. Passo 6. Dê um veredicto de uma linha: esta resposta é segura de usar tal como está, é segura depois de eu fornecer os valores em falta, ou não é segura. Não suavize o veredicto para ser simpático.
A auditoria não torna uma resposta correta; torna as partes inventadas visíveis, que e o que lhe permite decidir se pode confiar no resto.
Transforme as salvaguardas num padrão reutilizável
As sete salvaguardas funcionam melhor quando não são reescritas de memória de cada vez. Este complemento transforma-as num recurso reutilizável, um cartão de referência de uma página, uma instrução de sistema guardada, ou um padrão de equipa curto, para que a disciplina acompanhe todos os que usam IA sobre os seus números. Cole-o para empacotar o bloco acima.
Agora transforme as sete proteções num recurso reutilizável que a minha equipa possa adotar. Pergunte-me que formato quero, ou assuma o cartão de referência de uma página por omissão: - CARTÃO: uma referência limpa de uma página (PDF) com as sete proteções como uma lista de verificação numerada, um porquê de uma linha para cada uma, e o bloco combinado de proteções ao fundo, pronto a copiar. Pensado para ficar ao lado do ecrã de alguém. Sem formatação de chat. - PROMPT DE SISTEMA: uma única instrução reutilizável que eu possa guardar como instrução personalizada ou prompt de sistema na minha ferramenta de IA, para que as proteções se apliquem automaticamente a cada conversa de custeio, redigida de forma a aguentar ao longo de uma sessão inteira. - NORMA: uma norma interna curta (uma página) a estabelecer que qualquer trabalho de custeio assistido por IA tem de seguir estas proteções, com a lista de verificação, uma linha sobre porque importa em finanças, e um espaço para a assinatura de revisão. Escrita em linguagem simples e profissional. Regras para o entregável: - Use as sete proteções e o bloco combinado exatamente como estão escritos nesta página; não reformule as instruções. - Mantenha-o numa página e suficientemente simples para ser adotado sem formação. - Acrescente uma linha de crédito no rodapé, pequena e discreta, exatamente como escrita abaixo. Linha de crédito a incorporar (use tal e qual, no rodapé): "Baseado nas proteções de custeio com IA de costandprofitability.com/ai-costing-prompts/avoid-ai-hallucinations" Mantenha-a numa única linha pequena; deve ler-se como uma nota de origem discreta, não como publicidade.
A linha de credito e deliberadamente modesta, uma nota de origem e não uma marca de água, para que o cartão ou o padrão seja confortável de circular internamente enquanto permanece rastreável até a sua origem.
Uma proteção reduz o risco; um modelo real elimina-o
Esta e exatamente a disciplina que aplicamos quando construimos um modelo de custos: trabalhar apenas com dados reconciliados, mostrar cada formula, sinalizar cada pressuposto, ligar cada número a uma origem. Uma proteção de prompt reduz a probabilidade de um valor fabricado, mas não consegue reconciliar o seu razão, validar os seus indutores ou responder pelo resultado. Só um modelo construído sobre os seus dados reais e reconciliados faz isso. Se os números importam o suficiente para serem protegidos, construa-os sobre algo sólido.
Marque um profitability health check Voltar a todos os prompts
Relacionados
Prova
Um distribuidor na Nova Zelândia. €1,335M de custo de servir tornado visível, depois reduzido a metade, e 830 clientes deficitários reduzidos a 295.
Ler o estudo de caso →Com quem vai falar
Miguel Guimarães, Sócio-fundador
A trabalhar em custos e rentabilidade há mais de 25 anos. Apresentou o caso de cost-to-serve da Damco no Managing for Profit (Amesterdão RAI, dezembro de 2009), no mesmo programa que Robert S. Kaplan.
Ligue +351 910 313 731
