Alucinação é quando um modelo de linguagem gera informação que parece plausível e bem formulada, mas é falsa ou inventada. O modelo não sabe que está errado, porque ele não consulta a verdade: ele prevê a próxima palavra mais provável. Quando o caminho mais provável é uma mentira convincente, é isso que sai.
No trabalho de produto, alucinação deixa de ser curiosidade técnica e vira risco de confiança. Um assistente que cita uma política que não existe, ou inventa um número, quebra a relação com quem usa. E o pior é que o erro vem embrulhado em linguagem segura, então a pessoa tende a acreditar.
Lidar com isso é trabalho de design e de produto, não só de engenharia. Mostrar a fonte, deixar claro o nível de certeza, dar saída fácil pra checar e desenhar pra que o erro seja barato quando acontecer. A meta não é zerar a alucinação, é tornar ela visível e contornável.