RAG é um arranjo em que o modelo de linguagem, antes de gerar a resposta, vai buscar trechos relevantes numa base de conhecimento sua (documentos, manuais, banco de dados) e usa esse material como apoio. Em vez de confiar só no que o modelo aprendeu no treino, você injeta contexto fresco e específico no momento da pergunta.
Isso importa no trabalho de produto porque é o jeito mais comum de fazer uma feature de IA responder sobre algo que ela não viu no treino, como a documentação interna da empresa ou o catálogo atualizado. A qualidade da resposta passa a depender de como a informação está organizada e recuperada, ou seja, vira problema de arquitetura de informação, não só de modelo.
Na prática, quando a busca traz o trecho certo, a resposta fica ancorada em fonte e some boa parte da alucinação. Quando a busca falha, o modelo responde com lixo bem escrito. Por isso o elo fraco do RAG costuma ser a recuperação, não a geração.