RAG dá à IA uma memória — mas há um porém

Modelos de linguagem são excelentes em responder perguntas baseadas em padrões aprendidos durante seu extenso treinamento. No entanto, eles não conseguem acessar informações que não faziam parte desses dados de treinamento, como as atualizações de políticas internas mais recentes da sua empresa ou um incidente que aconteceu ontem. Perguntar sobre uma mudança específica na "política de reembolso" da semana passada, por exemplo, provavelmente resultaria em uma resposta confiante, porém incorreta ou generalizada.

Essa "lacuna de conhecimento" é onde o Retrieval-Augmented Generation (RAG) entra em cena. O RAG não trata de tornar o modelo inerentemente mais inteligente ou de atualizar seu conhecimento central. Em vez disso, trata-se de fornecer ao modelo informações externas relevantes bem a tempo de responder à sua pergunta específica.

Pense nisso como entregar a um especialista uma cola antes de ele responder. Sua aplicação primeiro pesquisa em uma base de conhecimento separada — geralmente um vector database — por informações diretamente relacionadas à sua consulta. Este banco de dados armazena seus documentos, artigos ou políticas internas, transformados em embeddings numéricos que capturam seu significado.

Se você perguntar "como recebo meu dinheiro de volta", o vector database pode encontrar um documento intitulado "política de reembolso", mesmo que essas palavras exatas não estivessem na sua pergunta. Este texto recuperado é então adicionado ao seu prompt, dando ao modelo de linguagem o contexto preciso de que ele precisa para formular uma resposta precisa. Esse processo permite que o modelo responda a perguntas sobre documentos nos quais nunca foi explicitamente treinado.

Já tentou pesquisar um documento usando palavras ligeiramente diferentes das do título? Os mecanismos de busca tradicionais geralmente têm dificuldades, precisando de uma correspondência de palavras-chave quase perfeita. Se você digitasse "como recebo meu dinheiro de volta", uma busca por um documento intitulado "Política de Reembolso" poderia não retornar nada. É aí que a semantic search muda o jogo.

A semantic search entende o significado por trás das suas palavras, não apenas as palavras em si. Ela pode conectar "receber meu dinheiro de volta" com "política de reembolso" porque reconhece que eles transmitem o mesmo conceito central. Essa mágica acontece por meio de embeddings: representações numéricas de texto.

Pense em um embedding como um ponto em um vasto espaço multidimensional. Palavras e frases com significados semelhantes, como "maçã" e "laranja", estarão localizadas muito próximas uma da outra neste espaço. Um conceito completamente não relacionado, como "carro", estaria muito mais distante. Embora possamos visualizar isso em duas ou três dimensões, os embeddings de texto do mundo real geralmente usam centenas ou até milhares de dimensões para capturar relacionamentos semânticos complexos.

Essas coleções de números são chamadas de vectors. Um vector database armazena esses vetores junto com seus trechos de texto originais. Quando você faz uma pergunta, sua consulta também é convertida em um embedding. O banco de dados então encontra rapidamente os trechos de texto cujos vetores estão mais próximos do vetor da sua consulta, recuperando as informações semanticamente mais relevantes. Isso permite que o sistema extraia passagens de fonte exatas diretamente relacionadas à sua pergunta, mesmo que a formulação seja diferente.

Veja como o Retrieval-Augmented Generation (RAG) permite que uma IA responda a perguntas usando informações nas quais nunca foi treinada. É uma dança inteligente de quatro passos entre seus documentos e o modelo de linguagem.

Primeiro, seus documentos de origem são divididos em chunks menores. Cada chunk é então convertido em um embedding — uma longa lista de números que captura seu significado. Pense nisso como mapear palavras para coordenadas em um gráfico gigante e multidimensional. Esses embeddings são armazenados em um banco de dados especial, frequentemente chamado de vector database, junto com seus chunks de texto originais.

Quando você faz uma pergunta, sua consulta passa pelo mesmo processo de embedding. O vector database então encontra os chunks cujos embeddings são numericamente mais próximos do embedding da sua pergunta. Isso significa que ele recupera textos que são semanticamente semelhantes, mesmo que as palavras exatas não correspondam.

Em seguida, a aplicação pega sua pergunta original e adiciona os chunks de texto recuperados a ela, criando um prompt expandido. Esse prompt aumentado é então enviado ao modelo de linguagem. Por exemplo, se você perguntou sobre uma política de reembolso, o prompt pode se tornar: "Usando o seguinte contexto: [texto da política de reembolso recuperado], explique como posso receber meu dinheiro de volta."

O modelo de linguagem então gera sua resposta usando esse contexto novo e fornecido. Ele não está recordando fatos de seus dados de treinamento, mas sim processando as informações específicas entregues a ele naquele momento. Isso significa que ele pode responder com confiança a perguntas sobre documentos internos da sua empresa ou eventos de ontem. Para mais detalhes técnicos, confira o artigo original sobre Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks.

O Retrieval-Augmented Generation (RAG) simples atinge limites práticos rapidamente. Às vezes, a busca semântica traz chunks irrelevantes ou perde correspondências cruciais e exatas, como códigos de erro que não possuem significados semelhantes. Ele também não saberá sobre atualizações em seus documentos, a menos que os embeddings sejam reconstruídos.

É por isso que sistemas de RAG em produção frequentemente combinam keyword search com recuperação vetorial. Eles obtêm resultados de ambos os métodos e, em seguida, usam um modelo "reranker" para classificá-los pela relevância real. Isso mantém o RAG ágil e atualizado, ao contrário do fine-tuning de um modelo, que altera permanentemente seu comportamento e requer retreinamento para atualizações.

Não confunda janelas de contexto maiores com uma solução mágica; mesmo grandes modelos de linguagem têm dificuldade em processar eficientemente grandes quantidades de texto. Abordagens avançadas de RAG, como agentic RAG, introduzem a busca iterativa, permitindo que a IA refine suas consultas. O GraphRAG, outra inovação, descobre relacionamentos entre pontos de dados, indo além da simples recuperação de chunks para uma compreensão mais sutil da sua base de conhecimento.

O que é RAG em IA?

O Retrieval-Augmented Generation (RAG) recupera informações externas relevantes e as fornece a um modelo de linguagem para que ele possa responder usando esse contexto.

Como um vector database ajuda o RAG?

Ele armazena embeddings de texto e recupera passagens cujo significado é próximo à consulta do usuário, mesmo quando a redação difere.

O RAG elimina alucinações de IA?

Não. O RAG pode fundamentar respostas no material de origem, mas a recuperação irrelevante ou incompleta e erros do modelo ainda podem produzir respostas incorretas.

Como o RAG é diferente do fine-tuning?

O RAG fornece informações relevantes no momento da consulta; o fine-tuning altera o comportamento aprendido de um modelo por meio de treinamento adicional.