View all AI news articles

Mergulhando profundamente no RAG: a fusão entre recuperação e geração

May 17, 2024

No vasto domínio do processamento de linguagem natural, surge uma técnica que combina perfeitamente os pontos fortes dos modelos baseados em recuperação com os modelos generativos. Essa técnica, conhecida como Retrieval-Augmented Generation ou RAG, visa elevar o calibre e a pertinência do texto que ela produz.

A essência do RAG

Para realmente entender o conceito de RAG, é essencial dissecar seus dois pilares fundamentais:

  1. Modelos de recuperação:
    Esses modelos são os campeões em extrair dados pertinentes de uma infinidade de documentos ou de um vasto reservatório de conhecimento. Sua proeza está na utilização de métodos como pesquisa semântica ou recuperação de informações para identificar as informações mais importantes em resposta a uma consulta específica. Embora brilhem em precisão, talvez não sejam os melhores em produzir conteúdo inovador.
  2. Modelos generativos:
    Esses são os maestros da criação de conteúdo. Dado um toque ou um contexto, eles tecem novas narrativas. Graças aos vastos dados de treinamento aos quais estão expostos, eles dominam as complexidades dos padrões de linguagem. Eles são hábeis em criar textos criativos e fluentes, mas às vezes podem falhar quando se trata de precisão factual ou relevância do contexto.

O RAG é uma criação desses dois modelos. Ele emprega um modelo baseado em recuperação para pescar dados relevantes de um repositório de conhecimento com base em uma consulta. Esses dados extraídos então atuam como uma luz orientadora para o modelo generativo.

Um vislumbre dos modelos de recuperação

Os modelos de recuperação são modelos linguísticos com um foco singular: descobrir dados relevantes de um conjunto de dados quando solicitados com uma consulta. Eles são:

  • Incorporações de redes neurais: Pense nas incorporações da OpenAI ou da Cohere. Eles classificam os documentos com base em sua proximidade em um espaço vetorial.
  • BM25: Um modelo renomado que classifica documentos pesando frequências de termos e frequências inversas de documentos.
  • TF-IDF: Um modelo antigo que mede a importância de um termo em um documento em relação a um corpus inteiro.
  • Pesquisa híbrida: Uma mistura das técnicas acima com ponderações variadas.

Aplicações do RAG

O RAG encontra sua base em diversas aplicações. Em sistemas de perguntas e respostas, o modelo de recuperação pode identificar a resposta, e o modelo generativo pode criar uma resposta sucinta. Para tarefas como resumo ou criação de narrativas, o modelo de recuperação oferece contexto, auxiliando o modelo generativo na produção de conteúdo mais rico.

Em essência, o RAG é a combinação harmoniosa da precisão dos modelos de recuperação e da criatividade dos modelos generativos, abrindo caminho para sistemas de geração de linguagem mais robustos.

Criando seu próprio mecanismo RAG

Para aqueles interessados em experimentar, existem plataformas para testar e construir seu motor RAG. Uma opção de código aberto que vale a pena explorar é Haystack Langchain. No entanto, tenha cuidado, pois algumas soluções podem não ser tão flexíveis.

Recent articles

View all articles