View all AI news articles

Profundizando en el RAG: la fusión de recuperación y generación

May 17, 2024

En el vasto ámbito del procesamiento del lenguaje natural, surge una técnica que combina a la perfección las fortalezas de los modelos basados en la recuperación con los modelos generativos. Esta técnica, conocida como generación aumentada por recuperación o RAG, tiene como objetivo elevar el calibre y la pertinencia del texto que produce.

La esencia de RAG

Para comprender realmente el concepto de RAG, es esencial analizar sus dos pilares fundamentales:

  1. Modelos de recuperación:
    Estos modelos son los campeones de la extracción de datos pertinentes de una plétora de documentos o de una vasta reserva de conocimiento. Su destreza radica en utilizar métodos como la búsqueda semántica o la recuperación de información para identificar la información más destacada en respuesta a una consulta específica. Si bien brillan en precisión, es posible que no sean los mejores para producir contenido innovador.
  2. Modelos generativos:
    Estos son los maestros de la creación de contenido. Con un empujón o un contexto, tejen nuevas narrativas. Gracias a la gran cantidad de datos de entrenamiento a los que están expuestos, dominan las complejidades de los patrones lingüísticos. Son expertos en la elaboración de textos imaginativos y fluidos, pero a veces pueden fallar en lo que respecta a la precisión de los hechos o la relevancia del contexto.

RAG es la creación de estos dos modelos. Emplea un modelo basado en la recuperación para extraer datos relevantes de un repositorio de conocimiento a partir de una consulta. Estos datos extraídos actúan entonces como una luz guía para el modelo generativo.

Un vistazo a los modelos de recuperación

Los modelos de recuperación son modelos lingüísticos con un enfoque singular: descubrir datos relevantes de un conjunto de datos cuando se les solicita una consulta. Son los siguientes:

  • Incruzaciones de redes neuronales: Piense en las incrustaciones de OpenAI o Cohere. Clasifican los documentos según su proximidad en un espacio vectorial.
  • BM25: un modelo reconocido que clasifica los documentos sopesando las frecuencias de los términos y las frecuencias inversas de los documentos.
  • TF-IF: un modelo antiguo que mide la importancia de un término en un documento en relación con todo un corpus.
  • Búsqueda híbrida: Una mezcla de las técnicas anteriores con ponderaciones variadas.

Aplicaciones de RAG

RAG encuentra su base en diversas aplicaciones. En los sistemas de preguntas y respuestas, el modelo de recuperación puede identificar la respuesta y el modelo generativo puede elaborar una respuesta sucinta. Para tareas como el resumen o la creación de narraciones, el modelo de recuperación ofrece un contexto, lo que ayuda al modelo generativo a producir contenido más rico.

En esencia, RAG es la combinación armoniosa de la precisión de los modelos de recuperación y la creatividad de los modelos generativos, lo que allana el camino para sistemas de generación de idiomas más sólidos.

Creando tu propio mecanismo RAG

Para aquellos interesados en experimentar, hay plataformas para probar y construir su motor RAG. Una opción de código abierto que vale la pena explorar es Haystack Langchain. Sin embargo, actúe con cautela, ya que algunas soluciones pueden no ser tan flexibles.

Recent articles

View all articles