¿Para qué sirve en la inteligencia artificial?

EL’inteligencia artificial (IA) El lenguaje generativo ha logrado avances considerables, pero sus modelos, como los modelos de lenguaje grande (LLM), tienen limitaciones: a veces conocimientos obsoletos, una tendencia a generar información plausible pero incorrecta (“alucinaciones”) y, a veces, respuestas genéricas.

Para superar estos defectos, se utiliza una técnica llamada “ Mayor generación de recuperación » (RAG), o en francés el Mayor generación de recuperación.

Imagínese a un juez en una sala de audiencias. Se basa en su comprensión general de la ley para tomar decisiones. Sin embargo, para casos específicos que requieren experiencia particular, pide a sus empleados que consulten la biblioteca jurídica para conocer precedentes y jurisprudencia específicos.

Asimismo, los LLM pueden responder una amplia variedad de preguntas, pero para brindar respuestas confiables y precisas basadas en información específica y actualizada, necesitan acceso a esta información externa. El RAG actúa como “empleado” de la IA.

RAG es una técnica de IA que mejora la precisión y confiabilidad de los modelos generativos de IA al integrar su conocimiento interno con información recuperada en tiempo real de fuentes de datos externas específicas.

¿Por qué utilizar RAG? Ventajas y abordar las limitaciones de los LLM

El RAG aborda directamente las limitaciones inherentes de los LLM. Al integrar un mecanismo de recuperación de información antes de generar la respuesta, ofrece varias ventajas clave:

• Mayor precisión y fiabilidad : Al basar las respuestas en datos externos verificables y actualizados, RAG reduce significativamente los errores fácticos y las alucinaciones.
• Conocimientos actualizados : Permite que los modelos accedan a la información más reciente (estadísticas, noticias, datos específicos del dominio) sin necesidad de volver a capacitarse por completo, lo cual es costoso y requiere mucho tiempo.
• Relevancia contextual : Las respuestas son más específicas y adaptadas al contexto de la consulta, evitando respuestas genéricas.
• Confianza y transparencia : RAG permite a los modelos citar sus fuentes, de forma similar a las notas a pie de página, lo que brinda a los usuarios la capacidad de verificar la información y, por lo tanto, generar confianza.
• Personalización : Las respuestas se pueden personalizar en función de los datos específicos de un usuario o empresa (historias, documentos internos).
• Rentabilidad y flexibilidad : Actualizar conocimientos a través de RAG es generalmente más rápido y menos costoso que volver a capacitarse completamente desde un LLM. También facilita la adición o edición de fuentes de datos.

¿Cómo funciona RAG?

El proceso RAG combina la recuperación de información y la generación de texto en múltiples pasos:

1. Recuperación (recuperación) :
   • Cuando se recibe una solicitud de usuario, primero se transforma en una representación digital comprensible por máquina (incrustación o vector).
   • Esta representación vectorial se utiliza luego para buscar información relevante en una base de conocimiento externa (corpus de documentos, base de datos, etc.). Esta búsqueda a menudo se realiza en una “base de datos vectorial”, que está optimizada para comparar rápidamente la similitud entre el vector de consulta y los vectores de los documentos indexados.
   • Se identifican y recuperan los documentos o extractos más relevantes.
2. Aumento y generación (Augmented Generation) :
   • La información recuperada se proporciona al LLM como contexto adicional, complementando su conocimiento interno previamente capacitado.
   • El LLM utiliza este contexto enriquecido para generar una respuesta final más precisa, informada y relevante para el usuario. La respuesta puede contener citas de las fuentes utilizadas.

La preparación e indexación de datos de la base de conocimientos externos es crucial para la eficacia del proceso de recuperación. A menudo se utilizan herramientas como LangChain para orquestar estos pasos complejos.

Historia y evolución de la RAG

Aunque el término “RAG” es reciente, la idea de combinar la recuperación de información y el procesamiento del lenguaje natural (PNL) se remonta a la década de 1970 con los primeros sistemas de respuesta a preguntas. Servicios como Ask Jeeves (ahora Ask.com) en la década de 1990 y Watson de IBM, famoso por ganar el programa de juegos Jeopardy! en 2011, popularizó estos enfoques.

El término “Generación de recuperación aumentada” (RAG) se introdujo específicamente en 2020 en un artículo de investigadores de Facebook AI Research (ahora Meta AI), University College London y New York University, incluidos Patrick Lewis fue el autor principal.. Buscaron integrar el conocimiento externo de manera más efectiva en los LLM para mejorar su confiabilidad en tareas que requieren información precisa.

El acrónimo “RAG”, aunque poco halagador, se impuso por falta de una alternativa mejor en el momento de esta publicación. Desde entonces, este enfoque ha sido ampliamente adoptado y extendido por la comunidad investigadora y la industria.

RAG en comparación con otros enfoques

Es útil comparar RAG con otras técnicas de adaptación de LLM:

RAG es particularmente útil cuando el acceso a información dinámica y objetiva es esencial.

Aplicaciones y casos de uso

La capacidad de RAG para “dialogar” con los repositorios de datos abre una amplia gama de aplicaciones:

• Atención al cliente mejorada : Chatbots que responden con precisión desde bases de conocimiento, preguntas frecuentes, manuales de productos.
• Asistentes especializados : Apoyo a la toma de decisiones para médicos (registros médicos, investigaciones), analistas financieros (datos de mercado), abogados (textos legales).
• Acceso al conocimiento interno : Consulta en lenguaje natural de manuales técnicos, políticas de la empresa, registros de empleados o desarrolladores.
• Investigación y síntesis de información. : Análisis y síntesis de amplios corpus documentales (investigaciones científicas, informes).
• Creación de contenido factual. : Asistentes de redacción que generan contenido informado y con fuentes.
• Educación personalizada : Sistemas de tutoría adaptativa.

Muchas empresas de tecnología importantes, incluidas AWS, IBM, Google, Microsoft, NVIDIA, Oracle y Pinecone, están adoptando y ofreciendo soluciones basadas en RAG.

Guía de implementación

Para implementar RAG de manera efectiva:

• Requisitos previos : Contar con una base de datos relevante, limpia y estructurada. Proporcionar un equipo con habilidades de ingeniería de datos e ingeniería oportuna.
• Escollos a evitar : No descuide la calidad y la frescura de sus datos de origen. Elija un LLM que se adapte a sus necesidades sin sobredimensionamiento innecesario.
• Herramientas y plataformas :
  • Soluciones en la nube : AWS Bedrock, Azure AI Search y Google Cloud Vertex AI ofrecen servicios RAG integrados.
  • Código abierto : Bibliotecas como LangChain, LlamaIndex, Haystack le permiten crear canalizaciones RAG personalizadas. Plataformas como RAGFlow ofrecen un comienzo rápido.
  • Soluciones específicas : NVIDIA ofrece arquitecturas optimizadas para RAG (AI Blueprints), herramientas (NeMo Retriever, microservicios NIM) y hardware (GH200, GPU RTX), incluso en PC para casos de uso locales y domésticos.
• Aprendizaje y desarrollo de habilidades. : Master Python, bases de datos vectoriales. Experimente con conjuntos de datos públicos. Contribuya a proyectos de código abierto y únase a comunidades dedicadas.

El futuro: más allá del RAG

RAG es un paso crítico, pero la evolución continúa hacia sistemas de IA más autónomos, a veces llamados “IA de agente”, donde los LLM, las bases de conocimiento y otras herramientas se organizan dinámicamente para realizar tareas complejas.

Es probable que RAG siga siendo un componente crítico de estos sistemas futuros.

Conclusión

La Generación Aumentada de Recuperación (RAG) transforma la inteligencia artificial generativa haciéndola más confiable, precisa y conectada con el mundo real.

Al combinar el poder de generación de los LLM con el rigor de la recuperación de información, se pueden crear aplicaciones de IA más útiles y confiables, ya sea para mejorar el servicio al cliente, facilitar el acceso a información especializada u optimizar los procesos comerciales.

Aunque aún es joven, RAG es una tecnología clave para desbloquear todo el potencial de la IA generativa en los negocios y más allá.