GenAI que genera un valor comercial real requiere un trabajo real. Pero vale la pena.
Imagen original cortesía de The Everett Collection en Shutterstock. Imagen editada por el autor.
GenAI está en todas partes y las organizaciones de todos los sectores están presionando a sus equipos para unirse a la carrera — el 77% de los líderes empresariales temen que ya se estén perdiendo los beneficios de GenAI.
Los equipos de datos están luchando por responder al llamado. Pero construir un modelo de IA generativa que realmente genere valor comercial es difícil.
Y a largo plazo, una rápida integración con la API de OpenAI no será suficiente. Es GenAI, pero ¿dónde está la ventaja competitiva? ¿Por qué los usuarios deberían elegirte en lugar de ChatGPT?
Esa rápida marca en la casilla parece un paso adelante, pero si no estás pensando en cómo conectar LLMs con tus datos propietarios y contexto empresarial para realmente generar un valor diferenciado, estás rezagado.
Eso no es una exageración. He hablado con media docena de líderes de datos solo esta semana sobre este tema. Ninguno de ellos pasó por alto que esto es una carrera. En la línea de meta habrá ganadores y perdedores. Los Blockbusters y los Netflix.
Si sientes que se ha dado la señal de salida, pero tu equipo todavía está en la línea de salida estirándose y charlando sobre 'burbujas' y 'hype', he reunido 5 duras verdades para ayudar a sacudir la complacencia.
Dura verdad #1: Tus características de inteligencia artificial generativa no están bien adoptadas y eres lento para monetizar.
“Barr, si GenAI es tan importante, ¿por qué las características actuales que hemos implementado son tan poco adoptadas?”
Bueno, hay algunas razones. Uno, tu iniciativa de IA no se construyó como respuesta a un flujo de problemas de usuario bien definidos. Para la mayoría de los equipos de datos, esto se debe a que están compitiendo, es temprano y quieren ganar algo de experiencia.
Sin embargo, no pasará mucho tiempo antes de que tus usuarios tengan un problema que se resuelva mejor con GenAI, y cuando eso suceda, tendrás una adopción mucho mejor en comparación con tu equipo de trabajo que busca formas de vincular GenAI a un caso de uso.
Y como es temprano, las funciones de inteligencia artificial generativa que se han integrado son simplemente "ChatGPT pero aquí."
Déjame darte un ejemplo. Piensa en una aplicación de productividad que podrías usar todos los días para compartir conocimiento organizativo. Una aplicación como esta podría ofrecer una función para ejecutar comandos como "Resumir esto", "Hacer más largo" o "Cambiar tono" en bloques de texto no estructurado. Un comando equivale a un crédito de IA.
Sí, eso es útil, pero no está diferenciado.
Tal vez el equipo decida comprar algunos créditos de IA, o tal vez simplemente hagan clic en la otra pestaña y pregunten a ChatGPT. No quiero pasar por alto por completo o restarle importancia al beneficio de no exponer datos propietarios a ChatGPT, pero también es una solución y visión más pequeña que la que se está pintando en las llamadas de ganancias en todo el país.
Esa molesta etapa intermedia desde el concepto hasta el valor. Imagen cortesía de Joe Reis en Substack.
Así que considera: ¿Cuál es tu diferenciador y valor agregado de GenAI? Permíteme darte una pista: datos propietarios de alta calidad.
Por eso un modelo RAG (o a veces, un modelo ajustado) es tan importante para las iniciativas de Gen AI. Le da al LLM acceso a esos datos propietarios de la empresa. Explicaré por qué a continuación.
Dura verdad #2: Tienes miedo de hacer más con Gen AI.
Es cierto: la inteligencia artificial generativa es intimidante.
Claro, podrías integrar tu modelo de IA más profundamente en los procesos de tu organización, pero eso se siente arriesgado. Seamos sinceros: ChatGPT alucina y no puede predecirse. Hay un límite de conocimiento que deja a los usuarios susceptibles a resultados desactualizados. Existen repercusiones legales por el manejo inadecuado de datos y por proporcionar desinformación a los consumidores, incluso si es accidental.
Suena lo suficientemente real, ¿verdad? Llama 2 parece pensar así. Imagen cortesía de Pinecone.
Tus errores de datos tienen consecuencias. Y por eso es esencial saber exactamente qué estás alimentando a GenAI y que los datos sean precisos.
En una encuesta anónima que enviamos a líderes de datos preguntando qué tan lejos está su equipo de habilitar un caso de uso de GenAI, una respuesta fue: “No creo que nuestra infraestructura sea lo que nos detiene. Estamos avanzando con mucha precaución aquí, con el panorama cambiando tan rápido y el riesgo de daño a la reputación de un chatbot 'rebelde', estamos esperando y dejando que la euforia disminuya un poco!”
Este es un sentimiento ampliamente compartido entre muchos líderes de datos con los que hablo. Si el equipo de datos ha sacado a la luz de repente datos seguros orientados al cliente, entonces están en la mira. La gobernanza de datos es una consideración masiva y es una alta barrera que superar.
Estos son riesgos reales que necesitan soluciones, pero no los resolverás quedándote al margen. También existe el riesgo real de ver cómo tu negocio es fundamentalmente interrumpido por el equipo que lo descubrió primero.
La puesta a tierra de LLMs en tus datos propietarios con ajuste fino y RAG es una gran pieza de este rompecabezas, pero no es fácil...
Dura verdad #3: RAG es difícil.
Creo que RAG (recuperación aumentada generación) y el ajuste fino son piezas clave del futuro de la inteligencia artificial generativa empresarial. Pero aunque RAG es el enfoque más sencillo en la mayoría de los casos, el desarrollo de aplicaciones RAG aún puede ser complejo.
¿No podemos simplemente empezar a RAGear? ¿Cuál es el problema? Imagen cortesía de Reddit.
RAG podría parecer la solución obvia para personalizar tu LLM. Pero el desarrollo de RAG conlleva una curva de aprendizaje, incluso para tus ingenieros de datos más talentosos. Necesitan conocer ingeniería de prompts, bases de datos vectoriales y vectores de incrustación, modelado de datos, orquestación de datos, canalizaciones de datos... todo para RAG. Y, debido a que es nuevo (introducido por Meta AI en 2020), muchas empresas todavía no tienen suficiente experiencia con él para establecer las mejores prácticas.
Arquitectura de la aplicación RAG. Imagen cortesía de Databricks.
Aquí hay una simplificación excesiva de la arquitectura de la aplicación RAG:
- La arquitectura RAG combina la recuperación de información con un modelo generador de texto, por lo que tiene acceso a su base de datos mientras intenta responder una pregunta del usuario.
- La base de datos tiene que ser una fuente confiable que incluya datos propietarios, y permite que el modelo incorpore información actualizada y confiable en sus respuestas y razonamientos.
- En segundo plano, un canal de datos ingiere diversas fuentes estructuradas y no estructuradas en la base de datos para mantenerla precisa y actualizada.
- La cadena RAG toma la consulta del usuario (texto) y recupera datos relevantes de la base de datos, luego pasa esos datos y la consulta al LLM para generar una respuesta altamente precisa y personalizada.
Hay muchas complejidades en esta arquitectura, pero sí tiene beneficios importantes:
- Basa tu LLM en datos propietarios precisos, lo que lo hace mucho más valioso. 2. Lleva tus modelos a tus datos en lugar de llevar tus datos a tus modelos, lo cual es un enfoque relativamente simple y rentable.
Podemos ver que esto se convierte en una realidad en la pila de datos moderna. Los actores más importantes están trabajando a toda velocidad para facilitar RAG al servir LLM dentro de sus entornos, donde se almacenan los datos empresariales.
Snowflake Cortex ahora permite a las organizaciones analizar rápidamente datos y construir aplicaciones de IA directamente en Snowflake. Las nuevas Foundation Model APIs de Databricks proporcionan acceso instantáneo a LLMs directamente dentro de Databricks. Microsoft lanzó el Servicio Microsoft Azure OpenAI y Amazon lanzó recientemente el Editor de Consultas Amazon Redshift.
Nube de datos de Snowflake. Imagen cortesía de Umesh Patel en Medium.
Creo que todas estas características tienen una buena probabilidad de impulsar una alta adopción. Sin embargo, también aumentan el enfoque en la calidad de los datos en estas bases de datos. Si los datos que alimentan tu canalización RAG son anómalos, obsoletos o de otra manera poco confiables, ¿cuál es el futuro de tu iniciativa de inteligencia artificial generativa?
Dura verdad n.º 4: De todos modos, tus datos aún no están listos.
Echa un buen y detenido vistazo a tu infraestructura de datos. Lo más probable es que incluso si tuvieras un pipeline RAG perfecto, un modelo ajustado a la perfección y un caso de uso claro listo para ser utilizado mañana (¡y no sería genial!), aún así no tendrías conjuntos de datos limpios y bien modelados para conectarlo todo.
Digamos que quieres que tu chatbot interactúe con un cliente. Para hacer algo útil, necesita conocer la relación de esa organización con el cliente. Si eres una organización empresarial hoy en día, es probable que esa relación esté definida en 150 fuentes de datos y 5 bases de datos aisladas... 3 de las cuales todavía están en las instalaciones.
Si eso describe a tu organización, es posible que estés a un año (¡o dos!) de que tu infraestructura de datos esté lista para GenAI.
Lo que significa que si quieres la opción de hacer algo con GenAI pronto, necesitas estar creando conjuntos de datos útiles, altamente confiables, consolidados y bien documentados en una plataforma de datos moderna... ayer. O el entrenador te va a llamar al juego y tus pantalones van a estar abajo.
Tu equipo de ingeniería de datos es la columna vertebral para garantizar la salud de los datos. Y, una pila de datos moderna permite al equipo de ingeniería de datos monitorear continuamente la calidad de los datos en el futuro.
Dura verdad #5: Has marginado a jugadores críticos de la IA generacional sin saberlo.
La IA generativa es un deporte de equipo, especialmente cuando se trata de desarrollo. Muchos equipos de datos cometen el error de excluir a jugadores clave de sus equipos GenAI, y eso les está costando a la larga.
¿Quién debería formar parte de un equipo de inteligencia artificial? Liderazgo, o un stakeholder de negocios principal, para encabezar la iniciativa y recordar al grupo el valor comercial. Ingenieros de software para desarrollar el código, la aplicación orientada al usuario y las llamadas a la API. Científicos de datos para considerar nuevos casos de uso, ajustar sus modelos y llevar al equipo en nuevas direcciones. ¿Quién falta aquí?
Ingenieros de datos.
Los ingenieros de datos son fundamentales para las iniciativas de GenAI. Van a poder comprender los datos comerciales patentados que proporcionan la ventaja competitiva sobre un ChatGPT, y van a construir los flujos de datos que hacen que esos datos estén disponibles para el LLM a través de RAG.
Si tus ingenieros de datos no están en la sala, tu equipo tigre no está a plena capacidad. Las empresas más innovadoras en GenAI me dicen que ya están incorporando ingenieros de datos en todos los equipos de desarrollo.
Ganando la carrera de GenIA
Si alguna de estas duras verdades se aplica a ti, no te preocupes. La inteligencia artificial generativa está en etapas tan incipientes que todavía hay tiempo para empezar de nuevo, y esta vez, abrazar el desafío.
Tome un paso atrás para comprender las necesidades del cliente que un modelo de IA puede resolver, involucre a los ingenieros de datos en las etapas iniciales del desarrollo para asegurar una ventaja competitiva desde el principio, y tómese el tiempo para construir un pipeline RAG que pueda suministrar un flujo constante de datos fiables y de alta calidad.
Y, invierte en una pila de datos moderna para hacer de la calidad de datos una prioridad. Porque la inteligencia artificial generativa sin datos de alta calidad es simplemente un montón de paja.