A IA que gera valor real para os negócios exige trabalho real. Mas vale a pena.
Imagem original cortesia de The Everett Collection em Shutterstock. Imagem editada pelo autor.
GenAI está em toda parte que você olha, e organizações de todos os setores estão pressionando suas equipes para entrar na corrida — 77% dos líderes empresariais temem que já estejam perdendo os benefícios do GenAI.
As equipes de dados estão se esforçando para atender ao chamado. Mas construir um modelo de IA generativa que realmente agregue valor ao negócio é difícil.
E, a longo prazo, uma integração rápida com a API da OpenAI não será suficiente. É GenAI, mas onde está o fosso? Por que os usuários deveriam escolher você em vez do ChatGPT?
Essa rápida verificação da caixa parece um passo à frente, mas se você ainda não está pensando em como conectar LLMs com seus dados proprietários e contexto de negócios para realmente impulsionar valor diferenciado, você está atrasado.
Isso não é hipérbole. Eu conversei com meia dúzia de líderes de dados apenas nesta semana sobre este tópico. Nenhum deles perdeu de vista que isso é uma corrida. Na linha de chegada, haverá vencedores e perdedores. Os Blockbusters e os Netflixes.
Se você sente que o tiro de largada foi dado, mas sua equipe ainda está na linha de largada se alongando e conversando sobre 'bolhas' e 'hype', reuni 5 verdades difíceis para ajudar a sacudir a complacência.
Dura verdade #1: Suas funcionalidades de IA generativa não são bem adotadas e você está demorando para monetizar.
"Barr, se o GenAI é tão importante, por que os recursos atuais que implementamos são tão pouco adotados?"
Bem, existem algumas razões. Um, sua iniciativa de IA não foi construída como resposta a um influxo de problemas de usuário bem definidos. Para a maioria das equipes de dados, isso acontece porque você está correndo e é cedo, e quer ganhar alguma experiência.
No entanto, não vai demorar muito para que seus usuários tenham um problema que é melhor resolvido pelo GenAI, e quando isso acontecer — você terá uma adoção muito melhor em comparação com sua equipe de brainstorming tentando vincular o GenAI a um caso de uso.
E porque é cedo, as funcionalidades de IA generativa que foram integradas são apenas "ChatGPT, mas aqui."
Deixe-me dar um exemplo. Pense em um aplicativo de produtividade que você pode usar todos os dias para compartilhar conhecimento organizacional. Um aplicativo como este pode oferecer um recurso para executar comandos como "Resumir isso", "Aumentar o tamanho" ou "Mudar o tom" em blocos de texto não estruturado. Um comando equivale a um crédito de IA.
Sim, isso é útil, mas não é diferenciado.
Talvez a equipe decida comprar alguns créditos de IA, ou talvez eles apenas cliquem na outra guia e perguntem ao ChatGPT. Não quero ignorar completamente ou desconsiderar o benefício de não expor dados proprietários ao ChatGPT, mas também é uma solução e visão menor do que a que está sendo pintada nas chamadas de ganhos em todo o país.
A maldita etapa intermediária do conceito ao valor. Imagem cortesia de Joe Reis on Substack.
Portanto, considere: Qual é o diferencial do seu GenAI e valor agregado? Deixe-me dar uma dica: dados proprietários de alta qualidade.
É por isso que um modelo RAG (ou às vezes, um modelo ajustado) é tão importante para as iniciativas de IA Gen. Ele dá ao LLM acesso a esses dados proprietários da empresa. Vou explicar o motivo abaixo.
Dura verdade #2: Você tem medo de fazer mais com o Gen AI.
É verdade: a IA generativa é intimidante.
Claro, você poderia integrar seu modelo de IA mais profundamente nos processos de sua organização, mas isso parece arriscado. Vamos encarar: o ChatGPT alucina e não pode ser previsto. Há um corte de conhecimento que deixa os usuários suscetíveis a saídas desatualizadas. Há repercussões legais para o manuseio inadequado de dados e para fornecer desinformação aos consumidores, mesmo que acidentalmente.
Soa real o suficiente, certo? Llama 2 com certeza pensa assim. Imagem cortesia de Pinecone.
Seus contratempos de dados têm consequências. E é por isso que é essencial saber exatamente o que você está alimentando o GenAI e que os dados são precisos.
Este é um sentimento amplamente compartilhado entre muitos líderes de dados com quem falo. Se a equipe de dados de repente expôs dados seguros voltados para o cliente, então eles estão na mira. A governança de dados é uma consideração massiva e é uma barra alta a ser superada.
Estes são riscos reais que precisam de soluções, mas você não os resolverá ficando à margem. Também há um risco real de ver o seu negócio ser fundamentalmente perturbado pela equipe que descobriu primeiro.
Aterrar LLMs em seus dados proprietários com ajuste fino e RAG é uma grande parte deste quebra-cabeça, mas não é fácil...
Dura verdade #3: RAG é difícil.
Acredito que RAG (recuperação aumentada de geração) e ajuste fino são peças centrais do futuro da IA generativa empresarial. Mas, embora RAG seja a abordagem mais simples na maioria dos casos, desenvolver aplicativos RAG ainda pode ser complexo.
Não podemos todos começar a RAGar? Qual é o problema? Imagem cortesia do Reddit.
RAG pode parecer a solução óbvia para personalizar o seu LLM. Mas o desenvolvimento do RAG vem com uma curva de aprendizado, mesmo para seus engenheiros de dados mais talentosos. Eles precisam conhecer engenharia de prompts, bancos de dados vetoriais e vetores de incorporação, modelagem de dados, orquestração de dados, pipelines de dados... tudo para o RAG. E, como é algo novo (introduzido pela Meta AI em 2020), muitas empresas simplesmente ainda não têm experiência suficiente com ele para estabelecer as melhores práticas.
Arquitetura de aplicação RAG. Imagem cortesia de Databricks.
Aqui está uma simplificação da arquitetura de aplicação RAG:
- A arquitetura RAG combina recuperação de informações com um modelo gerador de texto, então tem acesso ao seu banco de dados enquanto tenta responder a uma pergunta do usuário. 2. O banco de dados precisa ser uma fonte confiável que inclui dados proprietários, e permite que o modelo incorpore informações atualizadas e confiáveis em suas respostas e raciocínio. 3. Em segundo plano, um pipeline de dados ingere várias fontes estruturadas e não estruturadas no banco de dados para mantê-lo preciso e atualizado. 4. A cadeia RAG recebe a consulta do usuário (texto) e recupera dados relevantes do banco de dados, em seguida, passa esses dados e a consulta para o LLM a fim de gerar uma resposta altamente precisa e personalizada.
Há muitas complexidades nesta arquitetura, mas ela tem benefícios importantes:
- Ele fundamenta o seu LLM em dados proprietários precisos, tornando-o muito mais valioso. 2. Ele leva os seus modelos aos seus dados em vez de trazer os seus dados aos seus modelos, o que é uma abordagem relativamente simples e econômica.
Podemos ver isso se tornando realidade na pilha de dados moderna. Os maiores players estão trabalhando a toda velocidade para tornar o RAG mais fácil, servindo LLMs dentro de seus ambientes, onde os dados corporativos são armazenados.
O Snowflake Cortex agora permite que as organizações analisem rapidamente dados e construam aplicativos de IA diretamente no Snowflake. As novas Foundation Model APIs da Databricks oferecem acesso instantâneo aos LLMs diretamente dentro do Databricks. A Microsoft lançou o Microsoft Azure OpenAI Service e a Amazon lançou recentemente o Amazon Redshift Query Editor.
Nuvem de dados Snowflake. Imagem cortesia de Umesh Patel em Medium.
Acredito que todas essas características têm uma boa chance de impulsionar uma alta adoção. No entanto, elas também aumentam o foco na qualidade dos dados nessas bases de dados. Se os dados que alimentam seu pipeline RAG forem anômalos, desatualizados ou de outra forma não confiáveis, qual é o futuro da sua iniciativa de IA generativa?
Dura verdade #4: Seus dados ainda não estão prontos de qualquer maneira.
Dê uma boa e atenta olhada na sua infraestrutura de dados. É provável que, mesmo se você tivesse um pipeline RAG perfeito, um modelo ajustado e um caso de uso claro pronto para amanhã (e não seria bom?), você ainda não teria conjuntos de dados limpos e bem modelados para conectar tudo.
Digamos que você queira que seu chatbot interfira com um cliente. Para fazer qualquer coisa útil, ele precisa saber sobre o relacionamento da organização com o cliente. Se você é uma organização empresarial hoje, esse relacionamento provavelmente é definido em 150 fontes de dados e 5 bancos de dados isolados... 3 dos quais ainda estão no local.
Se isso descreve a sua organização, é possível que você esteja a um ano (ou dois!) de distância de sua infraestrutura de dados estar pronta para a GenAI.
O que significa que se você quiser a opção de fazer algo com GenAI em breve, você precisa estar criando conjuntos de dados úteis, altamente confiáveis, consolidados e bem documentados em uma plataforma de dados moderna... ontem. Ou o treinador vai te chamar para o jogo e você vai estar desprevenido.
Sua equipe de engenharia de dados é a espinha dorsal para garantir a saúde dos dados. E, uma pilha de dados moderna permite que a equipe de engenharia de dados monitore continuamente a qualidade dos dados no futuro.
Dura verdade #5: Você deixou de lado jogadores críticos da Gen AI sem saber.
A IA generativa é um esporte de equipe, especialmente quando se trata de desenvolvimento. Muitas equipes de dados cometem o erro de excluir jogadores-chave de suas equipes GenAI, e isso está custando a eles a longo prazo.
Quem deve fazer parte de um time de IA? Liderança, ou um stakeholder de negócios principal, para liderar a iniciativa e lembrar o grupo do valor comercial. Engenheiros de software para desenvolver o código, a aplicação voltada para o usuário e as chamadas de API. Cientistas de dados para considerar novos casos de uso, ajustar seus modelos e direcionar a equipe para novas direções. Quem está faltando aqui?
Engenheiros de dados.
Engenheiros de dados são fundamentais para as iniciativas da GenAI. Eles serão capazes de compreender os dados comerciais proprietários que proporcionam a vantagem competitiva sobre um ChatGPT, e irão construir os pipelines que tornam esses dados disponíveis para o LLM via RAG.
Se os seus engenheiros de dados não estiverem na sala, a sua equipe de especialistas não está em plena capacidade. As empresas mais inovadoras em GenAI estão me dizendo que já estão incorporando engenheiros de dados em todos os esquadrões de desenvolvimento.
Vencendo a corrida GenAI
Se alguma dessas duras verdades se aplica a você, não se preocupe. A inteligência artificial generativa está em estágios tão iniciais que ainda há tempo para recomeçar e, desta vez, abraçar o desafio.
Dê um passo para trás para entender as necessidades do cliente que um modelo de IA pode resolver, traga engenheiros de dados para as fases iniciais do desenvolvimento para garantir uma vantagem competitiva desde o início e reserve um tempo para construir um pipeline RAG que possa fornecer um fluxo constante de dados confiáveis e de alta qualidade.
E invista em uma pilha de dados moderna para tornar a qualidade dos dados uma prioridade. Porque a IA generativa sem dados de alta qualidade é apenas um monte de conversa fiada.