Desafio
Uma startup visionária estabeleceu a ambiciosa meta de desenvolver um chatbot que pudesse responder consultas com base em documentos, sites, PDFs, apresentações e um banco de dados de grafos, tudo sem usar OpenAI, Anthropic ou qualquer Large Language Model (LLM) de provedor de nuvem. Essa tarefa apresentava um desafio: encontrar uma alternativa às ferramentas de IA ubíquas e executá-la de forma custo-efetiva, mantendo controle sobre fine-tuning/seleção de contexto, evitando lock-in de fornecedor e garantindo desempenho otimal mesmo em CPUs.
Solução
A candido.ai aceitou esse desafio, aproveitando sua expertise em IA para projetar uma solução apropriada. Eles selecionaram, implementaram e fizeram benchmark de diversos LLMs open-source, garantindo que os modelos pudessem rodar tanto em plataformas de nuvem quanto em CPUs. Eles criaram um framework único de treinamento de modelos, incorporando capacidades de banco de dados vetorial, usando ChromaDB e FAISS para facilitar seleção eficiente de contexto e responder consultas com precisão com base no conjunto de dados de entrada. Essa abordagem concedeu controle total sobre o fine-tuning dos modelos, permitindo que o chatbot fornecesse respostas precisas com base em fontes diversas, de documentos a bancos de dados de grafos complexos.
Resultado
Com o uso inovador de modelos open-source e bancos de dados vetoriais pela candido.ai, a startup desenvolveu com sucesso o chatbot imaginado. O chatbot foi capaz de responder com precisão a perguntas com base em uma ampla gama de fontes de informação, desempenhando de forma otimal tanto em plataformas de nuvem quanto em CPUs, entregando assim significativa eficiência de custos.
Ao garantir controle total de fine-tuning e seleção de contexto, o novo chatbot evitou lock-in de fornecedor e entregou respostas precisas e relevantes. Esse resultado validou a visão ambiciosa da startup e elucidou o potencial dos modelos de IA open-source na criação de soluções de IA versáteis e custo-efetivas, mantendo o controle em suas mãos.