Context Engineering, a nova habilidade indispensável em IA
Porque o segredo para a criação de agentes de IA realmente eficazes tem menos a ver com a complexidade do código que se escreve e tudo a ver com a qualidade do contexto fornecido.
Quando os agentes de IA precisam ser realmente confiáveis durante longos períodos e manter conversas coerentes, há certas medidas a tomarpara conter os potenciais erros compostos. Caso contrário, as coisas podem desmoronar rapidamente. No cerne da confiabilidade está o que a comunidade de IA vem chamando de Context Engineering, ou Engenharia de Contexto. O principal fator que realmente importa ao construir agentes de IA é a qualidade do contexto que se fornece ao modelo.
O termo “Engenharia de prompts” foi cunhado para definir o esforço necessário para escrever uma tarefa no formato ideal para um chatbot de LLM. “Engenharia de contexto” é o próximo nível disso. Exige mais nuances e é efetivamente a tarefa número 1 dos engenheiros que criam agentes de IA. É preciso fornecer à IA os dados e informações para tomar decisões.
Todo mundo está ocupado ajustando prompts, trocando modelos, encadeando ferramentas. Sim, os modelos estão melhorando. As ferramentas estão ficando mais sofisticadas. Mas nada disso importa se o contexto for ruim. A maioria das falhas de agentes não é mais falha de modelo, são falhas de contexto. O segredo para criar agentes de IA realmente eficazes tem menos a ver com a complexidade do código e tudo a ver com a qualidade do contexto fornecido.
Para entender Engenharia de Contexto, precisamos primeiro expandir nossa definição de “contexto”. Não é só o prompt único enviado a um LLM, mas tudo o que o modelo precisa ver antes de gerar uma resposta. O importante é o que o modelo vê (documentos, conversas anteriores, exemplos, resumos), como ele vê (estruturado ou confuso) e quando ele vê (injetado dinamicamente, estático, baseado em memória).
Engenharia de Prompt é um subconjunto da Engenharia de Contexto, e não o contrário. O engenheiro de contexto está pensando em tokens, não em instruções básicas. Está pensando também em prompts do sistema, slots de memória, saídas de ferramentas e janelas de histórico. A Engenharia de Contexto não para no design imediato – ela enquadra toda a conversa.
Prompt Engineering se concentra no que dizer ao modelo em um determinado momento. Engenharia de Contexto se concentra no que o modelo sabe quando você diz isso – e por que ele deveria se importar. Se a Engenharia de Prompt é escrever uma instrução brilhante, a Engenharia de Contexto é decidir o que acontece antes e depois dessa instrução — o que é lembrado, o que é extraído da memória ou de ferramentas, como tudo é estruturado. Ao selecionar deliberadamente instruções do sistema, memória, conhecimento recuperado, saídas de ferramentas e guardrails na janela de contexto finita, os desenvolvedores fornecem aos agentes a consciência situacional necessária para raciocinar, decidir e agir de forma autônoma.
Por que agora?
Este ano, o interesse por agentes de IA cresceu tremendamente, à medida que os LLMs se aprimoram em raciocínio e acesso a ferramentas (APIs de ou para ferramentas diversas). Os agentes intercalam invocações de LLM e acesso a ferramentas, geralmente para tarefas de longa duração, usando o feedback das ferramentas para decidir o próximo passo. No entanto, tarefas de longa duração e o feedback acumulado de chamadas de ferramentas fazem com que os agentes frequentemente utilizem um grande número de tokens. O que pode causar inúmeros problemas: exceder o tamanho da janela de contexto, aumentar o custo/latência ou degradar o desempenho do agente, por exemplo.
Drew Breunig descreveu com precisão uma série de maneiras específicas pelas quais um contexto mais longo pode causar problemas de desempenho, incluindo:
- Envenenamento de contexto: quando uma alucinação entra no contexto
- Distração de contexto: quando o contexto sobrecarrega o treinamento
- Confusão de contexto: quando o contexto supérfluo influencia a resposta
- Conflito de contexto: quando partes do contexto discordam.
Como as pessoas estão lidando com esses desafios? Com estratégias comuns para engenharia de contexto de agentes: escrever, selecionar, compactar (reter somente os tokens necessários para executar a tarefa) e isolar o contexto (dividi-lo para auxiliar o agente a executar a tarefa).
Toda a discussão atingiu o auge quando o CEO da Shopify, Tobi Lütke, fez uma postagem no X em apoio à Engenharia de Contexto — chamando-a de uma descrição mais precisa de como permitimos que os modelos raciocinem. E então Andrej Karpathy e outros líderes de IA endossaram o termo – concordando, ampliando o ponto e deixando claro em um post mais longo: “É mais arte do que tecnologia… delicada arte e ciência de preencher a janela de contexto com as informações certas para o próximo passo”. E a Engenharia de Contexto passou de um tópico de nicho para a conversa mais quente em IA hoje. Quer ir mais fundo? Vale conferir:
- “Context Engineering Guide”, da DAIR.AI Academy.
- “Prompt Engineering vs. Context Engineering”, de Ibrahim Amer.
- “12 Factor Agents”, de Dex Horthy. Muitos dos pontos abordados se relacionam com Engenharia de Contexto (“domine seus prompts”, “domine sua construção de contexto”, etc.)
- “Engenharia de Contexto: A Próxima Fronteira do Marketing Estratégico na Era da IA“, de Tom Dievart.
- O repositório de Cole Medin. Um excelente ponto de partida para explorar e aplicar esses conceitos em seus próprios projetos de IA.
