AI Observability na Prática no VSCode! Beyond Context #2

Nesta aula você dará o próximo passo na Jornada AI DevObs: sair da teoria sobre Large Language Models e entrar no universo da AI Observability. Link da primeira aula:    • O verdadeiro problema das LLMs não é o con...   Durante a primeira aula entendemos como os modelos de IA processam informação utilizando mecanismos como atenção, contexto e inferência. Agora chegou o momento de responder uma pergunta essencial para qualquer engenheiro de software: Como podemos observar, medir e compreender o comportamento da IA durante o desenvolvimento de software? Utilizando o AIDevObs v0.3 como estudo de caso, construiremos uma sessão completa de desenvolvimento assistido por IA dentro do VS Code, explorando conceitos como sessões reproduzíveis, configuração via obs.yaml, snapshots de configuração, coleta de métricas, geração de relatórios e benchmark de desenvolvimento. Além da parte prática, faremos um experimento para visualizar o impacto do crescimento do contexto sobre os modelos baseados em Transformers, demonstrando de forma intuitiva por que o custo computacional cresce rapidamente à medida que aumentamos a janela de contexto. Ao final da aula, você terá uma visão clara de como transformar o desenvolvimento assistido por IA em um processo observável, reproduzível e orientado por dados, estabelecendo as bases para técnicas mais avançadas de Context Engineering, MCP, RAG e otimização de workflows que serão abordadas nas próximas aulas. O que você vai aprender O que é AI Observability e por que ela é importante. Como estruturar sessões reproduzíveis com o AIDevObs. Como configurar uma sessão utilizando obs.yaml. Como executar uma sessão prática no VS Code. Como interpretar métricas e relatórios gerados automaticamente. Como visualizar o impacto do crescimento do contexto nos modelos de IA. Como utilizar benchmarks para avaliar e comparar fluxos de desenvolvimento assistido por IA. Demonstração prática Durante a aula construiremos uma sessão completa utilizando: VS Code AIDevObs v0.3 Claude Code MiniMax-M3 (e outros modelos compatíveis) Ao final, analisaremos os relatórios gerados e discutiremos como utilizar essas informações para tomar decisões técnicas mais embasadas durante o desenvolvimento.