Como se desmascara um modelo de IA: o caso da Prefeitura do Rio

O que são pesos, system prompt e merge de modelos: explicado sem matemática A Prefeitura do Rio anunciou um modelo de IA próprio, o Rio 3.5 Open 397B. Em 24 horas, uma empresa provou matematicamente que não era. Hoje você aprende o método que eles usaram, e como aplicar em qualquer modelo de IA. O que você vai aprender: • O que é um system prompt, e por que ele é diferente do modelo real • O que são pesos de modelo e por que funcionam como impressão digital • Como a análise de collinearity prova matematicamente um merge de modelos • Outros métodos de verificação que qualquer gestor pode pedir • As 3 perguntas para usar amanhã se alguém apresentar um modelo de IA na sua organização Apresentado por Maria Alice Maia, MSc, PhD Fellow — pesquisadora de doutorado em comportamento de uso e governança de IA na FGV, fundadora da Micah 6 AI (consultoria de governança de IA) e do Estúdio 68 (formação gratuita em dados e IA). https://micah6ai.com · https://micah6ai.com/estudio68 ·   / alice-maia   ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ PERGUNTAS FREQUENTES P: O que é um merge de modelos de IA? R: É a combinação matemática dos pesos de dois modelos existentes em proporção fixa. O resultado herda características de ambos e pode ser verificado matematicamente, comparando os parâmetros do modelo resultante com os modelos originais. Nesse caso, o modelo apresentado pela prefeitura era um merge do Nex-N2-Pro (da Nex-AGI) com o Qwen 3.5 397B (da Alibaba). P: O que é um system prompt e como ele é diferente do modelo? R: Um system prompt é uma instrução de configuração enviada ao modelo antes da conversa, que define comportamento e identidade. É diferente dos pesos do modelo, pode ser adicionado ou removido sem alterar o modelo subjacente. Um modelo original mantém identidade consistente mesmo sem system prompt. Um modelo derivado de outro revela a identidade original. P: Como se verifica se um modelo foi treinado do zero ou é derivado? R: Dois métodos: (1) análise de comportamento (remove-se o system prompt e pergunta-se ao modelo sobre sua identidade); (2) análise de collinearity de pesos (verifica matematicamente se os parâmetros do modelo são uma combinação linear de dois modelos conhecidos). P: O que é collinearity de pesos? R: É uma medida de quanto o desvio de um modelo em relação a um modelo base aponta na mesma direção do desvio de outro modelo. Para modelos independentes, essa medida é próxima de zero. Para um merge, é próxima de 1, o que é estatisticamente impossível por acidente em modelos com bilhões de parâmetros. P: Merge de modelos é ilegal ou antiético? R: Não necessariamente. Modelos com licença Apache 2.0 permitem merge, modificação e redistribuição. O problema no caso do Rio 3.5 não foi o merge, foi a ausência de atribuição, e a comunicação pública de que o modelo era original quando não era. ━━━━━━━━━━━━━━━━━━━━ Fontes: Exame: https://exame.com/inteligencia-artifi... Hugging Face Prefeitura do Rio (Retratação): https://huggingface.co/prefeitura-rio... Archive Web (Publicação Original do Modelo): https://web.archive.org/web/202606130... Nex-AGI GitHub Issue: #4 Análise técnica de pesos publicada abertamente: https://github.com/nex-agi/Nex-N2/iss... Reddit r/LocalLLaMA:   / orpr3fc   ━━━━━━━━━━━━━━━━━━━━ ⏱️ Capítulos do Vídeo [00:00] O caso [01:02] O que você vai aprender a fazer [02:14] O que é um system prompt — a metáfora do crachá [03:40] Método 1: perguntar ao modelo quem ele é [05:50] O que são pesos e por que são impressão digital [11:18] Método 2: análise de collinearity [15:19] O batismo: como isso se chama tecnicamente [15:33] O caso ao vivo — os dois métodos aplicados [18:58] O que poderiam ter feito com o mesmo orçamento [21:42] Outros métodos de verificação [24:11] O que isso muda para quem não é técnico [24:48] As 3 perguntas para usar amanhã