Ameaças à Segurança em IA

Principais Ameaças à Segurança em IA As principais ameaças podem ser agrupadas em cinco categorias. A primeira envolve ataques contra entradas e inferência, como a evasão adversarial, em que pequenas alterações nos dados de entrada levam o modelo a classificações incorretas. A segunda reúne ataques contra dados e conhecimento, como data poisoning e RAG poisoning, nos quais o atacante contamina bases de treinamento ou documentos recuperados por sistemas generativos. A terceira categoria envolve privacidade, confidencialidade e extração, incluindo model inversion, membership inference, model extraction e vazamento de dados, com riscos de exposição de informações sensíveis e roubo de propriedade intelectual. A quarta categoria concentra ameaças específicas a modelos de linguagem e IA generativa, como prompt injection, jailbreak, excessive agency e unbounded consumption. Esses ataques exploram a linguagem, a autonomia dos agentes e o alto custo computacional dos modelos para burlar restrições, executar ações indevidas ou gerar indisponibilidade. Por fim, a quinta categoria trata da cadeia de suprimentos de IA, envolvendo modelos pré-treinados, bibliotecas, datasets e artefatos comprometidos, incluindo riscos como malwares em dependências, arquivos inseguros e adulteração direta de pesos ou hiperparâmetros de modelos. Em conjunto, essas ameaças demonstram que a segurança em IA exige controles técnicos, governança, validação de dados, monitoramento contínuo e proteção de todo o ciclo de vida do modelo.