[한영자막] Eval 없이 Skill을 배포하면 안 되는 진짜 이유 — Google DeepMind Philipp Schmid

Google DeepMind의 Philipp Schmid가 왜 Eval 없이 Skill을 배포하면 안 되는지 이야기합니다. 다들 스킬은 쓰지만 테스트하는 사람은 거의 없습니다. 좋은 스킬을 쓰는 법과, 실패를 미리 잡아내는 가벼운 Eval 하니스 만드는 법을 정리했습니다. 주요 포인트 • Skill Bench가 인덱싱한 스킬 5만여 개 중 Eval이 있는 건 거의 없었습니다. • 사람이 쓴 스킬이 가장 좋고, AI가 만든 스킬은 오히려 성능을 떨어뜨릴 수 있습니다. skill.md는 500줄 아래로 유지하세요. • 모델 호출 스킬에서 제일 중요한 건 설명입니다. 실패의 절반이 스킬이 제대로 안 불려서 생깁니다. • 해피 패스 5개, 부정 케이스 5개로 작게 시작하고, 케이스마다 여러 번 돌려 신뢰도를 재세요. • 스킬을 켠 상태와 끈 상태로 애블레이션 테스트를 돌리면 언제 스킬을 은퇴시킬지 알 수 있습니다. #AI #에이전트 #스킬 #Eval #GoogleDeepMind #GeminiAPI #코딩에이전트 📎 관련 링크: https://x.com/_philschmid   / philipp-schmid-a6a2bb196   https://www.philschmid.de/ https://www.ai.engineer/worldsfair/sc...