AI 초보의 100일 도전 Day 031 | 모델이 문제가 아니라 형식이 문제였다 — 2일간의 삽질 끝에 발견

Cravveo Company 100일 프로젝트 Day 031. Cravveo Company 100-Day Project, Day 031. 2일간의 삽질 기록입니다. A 2-day debugging story. 1일차: 데이터를 184개로 확장하고 3B 모델로 업그레이드했습니다. 코랩에서는 완벽한 답변이 나왔는데, 로컬 Ollama에서는 "Unknown"이었습니다. 모델 크기 문제인가? 양자화 문제인가? 1B로 바꿔봤습니다. q4를 q8로 바꿔봤습니다. 전부 실패했습니다. Day 1: Expanded data to 184, upgraded to 3B model. Perfect answers in Colab, but "Unknown" in local Ollama. Tried 1B, tried q4, tried q8. All failed. 2일차: 진짜 원인을 찾았습니다. 모델이 문제가 아니라, Modelfile의 TEMPLATE이 문제였습니다. AI는 "질문:/답변:" 형식으로 학습했는데, Ollama가 Llama 채팅 템플릿으로 감싸서 보내고 있었습니다. TEMPLATE을 단순하게 바꾸니까 3B 모델이 코랩과 동일하게 정확히 답했습니다. Day 2: Found the real cause. Not the model, but the Modelfile TEMPLATE was wrong. AI learned with "질문:/답변:" format, but Ollama wrapped it in Llama chat template. Changed to simple template, and the 3B model answered perfectly. "크라베오 컴퍼니가 뭐야?" "IT 프로그램 개발, 인터넷 쇼핑몰, 유튜브 채널을 혼자서 운영하면서 수익을 창출하는 1인 기업이야." 오늘의 핵심 교훈 | Key lesson: AI가 "모른다"고 답하면, 모델이 나쁜 게 아니라 말 거는 형식이 틀린 것일 수 있다. 학습할 때 쓴 형식과 질문할 때 쓴 형식이 일치해야 한다. When AI says "I don't know", it might not be a bad model. It might be the wrong input format. Training format and inference format must match. 이 채널은 완성된 전문가 강의가 아닙니다. This is not an expert tutorial channel. AI를 잘 모르는 초보자가 직접 막히고 해결하는 과정을 기록합니다. It is a beginner's learning journal, including mistakes, errors, and fixes. GitHub: https://github.com/cravveo4001/cravve... Dataset: https://huggingface.co/datasets/cravv... Model: https://huggingface.co/cravveo/cravve... Colab: https://colab.research.google.com/dri... #Cravveo #파인튜닝 #FineTuning #Modelfile #TEMPLATE #Ollama #GGUF #AI초보 #BuildInPublic #100일챌린지