AI 초보의 100일 도전 Day 038 | RAG가 안 됐던 진짜 이유 3가지 찾은 하루

Cravveo Company 100일 프로젝트 Day 038. Cravveo Company 100-Day Project, Day 038. 오늘은 모델 경량화 작업으로 시작했다가, RAG 디버깅으로 하루를 다 썼습니다. Today started as a model optimization task, but turned into a full day of RAG debugging. 한 것 | What I did: Colab에서 LoRA 가중치를 q4_0으로 GGUF 변환 (용량/CPU 부담 절반↓) Modelfile에 num_ctx 2048 설정 후 cravveo:v3 모델 등록 AnythingLLM에서 "특정 날짜에 뭐 했어?" 질문 테스트 중 RAG 완전 실패 발견 앱의 SQLite DB와 벡터 저장소를 직접 열어서 원인 추적 Converted LoRA weights to q4_0 GGUF on Colab (halved size/CPU load) Set num_ctx 2048 in Modelfile, registered cravveo:v3 model While testing "what did I do on [date]?" in AnythingLLM, found RAG totally failing Opened the app's SQLite DB and vector store directly to trace the cause 발견한 것 | Discovery — 버그 3개가 순서대로 숨어 있었습니다: 1. 채팅 모드가 "에이전트"로 되어 있어서 검색 자체가 실행이 안 됨 2. Search Preference가 "Default"라서 관련 없는 문서를 가져옴 3. 문맥 조각을 100개로 설정해서 정답 문서가 오히려 잘려나감 3 bugs were stacked, one behind another: 1. Chat mode was set to "Agent" — search never even ran 2. Search Preference was "Default" — pulled irrelevant documents 3. Context chunks set to 100 — the right document got truncated out 하나씩 고치면서 증상이 계속 바뀌는 걸 보고 원인을 좁혀갔습니다. Fixed them one at a time, watching the symptom shift each time to narrow down the cause. 이 채널은 완성된 전문가 강의가 아닙니다. This is not an expert tutorial channel. AI를 잘 모르는 초보자가 직접 막히고 해결하는 과정을 기록합니다. It is a beginner's learning journal, including mistakes, errors, and fixes. GitHub: https://github.com/cravveo4001/cravve... Model: https://huggingface.co/cravveo/cravve... #Cravveo #파인튜닝 #FineTuning #AnythingLLM #RAG #디버깅 #Debugging #AI초보 #BuildInPublic #100일챌린지 #1인기업