LLMOps 9강 - Fine Tuning(SFT + LoRA)

00:07 Loss, Epoch, Overfitting — 학습 기본 용어 04:47 HPO / AutoML / MLOps / LLMOps 07:14 Fine-Tuning 정의 — "AI는 결국 함수다 + 그 함수의 가중치를 다시 조정" 10:01 Pre-training vs CPT vs SFT 17:51 왜 SFT가 적합한가 19:33 PEFT와 LoRA 21:17 LoRA vs QLoRA 22:25 Fine-Tuning 주의점 2가지 ✅ 학습 기본 4가지 개념 • Loss — 모델이 얼마나 틀렸는지의 숫자, 줄어들면 학습 중 • Epoch — 데이터 전체를 한 번 본 것 (1 epoch). 너무 많으면 overfitting • Overfitting — 답을 외워버린 상태. 표면 패턴이 조금 달라져도 못 맞힘 • Hyperparameter — 학습 시작 전 사람이 정하는 값 (epochs / learning_rate / batch_size) ✅ Pre-training vs CPT vs SFT • Pre-training — 인터넷 raw text 수조 토큰. 회사가 한다 (수백억 원) • Continual Pre-training — 도메인 raw text 수억~수십억 토큰. 의료·법률 같은 특수 영역만 • SFT (Fine-Tuning) — 지시-응답 쌍 수백~수만 개. 일반 회사가 실제로 쓰는 단계 ✅ PEFT와 LoRA — 0.25%만 학습 • Full Fine-Tuning은 GPU 메모리가 폭발 (22억 파라미터 전부 업데이트) • PEFT(Parameter-Efficient Fine-Tuning): 필요한 부분만 학습 • LoRA — 기존 가중치는 동결, 작은 어댑터만 추가. 0.25% (545만 / 22억) 만 학습 • 비유: "교과서는 그대로, 옆에 포스트잇만 붙인다" • QLoRA — LoRA + 4bit 양자화로 GPU 메모리를 더 아낌 ✅ Fine-Tuning이 LLM 운영에서 차지하는 자리 • LLM 단독 — 이미 아는 것만 답한다 (기억만으로) • 프롬프트 엔지니어링 — 메모를 책상에 펼쳐놓기 (가중치 안 바뀜) • RAG — 책장에서 꺼내 책상에 올리기 (가중치 안 바뀜) • Fine-Tuning — 공부해서 머릿속에 넣기 (가중치가 진짜로 바뀐다) ✅ 꼭 지켜야 할 2가지 주의점 • 데이터 품질이 80% — GPU 사양보다 데이터가 훨씬 중요 • 평가 없이 배포 금지 — 도메인 능력 + 기존 능력 망각 여부 둘 다 검증 ✅ 한 줄로 정리 • 프롬프트는 메모를 펼치는 것, RAG는 책장에서 꺼내오는 것, Fine-Tuning은 공부해서 머릿속에 넣는 것 • LoRA는 교과서에 포스트잇을 붙이는 것, QLoRA는 그 교과서를 압축본으로 바꾼 것 🎯 이런 분들께 추천합니다: "Fine-Tuning이 정확히 뭐가 바뀌는 건지" 직관으로 이해하고 싶은 분 LoRA·QLoRA·PEFT 같은 용어가 헷갈리는 백엔드/ML 엔지니어 프롬프트·RAG로는 안 풀리는 도메인 문제를 안고 있는 팀 ---------- 소형 LLM(Qwen 3.5-2B)을 합성 데이터로 SFT → 평가 → 양자화 → 배포 → Agentic RAG까지 한 번에 체험할 수 있는 이 강의의 실습 Repository: https://github.com/akfmdl/llmops-work...