Windows下中文微调Llama3，单卡8G显存只需5分钟，模型可接入GPT4All、Ollama，实现CPU推理聊天，附Colab一键训练脚本。

Windows下中文微调Llama3，单卡8G显存只需5分钟，模型可接入GPT4、Ollama，实现CPU推理聊天，附Colab一键训练脚本。 Llama3模型申请与本地部署    • Llama 3 模型申请与本地部署的几种方法，总有一种适用你。   AI大模型搭建本地知识库    • Video   Llama2微调教程    • 🦙使用自己的数据微调Llama 2 最简单方法 ，Llama 2 “烹饪”食谱，附c...   Llama2申请与本地部署    • Llama2模型申请与本地部署详细教程   colab一键训练 https://colab.research.google.com/dri... unslo本地安装包下载 百度网盘：https://pan.baidu.com/s/17XehOXC2LMbn... 谷歌网盘：https://drive.google.com/drive/folder... 视频里训练的lora：https://drive.google.com/file/d/1REtJ... Windows本地部署条件 1、Windows10/Windows11 2、英伟达卡8G显存、16G内存，安装CUDA12.1、cuDNN8.9，C盘剩余空间20GB、unsloth安装盘S40GB 3、依赖软件：CUDA12.1+cuDNN8.9、Python11.9、Git、Visual Studio 2022、llvm(可选） 4、HuggingFace账号，上传训练数据集 Windows部署步骤 一、下载安装包 1、安装cuda12.1，配置cuDNN8.9 2、安装Visual Studio 2022 3、解压unsloth 4、安装python11 5、安装git 6、设置llvm系统环境变量(可选） 二、安装unsloth 1、使用python11创建虚拟环境 python311\python.exe -m venv venv 2、激活虚拟环境 call venv\script\activate.bat 3、安装依赖包 pip install torch==2.2.2 --index-url https://download.pytorch.org/whl/cu121 pip install "unsloth[colab-new] @ git+https://github.com/unslothai/unsloth.... pip install --no-deps trl peft accelerate bitsandbytes pip install deepspeed-0.13.1+unknown-py3-none-any.whl pip install triton-2.1.0-cp311-cp311-win_amd64.whl pip install xformers==0.0.25.post1 4、测试安装是否成功 nvcc --version python -m [xformers.info](http://xformers.info/) python -m bitsandbytes 5、运行脚本 test-unlora.py 测试微调之前推理 fine-tuning.py 用数据集微调 test-lora.py 测试微调之后推理 save-16bit.py 合并保存模型16位 save-gguf-4bit.py 4位量化gguf格式 三、4位量化需要安装llama.cpp，步骤如下： 1、git clone https://github.com/ggerganov/llama.cpp 2、按官方文档编译 mkdir build cd build cmake .. -DLLAMA_CUBLAS=ON 3、设置Visual Studio 2022中cmake路径到系统环境变量path里 C:\Program Files\Microsoft Visual Studio\2022\Professional\Common7\IDE\CommonExtensions\Microsoft\CMake\CMake\bin C:\Program Files\Microsoft Visual Studio\2022\Professional 4、编译llama.cpp cmake --build . --config Release 5、如果上面这句编译命令无法执行，需要做以下操作： 复制这个路径下的 C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.1\extras\visual_studio_integration\MSBuildExtensions 4个文件，粘贴到以下目录里 C:\Program Files (x86)\Microsoft Visual Studio\2022\BuildTools\MSBuild\Microsoft\VC\v170\BuildCustomizations 6、编译好以后，把llama.cpp\build\bing\release目录下的所有文件复制到llama.cpp目录下 7、重新运行fine-tuning.py微调保存为 00:00 介绍 00:44 第一部分colab微调 02:18 训练数据集 03:26 微调设置与训练 06:21 微调后用GPT4All推理 07:21 第二部分本地微调 08:46 本地部署训练程序 13:28 本地微调 14:42 本地量化4位模型