极限挑战：RK3588 NPU 跑LLM
在4GB 板载LPDDR4内存的底配版 RK3588 开发板上，首先借助RKLLM 工具链量化编译 11 亿参数的 TinyLlama，并最终在开发板端侧运行。这期视频是玩转RK3588 NPU 系列的第四集， 也是目前这个系列的最后一期。 整个视频包含4个关键部分 资源获取：获取RKLLM与TinyLlama-1.1B 量化与编译：PC端编译环境配置、皆准模型转换脚本进行LLM量化与编译、编译运行LLM的示例推理程序 板端配置：创建Swap分区与固定板端硬件频率 端侧推理：在开发板端运行量化后的LLM并监测系统资源使用情况 rknn-toolkit2资源链接: https://github.com/airockchip/rknn-to... 大模型资源链接： https://huggingface.co/TinyLlama/Tiny... https://www.modelscope.cn/models/AI-M... 视频中涉及到的脚本、测试程序链接： https://github.com/hannahrepo/rk3588-npu #RK3588 #NPU #ZeroCopy #MultiCore #EdgeAI #YOLOv5 #EmbeddedLinux #Rockchip #MachineLearning #PerformanceOptimization
▶︎
6 TOPS 到底是生产力还是噱头？深度拆解RK3588 NPU架构
▶︎
国产SoC能不能打？瑞芯微、华为海思、全志、飞腾、龙芯的现状与选型建议
▶︎
假如你从今天开始学习Agent Skills，需要多久才能学会？
▶︎
【Loop Engineering 循环工程】从理论到实践，它真的适合每个人吗？
▶︎
Running a 35B AI Model on 6GB VRAM, FAST (llama.cpp Guide)
▶︎
CC Switch 实战：让 Claude Code 自动切换 API，OpenRouter 免费模型也能稳定跑
▶︎
本地AI哪家强？统一内存大横评！
▶︎
Gemma 4 还是 Qwen？本地跑模型，我直接告诉你选谁
▶︎
300元价格3070的性能 特斯拉V100显卡保姆使用教程
▶︎
严打VPN不到一个月就烂尾？什么力量让习近平不得不收手？高善文|大老王|鲁社长|任剑涛|张维迎
▶︎
Pi Agent：比Claude Code和Codex更适合普通人的AI工具
▶︎
什么是嵌入式，AI时代嵌入式还有机会么，如何学习嵌入式？
▶︎
Qwen3.6 27B,多种优化方式，从20t/s飙到184t/s,我是怎么做到的？
▶︎
几天烧光$5000美元后，我开始琢磨怎么用本地模型省钱——结果发现...
▶︎
这颗npu让我看到了arm的未来很美好！
▶︎
最近爆火的 Harness Engineering 到底是个啥？一期讲透！
▶︎
FPGA深度拆解：不只是接口扩展，更是大模型时代的自适应核心。
▶︎
TPU 全面了解
▶︎
全新開源AI GLM 5.2問世，直接「虐殺」GPT-5.5！
▶︎