AI 模型权重下载指南
跑本地 AI 模型的第一步是下载模型权重。大模型的权重文件动辄几十 GB,下载方式不对的话会非常痛苦。这篇对比各种下载渠道,帮你选最适合的方案。
模型权重有多大
先有个概念:
| 模型规模 | 参数量 | 权重大小(FP16) | 权重大小(量化 GGUF) |
|---|---|---|---|
| 小型 | 1-3B | 2-6 GB | 1-3 GB |
| 中型 | 7-13B | 14-26 GB | 4-8 GB |
| 大型 | 30-70B | 60-140 GB | 20-40 GB |
| 超大 | 100B+ | 200+ GB | 60+ GB |
普通用户跑 7B-13B 的模型比较现实。70B 以上的需要高端显卡或大量内存。
下载渠道对比
| 渠道 | 速度(国内) | 可靠性 | 模型覆盖 | 门槛 |
|---|---|---|---|---|
| Hugging Face | 慢(需镜像) | 高 | 最全 | 中 |
| ModelScope | 快 | 高 | 中文模型为主 | 低 |
| 魔搭社区 | 快 | 高 | 阿里系模型 | 低 |
| GitHub Release | 中等 | 中 | 部分项目 | 低 |
| 磁力/BT | 取决于做种 | 中 | 社区分享 | 中 |
| Ollama | 中等 | 高 | 主流模型 | 极低 |
各渠道详解
Hugging Face
AI 模型的"GitHub",几乎所有开源模型都上传在这里。
国内下载建议:
- 用 HF 镜像站:hf-mirror.com
- 设置环境变量:
export HF_ENDPOINT=https://hf-mirror.com - 用
huggingface-cli命令行工具下载,支持断点续传 - 或用
hf download命令下载单个文件
ModelScope
阿里推出的模型社区,国内访问速度快。
- 直接用
modelscope download命令 - 大部分中文大模型都有镜像
- 下载速度比 Hugging Face 快很多(国内服务器)
Ollama
最简单的本地 AI 运行方案。安装 Ollama 后,一行命令就能下载并运行模型:
ollama run qwen2:7b
自动下载、自动量化、自动配置。适合不想折腾的用户。缺点是模型选择不如 Hugging Face 全。
磁力/BT 下载
部分社区用户会把模型权重打包成种子分享。优点是做种多时速度可能很快,缺点是来源不一定可信。
如果用这个方式,建议下载后用 SHA-256 校验文件完整性——和 info hash 校验 的原理一样。
用 磁力古哥 也能搜索"模型名 + magnet"来找相关资源,但注意甄别来源。
下载工具推荐
| 工具 | 适用渠道 | 特点 |
|---|---|---|
| huggingface-cli | Hugging Face | 官方工具,断点续传 |
| aria2c | 任意 HTTP | 多线程下载,速度快 |
| modelscope CLI | ModelScope | 国内源,速度快 |
| Ollama | Ollama 仓库 | 一键下载+运行 |
| git-lfs | Hugging Face | 适合小文件多的仓库 |
断点续传的重要性
几十 GB 的文件一次下完几乎不可能(网络波动、电脑休眠等)。务必用支持断点续传的工具:
huggingface-cli默认支持断点续传aria2c -c支持断点续传- 浏览器下载一般也支持,但大文件不太推荐
存储和管理
模型多了之后管理是个问题。建议:
- 统一存放:一个专门的目录(如
/data/models/) - 记录来源:记下模型来源和版本号,方便后续更新
- 定期清理:不用的模型及时删除,SSD 空间很贵
- 外挂硬盘:大容量 HDD 存模型,用符号链接让工具能找到
合规与许可
下载 AI 模型时注意许可证(License):
- Apache 2.0 / MIT:自由使用,包括商业用途
- Llama 许可证:有使用限制,商用需要审查条款
- 自定义许可证:每个模型不同,务必阅读
大部分开源模型允许个人学习和研究使用,但商用前一定要检查许可证。