circle-check\ Introducing Unsloth Studio: a new web UI for local AI\ \ 🦥chevron-right close
Unsloth LLM 目录，适用于我们所有的 动态arrow-up-right Hugging Face 上的 GGUF、4 位、16 位模型。
• GGUF + 4 位
• 指令 16 位
• 基础 4 位和 16 位
• FP8
Qwen DeepSeek Gemma Llama Mistral GLM
GGUF 可让你在以下工具中运行模型： Unsloth Studio ✨、Ollama 和 llama.cpp。 指令（4 位） safetensors 可通过 Unsloth 用于推理或微调。
hashtag 新增且推荐的模型：
模型
变体
GGUF
指令（4 位）
35B-A3B
—
26B-A4B
—
31B
E4B
E2B
35B-A3B
—
27B
—
122B-A10B
—
0.8B
—
2B
—
4B
—
9B
—
397B-A17B
—
Qwen3
—
NVIDIA Nemotron 3
—
GLM
—
—
Kimi
—
120B
20B
MiniMax
—
NVIDIA Nemotron 3
30B
—
2512
—
Edit-2511
—
3B
指令arrow-up-right • 推理arrow-up-right
指令arrow-up-right • 推理arrow-up-right
8B
指令arrow-up-right • 推理arrow-up-right
指令arrow-up-right • 推理arrow-up-right
14B
指令arrow-up-right • 推理arrow-up-right
指令arrow-up-right • 推理arrow-up-right
24B
—
123B
—
Mistral Large 3
675B
80B-A3B-指令
80B-A3B-思考
—
2B-指令
2B-思考
4B-指令
4B-思考
8B-指令
8B-思考
30B-A3B-指令
—
30B-A3B-思考
—
32B-指令
32B-思考
235B-A22B-指令
—
235B-A22B-思考
—
30B-A3B-指令
—
30B-A3B-思考
—
235B-A22B-指令
—
30B-A3B
—
4.7
—
4.6V-Flash
—
Terminus
—
V3.1
—
Granite-4.0
H-Small
Kimi-K2
思考
—
0905
—
hashtag DeepSeek 模型：
模型
变体
GGUF
指令（4 位）
DeepSeek-V3.1
Terminus
V3.1
DeepSeek-V3
V3-0324
—
V3
—
DeepSeek-R1
R1-0528
—
R1-0528-Qwen3-8B
R1
—
R1 Zero
—
蒸馏 Llama 3 8 B
蒸馏 Llama 3.3 70 B
蒸馏 Qwen 2.5 1.5 B
蒸馏 Qwen 2.5 7 B
蒸馏 Qwen 2.5 14 B
蒸馏 Qwen 2.5 32 B
hashtag Llama 模型：
模型
变体
GGUF
指令（4 位）
Llama 4
Scout 17 B-16 E
Maverick 17 B-128 E
—
Llama 3.3
70 B
Llama 3.2
1 B
3 B
11 B 视觉
—
90 B 视觉
—
Llama 3.1
8 B
70 B
—
405 B
—
Llama 3
8 B
—
70 B
—
Llama 2
7 B
—
13 B
—
CodeLlama
7 B
—
13 B
—
34 B
—
hashtag Gemma 模型：
模型
变体
GGUF
指令（4 位）
Gemma 4
E2B
E4B
26B-A4B
—
31B
FunctionGemma
270M
—
Gemma 3n
E2B
E4B
Gemma 3
270M
1 B
4 B
12 B
27 B
MedGemma
4 B（视觉）
27 B（视觉）
Gemma 2
2 B
9 B
—
27 B
—
hashtag Qwen 模型：
模型
变体
GGUF
指令（4 位）
35B-A3B
—
27B
—
122B-A10B
—
0.8B
—
2B
—
4B
—
9B
—
397B-A17B
—
Qwen3
—
2512
—
Edit-2511
—
2B-指令
2B-思考
4B-指令
4B-思考
8B-指令
8B-思考
Qwen3-Coder
30B-A3B
—
480B-A35B
—
30B-A3B-指令
—
30B-A3B-思考
—
235B-A22B-思考
—
235B-A22B-指令
—
Qwen 3
0.6 B
1.7 B
4 B
8 B
14 B
30 B-A3B
32 B
235 B-A22B
—
Qwen 2.5 Omni
3 B
—
7 B
—
Qwen 2.5 VL
3 B
7 B
32 B
72 B
Qwen 2.5
0.5 B
—
1.5 B
—
3 B
—
7 B
—
14 B
—
32 B
—
72 B
—
Qwen 2.5 Coder（128 K）
0.5 B
1.5 B
3 B
7 B
14 B
32 B
QwQ
32 B
QVQ（预览）
72 B
—
Qwen 2（聊天）
1.5 B
—
7 B
—
72 B
—
Qwen 2 VL
2 B
—
7 B
—
72 B
—
hashtag GLM 模型：
模型
变体
GGUF
指令（4 位）
GLM
—
—
4.6V-Flash
—
4.6
—
4.5-Air
—
hashtag Mistral 模型：
模型
变体
GGUF
指令（4 位）
Magistral
Small（2506）
Small（2509）
Small（2507）
Mistral Small
3.2-24 B（2506）
3.1-24 B（2503）
3-24 B（2501）
2409-22 B
—
Devstral
Small-24 B（2507）
Small-24 B（2505）
Pixtral
12 B（2409）
—
Mistral NeMo
12 B（2407）
Mistral Large
2407
—
Mistral 7 B
v0.3
—
v0.2
—
Mixtral
8 × 7 B
—
hashtag Phi 模型：
模型
变体
GGUF
指令（4 位）
Phi-4
推理增强版
推理
迷你推理
Phi-4（指令）
mini（指令）
Phi-3.5
mini
—
Phi-3
mini
—
medium
—
hashtag 其他（GLM、Orpheus、Smol、Llava 等）模型：
模型
变体
GGUF
指令（4 位）
GLM
4.5-Air
—
4.5
—
4-32B-0414
—
Grok 2
270B
—
Baidu-ERNIE
4.5-21B-A3B-思考
—
Hunyuan
A13B
—
Orpheus
0.1-ft（3B）
LLava
1.5（7 B）
—
1.6 Mistral（7 B）
—
TinyLlama
聊天
—
SmolLM 2
135 M
360 M
1.7 B
Zephyr-SFT
7 B
—
Yi
6 B（v1.5）
—
6 B（v1.0）
—
34 B（聊天）
—
34 B（基础）
—
16 位和 8 位指令模型用于在以下场景进行推理或微调： Unsloth Studio:
新模型：
模型
变体
指令（16 位）
gpt-oss （新）
20b
120b
Gemma 3n
E2B
E4B
DeepSeek-R1-0528
R1-0528-Qwen3-8B
R1-0528
Mistral
Small 3.2 24B（2506）
Small 3.1 24B（2503）
Small 3.0 24B（2501）
Magistral Small（2506）
Qwen 3
0.6 B
1.7 B
4 B
8 B
14 B
30B-A3B
32 B
235B-A22B
Llama 4
Scout 17B-16E
Maverick 17B-128E
Qwen 2.5 Omni
3 B
7 B
Phi-4
推理增强版
推理
DeepSeek 模型
模型
变体
指令（16 位）
DeepSeek-V3
V3-0324
V3
DeepSeek-R1
R1-0528
R1-0528-Qwen3-8B
R1
R1 Zero
蒸馏 Llama 3 8B
蒸馏 Llama 3.3 70B
蒸馏 Qwen 2.5 1.5B
蒸馏 Qwen 2.5 7B
蒸馏 Qwen 2.5 14B
蒸馏 Qwen 2.5 32B
Llama 模型
系列
变体
指令（16 位）
Llama 4
Scout 17B-16E
Maverick 17B-128E
Llama 3.3
70 B
Llama 3.2
1 B
3 B
11 B 视觉
90 B 视觉
Llama 3.1
8 B
70 B
405 B
Llama 3
8 B
70 B
Llama 2
7 B
Gemma 模型：
模型
变体
指令（16 位）
Gemma 3n
E2B
E4B
Gemma 3
1 B
4 B
12 B
27 B
Gemma 2
2 B
9 B
27 B
Qwen 模型：
系列
变体
指令（16 位）
Qwen 3
0.6 B
1.7 B
4 B
8 B
14 B
30B-A3B
32 B
235B-A22B
Qwen 2.5 Omni
3 B
7 B
Qwen 2.5 VL
3 B
7 B
32 B
72 B
Qwen 2.5
0.5 B
1.5 B
3 B
7 B
14 B
32 B
72 B
Qwen 2.5 Coder 128 K
0.5 B
1.5 B
3 B
7 B
14 B
32 B
QwQ
32 B
QVQ（预览）
72 B
—
Qwen 2（聊天）
1.5 B
7 B
72 B
Qwen 2 VL
2 B
7 B
72 B
Mistral 模型：
模型
变体
指令（16 位）
Mistral
Small 2409-22B
Mistral
Large 2407
Mistral
7B v0.3
Mistral
7B v0.2
Pixtral
12B 2409
Mixtral
8×7B
Mistral NeMo
12B 2407
Devstral
Small 2505
Phi 模型：
模型
变体
指令（16 位）
Phi-4
推理增强版
推理
Phi-4（核心）
迷你推理
Mini
Phi-3.5
Mini
Phi-3
Mini
Medium
文本转语音（TTS）模型：
模型
指令（16 位）
Orpheus-3B（v0.1 ft）
Orpheus-3B（v0.1 pt）
Sesame-CSM 1B
Whisper Large V3（语音转文本）
Llasa-TTS 1B
Spark-TTS 0.5B
Oute-TTS 1B
基础模型通常用于微调：
新模型：
模型
变体
基础（16 位）
基础（4 位）
Gemma 3n
E2B
E4B
Qwen 3
0.6 B
1.7 B
4 B
8 B
14 B
30B-A3B
Llama 4
Scout 17B 16E
Maverick 17B 128E
—
Llama 模型：
模型
变体
基础（16位）
基础（4位）
Llama 4
Scout 17B 16E
—
Maverick 17B 128E
—
Llama 3.3
70 B
—
Llama 3.2
1 B
—
3 B
—
11 B 视觉
—
90 B 视觉
—
Llama 3.1
8 B
—
70 B
—
Llama 3
8 B
Llama 2
7 B
13 B
Qwen 模型：
模型
变体
基础（16位）
基础（4位）
Qwen 3
0.6 B
1.7 B
4 B
8 B
14 B
30B-A3B
Qwen 2.5
0.5 B
1.5 B
3 B
7 B
14 B
32 B
72 B
Qwen 2
1.5 B
7 B
Llama 模型：
模型
变体
基础（16位）
基础（4位）
Llama 4
Scout 17B 16E
—
Maverick 17B 128E
—
Llama 3.3
70 B
—
Llama 3.2
1 B
—
3 B
—
11 B 视觉
—
90 B 视觉
—
Llama 3.1
8 B
—
70 B
—
Llama 3
8 B
Llama 2
7 B
13 B
Gemma 模型
模型
变体
基础（16位）
基础（4位）
Gemma 3
1 B
4 B
12 B
27 B
Gemma 2
2 B
—
9 B
—
27 B
—
Mistral 模型：
模型
变体
基础（16位）
基础（4位）
Mistral
Small 24B 2501
—
NeMo 12B 2407
—
7B v0.3
7B v0.2
Pixtral 12B 2409
—
其他（TTS、TinyLlama）模型：
模型
变体
基础（16位）
基础（4位）
TinyLlama
1.1 B（基础）
Orpheus-3b
0.1-预训练
你可以使用我们提供的 FP8 上传版本进行训练或服务/部署。
与 FP8 Block 相比，FP8 Dynamic 训练速度略快、VRAM 占用更低，但精度会有轻微损失。
模型
变体
FP8（动态 / 分块）
Qwen3
Coder-Next
动态arrow-up-right · 分块arrow-up-right
GLM
4.7-Flash
Llama 3.3
70B 指令
动态arrow-up-right · 分块arrow-up-right
Llama 3.2
1B 基础
动态arrow-up-right · 分块arrow-up-right
1B 指令
动态arrow-up-right · 分块arrow-up-right
3B 基础
动态arrow-up-right · 分块arrow-up-right
3B 指令
动态arrow-up-right · 分块arrow-up-right
Llama 3.1
8B 基础
动态arrow-up-right · 分块arrow-up-right
8B 指令
动态arrow-up-right · 分块arrow-up-right
70B 基础
动态arrow-up-right · 分块arrow-up-right
Qwen3
0.6B
1.7B
4B
8B
14B
32B
235B-A22B
Qwen3（2507）
4B 指令
4B 思考
30B-A3B 指令
30B-A3B 思考
235B-A22B 指令
235B-A22B 思考
Qwen3-VL
4B 指令
4B 思考
8B 指令
8B 思考
Qwen3-Coder
480B-A35B 指令
Granite 4.0
h-tiny
h-small
Magistral Small
2509
FP8 动态arrow-up-right · FP8 torchaoarrow-up-right
Mistral Small 3.2
24B 指令-2506
Gemma 3
270M-it torchao 270m — FP8arrow-up-right 1B — FP8arrow-up-right 4B — FP8arrow-up-right 12B — FP8arrow-up-right 27B — FP8arrow-up-right
上一页Unsloth 笔记本chevron-left 下一页Installationchevron-right
最后更新于 13天前
这有帮助吗？
本站使用 cookie 来提供服务并分析流量。浏览本站，即表示您接受 隐私政策。
close
接受拒绝