模型

研发方

背后的 “初衷”

适合谁用？

Llama 4

Meta（原 Facebook）

想做 “通用 AI 底座”，支撑自己的社交、VR、广告业务，同时开放给科研界

英文场景用户、大学生 / 研究员、想做技术探索的人

Qwen 3 Max

阿里云（通义千问团队）

专门针对中文场景，让国内企业 / 个人能轻松部署，适配国内需求（比如公文、中文知识库）

中文用户、国内企业、想快速落地商用的团队

模型

架构特点（通俗版）

优势

小缺点

Llama 4

部分版本是 “混合专家模式”：像一个团队分工，每次只让少数 “专家” 干活

推理快、代码能力强、能处理超长文本

中文弱、需要申请权限、对电脑要求稍高

Qwen 3 Max

“全能力模式”：像一个全能选手，什么活都自己扛

中文好、部署简单、对电脑要求稍低

英文能力比 Llama 4 弱一点

专业术语

通俗解释

对初学者的意义

Decoder-only

模型的 “基础结构”

不用管，知道是 “生成式 AI 的标配” 就行

Context Window（上下文窗口）

模型能 “记住” 的前文长度

比如 128K 窗口 = 能记住 20 万字（一本书），越长越好

Token

模型眼里的 “最小文字单位”

中文 1 个 token≈0.6 个字（比如 “你好” 是 2 个 token），英文 1 个 token≈0.75 个词

量化（INT4/INT8）

给模型 “瘦身”：压缩文件大小，减少电脑内存占用

初学者必用！比如 INT4 量化后，模型显存占用减少 75%，普通显卡也能跑

FP16/BF16

模型的 “精度模式”：精度高但占内存多

初学者不用选，默认用量化模式就行

SFT/RLHF

模型的 “调教方法”：让模型更听话、回答更靠谱

不用自己操作，下载的模型已经调教好了

RAG

给模型 “装外挂”：让模型能读取自己的文件（比如公司资料）

后续进阶会讲，初学者先学会基础部署

vLLM

模型的 “加速工具”：让 AI 回答更快，支持多人同时使用

部署上线必用，基础测试可以不用

对比维度

Llama 4

Qwen 3 Max

初学者建议

开源权限

需申请（审核约 1-3 天）

无需申请，直接下载

优先选 Qwen 3 Max（省时间）

语言能力

英文★★★★★，中文★★★☆☆

中文★★★★★，英文★★★★☆

中文用户直接选 Qwen

商用授权

需 Meta 批准，商用受限

Apache 2.0 协议，免费商用

做项目、上线产品选 Qwen

部署难度

中等（需申请 + 配置英文环境）

简单（开箱即用）

零基础选 Qwen

电脑要求

稍高（同规模下比 Qwen 多占一点内存）

稍低（量化后更友好）

普通显卡（比如 3090、A10）选 Qwen

模型版本

量化方式

最低要求（通俗版）

推荐显卡（新手友好）

Llama 4 7B（小尺寸）

INT4（瘦身版）

显卡内存≥8GB，电脑内存≥16GB

英伟达 3090、A10（二手也能用）

Llama 4 70B（大尺寸）

INT4（瘦身版）

显卡内存≥40GB，电脑内存≥64GB

英伟达 A100 80G（专业卡，较贵）

Qwen 3 Max 7B（小尺寸）

INT4（瘦身版）

显卡内存≥6GB，电脑内存≥16GB

英伟达 3060（游戏卡也能跑）

Qwen 3 Max 72B（大尺寸）

INT4（瘦身版）

显卡内存≥38GB，电脑内存≥64GB

英伟达 A100 80G、双卡 3090

# 第一步：更新系统软件（相当于手机“检查更新”）

sudo apt update && sudo apt install -y python3 python3-pip git

# 第二步：安装显卡驱动（让电脑识别显卡，关键步骤！）

# 先查看自己的显卡型号

lshw -C display

# 安装CUDA 12.1（显卡的“驱动程序”，必须装对版本）

wget https://developer.download.nvidia.com/compute/cuda/12.1.0/local_installers/cuda_12.1.0_530.30.02_linux.run

sudo sh cuda_12.1.0_530.30.02_linux.run --silent --toolkit

# 第三步：配置环境变量（让电脑找到驱动）

echo "export PATH=/usr/local/cuda-12.1/bin:\$PATH" >> ~/.bashrc

echo "export LD_LIBRARY_PATH=/usr/local/cuda-12.1/lib64:\$LD_LIBRARY_PATH" >> ~/.bashrc

source ~/.bashrc

# 验证是否安装成功：输完后能看到显卡信息就是成功

nvcc -V

# 安装核心依赖（PyTorch是AI框架，transformers是加载模型的工具）

pip3 install torch==2.1.0 transformers==4.38.0 accelerate==0.27.0 sentencepiece==0.1.99

# 安装量化工具（让模型“瘦身”，新手必装）

pip3 install bitsandbytes

# 安装推理加速工具（让模型回答更快）

pip3 install vllm

# 安装API服务工具（后续让模型对外提供服务，比如做个网页版AI）

pip3 install flask fastapi uvicorn

pip3 install -i https://pypi.tuna.tsinghua.edu.cn/simple 上面的包名

# 先创建一个文件夹存放模型（避免文件混乱）

mkdir qwen-model && cd qwen-model

# 下载Qwen 3 Max 7B-INT4（瘦身版，6GB显存就能跑）

git clone https://huggingface.co/Qwen/Qwen-7B-Chat-Int4

# 第一步：加载模型和“文字翻译器”（tokenizer）

from transformers import AutoTokenizer, AutoModelForCausalLM

import torch

# 模型路径：就是刚才下载的文件夹路径（新手直接复制下面的路径）

model_path = "./qwen-model/Qwen-7B-Chat-Int4"

# 加载“文字翻译器”：把我们说的话转换成模型能懂的格式

tokenizer = AutoTokenizer.from_pretrained(

    model_path,

    trust_remote_code=True  # 必须加这行，Qwen专属要求

)

# 加载模型：核心步骤，让模型跑起来

model = AutoModelForCausalLM.from_pretrained(

    model_path,

    trust_remote_code=True,  # 必须加

    load_in_4bit=True,  # 启用4bit量化（瘦身）

    device_map="auto"  # 自动让模型跑在显卡上

)

# 第二步：测试聊天

def chat_with_qwen(prompt):

    # 构建对话格式（告诉模型“你是AI助手”）

    messages = [

        {"role": "system", "content": "你是一个友好的AI助手，用中文简单明了回答问题"},

        {"role": "user", "content": prompt}

    ]

    # 让模型生成回答

    inputs = tokenizer.apply_chat_template(messages, return_tensors="pt").to("cuda")

    outputs = model.generate(

        inputs,

        max_new_tokens=512,  # 最多回答512个字

        temperature=0.7,  # 回答的随机性（0=严谨，1=活泼）

        do_sample=True

    )

    # 把模型的回答转换成中文

    response = tokenizer.decode(outputs[0], skip_special_tokens=True)

    # 提取纯回答（去掉前面的对话格式）

    return response.split("[/INST]")[-1].strip()

# 测试：问模型一个问题

print(chat_with_qwen("请告诉我怎么煮米饭，步骤简单点"))

from flask import Flask, request, jsonify

from transformers import AutoTokenizer, AutoModelForCausalLM

import torch

# 先加载模型（和步骤2一样）

model_path = "./qwen-model/Qwen-7B-Chat-Int4"

tokenizer = AutoTokenizer.from_pretrained(model_path, trust_remote_code=True)

model = AutoModelForCausalLM.from_pretrained(

    model_path, trust_remote_code=True, load_in_4bit=True, device_map="auto"

)

# 创建API服务

app = Flask(__name__)

@app.route("/chat", methods=["POST"])

def chat():

    # 接收用户的请求（比如网页发送的问题）

    data = request.json

    if not data or "question" not in data:

        return jsonify({"error": "请输入问题"}), 400

    question = data["question"]

    # 生成回答

    messages = [

        {"role": "system", "content": "简单明了回答"},

        {"role": "user", "content": question}

    ]

    inputs = tokenizer.apply_chat_template(messages, return_tensors="pt").to("cuda")

    outputs = model.generate(inputs, max_new_tokens=512, temperature=0.7)

    response = tokenizer.decode(outputs[0], skip_special_tokens=True).split("[/INST]")[-1].strip()

    return jsonify({"answer": response})

if __name__ == "__main__":

    # 启动服务，允许局域网访问（别人能通过你的IP访问）

    app.run(host="0.0.0.0", port=8000)

curl -X POST http://localhost:8000/chat \

-H "Content-Type: application/json" \

-d '{"question": "怎么写一篇300字的游记"}'

# 创建文件夹存放模型

mkdir llama-model && cd llama-model

# 下载Llama 4 7B聊天版

git clone https://huggingface.co/meta-llama/Llama-4-7B-chat

# 加载模型

from transformers import AutoTokenizer, AutoModelForCausalLM

import torch

model_path = "./llama-model/Llama-4-7B-chat"

tokenizer = AutoTokenizer.from_pretrained(model_path)

model = AutoModelForCausalLM.from_pretrained(

    model_path,

    load_in_4bit=True,

    device_map="auto"

)

# 测试聊天（注意：Llama 4中文一般，建议用英文提问更准）

def chat_with_llama(prompt):

    inputs = tokenizer(prompt, return_tensors="pt").to("cuda")

    outputs = model.generate(

        **inputs,

        max_new_tokens=512,

        temperature=0.7

    )

    response = tokenizer.decode(outputs[0], skip_special_tokens=True)

    return response

# 英文测试（效果更好）

print(chat_with_llama("How to cook rice in simple steps?"))

# 中文测试（需接受回答可能不流畅）

print(chat_with_llama("请用中文简单说明怎么煮米饭"))

model = AutoModelForCausalLM.from_pretrained(

    model_path,

    load_in_2bit=True,  # 比INT4更瘦身

    device_map="auto"

)

model = AutoModelForCausalLM.from_pretrained(

    model_path,

    device_map="balanced",  # 均衡分配到多个显卡

    max_memory={0: "8GB", 1: "8GB"}  # 每个显卡分配8GB显存

)

# 启动vLLM服务（Qwen 3 Max为例）

python -m vllm.entrypoints.api_server --model ./qwen-model/Qwen-7B-Chat-Int4

模型

中文准确率

英文准确率

推理速度（7B 版）

显存占用（INT4）

Qwen 3 Max

高（90%+）

中（85%+）

快（约 20 字 / 秒）

低（约 6GB）

Llama 4

中（75%+）

高（90%+）

较快（约 18 字 / 秒）

中（约 8GB）