周末项目：用Llama Factory打造个性化诗歌生成器

作为一名诗歌爱好者，你是否曾幻想过拥有一个能模仿自己写作风格的AI助手？现在，借助Llama Factory这个强大的工具，即使你只有周末两天时间，也能快速搭建一个专属的诗歌生成器。本文将带你一步步实现这个目标，无需深入AI知识，轻松上手。

这类任务通常需要GPU环境支持，目前CSDN算力平台提供了包含Llama Factory的预置环境，可快速部署验证。下面我们就从零开始，打造属于你的诗歌AI。

为什么选择Llama Factory？

Llama Factory是一个开源的模型微调框架，它让普通用户也能轻松驾驭大语言模型。对于诗歌生成这个特定场景，它有以下几个优势：

• 预置模型丰富：支持多种开源大模型，如LLaMA、Qwen等
• 简化微调流程：通过图形界面操作，无需编写复杂代码
• 快速部署：微调后可直接导出为可部署的模型
• 模板支持：内置多种对话模板，适合不同风格的文本生成

提示：虽然Llama Factory简化了操作，但建议至少有Python基础使用经验，这样能更好地理解后续步骤。

准备你的诗歌数据集

要让AI模仿你的写作风格，首先需要准备一些你的原创诗歌作为训练数据。数据集不需要很大，20-30首代表性作品就足够开始。

1. 将你的诗歌整理成以下格式的JSON文件：

[
    {
        "instruction": "写一首关于春天的七言绝句",
        "input": "",
        "output": "春风拂面柳丝长，\n燕子归来寻旧梁。\n桃李争妍蜂蝶舞，\n人间四月好时光。"
    },
    {
        "instruction": "创作一首表达思念的五言律诗",
        "input": "",
        "output": "夜雨滴空阶，\n孤灯照客怀。\n故园千里外，\n何日得归来。"
    }
]

1. 数据集制作要点：
2. instruction字段描述诗歌要求
3. input字段可留空或补充细节
4. output字段放入你的实际作品

注意：确保诗歌格式统一，如果是特定格律(如七绝、五律)，最好保持一致性。

快速部署Llama Factory环境

现在我们来部署Llama Factory的运行环境。如果你使用CSDN算力平台，可以直接选择预置了Llama Factory的镜像，省去安装步骤。

1. 启动环境后，打开终端运行以下命令：

git clone https://github.com/hiyouga/LLaMA-Factory.git
cd LLaMA-Factory
pip install -r requirements.txt

1. 启动Web界面：

python src/train_web.py

1. 访问本地端口(通常是7860)即可看到操作界面

界面主要分为几个区域： - 模型选择与加载 - 数据配置 - 训练参数设置 - 推理测试区

微调你的诗歌模型

现在进入最关键的步骤 - 用你的数据集微调模型。

1. 在Web界面完成以下设置：
2. 模型选择：建议从Qwen-1.8B或LLaMA-2-7B开始
3. 数据配置：上传你准备的JSON文件

4. 训练参数：

   • Epochs: 3-5(小数据集可适当增加)
   • 学习率: 3e-5
   • Batch size: 根据显存调整(8GB显存建议设为4)

5. 开始训练前检查：

6. 确认GPU显存足够(可通过nvidia-smi查看)
7. 数据集路径正确

8. 输出目录有写入权限

9. 点击"开始训练"按钮，等待完成

提示：第一次训练可能需要较长时间(2-5小时)，建议在周末白天进行。

测试与优化诗歌生成效果

训练完成后，我们可以在同一界面的"Chat"标签页测试效果。

1. 加载你微调好的模型
2. 尝试不同的提示词，例如：
3. "写一首描写秋日黄昏的七言绝句"
4. "创作一首表达离愁的现代诗"
5. 观察生成结果，评估：
6. 是否符合你的风格
7. 韵律是否正确
8. 情感表达是否到位

如果效果不理想，可以尝试： - 增加训练数据量 - 调整训练epoch数 - 尝试不同的基础模型 - 修改提示词模板

部署你的诗歌生成服务

想让你的诗歌生成器随时可用？可以将其部署为API服务。

1. 导出微调后的模型：

python src/export_model.py \
    --model_name_or_path 你的模型路径 \
    --template default \
    --export_dir 导出路径

1. 使用FastAPI创建简单服务：

from fastapi import FastAPI
from transformers import AutoTokenizer, AutoModelForCausalLM

app = FastAPI()
tokenizer = AutoTokenizer.from_pretrained("导出路径")
model = AutoModelForCausalLM.from_pretrained("导出路径")

@app.post("/generate_poem")
def generate_poem(theme: str, style: str = "七言绝句"):
    prompt = f"写一首关于{theme}的{style}"
    inputs = tokenizer(prompt, return_tensors="pt")
    outputs = model.generate(**inputs, max_length=100)
    return {"poem": tokenizer.decode(outputs[0], skip_special_tokens=True)}

1. 启动服务：

uvicorn main:app --host 0.0.0.0 --port 8000

现在，你就可以通过API调用来生成诗歌了！

进阶技巧与常见问题

提升生成质量的技巧

• 温度参数(Temperature)：调整生成多样性
• 较低值(0.3-0.7)：更保守、更符合训练数据

• 较高值(0.8-1.2)：更有创造性但可能偏离风格

• 重复惩罚：避免诗句重复

• 设置repetition_penalty=1.2可减少重复

• 长度控制：确保诗歌结构完整

• 对绝句设置max_length=50
• 对律诗设置max_length=100

常见问题解决

1. 显存不足错误
2. 减小batch size
3. 使用梯度累积

4. 尝试更小的基础模型

5. 生成内容不符合预期

6. 检查数据格式是否正确
7. 确认提示词模板匹配模型类型

8. 增加与你的风格更匹配的训练样本

9. 训练过程不稳定

10. 降低学习率
11. 尝试不同的优化器
12. 添加学习率warmup

开启你的AI诗歌创作之旅

通过这个周末项目，你已经成功创建了一个能模仿你写作风格的诗歌生成器。虽然初始效果可能不够完美，但随着你不断添加更多作品到训练集，AI会越来越接近你的风格。

接下来，你可以尝试： - 收集更多作品，定期重新训练模型 - 尝试不同的诗歌形式和主题 - 将生成器集成到博客或社交媒体 - 探索与其他创作工具的结合

记住，AI只是辅助工具，真正的诗歌灵魂仍然来自于你。现在就去实验吧，看看这个周末你能创造出什么有趣的作品！