windows编译DeepSpeed+torch(gpu)

提前装了cuda11.7+cudnn8.4.1+torch2.0.1(gpu)

1.安装visualstudio
下载安装包：

https://visualstudio.microsoft.com/zh-hans/thank-you-downloading-visual-studio/?sku=Community&channel=Release&version=VS2022&source=VSLandingPage&cid=2030&passive=false

需要选择“使用c++桌面开发”，之后按提示安装即可，最后按提示重启操作系统.
2. 从github上获取deepspeed代码
经过测试发现，pip install方式获取的deepspeed代码是无法在windows下使用的，从github上clone或直接从release里下载对应的版本。

比如，0.9.2版本的下载路径是：
https://github.com/microsoft/DeepSpeed/archive/refs/tags/v0.9.2.zip
下载后解压

3.编译DeepSpeed

(1)修改csrc/transformer/inference/csrc/pt_binding.cpp，加入(unsigned)

（2）启动anaconda的powershell prompt命令行程序，激活虚拟环境，定位到DeepSpeed 文件路径下，执行命令build_win.bat
编译大概20分钟之后的结果：

4.安装DeepSpeed
找到\DeepSpeed-0.9.2\dist文件夹下

虚拟环境定位到上面的路径，执行安装命令：
pip install “deepspeed-0.9.5+unknown-cp39-cp39-win_amd64.whl”

至此安裝完毕

另：
大模型微调：
1.修改finetune_lora_single_gpu.sh文件
模型位置、训练数据位置、训练批次、步数保存

2. 结合法律知识数据进行微调训练模型：bash finetune/finetune_lora_single_gpu.sh
   

修改代码finetune.py

再次执行：bash finetune/finetune_lora_single_gpu.sh

6.Torch cuda版本安装：
1.从 Torch 官网地址获取获取安装版本依赖

地址：
https://pytorch.org/get-started/previous-versions/?_gl=11jl82ym_upMQ…_gaMTIwMDIyNjE2OS4xNzcwODg2MzEz_ga_469Y0W5V62*czE3NzA4ODYzMTIkbzEkZzEkdDE3NzA4ODY0MDEkajYwJGwwJGgw

找到的依赖：
conda install pytorch2.0.1 torchvision0.15.2 torchaudio==2.0.2 pytorch-cuda=11.7 -c pytorch -c nvidia

安装不了 找不到源

改成用pip的方式安装，AI根据conda改成pip安装方式的脚本，输出的安装脚本：
pip install torch2.0.1+cu117 torchvision0.15.2+cu117 torchaudio==2.0.2+cu117 --index-url https://download.pytorch.org/whl/cu117