这个包的gpu版本还是比较难安装的，流程其实也不复杂，只不过在安装的过程中会出现各种各样的错误

下面是从源码安装的flash-attn的GPU版本。

# 安装flash-attn 
git clone https://github.com/Dao-AILab/flash-attention.git
cd flash-attention
# 切换分支 v2.5.7 对应的版本
git checkout v2.5.7

export TORCH_CUDA_ARCH_LIST="8.9"
rm -rf build flash_attn.egg-info dist
export TMPDIR=$PWD/tmp
mkdir -p $TMPDIR
# 这个过程会比较久，10minutes左右
pip install . --no-cache-dir --verbose

其中export TORCH_CUDA_ARCH_LIST="8.9"根据自己的GPU来选，我是RTX4090的，RTX 4000 系列的计算能力都是8.9好像。

# conda # pip
Logo
九章云极普惠算力

更多推荐

突破算力瓶颈：nanoGPT水平扩展全方案——从单GPU到多节点集群的完整指南

nanoGPT作为一款轻量级GPT训练框架，以其简洁高效的设计成为中小型语言模型训练的理想选择。本文将系统介绍如何通过水平扩展技术突破算力限制，在不同硬件环境下实现高效训练，从单GPU到多节点集群的完整配置方案。## 🚀 为什么选择nanoGPT进行水平扩展？nanoGPT采用极简设计理念，核心代码仅包含`model.py`（约300行模型定义）和`train.py`（约300行训练循环

avatar 九章云极普惠算力

终极Sidekick推理模型指南：多模型兼容与性能优化完整教程

Sidekick是一款原生macOS应用，允许用户与本地LLM聊天，无需安装其他软件即可响应Mac上文件、文件夹和网站的信息。本文将详细介绍Sidekick的推理模型支持，包括本地与远程模型的配置方法、多模型兼容特性以及实用的性能优化策略，帮助用户充分发挥AI助手的潜力。## 本地模型：从下载到部署的完整流程Sidekick提供了丰富的本地模型支持，让用户可以在完全离线的环境下使用AI功能

avatar 九章云极普惠算力

pygta5性能优化技巧：如何提升自动驾驶AI的响应速度

pygta5是一个使用Python实现《侠盗猎车手5》自动驾驶AI的开源项目，通过深度学习模型控制游戏角色自动行驶。在实际应用中，AI的响应速度直接影响驾驶体验和安全性。本文将分享6个实用的性能优化技巧，帮助你显著提升pygta5自动驾驶AI的响应速度，让AI驾驶更加流畅自然。## 一、图像预处理优化：减少计算负担自动驾驶AI首先需要处理游戏画面，图像数据的大小直接影响后续计算效率。在py

avatar 九章云极普惠算力