ollama使用gpu运行大模型

ollama使用gpu运行大模型

docker: Error response from daemon: could not select device driver ““ with capabilities: [[gpu]].

这个错误表明Docker无法识别或加载支持GPU所需的设备驱动程序。以加载内核模块（常见于Ubuntu）。），手动安装后重启服务。

【报错解决】RTX4090 nvrtc: error: invalid value for --gpu-architecture (-arch)

在配深度学习环境每次想要训练模型都出现nvrtc: error: invalid value for --gpu-architecture (-arch)这个问题，换了无数个方法都没解决，一开始下载的torch和cuda版本是1.12.0+11.3，后来查了GitHub发现4090框架不支持还是怎么着，最后把torch版本卸掉重新下了1.13+11.6的版本，终于跑通了呜呜太感人了！