罗列ollma镜像

ollama list

拉取ollama镜像源里面的模型：

ollama pull qwen2:1.5b

下载CudaToolkit
https://developer.nvidia.com/cuda-toolkit-archive
我这里选择11.7的万金油版本，从来没出过bug
在这里插入图片描述

Ollama安装好后，为了让推理跑在GPU上，可以按照如下步骤 设置环境变量：
在“系统变量”中，点击“新建”按钮。
添加以下环境变量：
变量名：OLLAMA_GPU_LAYER
变量值：cuda
在这里插入图片描述
验证是否使用gpu
问几个比较复杂的问题然后再另外一个命令行窗口输入命令

ollama ps

窗口1
在这里插入图片描述
窗口2
在这里插入图片描述
可以看见，我们使用到了gpu，并且很神速

或者看一下任务管理器的gpu运行情况也行，如果利用率很高说明用到了gpu

Logo
九章云极普惠算力

更多推荐

cover

成功安装faiss-gpu

avatar 九章云极普惠算力

tensorflow-gpu缺少的.dll文件下载：一键解决TensorFlow GPU运行难题

tensorflow-gpu缺少的.dll文件下载：一键解决TensorFlow GPU运行难题【下载地址】tensorflow-gpu缺少的.dll文件下载此仓库为TensorFlow GPU版本用户提供了运行所需的缺失动态链接库文件，如cudart64_110.dll、cublas64_11.dll等。这些文件是...

avatar 九章云极普惠算力

【报错解决】RTX4090 nvrtc: error: invalid value for --gpu-architecture (-arch)

在配深度学习环境每次想要训练模型都出现nvrtc: error: invalid value for --gpu-architecture (-arch)这个问题，换了无数个方法都没解决，一开始下载的torch和cuda版本是1.12.0+11.3，后来查了GitHub发现4090框架不支持还是怎么着，最后把torch版本卸掉重新下了1.13+11.6的版本，终于跑通了呜呜太感人了！

avatar 九章云极普惠算力