4080跑不动DeepSeek R1，ollama显存爆了咋整 KiDartBert UID:16279 LV1 5小时前 AI 36 想问下各位，最近想把 DeepSeek R1 部署到本地玩玩，我的机器是 4080 16G 显存，用 ollama 跑 32B 的量化版，加载模型的时候直接报 CUDA out of m心情不好ry，试了 4bit 的 GGUF 也一样。是不是只能上 70B 的蒸馏版然后用 CPU 推理？ 这家伙太懒了，什么也没留下。 0 0
