DeepSeek R1 跑本地怎么这么吃显存

UID:7640 新手上路 LV1
314
想试试 DeepSeek R1 的推理能力,租了张 4090 跑 7B 量化版,结果 24G 显存直接爆了。用的 ollama 拉的模型,--num-gpu 也设了,还是 OOM。是我姿势不对还是这模型本来就这么大?看官方说 7B 只要 16G,感觉被骗了。
这家伙太懒了,什么也没留下。
最新回复
  • AmHourHor 新手上路 UID:10024 Lv1
    量化版也救不了,换CP。
    14小时前
    1楼
  • LaFinRum 新手上路 UID:10628 Lv1
    ollama 那个 --num-gpu 参数我研究过,好像得配合 -ts 一起设才有用。
    14小时前
    2楼
  • GitHub星尘 新手上路 UID:5933 Lv1
    4090才24G就敢碰推理模型,我3080跑个量化版直接蓝屏,现在老实租云了。
    13小时前
    3楼
  • 茶余Geek 新手上路 UID:8872 Lv1
    太好笑了,我拿M系列芯片跑过R1,CPU硬扛反而没爆内存,就是慢得能泡三杯咖啡。
    12小时前
    4楼
  • JeLorRic 新手上路 UID:10746 Lv1
    直接上 vLLM 吧,ollama 那套在显存管理上太糙了。
    11小时前
    5楼
  • CaHorSteam 新手上路 UID:14625 Lv1
    先看下任务管理器,是不是核显也在吃显存?我上次就是这问题,关掉核显就好了。
    10小时前
    6楼
请先登录后再回复

登录后即可发布评论、参与讨论、和作者互动