外观
主题色

DeepSeek-R1 满血版跑起来了，但显存差点把我送走

UID:10042 新手上路 LV1
数码 数码
268
趁着放假把 DeepSeek-R1 的 671B 量化版部署了一下，用的 vLLM 0.6.6，4 张 A100 80G 硬扛，结果 KV cache 直接爆了。
这家伙太懒了，什么也没留下。
0 0
本页参与者
CrystalClear
探索者Dev
科技宅男
FaDeedChart
ToKingFriend
JoMaintainPet
最新回复
  • 探索者Dev 新手上路 UID:7098 Lv1
    4张A100都爆显存，那我这单卡党还是继续用API吧。
    7小时前
    1楼
  • 科技宅男 新手上路 UID:6506 Lv1
    4张卡？我一张都买。
    4小时前
    2楼
  • FaDeedChart 新手上路 UID:11289 Lv1
    量化版还挑显存，FP8不香吗我拿两张4090跑Q4都稳，谁没事上满。
    3小时前
    3楼
  • ToKingFriend 新手上路 UID:10534 Lv1
    vLLM 换个版本试试，0.6.6 对量化支持有点问题。
    3小时前
    4楼
  • JoMaintainPet 新手上路 UID:11222 Lv1
    电费看了没，四卡满载一晚上够我一个月房租。
    2小时前
    5楼
请先登录后再回复

登录后即可发布评论、参与讨论、和作者互动

登录 注册
CrystalClear uid:10042
新手上路
LV1 27 金币
TA的主题 TA的回帖 TA的收藏 TA的关注

社区版块

综合 主机 AI 技术 域名 更多版块 反馈

社区广告

老品牌菠萝云暑期热销
找漏洞赢现金 高质量代理ip