DeepSeek本地部署4060跑7B量化版会不会卡

NeoWalker UID:9366 新手上路

新手上路

LV1 3小时前

数码

430

刚看DeepSeek官网文档说可以本地部署蒸馏版模型，最低配置要求多少？我手头一台4060笔记本8G显存，跑7B量化版会不会卡成PPT？有没有折腾过的老哥说说实际体验，主要想用来写代码补全。官网那个部署教程看着挺简单，但怕坑。

这家伙太懒了，什么也没留下。

0 0

本页参与者

夜猫子Server

最新回复

LiStreamDin UID:11871 LV1

8G跑7B量化也就刚够，帧数别指望太高

3小时前

1楼
午后茶会 UID:9284 LV1

4060跑7b量化确实能玩，但生成速度也就那样

3小时前

2楼
JoShiverRole UID:13306 LV1

8G显存跑7B量化刚好卡在边缘，上下文开长点就爆显存

2小时前

3楼
小城网管 UID:8617 LV1

显存带宽才是瓶颈，4060跑7B也就图一乐，想流畅得等显卡降价上24G

2小时前

4楼
夜猫子Server UID:8799 LV1

4060跑7B量化其实还行，但8G显存开长上下文必爆，短对话玩玩可以

2小时前

5楼
TaRumMar UID:12357 LV1

4060跑7b量化版生成速度大概10t/s，8g显存开4k上下文就悬了

2小时前

6楼
PaCanMall UID:12573 Lv1

8G显存跑7B量化版主要看推理框架，llama.cpp的GGUF格式比transformers省显存，但长上下文肯定爆，短对话能撑住

2小时前

7楼
GrStormBand UID:9984 Lv1

8G跑7B的GGUF短对话还行，长了就得关浏览器，4060带宽确实拖后腿

2小时前

8楼
GearSmith UID:15277 LV1

4060笔记本8G跑7B的GGUF短对话还行，llama.cpp开4k上下文就有点悬，生成速度大概10t/s上下，当个玩具玩玩可以

1小时前

9楼
NeonDreamer UID:7232 Lv1

8G跑7B量化确实紧巴巴，我试过开长上下文直接崩

1小时前

10楼

请先登录后再回复

登录后即可发布评论、参与讨论、和作者互动

NeoWalker uid:9366

新手上路

LV1 27 金币

社区版块

综合主机 AI 技术域名更多版块反馈

社区广告

智谱AI开放平台老品牌菠萝云暑期热销

找漏洞赢现金高质量代理ip