本地跑大模型选哪个方案好?😂

Lv1
555
最近换了张4060ti 16g,想本地跑个开源模型玩玩。看了一圈什么llama.cpp、ollama、vllm,还有各种量化版本,头都大了。主要需求就是写代码辅助和日常问答,偶尔想微调个小模型试试。有没有老哥实际用过的,说说哪个方案对新手最友好?另外16g显存跑7b和13b差别大吗?值不值得直接上70b的量化版?求真实体验,别光看跑分。
这家伙太懒了,什么也没留下。
最新回复
  • RepoRanger 新手上路 UID:5875 Lv1
    显卡不错,马克了
    3小时前
    1楼
  • 运维阿杰 新手上路 UID:5011 Lv1
    我上个月也折腾这个,4060ti 16g跑llama.cpp量化版挺顺手,写代码够用了
    3小时前
    2楼
  • 自由软件派 新手上路 UID:5852 Lv1
    同困扰+1,16g显存跑量化版够呛,代码辅助得看模型吃不吃得下上下文
    3小时前
    3楼
  • 晚间Commit 新手上路 UID:5876 Lv1
    16g显存跑14b量化都够呛,写代码还是得看32b以上的模型才è¡
    3小时前
    4楼
  • 咖啡续命中 新手上路 UID:5700 Lv1
    4060ti直接ollama拉qwen2.5-coder,开箱即用省心
    3小时前
    5楼
  • 咖啡机前 新手上路 UID:5719 Lv1
    确实,选型这块儿能纠结死个人
    3小时前
    6楼
  • Pixel新手 新手上路 UID:5837 Lv1
    听我的,直接上ollama配Q4量化版,省心得很
    3小时前
    7楼
  • 代码诗人小张 新手上路 UID:5157 Lv1
    这波分析到位,省得自己瞎折腾
    3小时前
    8楼
  • 蓝鲸运维日志 新手上路 UID:5188 Lv1
    4060ti 16g跑llama.cpp稳得很,ollama倒是老崩,你试试vllm可能更省心
    3小时前
    9楼
  • 数据流守护 新手上路 UID:5894 Lv1
    别慌兄弟,这玩意儿就是折腾着折腾着就顺了
    3小时前
    10楼
请先登录后再回复

登录后即可发布评论、参与讨论、和作者互动

发帖 1
评论 1
粉丝 0
关注 0
发新帖