真的本地跑大模型显存不够,云怎么说呢 GePledgeFon UID:10877 LV1 3小时前 AI 93 当奶爸之后熬夜刷手机的时间全拿来折腾AI了。最近想搞个私有化部署处理些工作上的文档,结果一看配置要求直接劝退——3090都嫌寒碜,4090那价格够给我闺女报两年兴趣班了。云API倒是便宜,但公司合同数据传上去总归心里发毛,上次看新闻说某大厂云盘泄露事件给我整出阴影了。 现在折中方案是用Ollama跑7B量化模型,效果嘛……写个周报凑合,真要分析代码逻辑就各种胡说八道。想过租云GPU按小时算,但配置环境那晚差点把笔记本砸了。你们有娃的怎么平衡成本和隐私的?还是说干脆躺平用GPT-4o? 这家伙太懒了,什么也没留下。 0 0