真的本地跑大模型显存不够,云怎么说呢

LV1
93
当奶爸之后熬夜刷手机的时间全拿来折腾AI了。最近想搞个私有化部署处理些工作上的文档,结果一看配置要求直接劝退——3090都嫌寒碜,4090那价格够给我闺女报两年兴趣班了。云API倒是便宜,但公司合同数据传上去总归心里发毛,上次看新闻说某大厂云盘泄露事件给我整出阴影了。 现在折中方案是用Ollama跑7B量化模型,效果嘛……写个周报凑合,真要分析代码逻辑就各种胡说八道。想过租云GPU按小时算,但配置环境那晚差点把笔记本砸了。你们有娃的怎么平衡成本和隐私的?还是说干脆躺平用GPT-4o?
这家伙太懒了,什么也没留下。
最新回复
  • 运维小陈 新手上路 UID:5495 LV1
    想知道跑文档类任务云主机得租到什么配置才够用
    3小时前
    1楼
  • 机房巡夜人 新手上路 UID:6139 LV1
    想知道你这套配置大概得投入多少预算
    2小时前
    2楼
请先登录后再回复

登录后即可发布评论、参与讨论、和作者互动

发帖 1
评论 0
粉丝 0
关注 0
发新帖