最近在折腾本地部署大模型，发现DeepSeek出了新版本，推理速度提升挺明显的。我拿之前跑不顺的代码试了试，以前要等半天才出结果，现在明显快多了，而且回答质量也没下降。说实话咱们这种非技术岗的人，能用上这种免费开源的东西挺知足的。不过部署的时候遇到点小坑，显存占用比想象中高，有懂行的兄弟知道怎么优化吗？"} {"title":"本地跑AI模型显卡到底要多大显存","content":"最近迷上了本地跑大模型，用的ChatGLM和通义千问，但发现显存真的是硬伤。我那块2080Ti 11G跑7B模型都费劲，量化之后效果又打折。看网上有人说用3090或者4090，但价格太离谱了。现在纠结要不要租云GPU，还是干脆用API算了。你们平时怎么解决这个问题的？觉得这玩意儿比想象中烧钱。"} {"title":"AI绘画现在进步也太快了","content":"上个月还在用Stable Diffusion WebUI，这个月发现ComfyUI已经玩出花来了。最近试了下新的SDXL模型，出图质量真的比之前好太多，光影和细节都自然多了。不过工作流配置还是有点门槛，我折腾了两天才搞知道节点怎么连。看B站上有人做视频，AI动画已经开始有商业价值了，觉得这行业变化太快，不学习就要落后了。
