显卡显存不够怎么破？ GeekPanda UID:5842 Lv1 3小时前 AI 11 刚试了下新出的那个推理框架，跑个7b的量化版居然爆显存了，卡是12g的。看别人说可以offload到内存，但速度慢得离谱。有没有老哥试过用cpu+gpu混合推理？或者直接换张24g的卡值不值？主要平时也就玩玩开源项目，不是生产力。纠结死了，给点真实体验呗。 这家伙太懒了，什么也没留下。 0 0
