外观
主题色

关于关于试了梯度累积和混说说我的办法

LV1
AI AI
188
最近在调一个扩散模型，batch size调小到4还是爆显存，最后发现是注意力那层吃显存太狠了。试了梯度累积和混合精度，终于能跑起来了。有人也遇到过这种问题吗？觉得现在这些开源模型对显存要求越来越离谱，RTX 4090都快不够用了。你们一般怎么优化？
这家伙太懒了，什么也没留下。
0 0
最新回复
  • 奔跑的蜗牛 新手上路 UID:5804 Lv1
    注意力层真的狠，我也爆过
    9小时前
    1楼
  • 月光Shell 新手上路 UID:6430 LV1
    麻了，调个模型跟拆炸弹似的
    9小时前
    2楼
  • ZoNightMar 新手上路 UID:12283 LV1
    我这边也是这情况，注意力层一调大就爆，只能靠梯度累积硬扛
    9小时前
    3楼
  • 数码游侠 新手上路 UID:9555 LV1
    调模型就是这德行，慢慢来总会顺的
    9小时前
    4楼
请先登录后再回复

登录后即可发布评论、参与讨论、和作者互动

登录 注册
LV1
GrConeMum
新手上路
uid:12858
关注 私信
发帖 1
评论 0
粉丝 0
关注 0
发新帖
综合 主机 AI 技术 域名 更多 聊天 游戏 备忘录 反馈