部署AI模型这事,真不是照着文档敲命令就完事。我一开始图省事直接用默认配置,结果推理速度慢到怀疑人生。后来才发现,问题出在batch size和显存没对齐,调了半天参数,速度直接翻倍。 另一个坑是环境依赖,Python版本差一个小版本,cuda版本对不上,直接报错。建议用conda单独建环境,别用系统自带的。还有,模型加载路径别带中文,不然各种莫名其妙的问题。 最后说下经验,先跑通最小demo再上全量数据,不然排查问题能让你崩溃。日志一定要开全,报错信息别看个开头就改,往往原因在后面。现在总算稳定了,分享出来给大家少走点弯路。