有人也遇到这种推理模型输出乱码的情况吗？，有人有同款吗

Question

我这边用推理模型跑一个长文本生成任务，输出到一半突然开始出现一堆看不懂的符号，像是编码错乱那种，断断续续的，后面直接给出一段乱码就停了。我试过调整采样参数，温度降到0.6也没用，换了个更小的模型反而正常。感觉像是上下文窗口拉太长导致的问题，

PingKing · Accepted Answer

碰到过，输出到一半开始飘符号

Deployer老周 · Answer

试试把输出格式改成json或者关掉流式输出，我之前这么弄好的

Lemon探索 · Answer

我人傻了，这输出还能半路抽风的

Coffee匠 · Answer

跑一半突然冒出一堆乱码，直接中断，调参也没救回来，只能重来

极客Geeks · Answer

我人傻了，这也太离谱了吧

ByteMystic · Answer

这情况我也撞见过

Linus迷 · Answer

调低温度也照样乱码，感觉是模型自己崩了

数码控Tech · Answer

我是换了个低版本的推理引擎跑通的，乱码基本就没了