Skip to content

RooCode链接部署的模型后,打印乱码 #99

@chall1123

Description

@chall1123

System Info / 系統信息

vllm 0.9.2
PyTorch版本: 2.8.0+cu128
CUDA是否可用: False
CUDA版本: 12.8
ROCm版本: None

Who can help? / 谁可以帮助到您?

当提问文件稍微在2000行就打印乱码,删除部分内容就不乱码,模型启动命令为
python -m vllm.entrypoints.openai.api_server --model /workspace/ai_data/pengfei/GLM-4.5-Air --served-model-name qwen --host 0.0.0.0 --port 8000 --dtype half --tensor-parallel-size 8 --gpu-memory-utilization 0.7 --chat-template /workspace/ai_data/pengfei/GLM-4.5-Air/chat_template.jinja

Image

Information / 问题信息

  • The official example scripts / 官方的示例脚本
  • My own modified scripts / 我自己修改的脚本和任务

Reproduction / 复现过程

部署模型,roocode连接,提问

Expected behavior / 期待表现

不会乱码

Metadata

Metadata

Labels

No labels
No labels

Type

No type

Projects

No projects

Milestone

No milestone

Relationships

None yet

Development

No branches or pull requests

Issue actions