• 负责大模型的推理服务化部署（单卡/多卡/多机），用 vLLM/SGLang/TensorRT-LLM 等框架搭建高吞吐低时延服务，建设容器化部署、灰度发布与快速回滚。
• 建立时延/吞吐/显存/成本性能基线，落地批处理、KV Cache、量化（FP8/INT8/INT4/AWQ/GPTQ）等优化，定位并解决性能瓶颈。
• 建立模型效果与性能评测体系（基线/版本对比/回归门禁），建设黄金集与自动化评测流水线，输出评测报告与上线建议。
• 建设监控告警、故障定位与降级止损，完善 SLO、容量规划与故障预案，保障生产稳定。

• 本科及以上，计算机/AI/软件工程等相关专业优先；
• 精通 Python，熟悉 Linux、Docker/K8s，熟悉 C++/CUDA/Go 之一优先；
• 熟悉 vLLM/SGLang/TensorRT-LLM 至少一种推理框架，有真实部署/调优经验；
• 理解 Transformer、KV Cache、量化、批处理、并行计算等原理；
• 能设计模型评测与性能评测，熟悉压测、回归门禁、灰度验证；
• 有监控告警、故障排查意识，具备实验记录与文档习惯、项目 Owner 意识。

来自公开渠道的招聘信息，已清洗脱敏：不含企业名、HR 姓名与联系方式， 也不转载职位原文以外的内容。仅供了解岗位画像，不作为投递依据。

看全部岗位