• 大模型算法算法工程化经验 Python
• (1). 推理引擎优化与部署负责大语言模型（LLM）及多模态模型的推理引擎搭建、优化与线上落地，支撑高并发、低延迟的模型服务。基于 vLLM、SGLang、TensorRT-LLM、LightLLM 等主流推理框架进行深度定制与性能调优。 (2). 推理性能极致优化实施模型量化（INT8/FP4/FP8）、KV Cache 优化、PagedAttention、Continuous Batching（连续批处理）、Speculative Decoding（投机解码）、Prefix Caching（前缀缓存）等加速技术。深入分析模型性能瓶颈，通过算子融合、显存优化等手段极致压缩端到端延迟。 (3). 推理服务架构设计与实现设计与实现高性能模型 Serving 架构，包括 Prefill-Decode（PD）分离架构、Continuous Batching、负载均衡、流式输出等。实现模型热加载、动态扩缩容、流量隔离、超时重试、熔断降级，保障线上高并发、高可用。 (4). 容器化部署与运维保障基于 Docker、Kubernetes 实现模型服务容器化编排、弹性扩缩容与运维稳定性保障。构建并完善性能监控体系，通过实时监测推理指标定位性能瓶颈。 (5). 线上问题排查与稳定性治理定位并解决线上服务瓶颈：显存碎片化、OOM、推理崩溃、时延抖动（Tail Latency）、多卡并行异常等。持续优化算力利用率与服务 SLA，支撑业务规模化商用。

• (1). 本科及以上学历，计算机科学、软件工程、人工智能、电子信息或相关专业, 2年及以上大模型部署或推理优化相关经验 (2). 熟练掌握 Python 和 Go，具备扎实的编程能力和良好的代码风格,熟悉 Linux 环境开发与 Shell 脚本 (3). 熟悉多种主流大模型推理框架（如 vLLM、SGLang、TensorRT-LLM、LMDeploy 等），深入理解其 PagedAttention、KV Cache 管理等核心机制, 有vLLM、TRT-LLM、SGLang 开发/优化经验者优先 (4). 精通大模型推理优化技术：量化（INT4/INT8/FP8）、KV Cache、PagedAttention、动态批处理等, 熟悉模型服务化架构，掌握 FastAPI/gRPC、容器化 Docker、Kubernetes部署运维有在英伟达H100/B200/B300等硬件上部署优化千亿参数大模型经验者优先 (5). 熟悉分布式推理（TP/PP/EP）及 NCCL 等通信库 (6). 自驱力强，能主动学习 LLM 前沿结构与推理部署优化方案，并推动业务落地，良好的团队沟通能力和严谨的逻辑思维能力

来自公开渠道的招聘信息，已清洗脱敏：不含企业名、HR 姓名与联系方式， 也不转载职位原文以外的内容。仅供了解岗位画像，不作为投递依据。

看全部岗位