Opportunity Description
腾讯云-大模型推理优化专家 深圳 分享 在腾讯,后台开发工程师不仅是“又快又稳”的问题解决专家,更是生态共创者。你将与技术团队一同沉淀优质代码,让它成为我们共有的宝贵资产。在不同的业务场景和技术发展阶段,你的架构思维也将帮助更多协作团队拓展新的思考。我们也珍视你的挑战精神,同时欢迎你一起参与团队愿景、文化和产品方向的探讨。 岗位职责 1.负责大模型推理引擎KV Cache子系统的设计,实现与维护;
2.负责KV Cache在新型大模型、异构硬件平台与新技术特性上的深度适配、兼容打通与底层调;
3.负责优化显存占用、碎片、复用率、命中率、延迟、吞吐核心指标提升性能,降低成本;
4.深度探索KV Cache业界与行业前沿技术,并能结合业务特点转换成业务价值。 岗位要求 1.本科及以上学历,丰富的推理场景KV Cache相关研发经验,对相关优化技术有深刻的理解和见解;
2.曾参与过线上大规模KV Cache统的研发及演进;
3.技术有极致追求,对业界趋势有敏锐洞察力;
4.良好自驱力, 责任心和团队合作能力;
5.分布式存储、高性能网络,缓存系统经验优先。
分享岗位
方式1:复制岗位链接
方式2:分享岗位海报
手机扫描二维码分享
收藏 CSIG 点击了解更多BG信息 技术 三年以上工作经验 更新于年04月15日2.负责KV Cache在新型大模型、异构硬件平台与新技术特性上的深度适配、兼容打通与底层调;
3.负责优化显存占用、碎片、复用率、命中率、延迟、吞吐核心指标提升性能,降低成本;
4.深度探索KV Cache业界与行业前沿技术,并能结合业务特点转换成业务价值。
2.曾参与过线上大规模KV Cache统的研发及演进;
3.技术有极致追求,对业界趋势有敏锐洞察力;
4.良好自驱力, 责任心和团队合作能力;
5.分布式存储、高性能网络,缓存系统经验优先。