Opportunity Description
微信输入法-大模型评测数据科学分析师 广州 分享 1.数据体系设计：围绕评测业务，设计端到端的数据生产链路，包括 query 采集、分层抽样、标注体系、质检方案、版本管理；
2.评测数据集构建：主导高质量评测集（含 SFT 评测集、安全评测集、业务评测集）的建设，确保覆盖度、区分度与稳定性；
3.数据分析与洞察：基于评测结果做多维度数据分析（模型对比、版本对比、Bad Case 聚类、能力雷达图），为算法和业务决策提供量化依据；
4.标注体系搭建：设计标注规范、培训外包/众包团队、构建一致性指标（Kappa、IAA），持续提升标注质量；
5.指标体系建设：与算法、产品共建评测指标体系（自动指标 + 人工指标 + 业务指标），并推动指标上线与监控。 岗位要求 1.数学/统计/计算机/数据科学相关专业本科及以上；
2.1 年以上数据科学 / 数据分析 / 数据标注体系经验，有 NLP 或大模型相关背景优先；
3.熟练使用 Python（pandas / numpy / sklearn）、SQL，能独立完成数据 pipeline；
4.熟悉常见统计方法（假设检验、置信区间、Bootstrap、相关性分析）；
5.对数据质量极其敏感，具备良好的抽样设计、偏差分析、异常检测能力；
6.有大模型评测集 / 标注平台 / Bad Case 分析经验者优先。
分享岗位
方式1:复制岗位链接
方式2:分享岗位海报
手机扫描二维码分享
收藏 WXG 点击了解更多BG信息 技术 一年以上工作经验 更新于年06月25日 岗位职责2.评测数据集构建：主导高质量评测集（含 SFT 评测集、安全评测集、业务评测集）的建设，确保覆盖度、区分度与稳定性；
3.数据分析与洞察：基于评测结果做多维度数据分析（模型对比、版本对比、Bad Case 聚类、能力雷达图），为算法和业务决策提供量化依据；
4.标注体系搭建：设计标注规范、培训外包/众包团队、构建一致性指标（Kappa、IAA），持续提升标注质量；
5.指标体系建设：与算法、产品共建评测指标体系（自动指标 + 人工指标 + 业务指标），并推动指标上线与监控。
2.1 年以上数据科学 / 数据分析 / 数据标注体系经验，有 NLP 或大模型相关背景优先；
3.熟练使用 Python（pandas / numpy / sklearn）、SQL，能独立完成数据 pipeline；
4.熟悉常见统计方法（假设检验、置信区间、Bootstrap、相关性分析）；
5.对数据质量极其敏感，具备良好的抽样设计、偏差分析、异常检测能力；
6.有大模型评测集 / 标注平台 / Bad Case 分析经验者优先。