职位类别：技术类 业务集团：Token Foundry 职位描述：1. 针对预训练（含mid-training）模型在coding，cowork，长尾知识，长文本能力等方面的弱点，设计并构建具有可扩展性的自动化评测方案及高质量数据集。 2. 整合高质量公开评测集和私有评测集。为不同训练阶段、不同领域、不同优化目标（模型结构/数据配比/主线模型迭代）定制评测方案，挑选质量最高、领域最合适、区分度最好的评测数据与指标。 3. 与工程团队合作提高评测系统的效率与稳定性，完善评测故障分析与检测，并推动文本评测与Agent评测的自动化与可视化。 4. 设计Pretrain + LightSFT的数据配比和训练策略并搭建相关pipeline，实时检测预训练模型的agentic潜力。 5. 设计面向后训练agent能力导向的预训练评测范式，挖掘高预测性的external metrics以及internal indicators，寻找上限更高、潜力更强的预训练基座。 职位要求：1. 本科及以上学历，计算机、人工智能、软件工程、数学、自动化等相关专业优先。 2. 优秀的数据sense，扎实的算法基础和 (vibe-) coding动手能力。具备对基础模型与Agent研发的热情，认同评测对模型优化的巨大价值。 3. 有基模团队实习经历或相关领域顶会论文优先。有LLM评测经验，Benchmark构建经验或数据合成经验优先。 4. 具备跨学科视野、良好的沟通能力和团队协作精神，能与数据、工程团队紧密配合推动落地。