阶跃星辰

关于团队 随着 AI 在编程、科学研究、复杂推理和自主执行方面的能力不断提升，其对现实世界的影响也在持续扩大。这些进步带来了新的可能性，也使我们需要认真应对网络攻击、生物与化学相关危险活动、规模化欺诈等潜在滥用风险，以及 AI 系统在复杂环境中的安全失效问题。 我们的长期目标是，让先进 AI 系统在能力不断提升的同时，保持可靠、可理解和可控。为此，我们希望深入理解模型的行为与内部机制，建立能够发现风险、解释失效并有效降低风险的技术方法。 我们正在寻找具有大模型可解释性或安全攻防研究背景的同学，共同探索：如何建立能够随模型能力进步而持续有效的安全机制？ 关于岗位 你将围绕先进模型的安全性开展实证研究，从真实的模型行为和对抗场景中发现问题，提出并验证机制假设，进一步设计评测、监测和防御方法。 岗位重点关注以下两个相互关联的研究方向： 安全评测与对抗鲁棒性 研究模型在陌生场景、复杂交互和对抗条件下的安全表现，识别现有安全方法的能力边界。 开展越狱、提示注入与自动化红队研究，构建能够持续发现新型失效模式的评测方法。 研究攻击与防御的泛化规律，评估安全机制在不同模型、任务和攻击策略下的有效性。 将风险场景转化为可重复、可量化的实验，兼顾风险识别、误拒率与正常任务表现。 机制可解释性与安全行为理解 分析模型内部表征与安全相关行为之间的关系，研究模型如何形成和应用行为约束。 运用表征分析、因果干预、特征与回路分析等方法，定位影响模型行为的关键因素。 探索利用模型内部信号识别风险、诊断异常行为和支持定向干预的方法。 将机制发现转化为可检验的预测，并验证其在新任务和新场景中的适用性。 我们如何开展研究 我们重视从清晰的问题出发，通过高质量实验获得可靠结论。你将参与研究问题定义、方法设计、实验实现、结果分析和实际验证，并逐步形成自己负责的研究方向。 研究成果可以体现为对安全失效机制的新认识、更有效的防御方法、更有诊断价值的评测体系，以及可复用的研究工具。我们关注这些成果能否切实提升对模型的理解和安全保障能力。 任职要求 具有计算机、人工智能、信息安全、数学或相关领域的扎实基础。 在大模型可解释性、大模型安全、对抗机器学习或安全对齐等至少一个方向具备深入研究经历。 熟悉大模型基本原理与训练、推理流程，能够独立实现和验证研究想法。 具备良好的实验判断力，能够设计对照与消融实验，识别混杂因素，分析结论的适用范围。 熟练使用 Python、PyTorch 等工具，能够完成模型实验、评测流程及分析工具的开发。 能够清楚表达研究假设、实验依据与方法局限，并与不同背景的研究和工程同事协作。 对降低先进 AI 的潜在风险具有持续兴趣，愿意在开放性问题上开展深入研究。 我们欢迎在其中一个方向有深入积累的候选人申请，无需覆盖所有研究主题。请在申请时提供代表性论文或项目，并说明个人贡献、关键发现及尚未解决的问题。