工作职责 面向公司大模型、RAG、AI Agent及相关AI产物，参与AI安全算法、安全评测方法和智能化安全能力建设，帮助团队识别并治理AI系统在数据、模型、应用和智能体运行过程中的安全风险。 【方向1：AI安全防护方向】 1、参与AI产品及Agent系统的威胁建模，将安全风险转化为可检测的特征、样本、规则和算法任务； 2、围绕提示注入、越狱、敏感数据泄露、知识库污染、模型滥用等风险，研发内容分类、异常检测、风险判定和安全决策算法； 3、面向Agent身份权限、工具调用、MCP、记忆、沙箱及外部数据访问等关键环节，研究行为建模、调用链分析和异常行为识别方法； 4、探索LLM、RAG、Agent等技术在风险检测、策略生成、结果验证及风险研判等场景中的应用，提升安全防护效果； 5、建设防护算法的训练与评测数据，持续优化攻击检出率、误报率、漏报率及不同业务场景下的泛化能力； 6、持续跟踪AI安全前沿技术和AI引入的新型安全风险，结合业务需求推动算法研究成果转化为关键安全能力。 【方向2：AI安全测评/测试方向】 1、研究面向模型、RAG、Agent及AI应用的自动化攻击与风险发现方法，提升安全测评的覆盖率和有效性； 2、研究提示注入、越狱、敏感信息泄露、知识库污染、记忆污染、工具滥用及越权执行等攻击方法与样本生成技术； 3、分析AI能力与Web、API、身份权限、数据访问及第三方组件结合