广东盈世计算机科技有限公司

AI测试工程师 工作地点：广州 岗位职责： 1、参与 AI Agent 产品的测试和质量保障。 2、设计测试用例，验证回答准确性、工具调用、多轮交互、权限和系统稳定性。 3、参与评测数据集、自动化评测工具及版本回归体系建设。 4、分析失败案例，协助定位模型、检索、工具、数据或系统问题。 5、参与接口、性能、安全和异常场景测试。 任职要求： 1、具备良好的计算机基础，了解软件测试基本方法和流程。 2、熟悉 Python、JavaScript/TypeScript 等至少一种编程语言，能够编写测试脚本。 3、对大语言模型和 AI Agent 有兴趣，了解 Prompt、RAG 或工具调用等基本概念。 4、具备良好的逻辑分析、问题定位、质量意识和沟通协作能力。 5、计算机、软件工程、人工智能、数据科学、信息管理等相关专业。 加分项： 1、有 Langfuse、LangSmith 等大模型可观测与评测平台的使用或项目实践。 2、了解 LLM-as-a-Judge、人工评审、规则评分、成对比较、A/B 测试及 Agent 轨迹评测等方法。 3、了解任务完成率、工具选择与参数正确性、回答相关性、事实一致性、检索质量和多轮稳定性等评测指标。 4、了解评测集构建、自动化回归、CI/CD 集成相关实践。 5、了解 Prompt Injection、越权调用、敏感数据泄露等 AI 安全风险。 6、有大模型、Agent、智能问答或自动化测试相关课程、实习、竞赛或个人项目。