金融理解
材料中的事件、主体、时间和影响范围是否被准确理解。
事实提取、信息遗漏、事实与推断区分
模型评价围绕金融研究与企业工作展开:既看答案,也看依据、约束和实际贡献。
材料中的事件、主体、时间和影响范围是否被准确理解。
事实提取、信息遗漏、事实与推断区分
单位、期间、计算过程与业务含义是否一致。
计算正确性、口径匹配、缺失信息处理
结论能否回到来源,使用的信息是否符合任务时点。
来源定位、引用覆盖、信息可得时间
模型是否帮助推进研究假设、代码实现和实验复核。
任务完成质量、人工修订、复现与对照
结果是否遵守权限、审批和业务约束。
约束遵从、异常识别、交付可用性
使用相同资料、相同问题与相同评价口径,比较现有流程与候选方案。
记录模型版本、输入输出、引用、人工复核与失败类型。
依据任务质量、响应与成本,确定调用、工作流或联合研发范围。
用于讨论评分口径的公开题集,附参考答案;正式评估使用独立留出样本。
带上脱敏材料与期望结果,一起确定评价口径。