Dataset Evaluation 是一个专为评估数据提交质量而设计的系统性评分工具，其核心目标是确保文本内容的一致性和结构化数据的可靠性。该工具通过两个关键步骤对矿工提交的成果进行综合评判：首先是内容一致性评估，其次是结构化数据质量评估。在评估过程中，系统接收五条清洗后的文本样本、一个结构化的 JSON 数据以及数据集的模式定义，并据此计算出最终的评分结果。整个流程强调客观性、可重复性和确定性，严格依据输入数据进行判断，避免任何形式的推测或虚构信息。最终输出不仅包含总体得分，还详细分解了各项子指标，为评估者提供了透明且可追溯的反馈机制。
核心功能特点
- 基于文本相似度计算五条清洗后文本的内容一致性得分
- 评估结构化 JSON 中必填字段的存在情况与完整性
- 验证字段值是否准确反映清洗后文本中的实际信息
- 检查数据类型是否符合预定义的 schema 规范要求
- 识别并惩罚结构化数据中遗漏的重要信息内容
适用场景
Dataset Evaluation 工具特别适用于需要严格把控数据质量的场景，例如大规模文本挖掘项目的结果验收阶段。当多个处理单元或不同来源的数据被整合时，该工具能够有效检测出内容上的不一致问题，比如语义偏移或关键信息丢失，从而保证整体数据集的可信度。在自动化数据管道中，它可作为中间校验环节，实时拦截低质量输出，减少后续分析阶段的误差传播风险。此外，对于依赖结构化元数据的应用（如知识图谱构建、搜索引擎索引优化等），该工具提供的类型正确性和信息充分性评估尤为关键。通过量化各项质量维度，它为开发者和数据科学家提供了明确的质量改进方向，显著提升了数据治理的效率与精度。