数据标注中的质量是如何衡量的?
从劳动力的角度,我们有四种衡量数据标注质量的方法:
黄金标准- 任务有正确答案。根据正确和不正确的任务衡量质量。
样本审查- 选择已完成任务的随机样本。更有经验的工作人员(例如团队负责人或项目经理)会检查样本的准确性。
共识——指派几个人做同样的任务,正确的答案是大多数贴标者给出的答案。
联合相交 (IoU) - 这是一种常用于图像中对象检测的共识模型。它结合了人员和自动化,将手动标记的真实图像的边界框与模型中预测的边界框进行比较。
您将希望从这些质量保证方法中自由选择,而不是被锁定在单一模型中来衡量质量。在 CloudFactory,我们在每个项目中使用一种或多种这些方法来衡量我们自己的数据标记团队的工作质量。