先确认数据来源,再讨论清洗规则
本指南面向公开或获得授权的数据整理需求。清洗、去重不能替代来源与使用权限核对,也不应借机补全未经授权的个人信息。先说明原始文件、结果用途和允许处理的字段,再讨论需要转换哪些内容。
字段清单:把类型和空值约定写出来
列出每一列的名称、数据类型、是否必填以及允许为空时怎样表示。编号、电话等标识通常应按文本处理,以免前导零丢失;日期格式、时区、金额单位和小数位需要单独确认。不要把没有采集到的值自动填成真实的零,也不要推测缺失的客户资料。
去重依据:名字相同不一定是同一条记录
根据业务约定选择商品编号、来源网址或多个字段的组合做标识。以虚构样例为例:编号 A001 的两行可能是同一商品的更新,但两个不同编号都叫“配件”不能仅凭名称合并。唯一标识缺失时,是保留、人工核对还是标记异常,需要提前决定。
冲突处理:保留哪条,为什么保留
同一标识的金额、状态或更新时间不一致时,要约定取最近记录、指定来源还是输出冲突清单。不要默默覆盖无法判断的差异。建议保留必要的来源和处理说明,方便复查,但不因此额外收集无关的个人信息。
Excel 与 CSV:用实际打开方式验收
确认使用 Excel、WPS 或其他系统,约定文件编码、表头、分隔规则和日期显示。检查中文、逗号、换行、前导零与较长编号是否正确。来自外部的数据若被表格软件当作公式执行,应按双方确认的安全导出方式处理;不要让普通文本变成意外公式。
数量核对:先数清楚记录去了哪里
在一组虚构的 10 行测试数据中,如果约定去掉 2 行完全重复记录、另有 1 行需要人工核对,验收应说明最终正常输出 7 行、异常输出 1 行,以及去掉的 2 行对应什么规则。这个例子不是客户项目成果;实际项目按样例确认后的规则核对输入、输出和异常数量。
交付检查:原始文件、结果与规则能对应
先用小样本确认规则,再按约定范围处理完整数据。交付时抽查正常行、重复行、空值和冲突行;确认结果文件、异常清单及处理说明。是否保留原始文件、保存多久、是否定期更新和需要怎样维护,按实际需求另行约定。