
数据处理-重复值处理-2
理工医
管理科学
机器学习与深度学习
skill
重复值处理的备选路径:首选路径依赖单一可信键字段直接判重;当键字段不可信或大量缺失、同键记录内容互相冲突、或交付要求只隔离不删除时启用。对每条记录按声明字段(未声明则按其全部出现字段)构建归一化内容指纹(空白折叠与 casefold 可关),按指纹聚类;同簇同键或同簇缺键判重复并移入隔离区(quarantine,永不删除),同簇键互异或跨簇同键只警告并置 human_review_required 交人工裁决。输出保留/隔离/簇三级台账,输入可按位置完整还原。若存在单一可信键且允许直接删除重复,请走首选路径。