Com eliminar dades duplicades: checklist per fer-ho amb criteri

Dues fitxes del mateix client, una comanda repetida o un proveïdor registrat amb petites variacions poden semblar un problema menor. Fins que algú truca dues vegades a la mateixa persona, consulta una dada desactualitzada o pren una decisió a partir d'un informe distorsionat.

Aquesta checklist t'ajuda a decidir què cal revisar abans d'eliminar dades duplicades, com fer-ho sense perdre informació rellevant i quan convé convertir la neteja en una regla o automatització. Fes-la servir abans d'una migració, en unir fulls de càlcul, en posar ordre en un CRM o quan detectis incoherències en els teus registres.

Un duplicat no sempre és una còpia exacta. Pot ser la mateixa empresa escrita de dues maneres, una persona amb dos correus electrònics o una mateixa comanda introduïda des de canals diferents. Per això, eliminar registres sense revisar-ne el context pot crear un problema nou.

Objectiu de la revisió

Abans de tocar les dades, defineix què vols corregir. L'objectiu no és reduir el nombre de files o fitxes: és conservar un registre fiable per a cada client, contacte, producte, comanda o entitat que gestionis.

Marca aquestes comprovacions inicials:

• He definit quin tipus de dada revisaré: contactes, clients, proveïdors, comandes, productes o un altre.
• Sé quina conseqüència té el duplicat en la meva operativa: comunicacions repetides, errors de seguiment, informes confusos o tasques manuals.
• He delimitat on són les dades: en un full, en una aplicació, en diverses eines connectades o en fitxers importats.
• He decidit quina dada identifica millor cada registre, com ara un correu electrònic, un número de document, un codi intern o una combinació de camps.
• He establert qui valida els casos dubtosos abans d'esborrar o fusionar informació.

Si no pots indicar quina dada identifica de manera fiable cada registre, no comencis eliminant. Primer hauràs de definir una regla d'identificació i revisar si aquesta dada és completa i està actualitzada.

Checklist prèvia

La preparació evita que una neteja aparentment senzilla elimini notes, historial o informació útil que només apareix en una de les còpies.

• He creat una còpia del fitxer o una exportació dels registres abans de modificar-los.
• He anotat la data de la revisió i l'origen de les dades que compararé.
• He separat els registres que semblen duplicats dels que són clarament diferents.
• He revisat si hi ha camps amb formats inconsistents: majúscules, accents, espais, prefixos telefònics, abreviatures o adreces incompletes.
• He comprovat si dos registres similars poden correspondre a persones diferents, per exemple, contactes diferents d'una mateixa empresa.
• He decidit quins camps s'han de conservar encara que el registre principal es fusioni o s'elimini.

Un cas típic és trobar dues fitxes amb el mateix nom i cognoms, però amb correus electrònics diferents. No convé assumir que una és sobrant: pot tractar-se de la mateixa persona amb una adreça antiga, de dues persones homònimes o d'un compte compartit. La informació disponible i l'ús que se'n faci han de guiar la decisió.

Checklist funcional

Aquesta part serveix per decidir quin registre cal conservar i com unir les dades sense convertir la neteja en una pèrdua de context.

• He triat un registre principal per a cada grup de duplicats.
• He comparat els camps rellevants abans d'esborrar una còpia: nom, contacte, adreça, estat, data, notes i historial.
• He traslladat al registre principal la informació vàlida que només figura en el duplicat.
• He resolt els conflictes entre dades diferents en lloc de conservar-ne una automàticament.
• He revisat si el registre duplicat està vinculat a comandes, factures, tasques, documents o altres elements.
• He deixat una anotació interna quan la fusió requereix una decisió que una altra persona pugui necessitar entendre més endavant.
• He eliminat o arxivat la còpia només després de comprovar que el registre principal conté la informació necessària.

En dades operatives, la data no sempre resol un conflicte. Un telèfon més recent pot ser correcte, però una nota antiga pot explicar una incidència que encara està oberta. Conserva allò que ajudi a continuar la feina, no només el valor que sembli més nou.

També convé distingir entre fusionar, arxivar i esborrar:

• Fusionar reuneix en un registre principal la informació vàlida de diverses fitxes.
• Arxivar aparta un registre de l'operativa habitual quan pot necessitar-se com a referència.
• Esborrar elimina un registre quan has confirmat que no aporta informació, relacions o historial necessaris.

Checklist tècnica

La detecció manual pot ser suficient en una llista petita i estable. Quan reps dades de formularis, correus electrònics, fulls de càlcul o diverses aplicacions, necessites regles coherents perquè el resultat no depengui de qui faci la revisió.

• He definit els camps que es faran servir per detectar coincidències exactes.
• He establert quines variacions es normalitzaran abans de comparar, com ara espais sobrants, majúscules o formats de telèfon.
• He separat les coincidències exactes de les coincidències probables que requereixen revisió humana.
• He comprovat quina eina origina cada registre i quina ha d'actuar com a font principal.
• He revisat què passa quan dues eines actualitzen la mateixa dada de manera diferent.
• He provat la regla amb una mostra abans d'aplicar-la al conjunt complet.
• He verificat que la neteja no trenca enllaços amb documents, comandes, tasques o processos posteriors.

Normalitzar significa convertir dades equivalents a un format comú abans de comparar-les. Per exemple, si un número de telèfon apareix amb espais en una fitxa i sense en una altra, una comparació literal els pot tractar com si fossin diferents. La normalització millora la detecció, però no substitueix la revisió dels casos ambigus.

Evita una regla massa àmplia, com ara considerar duplicats tots els registres que comparteixen nom. En canvi, combina dades que tinguin sentit per al teu cas: nom i correu electrònic, codi de client i empresa, o número de comanda i data. La combinació adequada depèn del que gestionis.

Quan els duplicats es generen en traspassar informació entre eines, la solució pot requerir una regla d'entrada, una validació prèvia o una sincronització més ben definida. Les automatitzacions amb IA per a empreses poden ajudar a ordenar aquest flux quan la revisió manual ja no és sostenible, sempre que es defineixin bé les excepcions i els criteris de validació.

Checklist de manteniment

Eliminar dades duplicades una vegada corregeix l'historial; prevenir-les redueix la feina que tornarà a aparèixer. Convé aplicar aquesta part quan la neteja inicial ja està validada.

• He definit quins camps són obligatoris en crear un registre nou.
• He indicat un format únic per a correus electrònics, telèfons, codis i noms d'empresa quan correspongui.
• He incorporat una comprovació de coincidències abans de crear una fitxa nova.
• He assignat una font principal quan la mateixa dada arriba des de diverses eines.
• He definit qui pot crear, fusionar, editar o eliminar registres.
• He establert una revisió periòdica dels duplicats detectats.
• He documentat què cal fer davant de coincidències incertes, en lloc d'esborrar-les automàticament.
• He revisat els formularis i les importacions que poden estar creant entrades repetides.

L'automatització no hauria de decidir per si sola en casos amb conseqüències comercials, administratives o de relació amb clients. Pot detectar coincidències, proposar una acció o derivar el cas a una persona responsable. La decisió final s'ha de mantenir sota control humà quan la informació sigui ambigua o sensible.

Com interpretar el resultat

En acabar la checklist, classifica la teva situació segons el tipus de problema que hagis trobat:

Pots fer una neteja controlada si tens un identificador clar, els duplicats són pocs i en pots comparar les dades abans de fusionar-los o eliminar-los. Conserva una còpia prèvia i valida el resultat en acabar.

Necessites ordenar les regles de treball si els duplicats provenen de formats diferents, registres incomplets o criteris diferents entre persones. En aquest cas, defineix primer els camps obligatoris, el format d'entrada i qui resol els dubtes.

Necessites revisar el flux entre eines si el mateix contacte, comanda o dada apareix repetit en importar, sincronitzar o copiar informació entre sistemes. Esborrar les còpies alleujarà el símptoma, però no impedirà que es tornin a generar.

Encara no eliminis res si no saps quin és el registre correcte, si hi ha dades contradictòries o si una fitxa està relacionada amb documents i operacions que no has revisat. Marca aquests casos perquè els validi una persona.

Si has detectat que els duplicats neixen d'un procés repetitiu entre formularis, correus electrònics, fulls o aplicacions, pots explicar el teu projecte d'automatització a AVSISTEC. El punt de partida serà identificar quina dada ha de prevaler, quines excepcions requereixen revisió i quin canvi es pot mantenir al llarg del temps.