CSV-duplicatieverwijderaar

De deduplicator gebruikt gelijkheid op hele rijen. Twee rijen worden als duplicaten beschouwd wanneer alle cellen na standaard CSV-verwerking positie voor positie overeenkomen.

Wat toch als verschillend telt

Wanneer deduplicatie op kolomniveau geschikter is

Matchen op volledige rijen is streng, en dat is meestal precies wat u wilt, maar soms wilt u eigenlijk „één rij per e-mailadres, ongeacht de andere kolommen”. Gebruik in dat geval eerst de CSV-kolomextractor om het bestand tot alleen de sleutelkolom te beperken, verwijder daar de duplicaten en gebruik het resultaat als opzoektabel. Of grijp naar SQL: SELECT DISTINCT ON (email) * FROM users ORDER BY email, created_at DESC; in PostgreSQL, of een GROUP BY met MIN()-aggregaten elders.

Praktische tips

• Normaliseer voordat u dedupliceert. Verwijder eerst spaties en maak het hoofdlettergebruik in de sleutelkolommen uniform; anders blijven zowel ALICE@EXAMPLE.COM als alice@example.com bestaan.
• Sorteer eerst en dedupliceer daarna, voor controleerbare resultaten. Als u wilt weten welke kopie is behouden, sorteer het CSV-bestand dan op uw gewenste tiebreaker (meest recente tijdstempel, laagste ID) voordat u de deduplicator uitvoert.
• Controleer het aantal rijen. Gebruik de CSV-rijenteller op zowel het originele als het uitvoerbestand om te bevestigen hoeveel duplicaten zijn verwijderd.