Dubbele-regelverwijderaar

Een CSV-export met herhaalde rijen, een logbestand met dubbele vermeldingen, een trefwoordenlijst uit drie overlappende bronnen: zodra je tekst identieke regels bevat, vouwt deze verwijderaar ze samen en houdt hij het eerste exemplaar op de oorspronkelijke plek. Twee vergelijkingsopties, met of zonder hoofdlettergevoeligheid, optioneel spaties bijwerken en een telling van hoeveel regels zijn verwijderd.

Dubbele regels verwijderen

  1. 1

    Plak de tekst

    Plak een lijst, een log, een CSV-kolom of elke tekst waarin elk item op een eigen regel staat.

  2. 2

    Kies de vergelijkingsopties

    "Hoofdlettergevoelig" houdt `Apple` en `apple` als aparte regels; zet je het uit, dan worden ze samengevoegd. "Spaties bijwerken" verwijdert spaties aan het begin en einde vóór de vergelijking.

  3. 3

    Verwijder duplicaten

    Klik op de knop. Het eerste exemplaar van elke regel blijft behouden en latere herhalingen worden verwijderd.

  4. 4

    Controleer en kopieer

    De statistieken tonen oorspronkelijke regels, unieke regels en verwijderde duplicaten. Kopieer de opgeschoonde tekst wanneer die klopt.

Zo werkt de vergelijking

Optie Gedrag
Hoofdlettergevoelig (standaard) Apple en apple blijven aparte regels
Niet hoofdlettergevoelig Apple en apple tellen als dezelfde regel
Spaties bijwerken (standaard) hello” en “hello ” worden als dezelfde regel behandeld

Het eerste exemplaar van elke regel blijft behouden, zodat de oorspronkelijke volgorde van de tekst intact blijft.

Veelvoorkomende toepassingen

  • CSV opschonen. Plak één kolom (namen, e-mails, SKU’s) en verwijder herhalingen voordat je hem weer aan de andere kolommen koppelt.
  • URL-lijsten. Voeg geschraapte URL-lijsten samen waarin dezelfde pagina vaak voorkomt.
  • Trefwoordenonderzoek. Het samenvoegen van trefwoord-exports van meerdere tools levert onvermijdelijk duplicaten op.
  • E-maillijsten. Verwijder vóór het importeren in een CRM exacte duplicaten om fouten als “bestaat al” te voorkomen.
  • Logbestanden sorteren. Verwijder herhaalde waarschuwingsregels om de unieke problemen te zien.

Wat de tool niet doet

  • Geen kolomgerichte dedup. Een CSV met email,name waarin de e-mail herhaalt maar de naam verschilt, houdt beide rijen, omdat de hele regels verschillen. Om op één kolom te dedupliceren, haal je die kolom er eerst uit, verwijder je de duplicaten en gebruik je hem als sleutel om het originele bestand te filteren.
  • Geen bescherming van kopregels. Elke regel wordt als gegevens behandeld, dus een herhaalde kopregel wordt net als elke andere regel verwijderd.
  • Geen vage vergelijking. Regels die verschillen door een typfout, interne spaties of leestekens worden niet samengevoegd.

Tips

  • Normaliseer vóór het vergelijken. Zet om naar kleine letters en verwijder omringende leestekens om “Apple, “, “ apple “ en “Apple” als één item te vangen.
  • Bewaar een back-up van de originele tekst vóór grote opschoonacties.
  • Controleer de statistieken. Verwachte je 10 procent duplicaten en werd 80 procent verwijderd, dan klopt er iets niet met de invoer.

Veelgestelde vragen

Het eerste. De oorspronkelijke volgorde van de tekst blijft behouden, dus elke unieke regel blijft op zijn oorspronkelijke plek.

Niet automatisch. Elke regel, de kopregel inbegrepen, wordt vergeleken zoals elke andere. Is een latere regel gelijk aan de kopregel, dan wordt die verwijderd. Bewaar de kopregel apart als je hem nodig hebt.

Deze verwijderaar is gericht op exacte vergelijking voor snelheid. Gebruik voor vage vergelijking (typfouten, andere hoofdletters, extra leestekens) een speciaal deduplicatieprogramma met een gelijkenisdrempel.

Ja. De tekst wordt naar onze server gestuurd zodat de tool hem kan verwerken, en het resultaat wordt op de pagina getoond. De tekst wordt daarna niet opgeslagen.

Gerelateerde tools

Tool beschikbaar in andere talen