N-gram-extractor

Wat elke n-gramlengte je vertelt

Hoe de tool je tekst opsplitst

• Alles gaat naar kleine letters, dus “The” en “the” belanden op dezelfde regel.
• Een woord is elke aaneengesloten reeks letters, cijfers of apostrofs. Elk ander teken (leestekens, symbolen, regeleindes) geldt als scheidingsteken en verdwijnt.
• Zinsgrenzen blijven niet bewaard. Het laatste woord van een zin en het eerste woord van de volgende kunnen samen alsnog een n-gram vormen; lees combinaties over een zinsgrens heen dus met een korrel zout. Is dat bezwaarlijk, analyseer dan per zin of per alinea.
• Stopwoorden blijven staan. Er wordt niets voor je gefilterd: wil je alleen betekenisvolle woordcombinaties, verwijder die regels dan achteraf uit de CSV.
• Woorden worden gevonden op spaties en leestekens. Het Nederlands scheidt woorden met spaties, dus de tool werkt meteen. Houd er wel rekening mee dat het Nederlands samenstellingen aan elkaar schrijft: wat in het Engels een bigram is (“search intent”), is bij ons vaak één woord (“zoekintentie”), waardoor unigrammen hier meer zeggen. Chinees, Japans en Thai zetten geen spaties tussen woorden: een hele zin komt binnen als één woord en moet je eerst segmenteren (jieba, MeCab, een Thaise woordsplitser).

Wanneer je stopwoorden moet weglaten

Stopwoorden zijn veelvoorkomende functiewoorden: in het Engels “the”, “a”, “of” en “and”, in het Nederlands “de”, “een”, “van” en “en”. Laat je ze staan, dan loopt je bigramlijst vol met ruis als “of the” en “van de”. Deze extractor bewaart ze, dus verwijder die regels uit de export wanneer je betekenisvolle woordcombinaties zoekt, en laat ze staan wanneer je stijl, auteurstoeschrijving of taalmodellen bestudeert, waar functiewoorden juist signaal dragen.

Toepassing binnen SEO

Voor een artikel dat mikt op “nginx config generator”, controleer je:

• Of je doelbigram en -trigram in de top 20 staan. Staat “nginx config” op plaats 40, dan gebruik je de term waarschijnlijk te weinig.
• Of je niet aan het stapelen bent. Staat de term met grote voorsprong op nummer 1, dan leest het stuk als spam.
• Of er semantische buren zijn. Verwante bigrammen als “server block”, “proxy pass” en “ssl certificate” verzekeren zoekmachines ervan dat het onderwerp echt is behandeld.

NLP en academisch gebruik

• Taalmodellen gebruiken n-gramfrequenties voor smoothing en backoff (Kneser-Ney, Good-Turing).
• Auteursonderzoek vergelijkt trigramverdelingen tussen mogelijke auteurs.
• Evaluatie van machinevertaling (BLEU) scoort de n-gramoverlap tussen de kandidaatvertaling en de referentievertaling.