Ord i NLP: Fundamentale enhed i sprogbehandling

I Natural Language Processing (NLP) er et ord en sekvens af tegn (bogstaver, tal, symboler), der repræsenterer en meningsfuld lingvistisk enhed. Det er det mindste selvstændige element, der formidler semantisk indhold.

Nøgleaspekter

  • Tokenisering: Opdeling af tekst i ord (tokens) – kritisk første NLP skridt.
  • Ordklasser: Substantiver, verber, adjektiver, adverbier, osv., hver med grammatiske roller.
  • Repræsentationer: One-hot, TF-IDF, word embeddings (Word2Vec, GloVe, BERT) der fanger semantiske relationer.
  • Tvetydighed: Polysemi (flere betydninger) og homonymi udfordrer disambiguiering.

Ord er byggeklodserne i sætninger, afsnit og dokumenter; forståelse af deres struktur og betydning ligger til grund for alle NLP opgaver.

Neuro‑lingvistisk programmering (NLP)