Span-transducere i NLP: Definition, formalismer og anvendelser

En span-transducer afbilder en input-tekst-span (sammenhængende token-sekvens) til en output-span, hvilket muliggør strukturerede tekst-til-tekst transformationer.

Formalismer

  • Endelige-tilstands-transducere (FST): Effektive, lineær-tid; gode til tokenisering, morfologi, simple omskrivningsregler.
  • Regulære udtryk med fangst-grupper: Letvægts mønster-baserede spans.
  • Træ-transducere / synkrone grammatikker: Håndterer hierarkisk struktur (syntaks-træer).
  • Neurale seq2seq med span-kopiering: Pointer-generator, span-baseret ekstraktion (f.eks. ekstraktiv opsummering).

NLP-anvendelser

  • Opsummering: Vælg salient spans → konkatenér.
  • Oversættelse: Frase-baseret MT = span-transducer (kilde-frase → mål-frase).
  • Omformulering: Span-niveau synonym-substitution, syntaktisk omarrangering.
  • Informationsudtrækning: Enhed/relations-spans → normaliseret output.
  • Data-augmentation: Span-ersætning/back-translation.

Fordeel

Eksplicit span-justering bevarer proveniens, muliggør tolkbarhed, og begrænser søgerum vs. fri generering.

Hofteprotese