Byte Pair Encoding (BPE): Data kompressionsalgoritme

Byte Pair Encoding (BPE) er en data kompressionsalgoritme der reducerer tekstfil størrelse ved iterativt at erstatte de hyppigst forekommende angrænsende byte-par med enkelte ubrugte bytes.

Hvordan det virker

1. Tæl alle angrænsende byte-par i dataene.
2. Erstat det hyppigste par med en ny byte ikke til stede i dataene.
3. Gentag indtil ingen hyppige par forbliver eller ønsket kompressionsniveau nås.

Resultat

Kan reducere filstørrelse med op til 50%. Bredt brugt i moderne tokenisering til naturlig sprogbehandling (fx GPT modeller) som en subord segmenteringsmetode.