|  | Sundhed og Sygdom >  | Sundhedssektoren | PPO'er

GPT: Generative Pre-trained Transformer – Arkitekturen bag moderne AI-sprogmodeller

Hvad betyder GPT?

GPT = Generative Pre-trained Transformer.

  • Generative: Skaber nyt indhold (tekst, kode, billeder via udvidelser) snarere end kun at klassificere eller hente.
  • Pre-trained: Trænet på massive, diverse tekstopsamlinger (internet, bøger, kode) før finjustering til specifikke opgaver. Lærer sprogstruktur, verdensviden, resonnementmønstre.
  • Transformer: Neuralt netværksarkitektur (Vaswani et al., 2017) der bruger self-attention til at modellere lang-rækkefølge-afhængigheder i sekvenser. Erstatte RNNs/LSTMs som den dominante NLP-arkitektur.

Hvordan GPT virker (højt niveau)

  1. Prætræning (Uovervåget): Forudsig næste token i milliarder af teksekvenser. Lærer grammatik, fakta, resonnering, stil.
  2. Finjustering (Overvåget): Trænet på kuraterede instruktions-svar-par (RLHF: Reinforcement Learning from Human Feedback) for at følge instruktioner, være nyttig, sikker, alignet.
  3. Konklusion: Givet et prompt, genererer fortsættelse token-for-token, sampling fra forudsagt sandsynlighedsfordeling.

Udvikling af GPT-modeller

ModelÅrParametreVigtig fremskridt
GPT-12018117MBevis på koncept: generativ prætræning virker
GPT-220191,5BKoherent lang-form generation; faseret udgivelse
GPT-32020175BFew-shot læring; API-lancering; massiv skala
GPT-3.5 (InstructGPT)2022175BRLHF alignment; ChatGPT base
GPT-42023~1T+ (est.)Multimodal (tekst+billede); stærkere resonnering, kodning, sikkerhed
GPT-4o / o12024–Omni (lyd/syn/tekst), resonneringsmodeller

Kapaciteter

  • Tekstgenerering, fuldførelse, opsummering, oversættelse
  • Spørgsmål-svar, resonnering, matematik, kodning
  • Kreativ skrivning, rollespil, undervisning
  • Struktureret output (JSON, SQL, markup)
  • Værktøjsbrug (browsing, kode-udførelse, funktioner)

Begrænsninger

  • Hallucinationer (rimelige men falske output)
  • Viden afskæring (træningsdato dato)
  • Bias fra træningsdata
  • Ingen sand forståelse, bevidsthed eller agentivitet
  • Kontekstvindue begrænsninger (men udvides)

Indvirkning

GPT-modeller katalyserede den generative AI-revolution, der driver chatbots, copilots, indholdsskabelse, kode-assistenter, søgning, uddannelse og videnskabelige forskningsværktøjer. De er fundamentet for dagens store sprogmodel (LLM) økosystem.

PPO'er