Når du giver en sprogmodel en instruktion eller stiller den et spørgsmål, så “prompter” du den. I prompt engineering forsøger man at få mest muligt ud af modellen. Du prøver altså at få det bedste mulige svar.

Man kan bruge sprogmodeller til næsten alle opgaver, som man kan tænke sig til, og som man kan beskrive for sprogmodellen. De fleste opgaver falder under de følgende kategorier:

• ✍️ Tekstforfatning
• 🌍 Oversættelse
• 📝 Opsummering af tekst
• 🤖 Specificering af chatbot opførsel
• 📚 Research og vidensgenerering
• 💻 Programmering
• 📖 Undervisning
• ⚙️ Automatisering

Sprogmodeller er mindre gode til opgaver, som kræver svær matematik eller kompleks logik, men de gør gerne et forsøg alligevel. Nogle af metoderne i denne guide, som Least-to-Most Prompting og Implementer kode i din prompt, kan gøre modellerne bedre til den slags opgaver. Sprogmodeller kan ofte lave fejl eller “hallucinere”, hvilket vil sige, at de “finder på” viden. Derfor skal man altid dobbelt tjekke vigtige informationer.

Man kan løse nogle af de samme opgaver med prompt engineering, som man kan med traditionel programmering. Det kan for eksempel være at automatisere opgaver eller sortere tekster. I traditionel programmering skal man nogle gange skrive meget lang og kompliceret kode. I prompt engineering ville man i stedet for give sprogmodellen en instruks i form af ren tekst.

Nogle er bange for, at prompt engineering er for teknisk, og at de slet ikke vil kunne finde ud af det. Prompt engineering handler i dens enkleste form om at skrive gode beskeder til og med sprogmodeller. At give en god instruktion til en sprogmodel er meget ens med at give en god instruktion til en praktikant eller kollega. Der er i teorien ikke noget teknisk over det, selvom man sagtens kan inkludere for eksempel programmering til meget specifikke opgaver. I ekspert sektionen kræves der viden om programmering, men ellers er de fleste metoder lette at implementere med enhver baggrund.

Prompt Engineering bliver ideelt brugt af alle, der interagerer med sprogmodeller. Der kan dog være stor forskel på, hvordan det bliver brugt og til hvad. Her er nogle forskellige eksempler på prompt engineers:

✍️🎓 En student, som bruger en sprogmodel til at forstå undervisningsmateriale. Studenten uploader tekster og beder sprogmodellen om at opsummere og forklare svære koncepter. Studenten og sprogmodellen sparer omkring ideer til opgaver og hvad, studenten kan inkludere.

📝💡 En copywriter, som får hjælp af sprogmodeller til at generere tekst. Copywriteren og sprogmodellen diskuterer hvilke ord, der er mere effektive, og brainstormer titler. Sprogmodellen hjælper med at rette grammatik og foreslår forbedringer til tekster.

💬🤖 En programmør, som har lavet en RAG chatbot til et firma og skal give chatbotten instruktioner for, hvordan den skal håndtere bruger forespørgsler og formatere dens svar. Programmøren fortæller for eksempel chatbotten, at den skal svare kort og formatere det i Markdown format.

Sprogmodeller er kommet meget langt i deres udvikling, men de er stadig ikke perfekte. Derfor er det vigtigt, at man er opmærksom på de problemer, der kan være.

❗️ Fejl og Hallucinationer De kan for eksempel lave fejl, for eksempel i form af “hallucinationer”, som er når de genererer forkerte informationer. De kan også lave fejl i deres analyser, såsom i matematik opgaver. Det er et stort problem, hvis man ikke kan regne med svarene, og derfor handler mange af metoderne i guiden om at minimere fejl. Hvis muligt, skal man også tjekke sprogmodellen svar og de informationer, den giver, især hvis det er vigtige oplysninger.

⚖️Bias og Stereotyper Et andet problem er, at de kan have problematiske biaser og stereotyper. Sprogmodeller er trænet på rigtig meget data, som ikke er blevet finkæmmet. Når der kan findes seksisme, racisme, homofobi, og så videre i træningsdataet, kan det også ske, at sprogmodellen kan generere det. Der har for eksempel været sager, hvor sprogmodeller har været brugt til at hjælpe med at vælge kandidater til ansættelse, og hvor gode kandidater er blevet sorteret fra grundet biaser.

🔒Sikkerhed Endnu et problem er, at sprogmodeller ikke er sikre i forhold til sensitiv data. Sprogmodeller kan nemlig frit bruge ens prompts til videre at træne sig selv. Det vil sige, at hvis man uploader en masse sensitiv data, så kender sprogmodellen nu den data og kan frit give det videre til andre brugere. Man skal derfor passe på med, hvad man fortæller den.

En prompt er generelt god, hvis du får et godt svar, men det kan nogle gange være svært at vurdere.

Det er godt at starte med at finde ud af, om svaret er korrekt. Sprogmodeller laver sommetider fejl, og de er dårlige til at indrømme det. Derfor skal man altid, hvis det er muligt, tjekke vigtige informationer. I nogle metoder, såsom Giv reference tekster, kan man bede modellen om at give citater, som man selv manuelt kan tjekke. Online sprogmodeller kan dog ikke give citater.

Dernæst kan man prøve at eksperimentere med flere prompts og selv bestemme hvilke svar, man synes er bedst. Hvis man synes et svar er bedre end et andet, kan man også fortælle sprogmodellen det, og så kan den måske bruge den feedback til at lave et endnu bedre svar. Hvis man har programmeret et produkt til brug af andre, så kan man eventuelt indhente feedback fra brugerne. Endelig kan man bruge nogle af metoderne i Lav systematiske ændringer og test det.

Mistænkeligt nok insisterer de fleste studier på, at deres prompt engineering metode er den bedste. Hvis man søger online på, hvilken metode er den bedste, er der mange, der priser Chain of Thought. Det er dog svært at svare på, hvilken der er bedst eller endda hvilken en, man skal bruge. Man skal for eksempel overveje:

Hvor meget regnekraft og tid har jeg? Nogle af metoderne er meget krævende, både for prompteren og sprogmodellen. Hvis du ikke har meget tid eller penge til at bruge på tokens, kan det godt være, det ikke er de metoder, du skal vælge.

Hvor vigtigt er det, at resultatet er det bedst, det kan være? Det kan være, du har rigeligt med tid og penge, men hvis du bare skal vide, hvordan man installerer Python, så er det nok ikke ekspert metoderne, man er ude i. Nogle af metoderne kræver også meget implementering for en lille forbedring i output.

Hvilken opgave er det? Vi har så godt som muligt prøvet at forklare, hvad metoderne bruges til. Nogle kan bruges til, hvis man har et specifikt format i tankerne, mens andre mindsker fejl, og igen nogle tilføjer funktionalitet til sprogmodellen. Hvad har du brug for?

Når du har fundet ud af, hvad du skal bruge sprogmodellen til, så er det bare med at eksperimentere. Nogle metoder virker også mere intuitive for nogle end for andre. Prøv at finde ud af, hvilke metoder, der virker bedst for dig.

Det er godt, du spørger! Det er lige det, denne prompt engineering guide skal bruges til - at forbedre resultaterne, sprogmodellerne genererer, ved at bruge prompt engineering. I denne guide er der en masse teknikker og metoder, som du kan prøve at implementere i dine prompts. Der er metoder til alle sværhedsgrader, fra komplet nybegynder til ekspert. Metoderne kan også bruges til en bred mængde af opgaver, men ikke alle metoder er lige hjælpsomme til alle opgaver.

I guiden er der masser af eksempler til metoderne, men prøv selv at se, om du kan få dem til at virke. Den bedste måde at blive god til noget er at øve sig, og det gælder også med prompt engineering. Hyg dig og held og lykke!

En god måde at få et konkret svar fra en sprogmodel er at give den en konkret opgave. Det gør man igennem de prompts, man giver sprogmodellen. Prompts fortæller sprogmodellen, hvordan den skal gribe den givne opgave an.

Eksempler på opgaver:

Det er også muligt at give sprogmodellen flere opgaver på en gang. Forestil dig, at du har en årsrapport fra en virksomhed, og at du skal bruge sprogmodellen til at hjælpe dig:

Det er vigtigt at være tydelig, når du stiller et spørgsmål eller giver sprogmodellen en instruktion. Du skal derfor inkludere alle relevante detaljer i din prompt, så sprogmodellen har hele konteksten.

I enkelte tilfælde skal man dog passe på med ikke at give for mange detaljer. Du bør for eksempel ikke give personfølsomt data til sprogmodeller, medmindre det er en sprogmodel, som er lavet til at håndtere det, og som du ved, at du kan stole på. Alt der indgår i en prompt kan nemlig indgå som træningsdata i modellen.

Tips til at identificere relevante detaljer:

1. Reflekter over hv-ord - “Hvem, hvad, hvornår, hvor, hvorfor og hvordan”. Mangler du at inkludere noget?
2. Tænk over, hvilke misforståelser der kunne opstå.
3. Forestil dig, hvordan en person uden forhåndsviden om emnet ville forstå prompten.
4. Slet eller anonymiser personfølsomt data.

Det er overraskende nok ikke helt lige meget, hvordan vi taler til vores sprogmodeller. Selvom sprogmodeller ikke har følelser, så kan måden man snakker til dem have en stor indflydelse på, hvor godt deres svar er.

Vær høflig

Research peger på, at sprogmodeller performer bedre, når man er høflige (men ikke for høflige) ved dem. Uhøflige svar kan for eksempel føre til forkerte eller manglende svar.

Man kan for eksempel starte sin prompt med:

Det er nok god grund at være søde ved sprogmodeller, uanset om det forbedrer deres svar eller ej. Det er altid en god ide at øve sig på at være høflig, og det skaber et meget mere positivt miljø.

Tilbyd … drikkepenge?

Sprogmodeller kan også give bedre svar, hvis du lader som om, du giver den drikkepenge. I et (ikke udgivet) studie, lavede ChatGPT færre fejl, når den blev tilbudt penge. I samme studie var det også effektivt at tilbyde ChatGPT verdensfred eller Taylor Swift billetter ved forreste række. Modsat virkede dødstrusler i caps lock for en forfejlet opgave også motiverende for ChatGPT.

Hvorfor virker det?

Det bedste bud på, hvorfor det gør en forskel at være søde ved sprogmodeller, er at sprogmodellerne derved henter svar fra dens dokumenter, som er givet i en høflig kontekst. Det vil sige, at eftersom mennesker ofte giver bedre svar, når de bliver spurgt pænt, ”foretrækker” sprogmodellerne også at blive talt pænt til.

Nogle gange kan man have en specifik ide om, hvad man gerne vil have, at sprogmodellens svar skal indholde. Det kan være, at man skal skrive et projekt om kunst og allerede ved, hvad man vil skrive i en af sektionerne, eller hvilke emner, man vil inkludere. I directional-stimulus prompting inkluderer man specifikke emner, nøgleord, eller hints, som skal inkluderes i svaret.

Hvis du vil læse mere om directional-stimulus prompting, kan du for eksempel læse den originale artikel her. I den originale artikel kan metoden også bruges til at forbedre sprogmodellens svar ved at generere gode hints fra en mindre sprogmodel, som specifikt er trænet til at give gode hints.

Du kan selv specificere længden overfor sprogmodellen. Det kan for eksempel være en specifik mængde ord, sætninger, afsnit eller pointer.

Når du specificerer længden i dine prompts, giver det større kontrol over sprogmodellens output. Dette kan være nyttigt når:

1. Du har begrænsninger på plads eller tid
2. Du ønsker at sikre, at svaret er tilstrækkeligt detaljeret
3. Du vil have et hurtigt overblik eller en dybdegående analyse
4. Du skal tilpasse indholdet til specifikke formater (f.eks. sociale medier posts eller artikler)

Det er vigtigt at huske, at sprogmodeller ikke kan tælle eller lave præcis matematik. Derfor er de sjældent 100% nøjagtige med især mængden af ord. Dog kan de give et rimeligt estimat.

Metoder til at specificere længde

Du kan specificere længden på flere måder:

1. Antal ord
2. Antal sætninger
3. Antal afsnit
4. Antal hovedpunkter
5. Karakterbegrænsning (relevant for f.eks. tweets)

Eksempler på længde specifikke prompt

1. Specificering af ordantal

2. Specificering af sætningsantal

3. Specificering af afsnit

4. Specificering af hovedpunkter

5. Specificering af karakterbegrænsning

6. Kombination af længdespecifikationer

Tips til effektiv længdespecificering

1. Vær så præcis som muligt i dine længdeangivelser
2. Overvej at give et interval (f.eks. 90-110 ord) i stedet for et eksakt tal. Meget stramme længde begrænsninger kan påvirke kvaliteten eller fuldstændigheden af information
3. Kombiner længde specifikationer med format specifikationer og andre prompt-teknikker for mere præcise resultater

Når vi taler om format indenfor prompt engineering, refererer det til den struktur og måde, en prompt er opbygget på. Formatet spiller en afgørende rolle i, hvordan modellen forstår, hvad den skal gøre, og hvordan den skal præsentere svaret.

Korrekt formatering af prompts kan:

1. Øge klarhed og præcision i sprogmodellens output
2. Gøre information lettere at læse og forstå
3. Sikre at sprogmodellens svar er sammenhængende på tværs af flere forespørgsler
4. Hjælpe med at strukturere kompleks information
5. Tilpasse outputtet til specifikke brug eller platforme

Almindelige formater

1. E-mails
2. Punktopstillinger
3. Kodeblokke
4. Paragraffer
5. Tekstmarkering
6. Tabeller
7. Dialoger
8. JSON eller XML struktur
9. Markdown-formatering
10. Skemaer eller formularer

Hvordan man specificerer format

For at specificere et bestemt format i din prompt, kan du:

1. Eksplicit anmode om det ønskede format
2. Give et eksempel på det ønskede format
3. Bruge formateringssymboler eller markdown i selve prompten
4. Kombinere flere af ovenstående metoder

1. E-mail format

2. Punktopstilling

3. Kodeblok

4. Paragraffer

5. Tekstmarkering

6. Tabel

7. Dialog

8. JSON struktur

9. Markdown-formatering

10. Skema

Tips til effektiv format specificering

1. Vær så specifik som muligt om det ønskede format
2. Overvej at give et kort eksempel på formatet, hvis det er komplekst
3. Brug formateringssymboler i selve prompten for at demonstrere ønsket output
4. Tænk på dit behov, og hvordan du bedst vil kunne anvende informationen
5. Eksperimenter med forskellige formater for den samme information for at se, hvad der fungerer bedst

Med prompt engineering kan vi styre, hvordan vores prompts skal udtrykkes ved at give sprogmodellen en specifik tone. Dette er et godt redskab, som kan hjælpe os i forskellige situationer, hvor vi skal kommunikere på en bestemt måde eller opnå en specifik effekt.

Hvorfor er tone vigtig?

1. Tilpasning til målgruppen: Forskellige målgrupper reagerer bedre på forskellige toner.
2. Kontekst-matching: Tonen bør passe til situationen eller mediet (f.eks. formel for en forretningsrapport, casual for en blog).
3. Branding: en sammenhængende tone kan hjælpe med at opretholde en bestemt brand-identitet.
4. Emotionel påvirkning: Den rigtige tone kan fremkalde specifikke følelser hos læseren.

Eksempler:

Professionel tone:

Afslappet tone:

Humoristisk tone:

Empatisk tone:

Inspirerende tone:

Tips til at arbejde med tone:

1. Vær specifik: Jo mere præcist du beskriver den ønskede tone, desto bedre resultat får du.
2. Giv eksempler: Hvis muligt, giv et kort eksempel på den tone, du ønsker.
3. Kombiner toner: Du kan kombinere forskellige toner for at opnå en mere nuanceret effekt (f.eks. "professionel, men venlig").
4. Tilpas til kontekst: Husk at tone bør passe til emnet, målgruppen og mediet.
5. Eksperimenter: Prøv forskellige toner for det samme indhold og se, hvordan det påvirker resultatet.

Ved at mestre brugen af tone i dine prompts kan du opnå mere præcise og effektive resultater fra sprogmodellen, tilpasset til dine specifikke kommunikationsbehov.

I prompt engineering snakker man om zero-shot, one-shot og few-shot prompting. I zero-shot giver man ikke sprogmodellen nogle eksempler, i one-shot giver man et, og i few-shots giver man flere.

Det er næsten altid bedre at give modellen gode eksempler, hvis man har nogle, men i få tilfælde kan det virke modsat. For eksempel i kreative opgaver, hvor man gerne vil have at sprogmodellen genererer unikt indhold, så kan den blive for fokuseret på, at den skal følge eksemplerne, og derfor kan zero-shot prompting være bedre.

At give eksempler i dine prompts kan dramatisk forbedre kvaliteten og præcisionen af sprogmodellens output. Det er ofte lettere at vise sprogmodellen, hvad du ønsker, frem for at beskrive det. Eksempler er særligt nyttige når:

1. Du ønsker en specifik skrivestil eller format
2. Du har brug for et bestemt struktureret output
3. Du vil guide sprogmodellen i en bestemt retning
4. Du arbejder med komplekse eller specialiserede opgaver

Teknikker til at give eksempler

1. Enkelt eksempel (One-shot)

Giv ét klart eksempel på det ønskede output.

2. Før-og-efter eksempler

3. Modsættende eksempler

Flere eksempler (Few-shot)

For at få hjælp til hvordan du kan vælge de bedste eksempler, se: Valg af gode eksempler og Active prompting

Når vi beder en sprogmodel om at påtage sig et specifik persona kan det være et kraftfuldt værktøj i prompt engineering. Det kan hjælpe med at:

1. Skabe mere engagerende og realistiske interaktioner
2. Tilpasse sprogmodellens tone og ekspertise til specifikke scenarier
3. Simulere specifikke roller eller ekspertiser
4. Gøre komplekse emner mere tilgængelige
5. Skabe en sammenhængende "karakter" gennem en længere samtale

Eksempler på personaer:

Tips til effektiv brug af persona i prompts

1. Vær specifik om personens baggrund, ekspertise eller personlighedstræk. Nogle prompt engineers giver endda deres persona et navn.
2. Overvej at give et kort eksempel på, hvordan personaen kunne svare
3. Tilpas personaen til emnet og målgruppen
4. Eksperimenter med forskellige personaer, for at se hvordan det påvirker svarene.
5. Husk, at selvom sprogmodellen påtager sige et persona, er det stadig en sprogmodel og ikke en virkelig person
6. Forsøg ikke at skabe eller forstærke stereotyper

Ved at mestre brugen af personaer i dine prompts kan du skabe mere engagerende, kontekstspecifikke og kreative interaktioner med sprogmodeller.

Du kan gøre det nemmere for sprogmodellen at forstå, hvad du vil have den til, ved tydeligt at markere de forskellige dele af dit prompt. Man kan for eksempel markere dele af teksten med gåseøjne(""), semikolon(:) eller XML tags (<>).

Fordele ved at markere forskellige dele af prompten:

1. Det gør det lettere for sprogmodellen at identificere og adressere specifikke dele af opgaven.
2. Det kan øge sammenhængen i sprogmodellens svar på tværs af flere forespørgsler
3. Det muliggør mere præcise og målrettede svar fra sprogmodellen.
4. Det gør det lettere for både sprogmodellen og prompteren at finde rundt i en kompliceret prompt

Eksempel:

Tips til effektiv markering:

1. Vær sammenhængende i din brug af markering gennem hele prompten.
2. Kombiner forskellige markeringsmetoder for at adskille forskellige typer information.
3. Hold prompten overskuelig - undgå overkomplicering med for mange markeringer.

Eksperimenter med forskellige markeringsmetoder for at finde den tilgang, der fungerer bedst for dine specifikke behov. Effektiv markering af promptdele kan væsentligt forbedre kvaliteten og præcisionen af sprogmodellens svar.

Det kan både være godt at opdele opgaver i en prompt i flere dele, og det kan være godt at bede sprogmodellen om at opdele opgaverne i dens svar i flere dele. Forneden ser vi et eksempel på begge scenarier.

Nogle gange er man ikke helt tilfreds med, hvad sprogmodellen producerer. Derfor kan det være en god idé at bede den om at komme med flere forslag, så du selv kan vælge det, der bedst passer for dig.

Sprogmodeller er meget hjælpsomme og også nogle gange for hjælpsomme. De går ud fra, at hvad du har skrevet i din prompt er det eneste, den har brug for at vide, og den gør derfor sit allerbedste for at tyde din prompt og komme med et godt svar. For eksempel:

Prompten indeholder ikke et spørgsmål, men sprogmodellen vælger at tyde det som om en efterspørgsel på en gennemgang af ligheder og forskelle mellem jordbær og hindbær. Man skal skrive en meget utydelig prompt for at sprogmodellen giver op og beder brugeren uddybe spørgsmålet. I prompten foroven ville det måske have været godt, hvis sprogmodellen havde sporet bedre ind på, hvad efterspørgslen handlede om. Det kan for eksempel løses på følgende måde:

På den måde ved man, om man har skrevet en utydelig prompt. Derefter kan man komme med flere informationer, så sprogmodellen kan hjælpe bedst muligt. Denne metode er også særlig vigtig at implementere, hvis man har programmeret sin egen sprogmodel, som skal kunne kommunikere med brugere. På den måde sikrer man, at modellen svarer rigtigt på deres efterspørgsler.

Nedenfor er tre eksempler på prompts, man kan give en sprogmodel, som inkluderer flere af metoderne, vi har diskuteret. Læs promptene - hvilke metoder kan du identificere? Kan du gøre promptene endnu bedre?

Hvis du har læst om prompt engineering allerede, så er du muligvis stødt ind i begreberne “user”, “assistant” og “system”. Hvis ikke, eller du godt kunne bruge en opfriskning, så kan du læse nedenfor.

Rollerne er primært relevante for to grupper:

1. Udviklere og ingeniører:

• De, der bygger eller finjusterer AI-systemer
• De, der integrerer sprogmodeller i applikationer eller services

2. Avancerede brugere:

• Forskere, der eksperimenterer med prompt engineering
• Professionelle, der bruger AI-værktøjer intensivt i deres arbejde

Overblik over rollerne:

• User: User rollen repræsenterer vedkommende, der bruger sprogmodellen.
• Assistant: Assistant rollen er sprogmodellen selv, altså dens svar til user input.
• System: System rollen er information, du giver til sprogmodellen, så den kan tilpasse sit svar.

Man kan tænke på system inputtet som en instruktion og user inputtet som et spørgsmål eller en opgave. I begynder-sektionen har vi inkluderet system rollen i user rollen og kaldet den “prompt” i vores eksempler. De to kan også skilles op som forneden:

En fordel ved at splitte dem op er, at system inputtet dermed kan gælde for flere user inputs. Når man holder begreberne adskilt, kan det også give komplekse opgaver en mere overskuelig struktur. På mange sprogmodeller er der en mulighed for at tilføje et system input under indstillinger. Hvis du selv programmerer en sprogmodel, så kan et system message hjælpe med at bestemme, hvordan den skal håndtere input fra brugere.

Hvordan rollerne bruges i praksis:

1. Chatbot udvikling

• System: Definerer chatbottens personlighed og tilgang til, hvordan den skal svare
• User: Repræsenterer kundens input
• Assistant: Chatbottens svar

2. Specialiserede AI-assistenter

• System: Giver ekspertise inden for et specifikt domæne (f.eks. jura, medicin)
• User: Stiller fagspecifikke spørgsmål
• Assistant: Giver ekspertsvar baseret på system-instruktioner

3. Dataanalyse

• System: Sætter regler for databehandling og præsentation
• User: Giver datasæt og analysespørgsmål
• Assistant: Udfører analyse og rapporterer resultater

4. Undervisningsværktøjer

• System: Definerer pædagogisk tilgang og læringsmål
• User : Studerende, der stiller spørgsmål
• Assistant: Giver forklaringer tilpasset læringsniveauet

Nøglen til effektiv brug af disse roller ligger i at forstå deres indbyrdes dynamik, og hvordan de kan tilpasses forskellige scenarier. Ved at adskille system instruktioner fra bruger input, kan vi skabe mere fleksible og genbrugelige AI-løsninger. Uanset om du er en udvikler, der bygger næste generations AI-systemer, eller en professionel, der søger at optimere din brug af AI-værktøjer, kan beherskelsen af User, Assistant og System roller åbne nye muligheder for innovation og effektivitet.

Nogle gange giver det mening at begrænse dataen, som vores sprogmodel skal lede i.

Fordele ved at vedlægge referencetekster:

• Ny information: Det kan være, at vi har en artikel, som har ny, opdateret information, som vores sprogmodel endnu ikke er trænet på.
• Troværdighed: Hvis man vedlægger referencetekster, som man selv vurderer er troværdige, kan man i højere grad være sikker på, at informationen, sprogmodellen giver, er korrekt.
• Citater: Man kan bede om citater, så man selv kan verificere svaret. Det kan være en god ide bagefter selv at tjekke, at citaterne er korrekte, ved at søge i dokumentet efter citatet.

Her er et eksempel på, hvordan ens prompt kan se ud:

Et problem, man let støder på, hvis man bruger denne metode, er at sprogmodeller ofte har et begrænset “context window”. Det vil sige, at sprogmodellen kun kan tage en vis mængde ord eller tokens i betragtning, når den generer eller forstår tekst, hvilket begrænser længden og mængden på referencetekster, der kan vedlægges. I ekspert sektionen vil vi beskrive en metode, der bruger embeddings (Load data ved hjælp af embeddings), hvilket gør, at længere tekster kan vedlægges.

Tips til effektiv brug af referencetekst:

1. Prioriter den vigtigste information først i reference teksten
2. Overvej at opsummere lange tekster, før du giver dem som reference
3. Brug klare afgrænsninger (f.eks. citationstegn) for at adskille reference teksten fra prompten
4. Verificer altid citater og svar ved at krydstjekke med originalteksten

Brugen af referencetekster i prompt engineering er et stærkt værktøj, der giver os mulighed for at styre og præcisere sprogmodellens output. Ved at give modellen adgang til specifikke, troværdige kilder kan vi sikre mere nøjagtige og relevante svar, især når det kommer til ny eller specialiseret information. Mens denne teknik har sine begrænsninger, primært i form af context window-størrelsen, åbner den også døre for mere kontrollerede og verificerbare AI-interaktioner. Ved at forstå og navigere disse begrænsninger kan vi effektivt udnytte referencetekster til at forbedre kvaliteten af AI-genereret indhold.

Efterhånden som teknologien udvikler sig, og nye metoder som embeddings bliver mere tilgængelige, vil vores evne til at arbejde med store mængder kontekstuel information kun forbedres. Dette lover godt for fremtiden inden for prompt engineering og sprogmodellers informationshåndtering!

Et stort problem, folk har med sprogmodeller, er at de let kan give forkerte informationer med stor selvsikkerhed. Vi kalder det “hallucinationer”, når sprogmodellen “finder på” et svar, der ikke er rigtigt. En simpel hjælp til at undgå hallucinationer er at bede sprogmodellen om ikke at give et forkert svar, hvis den ikke er sikker. Mange prompts, især ved egen programmering af chatbotter, inkluderer derfor en instruktion om, hvad den skal gøre, hvis den ikke kender svaret:

Dette er dog ikke en fuldkommen løsning, og det kan i nogle tilfælde være nødvendigt at implementere andre logik, som kan hjælpe sprogmodellen med ikke at give forkerte svar, for eksempel ved at give den tid til at “tænke”. Det skal her siges, at sprogmodeller jo selvfølgelig ikke kan tænke. Sprogmodeller fungerer ved, at de forudsiger ord baseret på en masse tekstdata og dets mønstre, samt beregner ligheden mellem vektorer. Det er en matematisk og algoritmisk proces og derfor ikke en, som kræver en bevidsthed eller nogen form for forståelse for, hvad den egentlig producerer.

Mange af metoderne i denne sektion og de næste sektioner er et forsøg på at gøre sprogmodellen bedre til logik. Det ligger måske i navnet, “sprogmodel”, at det ikke er logik, som modellerne er stærkest indenfor. Sprogmodeller sætter ord og sætninger sammen, som den har set før. Det fungerer rigtigt godt, hvis man stiller den et spørgsmål, som allerede er i dens træningsdata, men det fungerer mindre godt, når den selv skal sammenstykke, hvad den ved om verdenen, for at finde dens eget svar. Et godt eksempel er, hvis man spørger den, hvad det tiende led i Fibonnaci-sekvensen er. Modellen ved helt sikkert hvordan man beregner sekvensen og har nok også set eksempler med endnu flere led end 10, men den har ikke nødvendigvis læst sætningen “det tiende led i Fibonnaci-sekvensen er 34”. Hvis den bruger logik, kan den let komme frem til svaret. I mange tilfælde kan prompt engineering hjælpe sprogmodellen ved at instruere modellen i at bruge logik eller ved at give den plads til det.

En mængde teknikker bruger vidensgenerering til at forbedre sprogmodellens svar. Det kan se lidt forskelligt ud, som vi vil få at se i de næste metoder, men fælles for dem alle er, at sprogmodellen genererer relevante tekster og informationer, før den løser dens opgave.

At generere relevant viden fungerer meget i samme stil som metoderne, hvor sprogmodellen får tid til at “tænke”. Det vil sige, at modellen ved først at generere viden, sporer sig selv bedre ind på, hvad den skal bruge til at svare på spørgsmålet, og derfor har en bedre chance for at svare rigtigt og godt. Det kan svare lidt til, hvis man før man begynder at skrive en stil, sætter sig ned og brainstormer omkring emnet og skriver informationer ned, som man skal huske at inkludere.

Chain of Thought er endnu en metode, hvor man hjælper sprogmodellen til at “tænke”. Her sker det ved at man beder modellen om at “tænke højt”, altså at vise og forklare dens tankegang. Det er en af de mest populære metoder, hvis ikke den mest populære, til at forbedre sprogmodellers svar.

Hvorfor er det nyttigt?

1. Tankeprocess: Det hjælper dig med at forstå, hvordan sprogmodellen når frem til sine konklusioner. Det er en spændende mulighed for at lære om dens tankeprocess!
2. Fejlfinding: Det kan afsløre eventuelle fejl i sprogmodellens ræsonnement. Det gør det også lettere for dig at identificere hvor, den er gået galt, og pege den i rette retning
3. Bedre svar: Det giver ofte bedre, mere detaljerede og gennemtænkte svar

Simpel implementering

At implementere Chain of Thought er i teorien så simpelt som at skrive en enkelt instruks, hvor man beder modellen om at dele dens "tankeprocess". Det kunne man for eksempel gøre som forneden:

Avanceret eksempel:

Der findes mange og mere advancerede implementeringer af Chain of Thought end den foroven. Her viser vi en implementering, som kræver flere trin:

1. Start med at definere problemet klart.
2. Bed AI'en om at opdele problemet i mindre dele eller trin.
3. Anmod om en forklaring for hvert trin.
4. Bed om en endelig konklusion baseret på de gennemgående trin.

Eksempel:

Forneden introducerer vi overbygninger til Chain of Thought, som kan gøre metoden endnu bedre.

Least-to-Most prompting er et alternativ til Chain of Thought, som kræver en smule mere hjælp fra brugeren, men som til gengæld kan være bedre til komplekse problemstillinger. Denne metode er især god til tekstbaserede matematik problemer.

I Least-to-Most prompting spørger man først sprogmodellen, hvilke underproblemer, den skal løse, for at løse det overordnede problem. Efter sprogmodellen har identificeret underproblemerne, løser man dem en efter en. Typisk sker dette ved hjælp af en række prompts, hvor svarene til hver underproblem bliver en del af det nye prompt, men man kan også gøre det i et samlet prompt. Forneden er et eksempel:

Vi har allerede nævnt hvordan sprogmodellers begrænsede “context window” betyder at store mængde tekster ikke kan blive tilføjet som input af en bruger eller i en prompt. Det kan for eksempel være nyttigt at uploade en kilde med opdateret og troværdigt information, eller at gemme lange tidligere samtaler i prompten som kontekst for nye samtaler. Se evt. Del komplekse opgaver op i mindre dele og Giv reference tekster.

For at komme omkring denne begrænsning, kan man i stedet konvertere sin tekst til “embeddings”. Embeddings er en konvertering af tekst til vektorer, som sprogmodeller kan bruge til at sammenligne afstande for at identificere semantiske ligheder mellem ord, sætninger eller tekster. Der er en række modeller, man kan bruge til at konvertere tekst til vektorer, som kan gemmes i vector databaser som for eksempel chromadb. Her er en liste, der kan give et overblik over gode databaser.

Denne metode bliver for eksempel brugt til Retrieval-Augmented Generation (RAG) chatbots, som er meget populære. En RAG chatbot kombinerer styrken fra offentlige sprogmodeller, oftest OpenAI’s, med specialiseret viden fra dokumenter loadet med embeddings. Man kunne for eksempel programmere en RAG, som er ekspert indenfor jura eller Danmarks elektriker og vvs-branche.

Nogle fordele ved RAGs

• Kontekstuelle svar: RAG-chatbots kan give mere relevante svar, fordi de er trænet indenfor et specifikt område.
• Opdateret information: RAG-chatbots kan let blive opdateret, så de har det nyeste data og informationer. Offentlige sprogmodeller bliver ikke lige så tit opdateret.
• Korrekt information: RAG-chatbots kan give mere korrekte oplysninger, da de ofte er trænet på data, som er blevet specielt udvalgt, og derfor kan være mere troværdig.
• Links: RAG-chatbot kan ofte give links til data, de har brugt til at besvare et spørgsmål. Det gør det lettere at dobbelt-checke vigtig information og bruge svaret til videre research.
• Personaliserede: RAG-chatbots er specialiserede indenfor specifikke områder. Man kan derudover give chatbotten specifikke informationer eller værktøjer, som kan gøre den bedre til at løse en given opgave.
• Fejlhåndtering: RAG-chatbotter er bedre til at indrømme, hvis de ikke ved noget, og de ikke kan give et godt svar. Her finder generelle sprogmodeller ofte på et svar, når de ikke har nok information.

Det er ikke så besværligt at programmere sin egen RAG, og man kan finde flere gode tutorials online, for eksempel den her.

Sprogmodeller får ofte kritik for at fejle selv simple opgaver. For eksempel har mange forgæves forsøgt at få ChatGPT til korrekt at tælle mængden af bogstavet “r” i ordet “strawberry”. Det er fordi, at sprogmodeller fungerer ved, at de gætter det næste token, altså det næste bogstav eller ord. Det er en sprogmodel, og kan derfor ikke lave udregninger selv. Den kan derfor for eksempel komme til at gætte, at der er 2 r’er i stedet for 3. Dog ville en simpel python kode let kunne udregne hvor mange r’er, der er i ordet “strawberry”:

r_tæller = "strawberry".count("r")

Sprogmodeller kan ikke eksekvere kode. Dog kan man, hvis man programmerer sin egen sprogmodel, give den ekstra funktionalitet i form af kode. Koden bliver ikke eksekveret af sprogmodellen, men for eksempel Python interpreter kan køre koden, hvis man har givet modellen adgang til det.

I prompten kan du også kalde eksterne API’er og bruge det i en kode eksekvering. Der skal du dog passe på, at du ikke kører noget kode, som kan skabe problemer for dig eller din bruger.

Der findes flere indbyggede funktioner, som man kan kalde i sit prompt. Et eksempel er i OpenAI, hvor man kalder eksterne systemer med “function calling”.

OpenAI identificerer fem kontekster, hvor det kan være nyttigt at bruge deres function calling:

1. Få assistenter til at hente data: Hvis en bruger spørger en kundeservice chatbot om for eksempel, hvad deres sidste ordrer var, så kan en AI assistent hente data fra et internt system og besvare spørgsmålet
2. Lad assistenten tage handlinger: Hvis en AI kan tage handlinger, så kan den for eksempel booke et møde for brugeren eller bestille en vare.
3. Lad assistenter lave udregninger: En sprogmodel er ikke særlig god til at lave udregninger. I stedet kan den forbinde til en matematik funktion, der kan hjælpe.
4. Byg gode arbejdsprocesser: AI’en kan bruge en dataudtrækningspipeline, der indsamler rå tekst, konverterer den til strukturerede data og gemmer den i en database.
5. Modificer din UI: Et function call kan opdatere din apps UI baseret på, hvad brugeren skriver. Det kunne for eksempel være at sætte en ny lokation på et kort.

Ligesom i den sidste metode, hvor vi implementerer kode, så kan sprogmodellen ikke selv implementere noget af det foroven. Det kræver at eksterne systemer kan implementere det for modellen. Det er kun modellens job at identificere og bestemme hvilke af funktionerne, der skal implementeres.

Tree of Thoughts er en prompting metode, som bygger ovenpå Chain of Thought.

I stedet for at bede sprogmodellen om at evaluere tankegangen i et eller flere svar, evaluerer vi her hvert trin i problemløsningen. Hvis modellen har gået galt i et trin, så kan vi gå tilbage til et tidligere trin. Det fører til en matrix baseret tilgang i sammenligning med den lineære tilgang i Chain of Thought. Nedenfor er en illustration af Yao et al. (2023), som først foreslog metoden:

I illustrationen ser vi:

• Normal input-output prompting, det vil sige standard prompting uden Chain of Thought eller Tree of Thought, genererer et output uden nogle mellemtrin.
• I Chain of Thought tilføjer vi mellemtrin i form af en synlig tankegang.
• Når vi tilføjer Self Consistency, begynder sprogmodellen også at overveje alternative måder at løse problemet.
• Tree of Thoughts udforsker flere muligheder for hver mellemtrin, eller “tanke”, og vurderer hvor “god” hver tanke er, før den fortsætter. I diagrammet er “gode” tanker i grønne nuancer og “dårlige” tanker i røde nuancer. Hvad der konstituere en “god” eller “dårlig” tanke skal specificeres for modellen, så den ved, hvordan den skal bedømme dens output.

Tree of Thoughts er inkluderet i ekspert sektionen fordi den normalt bliver implementeret ved hjælp af kode. Koden sender flere prompts til sprogmodellen og beder den stoppe efter hver trin for at evaluere dens output. Hvis man ikke selv vil programmere en iterativ Tree of Thought prompter, kan man bruge et eksisterende bibliotek, for eksempel her eller her.

En mere simpel version af Tree of Thought kræver dog ikke programmeringsevner. Dave Hulbert har implementeret Tree of Thought logik ved at give sprogmodellen et eksempel med tre eksperter. Forneden har vi oversat hans originale prompt til dansk:

Tree of Thought kan være særlig god til komplekse opgaver, men er unødvendig for simple opgaver.

Det kan være tidskrævende at skrive perfekte prompts. I stedet kan du få din sprogmodel til at lave sine egne prompts. En meget let implementering ville være at beskrive en opgave til sprogmodellen og bede den om at skrive en bedre prompt. Det er dog ikke sikkert, at sprogmodellen er særlig god til at skrive prompts, og derfor kræver den nok en del instruktion.

Der er online prompts generators, som er trænet til at omskrive prompts, så man kan få mest muligt ud af sprogmodellen. Der er gratise prompt generators, for eksempel den her, og også nogle, der koster lidt, som den her.

Selvfølgelig ville det være meget sjovere at instruere vores egen prompt generator, hvilket vi kan gøre igennem meta prompting. Da dette kræver mange instruktioner, ofte i et loop, bliver den her metode oftest implementeret igennem programmering. Et eksempel på sådan kode kan findes her. Et andet eksempel er Anthropics kode, som også er hurtig og let at implementere selv.

Hvis man inkluderer eksempler i for eksempel sin Chain of Thought prompt (se: Chain of Thought med og uden eksempler), er det ikke ligemeget hvilke eksempler, det er. Det er der flere grunde til:

1. Upassende eksempler

Det kan være, at du vil have modellen til at løse et komplekst problem, men har givet simple eksempler, eller modsat. Det kan også være, den har fået eksempler fra tekst-genererings opgaver, men skal løse en matematisk opgave. I sådanne tilfælde kan eksemplerne forvirre modellen og endda forværre outputtet, fordi den tror, at den skal bruge en upassende fremgangsmåde til at løse problemet

2. Forkerte eksempler

På samme måde er det ikke ideelt, hvis modellen får eksempler, hvor der er fejl. Det kan være, at tankegangen eller svaret er forkert, og det kan også lede modellen på afveje. Man kan sørge for, at eksemplerne er korrekte ved at have mennesker til at generere eller annotere dem, som i Manual Chain of Thought. Det kan dog være meget tidskrævende og dyrt at lave eller checke mange eksempler.

Active Prompting

Active Prompting er blevet foreslået som en løsning til iterativt at mindske forkerte eksempler. Det gør den ved følgende metode:

1. Uncertainty Estimation:

• Sprogmodellen bliver præsenteret for en mængde spørgsmål, som den skal træne på.
• Den besvarer alle spørgsmålene med Chain of Thought en hvis mængde gange.
• Spørgsmålene bliver scoret på, hvor usikker modellen er på svaret. Det kan for eksempel være, at svar hvor modellen har fået det samme svar 4 ud af 5 gange er 20% usikker. Andre metoder kan også bruges, dog skal man huske at det ikke er særlig værdifuldt at spørge modellen om, hvor sikker den er, da sprogmodeller generelt fremstår meget sikre.

2. Selection:

• Spørgsmålene, hvor modellen er mest usikker, bliver udvalgt

3. Annotation:

• De udvalgte spørgsmål bliver annoteret, det vil sige rettet, manuelt

4. Final Inference:

• De rettede usikre svar samt de mere sikre svar kan bruges som trænings eksempler i en Chain of Thought prompt

På den måde kan modellen generere langt de fleste af dens egne eksempler og kun de eksempler, hvor den virker usikker og laver fejl, bliver rettet til manuelt af et eller flere mennesker. Det sparer tid og dermed også penge. Til gengæld koster det regnekraft og mange tokens og dermed også penge at finde frem til spørgsmålene, der skal annoteres.

Hvordan ved man, om ens prompt ændringer har gjort modellens svar bedre eller værre? Hvad hvis man har tilføjet en prompt, som forhøjer den nødvendige regnekraft, eller får modellen til at performe langsommere, men dette fører ikke til en stor forbedring i svar? Man kan selvfølgelig kigge på svarene individuelt og vurdere deres kvalitet, men hvis man har en model, som skal tilgås af mange brugere med en bred vifte af spørgsmål, så kan det give mere mening at lave systematiske tests.

Hvordan tester jeg bedst min sprogmodel?

• Videnskabelig tilgang: Det er vigtigt, når man tester, at man kun laver få ændringer af gangen, så man kan gå tilbage og finde ud af, hvilke prompts der har været nyttige og ikke nyttige.
• Kvalitetsvurdering: Man kan teste ens model ved at spørge den en række spørgsmål med klare svar eller ved at bruge en anden model til at vurdere kvaliteten.
• Svarudvalg: Spørgsmålene skal være brede og repræsentative for de spørgsmål, brugerne kan finde på at stille, og der skal være mange af dem, så resultaterne bliver statistisk signifikante.

Nedenunder er et eksempel på, hvordan man kan bruge en prompt til at evaluere et svar: