Et godt dansk svar kan stadig være forkert

Forestil jer en indkøbsagent, der får beskeder fra leverandører på dansk, svensk, norsk og finsk. Den skal finde en ordre, forklare en afvigelse og foreslå, hvad kollegaen gør nu. 'Nordiske sprog' fortæller ikke nok om den opgave. Skal agenten læse en vedhæftet ordre, skrive et svar, følge en intern vejledning eller ændre noget i et system? Skriv sprogkravet ved hvert trin. Sproget i menuerne og sproget i selve arbejdet er to forskellige spørgsmål.

Vælg også det materiale, agenten skal møde: originale dokumenter, scanninger, blandede sprog eller lokale forkortelser. Lad den norske procesansvarlige udpege de relevante skriftformer og dokumenttyper. Jeres egne behov skal afgøre prøven. I skal ikke bevise, at modellen behersker et helt sprog. I skal finde ud af, om den kan klare denne opgave med de kontroller, I har aftalt.

Bed leverandøren svare for den præcise produktudgave, model, datakilde og handling, I vil bruge. En liste over understøttede sprog er et nyttigt udgangspunkt. Den viser ikke, om agenten forstår jeres fagudtryk eller lader være med at gøre noget forkert. Vi har ikke udført en sammenlignende prøve af nordiske sprog. Det er derfor de lokale prøvesager, der skal give jer grundlag for at godkende brugen.

Lad lokale fagpersoner vælge prøvemateriale, som I har lov til at bruge. Tag både de almindelige sager og de små forskelle, der kan ændre beslutningen: et 'ikke', en uklar dato, en anden valuta, en forkortelse eller et manglende ordrenummer. Kan de oprindelige dokumenter ikke bruges, så anonymisér dem eller lav tænkte eksempler. Behold den tvetydige formulering. Det er netop den, I skal undersøge, om agenten kan håndtere.

Brug en fælles skabelon med prøvens id, land, sprog, input, godkendt kilde, forventet betydning, tilladt handling, forbudt handling og grund til at spørge et menneske. Tænk på en besked om, at varen ikke er modtaget, selv om ordren står som leveret. Det rigtige svar i denne tænkte prøve kan være at vise uoverensstemmelsen og bede om afklaring. En velformuleret bekræftelse på levering eller en ændring af betalingen ville være et forkert udfald.

Del typerne af problemer mellem landene, men lad kollegerne formulere dem lokalt. En direkte oversættelse giver ikke nødvendigvis den samme sværhedsgrad. Tvetydige datoer kan eksempelvis optræde forskelligt i de lokale dokumenter. Skriv den forventede betydning ned, før leverandøren viser sit resultat. Ellers risikerer det overbevisende svar at blive det facit, I bagefter bedømmer det imod.

Nexus skriver, at en ingeniør bygger den første procedure sammen med kundens team i dets egne værktøjer. Selskabet beskriver også, at agenter sender usikre sager videre til et menneske med den fulde kontekst.^1,2

Den hjælp er relevant, hvis de lokale kolleger kender det rigtige svar, men har brug for nogen til at bygge agentforløbet omkring prøvesagerne. Bed Nexus-ingeniøren bruge eksemplet med den manglende vare i jeres ordrevisning og knytte den lokale tekst til den rette ordre. Lad derefter fagpersonen bedømme fortolkningen. Ved en uklar formulering kan I undersøge, om overdragelsen viser både beskeden og de oplysninger, der mangler. Så får den lokale kollega noget konkret at tage stilling til, og I kan afprøve både forståelsen og vejen til hjælp.^1,2

Giv bedømmeren beskeden, de relevante kilder og agentens resultat. Forstår agenten problemet? Stammer oplysningerne fra den rigtige kilde? Må den udføre handlingen? Bedøm de spørgsmål hver for sig og notér særskilt, om sproget lyder naturligt. En elegant sætning opvejer ikke en forkert ordre, et manglende forbehold eller en ændring uden godkendelse. Skriv hvorfor et svar fejler, så leverandøren kan arbejde med årsagen og ikke blot gøre formuleringen pænere.

Copilot Studio beskriver, at videnssvar kan begrænses til det, brugeren har adgang til. Dust skelner mellem brugerens adgang til agenten og agentens adgang til data.^3,4

Det er beskrivelser af rettigheder, ikke bevis for forståelse af en nordisk ordrehenvendelse. Prøv derfor samme sproglige sag med og uden adgang til kilden. Mangler agenten dokumentationen, skal det forventede svar beskrive, hvad den må sige, og hvornår den skal spørge et menneske. Aftal, hvilke fejl der stopper lanceringen. En kritisk forkert handling skal kunne gøre det, selv om agenten har formuleret mange andre svar korrekt.^3,4

Relevance AI beskriver genkørsel af agentens evalueringer ved ændringer og muligheden for kladde-, aktive og fastlåste versioner.^5,6

Spørg, hvordan de funktioner kan knytte jeres lokale prøvesager til den version, landet bruger. Gem model, agentversion, instruktioner, kilder, adgangsindstillinger og dato sammen med hvert resultat. Ændrer I modellen eller den fælles proces, skal de berørte lokale prøver køres igen. En automatisk evaluering hjælper, når I kan se, hvad den bedømmer, og hvordan de lokale fagpersoners facit indgår. Et bestået standardsæt besvarer ikke jeres egne undtagelser.^5,6

Saml landets godkendelse på et ark: hvilken opgave er dækket, hvilke typer sager er prøvet, hvilke fejl står åbne, og hvilke begrænsninger gælder? Lad den lokale ansvarlige underskrive. I kan eksempelvis starte med, at agenten kun forbereder svar, som en medarbejder godkender. Giv den først lov til mere, når prøverne dækker den nye handling. På den måde bliver 'understøtter sproget' til en konkret beslutning om, hvilket arbejde agenten må udføre.