Evaluering af kvalitet

At evaluere generativ AI er en disciplin i sig selv. Generativ AI er ikke en søgemaskine, men giver et sandsynlighedsbaseret output baseret på en prompt. Derfor kan det være svært at tale om korrekthed, når man arbejder med generativ AI.

Der er forskellige variabler, der har indflydelse på svarkvaliteten af en generativ AI. Både sprogmodel, anvendelsen, guardrails, datakvaliteten og forskellige dele af applikationen har tilsammen en indflydelse.

Aarhus Kommune arbejder med forskellige aspekter af evaluering. Følg arbejdet her