Sökning i ontologin slår sökning i dokument

Ett företag kopplar en språkmodell till sitt dokumentarkiv: avtal, rutiner, policyer, mötesanteckningar, flera års material. Det här är retrieval-augmented generation, oftast förkortat RAG: när någon ställer en fråga hittar systemet de textavsnitt som liknar frågan mest och ger dem till modellen att svara utifrån.

En medarbetare i kundservice frågar vilka leveransvillkor en viss kund har. Systemet hittar tre versioner av kundens avtal, ett utkast till bilaga som aldrig undertecknades och ett mejl där någon föreslog andra villkor. Modellen blandar ihop dem till ett välformulerat, självsäkert svar som inte stämmer med något av dem. En annan dag hittar den i stället företagets allmänna villkor, inte den kundspecifika bilaga som går före dem.

Orsaken är hur dokumentsökning fungerar. Den hittar text vars innebörd liknar frågan. Den vet inte vilken version som gäller, vilket dokument som är ett utkast, vilken kund en klausul avser eller att en bilaga går före de allmänna villkoren. Det är inte egenskaper hos text. Det är tillstånd och relationer, och det är precis vad en modell av företaget, en ontologi, finns till för att hålla.

Där dokumentsökningen går sönder

Versioner. Ett ersatt avtal liknar frågan lika mycket som det gällande, så det hämtas lika gärna. Likhet har ingen uppfattning om vad som ”gäller”.

Relationer som försvinner vid uppdelningen. Dokument delas upp i bitar innan de indexeras. En klausul om leveransvillkor hamnar i en bit, sidan som namnger kunden i en annan, och kopplingen mellan dem är borta.

Frågor som egentligen är räkningar. ”Hur många öppna reklamationer har den här kunden?” står inte skrivet i något dokument. Det är en räkning över poster, och ingen mängd textlikhet kommer att ge svaret på ett tillförlitligt sätt.

Behörigheter som tillämpas för sent. Om indexet innehåller dokument som den som frågar inte får se är det skört att filtrera bort dem efter sökningen, och ett misstag visar konfidentiell text för fel person.

Aktualitet. Indexet är bara så aktuellt som den senaste ombyggnaden. Avtalet som undertecknades i morse finns inte i det ännu.

Källhänvisningar som inte avgör något. Svaret citerar ett avsnitt, men ingenting talar om för läsaren om avsnittet kommer från det dokument som gäller just nu.

Sök i modellen först, sedan i dokumenten

Börja från objektet. Frågan namnger en kund. Översätt det till kundobjektet i ontologin och följ sedan dess relationer: de gällande avtalen, deras bilagor, öppna ordrar, öppna reklamationer. Modellen av företaget gör den avgränsning som likhet inte klarar.

Sök i dokument som är kopplade till poster. Det gällande avtalet är det dokument som är kopplat till den avtalspost vars status är ”gällande”. Textsökningen körs sedan inom det dokumentet, inte över allt som företaget någonsin har skrivit.

Besvara strukturerade frågor med frågor mot registret. Antal, summor, datum och statusar kommer från posterna, beräknade, inte från avsnitt som råkar nämna dem.

Tillämpa behörigheter före sökningen. Personens rättigheter avgör vilka objekt som överhuvudtaget syns. Modellen får aldrig resten, så den kan inte läcka det.

Hänvisa till posten och versionen. Svaret länkar till avtalsposten, dess version och klausulen, så att personen kan kontrollera det med ett klick.

Dokumentsökning förblir användbar för kunskap som verkligen finns i löptext: rutiner, manualer, samlat kunnande. Även där fungerar den bättre när varje dokument är kopplat till de objekt det beskriver, så att sökningen kan börja på rätt ställe.

Det är så Hurukan är utformat. Varje dokument är kopplat till sin post, med revisioner och granskningar, som beskrivs under Projekt och dokument. Lagret Ontologi håller objekten, relationerna och tillstånden, och lagret Superintelligens är utformat för att först förankra sina modeller i den strukturen, med behörigheterna redan tillämpade. Det är under uppbyggnad. Var en sådan modell kommer ifrån från början är ämnet för ditt företag har redan en ontologi.

Ett test du kan göra i dag

Samla tio frågor som dina medarbetare faktiskt har ställt den här månaden om kunder, ordrar, leverantörer eller avtal. Skriv för var och en ner var det korrekta svaret egentligen finns:

• i ett dokument,
• i flera dokument som måste kombineras,
• i en post,
• eller i ett antal eller en summa över många poster.

Ställ sedan samma tio frågor till ditt nuvarande system för dokumentsökning, om du har ett, och kontrollera varje svar mot den verkliga källan.

Notera var fel version, fel kund eller ett påhittat antal dyker upp. Om felen samlas i alla kategorier utom ”ett dokument” har du hittat gränsen för dokumentsökning, och det är en gräns i utformningen, inte i modellen. Den bredare frågan om var språkmodeller hjälper och inte hjälper behandlas i där språkmodeller gör nytta.