Chat met documenten
De volgende stap in informatieverwerking
In plaats van te vertrouwen op openbare datasets en algemene kennis, genereert "Chat met Documenten" context-specifieke antwoorden en analyses op basis van jouw vertrouwde interne bronnen. Upload jouw documenten en gebruik deze documenten als basis voor het beantwoorden van vragen in de chat!
Welk probleem kun je hiermee oplossen?
Als je vragen stelt aan een taalmodel ben je afhankelijk van de dataset waarmee het model is getraind. Dit is over het algemeen informatie die van het internet is gehaald. Niet-openbare bronnen staan waarschijnlijk niet in deze dataset. Door jouw documenten als bron voor de chat te gebruiken, weet je zeker dat het model over de informatie beschikt die jij nodig hebt voor het beantwoorden van jouw vragen.
Wat kun je hiermee doen?
Je kunt vragen stellen over jouw documenten, zoals het opnoemen van de hoofdpunten van een document of het samenvatten van het document. Ook kun je specifieke analyses laten uitvoeren door het taalmodel met behulp van jouw eigen dataset.
Wat zijn de nadelen van deze methode?
Het uploaden van documenten en het verwerken hiervan zijn extra stappen die je niet hoeft te zetten als je ook zonder de context van specifieke informatie prima antwoord kunt krijgen. Ook duurt het langer om een antwoord te genereren omdat er eerst de benodigde informatie uit het document moet worden opgehaald voordat het verzoek naar het taalmodel kan worden gestuurd.
Hoe werkt het chatten met documenten op de achtergrond?
De tekst uit de documenten die jij upload, wordt uit het document gehaald en opgedeeld in stukken. Deze stukken hebben een vast aantal tekens (1024 tekens) en we hebben ook een overlap ingesteld (128 tekens) tussen de stukken. Elk brokje tekst wordt opgeslagen als een vector in een vector database. Bij elke vraag wordt uit deze gegevens een selectie gemaakt op basis van gelijkenis met de vraag die wordt gesteld.
Hoe wordt deze selectie gemaakt?
De stukjes tekst zijn al omgezet in vectoren. Vectoren hebben meerdere dimensies die aangeven hoe “gelijk” deze tekst is aan andere tekst. Denk aan het RGB kleurensysteem. Een kleur met een vergelijkbare RGB waarde is ook een vergelijkbare kleur maar net anders. De vector database stelt ons dus in staat om de stukken tekst gerangschikt en gefilterd op te halen op basis van de vraag die wordt gesteld. We selecteren maximaal 100 stukken tekst van 1024 tekens om mee te sturen met de vraag.
Welke modellen zijn geschikt voor chat met documenten?
We hebben modellen geselecteerd met een grote context window om het mogelijk te maken om te chatten met documenten. We willen maximaal 100 stukken tekst van 1024 tekens mee kunnen sturen. Dit zijn meer dan 100,000 tekens. Modellen zoals GPT 3.5 kunnen zoveel tekst niet verwerken. Daarom raden wij aan om deze feature alleen te gebruiken in combinatie met GPT 4.0 en Gemini 1.5 Pro.
Is de inhoud van mijn document dan veilig?
Wij maken gebruik van een veilige opslag in Weaviate, een Nederlands bedrijf die een open source vector database aanbiedt. We versturen alle verzoeken van en naar deze database op een veilige manier. Ieder account op AI School krijgt een eigen tenant (gedeelte) op deze database zodat de gegevens niet gemengd zijn met die van anderen. De inhoud van de documenten blijft dus volledig vertrouwelijk en wordt niet gedeeld met derde partijen.