Nova Constant's logo

NOVA CONSTANT

RAG technique

Τόσα πολλά PDF, τόσο μικρό context

Το PassagePin RAG skill βρίσκει χρήσιμες σελίδες για τον AI agent κι αφήνει τις υπόλοιπες στο ράφι.

Ένα περιστέρι ανακτά μια σελίδα ενός κειμένου.

Η Παραγωγή με Ενίσχυση Ανάκτησης (Retrieval-Augmented Generation, RAG) αποτελεί μια τεχνική μέσω της οποίας ένα σύστημα τεχνητής νοημοσύνης απαντά σ' ερωτήματα αξιοποιώντας πληροφορίες που ανακτά προηγουμένως από κάποια εξωτερική πηγή. Αντί να βασίζεται αποκλειστικά σε όσα έχει μάθει το γλωσσικό μοντέλο κατά την εκπαίδευσή του, το σύστημα αναζητά σχετικό υλικό και το παρέχει στο μοντέλο, διευκολύνοντάς το να διαμορφώσει μια απάντηση.

Για παράδειγμα, φανταστείτε ότι διαθέτετε έναν φάκελο γεμάτο ερευνητικές εργασίες και θέλετε να μάθετε τι αναφέρουν για ένα συγκεκριμένο θέμα. Ένα σύστημα RAG μπορεί να αναζητήσει πληροφορίες μέσα σ' αυτές τις εργασίες, να εντοπίσει το σχετικό περιεχόμενο και να το χρησιμοποιήσει για ν' απαντήσει στο ερώτημά σας. Επιπλέον, η απάντηση μπορεί να περιλαμβάνει παραπομπές, επιτρέποντάς σας να ελέγξετε τις πρωτογενείς πηγές.

Το PassagePin Rag skill εφαρμόζει αυτή την προσέγγιση σε συλλογές αρχείων PDF. Παρέχει σ' έναν AI agent πράκτορα τεχνητής νοημοσύνης οδηγίες για τη χρήση του PassagePin, ώστε να εντοπίζει και να διαβάζει σελίδες σχετικές με ερώτημά σας και να χρησιμοποιήσει το περιεχόμενό τους για την απάντηση που θα σας δώσει.

Ο ρόλος του PassagePin

Το PassagePin αποτελεί το «Retrieval» μέρος του RAG. Το PassagePin CLI πραγματοποιεί αναζήτηση στη βιβλιοθήκη των PDF σας κι βρίσκει σελίδες που ενδέχεται να περιέχουν πληροφορίες για το ερώτημά σας. Στη συνέχεια, ο AI agent σας διαβάζει αυτές τις σελίδες και χρησιμοποιεί το περιεχόμενό τους για να συντάξει μια απάντηση.

Ένα skill είναι ένα σύνολο οδηγιών που μπορεί να ακολουθήσει ένας agent για να εκτελέσει μια εργασία. Στη συγκεκριμένη περίπτωση, το skill καθοδηγεί τον agent σχετικά με το πώς να χρησιμοποιεί το CLI του PassagePin, ν' αναζητά πληροφορίες στη βιβλιοθήκη σας, να διαβάζει τ' αποτελέσματα και να παραθέτει τις πηγές. Δεν χρειάζεται να γνωρίζετε εσείς τις εντολές του CLI για να υποβάλετε μια ερώτηση.

Για παράδειγμα, Θα μπορούσατε να θέσετε στον AI agent σας μιας ερώτηση όπως: "Τι λέει ο Perry Mehrling για τον ρόλο των ειδικών διαπραγματευτών στις χρηματοπιστωτικές αγορές; Ψάξε τα PDF στον φάκελο ~/Documents/mehrling-books"

Χρησιμοποιώντας το PassagePin Rag skill, ο agent θα χρησιμοποιήσει το PassagePin CLI για ν' αναζητήσει σχετικές πληροφορίες στη βιβλιοθήκη, θα διαβάσει τις σχετικές σελίδες των PDF και θα συντάξει μια απάντηση βάσει όσων εντοπίστηκαν.

Πως λειτουργεί η αναζήτηση

Για να μπορέσει το PassagePin CLI να πραγματοποιήσει μια αναζήτηση σε μια βιβλιοθήκη αρχείων PDF, απαιτείται ένα ευρετήριο. Το ευρετήριο αποτελεί μια αναπαράσταση των εγγράφων σ' έναν φάκελο, η οποία επιτρέπει τη διενέργεια αναζητήσεων. Το skill μπορεί ν' αξιοποιήσει ένα ήδη υπάρχον ευρετήριο μιας βιβλιοθήκης που αποθηκεύσατε με το γραφικό περιβάλλον του PassagePin. Εάν δεν εντοπιστεί κάποιο, το CLI μπορεί να δημιουργήσει ένα ξεχωριστό ευρετήριο.

Το PassagePin διεξάγει αναζήτηση βάσει νοήματος, όχι απλών λέξεων-κλειδί. Αντί να περιορίζεται στην αναζήτηση συγκεκριμένων λέξεων, εντοπίζει σελίδες με νόημα παρεμφερές προς το ερώτημά σας. Έτσι, μια αναζήτηση με θέμα «στέρηση ύπνου και μνήμη» μπορεί να οδηγήσει σε μια σελίδα ενός PDF που πραγματεύεται την έλλειψη ύπνου και την ανάκληση πληροφοριών, ακόμη και αν χρησιμοποιείται διαφορετική διατύπωση.

To skill αναθέτει στον agent να εκτελέσει αναζητήσεις για πέντε παραλλαγές του ερωτήματός σας. Δεν χρειάζεται να διατυπώσετε το «τέλειο» ερώτημα για το περιεχόμενο του ψάχνετε. Ο AI agent σας θ' ανιχνεύσει μέσω του ερωτήματός σας ποιος είναι ο στόχος της αναζήτησης και θα δομήσει εκείνος πέντε εναλλακτικές διατυπώσεις που ταιριάζουν στον στόχο σας. Αν η γλώσσα στην οποία επικοινωνείτε με τον agent (πχ, ελληνικά) είναι διαφορετική απ' αυτή στην οποία είναι γραμμένα τα PDF (πχ, αγγλικά), ο agent θα διατυπώσει τις αναζητήσεις στη γλώσσα του κειμένου των PDF αλλά μετά θα σας απαντήσει στη δική σας γλώσσα. Για κάθε μία απ' αυτές τις πέντες αναζητήσεις που θα εκτελέσει ο agent, θα βρεθούν οι έως και δέκα σχετικότερες σελίδες, οπότε συνολικά έως και πενήντα σελίδες από τα PDF σας. Ύστερα, ο agent θ' αφαιρέσει πιθανά διπλότυπα αποτελέσματα και θα επεξεργαστεί τις μοναδικές σελίδες ανά ομάδες, συγκεντρώνοντας τα σχετικά αποσπάσματα και τις αντίστοιχες πηγές τους για τη διαμόρφωση της απάντησης.

Αυτό σημαίνει ότι ο πράκτορας ενδέχεται να εξετάσει έως και πενήντα μοναδικά αποτελέσματα αναζήτησης για ένα και μόνο ερώτημα. Δεν απαιτείται η ανάγνωση κάθε σελίδας σε κάθε αρχείο PDF, ενώ καθίσταται δυνατή η αναζήτηση σε βιβλιοθήκες των οποίων το συνολικό κείμενο θα ήταν υπερβολικά μεγάλο για να υποβληθεί σε ένα ενιαίο αίτημα προς τον agent.

Γιατί να μην βάλουμε όλα τα PDF στο context της ΑΙ;

Ένα LLM μπορεί να επεξεργαστεί μια περιορισμένη ποσότητα κειμένου κάθε φορά. Αυτό ονομάζεται «context window» και περιλαμβάνει διάφορες γενικές οδηγίες, την ερώτησή σας, το ιστορικό της συνομιλίας σας καθώς κι οποιοδήποτε αρχείο δώσετε στο LLM.

Το μέγεθος αυτού του context μετριέται σε tokens, δηλαδή, μονάδες κειμένου. Ένα token είναι ένα τμήμα κειμένου, συνήθως μικρότερο από μια ολόκληρη λέξη. Πολλά πολυσέλιδα αρχεία PDF ενδέχεται να καταναλώσουν μεγάλο αριθμό από τα tokens που μπορεί να διαβάσει η τεχνητή νοημοσύνη κάθε φορά.

Η αποστολή μιας ολόκληρης της συλλογής PDF μπορεί να προκαλέσει διάφορα προβλήματα. Το κείμενο που περιέχουν τα PDF ενδέχεται να υπερβαίνει το όριο του context που μπορεί να επεξεργαστεί το LLM, αναγκάζοντάς το να παραλείψει μέρος του υλικού ή να το συνοψίσει. Ακόμη κι όταν το σύνολο του υλικού χωράει στο context, το LLM καλείται να επεξεργαστεί περισσότερο κείμενο και να διαχωρίσει το άσχετο υλικό από τις πληροφορίες που είναι απαραίτητες για την απάντηση του ερωτήματός σας.

Οσο περισσότερο γεμίζει το context που μπορεί να επεξεργαστεί ένα LLM, τόσο περισσότερο δυσκολεύεται να αξιοποιήσει τις σχετικές λεπτομέρειες. Σύμφωνα με μια μελέτη του 2024 με τίτλο «Lost in the Middle», τα μοντέλα τεχνητής νοημοσύνης συχνά παρέχουν λιγότερο ακριβείς απαντήσεις όταν οι σχετικές πληροφορίες βρίσκονταν στην μέση μεγάλων κειμένω συγκριτικά με τις περιπτώσεις όπου εμφανίζονταν κοντά στην αρχή ή το τέλος τους. Το φαινόμενο αυτό ποικίλλει ανάλογα με το LLM, ωστόσο ένα μεγάλο context δεν εγγυάται ότι το μοντέλο θα αξιοποιήσει κάθε λεπτομέρεια με την ίδια αποτελεσματικότητα.

Η τεχνική RAG παρέχει στον AI agent τη δυνατότητα να περιορίσει το διαθέσιμο υλικό πριν δώσει μια απάντηση. Αυτό μπορεί να μειώσει τον αριθμό των απαιτούμενων tokens συγκριτικά με την επανειλημμένη συμπερίληψη μιας ολόκληρης βιβλιοθήκης αρχείων PDF. Επιπλέον, μπορεί να μειώσει το κόστος κατά τη χρήση υπηρεσιών που χρεώνουν ανά token, ενώ παράλληλα εξοικονομεί περισσότερο χώρο στο context για την ερώτησή σας, τη συνολική συνομιλίας και την απάντηση του LLM.

Η εξοικονόμηση αυτή εξαρτάται απ' τη συγκεκριμένη εργασία που έχετε αναθέσει στη τεχνητή νοημοσύνη. Ο agent εξακολουθεί να καταναλώνει tokens για τη διεξαγωγή της αναζήτησης, την ανάγνωση των σελίδων και την επεξεργασία των αποτελεσμάτων. Μολαταύτα, μολονότι μια ερώτηση ενδέχεται να οδηγήσει στην ανάκτηση κι ανάγνωση έως και πενήντα σελίδων απ' τον agent, σίγουρα αυτό καταναλώνει πολύ λιγότερα tokens και context απ' το να διάβαζε ο agent το σύνολο μιας εκτενούς συλλογής από μεγάλα PDF.

Απαντήσεις που μπορείς να διασταυρώσεις

Το PassagePin RAG skill καθοδηγεί τον agent να τεκμηριώνει τους ισχυρισμούς του παραθέτοντας τα ονόματα των αρχείων PDF και τους αριθμούς των σελίδων που βάσισε την απάντησή του. Με αυτόν τον τρόπο, έχετε τη δυνατότητα να ανοίξετε τα σχετικά PDF και να ελέγξετε οι ίδιοι τα συγκεκριμένα παραθέματα του κειμένου ώστε να επιβεβαιώσετε ότι η τεχνητή νοημοσύνη δεν παρερμήνευσε το κείμενο.

Ιδιωτικότητα

Με το PassagePin, τα δεδομένα σας παραμένουν στον υπολογιστή σας. Όμως, όταν χρησιμοποιείται το PassagePin RAG skill τότε τ' αποτελέσματα των αναζητήσεων του PassagePin δίνονται σ' έναν AI agent. Αν δεν τρέχετε εσείς οι ίδιοι τοπικά στον υπολογιστή σας ένα LLM αλλά, αντ' αυτού, χρησιμοποιείτε κάποιο LLM όπως το ChatGPT, το Claude, κλπ, τότε ενδέχεται τ' αποτελέσματα των αναζητήσεων του PassagePin να καταλήξουν στην OpenAI, την Anthropic, κλπ. Συνεπώς, σ' αυτή την περίπτωση, καλό θα ήταν να μην χρησιμοποιείτε το συγκεκριμένο skill για ευαίσθητα προσωπικά δεδομένα όπως, πχ, το ιατρικό ιστορικό σας.