BAAI: bge-m3
Το BAAI BGE-M3 υποστηρίζει πυκνή, αραιή λεξική και πολυδιανυσματική ανάκτηση σε περισσότερες από 100 γλώσσες. Η πυκνή έξοδός του έχει 1024 διαστάσεις και το παράθυρο 8192 token χωρά από προτάσεις έως μεγαλύτερα έγγραφα, χωρίς να απαιτείται ειδική εντολή ερωτήματος.
Σχετικά με το μοντέλο
Αυτή η περιγραφή καλύπτει τις δυνατότητες του μοντέλου. Οι είσοδοι, έξοδοι και επιλογές που διατίθενται στο Ailoot παρατίθενται παρακάτω για την επιλεγμένη μέθοδο.
Το BGE-M3 είναι το πολυγλωσσικό μοντέλο ανάκτησης της BAAI, σχεδιασμένο γύρω από τρεις μορφές ευελιξίας: πολλαπλές λειτουργίες ανάκτησης, πολλές γλώσσες και διαφορετικά μήκη εισόδου. Ο κατασκευαστής τεκμηριώνει υποστήριξη για περισσότερες από εκατό γλώσσες και εισόδους έως 8192 tokens. Το ενοποιημένο μοντέλο του μπορεί να παρέχει πυκνά διανύσματα, αραιά λεξικά βάρη και πολυδιανυσματικές αναπαραστάσεις, ώστε ένας σχεδιασμός ανάκτησης να επιλέγει ή να συνδυάζει περισσότερα από ένα είδη στοιχείων.
Τρεις αναπαραστάσεις για ανάκτηση
Η πυκνή λειτουργία αντιστοιχίζει ένα κείμενο σε ένα διάνυσμα 1024 διαστάσεων. Υποστηρίζει σύγκριση του νοήματος που αναπαριστούν ένα ερώτημα και ένα απόσπασμα. Η αραιή λειτουργία αποδίδει βάρη στα tokens που υπάρχουν στο κείμενο για λεξική αντιστοίχιση. Η πολυδιανυσματική λειτουργία αναπαριστά ένα κείμενο με πολλά διανύσματα και χρησιμοποιεί αλληλεπίδραση τύπου ColBERT για να συγκρίνει το ερώτημα και το έγγραφο σε λεπτομερέστερο επίπεδο.
Αυτές οι έξοδοι έχουν διαφορετικούς ρόλους σε ένα ευρετήριο αναζήτησης. Ένα πυκνό διάνυσμα παρέχει μία αναπαράσταση για ένα απόσπασμα· ένας αραιός χάρτης βαρών tokens διατηρεί λεξικά σήματα· πολλά διανύσματα παρέχουν διαφορετική δομή σύγκρισης. Τα παραδείγματα του παραγωγού δείχνουν επιστροφή των επιλεγμένων αναπαραστάσεων και υπολογισμό βαθμολογιών για ζεύγη κειμένων. Αντιμετωπίστε την επιλεγμένη αναπαράσταση και μέθοδο βαθμολόγησης ως συνειδητό μέρος της εργασίας ανάκτησης.
Πολυγλωσσικό κείμενο και προετοιμασία εισόδου
Το BGE-M3 δεν απαιτεί προσθήκη της οδηγίας ανάκτησης που χρησιμοποιούσαν προηγούμενα μοντέλα BGE. Προετοιμάστε απευθείας το ερώτημα και τα πραγματικά αποσπάσματα πηγής. Μια πολυγλωσσική συλλογή γνώσης μπορεί να διατηρεί κάθε απόσπασμα στην αρχική γλώσσα του, με το αναγνωριστικό εγγράφου και την τοπική ρύθμιση. Χρησιμοποιήστε πραγματικά ερωτήματα χρηστών από τον προβλεπόμενο συνδυασμό γλωσσών όταν ελέγχετε τα αποτελέσματα.
Μια πρακτική εργασία είναι η αναζήτηση επεξηγήσεων πολιτικών, βοήθειας προϊόντων ή τεχνικής τεκμηρίωσης που διατηρείται σε πολλές γλώσσες. Κρατήστε ονόματα, αριθμούς μοντέλων και όρους που έχουν σημασία για το ερώτημα. Μια λεξική αναπαράσταση μπορεί να βοηθά στη διατήρηση αντιστοιχίσεων σε αυτούς τους όρους, ενώ μια πυκνή αναπαράσταση παρέχει σημασιολογικά στοιχεία. Το ανακτημένο απόσπασμα πρέπει να περιλαμβάνει το κείμενο και τη θέση πηγής που μπορεί να εξετάσει ο αναγνώστης.
Μεγαλύτερα έγγραφα και βαθμός ανάλυσης
Το παράθυρο εισόδου 8192 tokens επιτρέπει στο μοντέλο να αναπαριστά υλικό από σύντομες προτάσεις έως μεγαλύτερα έγγραφα. Επιλέξτε τον βαθμό ανάλυσης με βάση την απάντηση που πρέπει να επιστρέφει η αναζήτηση. Μια πλήρης ενότητα μπορεί να διατηρεί έναν ορισμό και τις εξαιρέσεις του· ένα μικρότερο απόσπασμα μπορεί να διευκολύνει τον εντοπισμό συγκεκριμένης οδηγίας. Ένα μεγάλο παράθυρο καθιστά δυνατές αυτές τις επιλογές, αλλά το διάνυσμα παραμένει συνδεδεμένο με το υλικό που πράγματι κωδικοποιήθηκε.
Κρατήστε κάθε απόσπασμα συνδεδεμένο με το γονικό έγγραφο και την έκδοσή του. Για μια εκτενή αναφορά, διατηρήστε την επικεφαλίδα και τη γύρω εξήγηση του σχετικού αριθμητικού στοιχείου ή συμπεράσματος. Μη βασίζεστε μόνο στον τίτλο ενός αποτελέσματος αναζήτησης όταν τα στοιχεία βρίσκονται στο σώμα. Αν αλλάξει η πηγή, κρατήστε επαρκή μεταδεδομένα για να ενημερώσετε τις αντίστοιχες αναπαραστάσεις ανάκτησης.
Υβριδικές βαθμολογίες και μεταγενέστερη χρήση
Ο κατασκευαστής συνιστά υβριδική ανάκτηση και κατόπιν χωριστό στάδιο επανακατάταξης. Τα παραδείγματά του υπολογίζουν πυκνές, αραιές και πολυδιανυσματικές βαθμολογίες και σχηματίζουν σταθμισμένους συνδυασμούς. Επιλέξτε τον συνδυασμό με βάση τα ερωτήματα και το λεξιλόγιο της συλλογής· ένα βάρος που εμφανίζεται σε παράδειγμα δεν είναι καθολική ρύθμιση για κάθε corpus.
Ένα χρήσιμο αποτέλεσμα είναι ένα σύνολο υποψηφίων των οποίων τα αποσπάσματα πηγής παραμένουν διαθέσιμα, με καταγεγραμμένη την αναπαράσταση και τη μέθοδο κατάταξης. Ένας χωριστός reranker μπορεί να βελτιώνει αυτό το σύνολο και ένα χωριστό στάδιο παραγωγής κειμένου μπορεί να χρησιμοποιεί το περιεχόμενο των αποσπασμάτων. Οι αραιές και πολυδιανυσματικές δυνατότητες του BGE-M3 είναι λειτουργίες του μοντέλου του παραγωγού· το πυκνό embedding, η λεξική έξοδος και η βαθμολογία ζεύγους είναι διακριτά παραδοτέα αντί για εναλλάξιμους πίνακες.
Ailoot Ultra · Διανυσματικές αναπαραστάσεις POST /v1/embeddings baai/bge-m3
baai/bge-m3Εισαγωγή
Το BAAI BGE-M3 υποστηρίζει πυκνή, αραιή λεξική και πολυδιανυσματική ανάκτηση σε περισσότερες από 100 γλώσσες. Η πυκνή έξοδός του έχει 1024 διαστάσεις και το παράθυρο 8192 token χωρά από προτάσεις έως μεγαλύτερα έγγραφα, χωρίς να απαιτείται ειδική εντολή ερωτήματος.
- Αποδεκτές είσοδοι
- Κείμενο · token_ids
- Αποτελέσματα
- embedding
Διαθέσιμα στο Ailoot · είσοδοι και μέθοδοι
Ailoot Ultra · Διανυσματικές αναπαραστάσεις POST /v1/embeddings
- Είσοδος
text,token_ids- Έξοδος
embedding- Παράθυρο συμφραζομένων
- 8.194 tokens
- Μορφή εξόδου
- json
| Πεδίο | Τύπος | Απαίτηση | Τιμές και όρια | Προεπιλογή |
|---|---|---|---|---|
Πεδίοmodel | Τύποςstring | ΑπαίτησηΥποχρεωτικό | Τιμές και όρια baai/bge-m3 | Προεπιλογή— |
Πεδίοinput | Τύποςstring|string[]|integer[]|integer[][] | ΑπαίτησηΥποχρεωτικό | Τιμές και όρια Ελάχιστο πλήθος στοιχείων: 1 Συνθήκες: Μη κενή ομοιογενής παρτίδα. Τα ID των token είναι μη αρνητικοί ακέραιοι. Προϋπολογισμός εισόδου: Μέγιστο: 8.194 · Μονάδα κειμένου: byte UTF8 · Μονάδα token: στοιχεία πίνακα token | Προεπιλογή— |
Πεδίοencoding_format | Τύποςstring | ΑπαίτησηΠροαιρετικό | Τιμές και όρια float | Προεπιλογήfloat |
Πεδίοdimensions | Τύποςinteger | ΑπαίτησηΔεν υποστηρίζεται | Τιμές και όρια Ελάχιστο: 1 | Προεπιλογή— |
Πεδίοuser | Τύποςjson_value | ΑπαίτησηΠροαιρετικό | Τιμές και όρια Συνθήκες: Η πηγή επιτρέπει αυτό το πεδίο μεταδεδομένων JSON· η ακριβής σημασιολογία του ανάντη συστήματος εξαρτάται από το μοντέλο. | Προεπιλογή— |
Πεδίοsession_id | Τύποςjson_value | ΑπαίτησηΠροαιρετικό | Τιμές και όρια Συνθήκες: Η πηγή επιτρέπει αυτό το πεδίο μεταδεδομένων JSON· η ακριβής σημασιολογία του ανάντη συστήματος εξαρτάται από το μοντέλο. | Προεπιλογή— |
Πεδίοtrace | Τύποςjson_value | ΑπαίτησηΠροαιρετικό | Τιμές και όρια Συνθήκες: Η πηγή επιτρέπει αυτό το πεδίο μεταδεδομένων JSON· η ακριβής σημασιολογία του ανάντη συστήματος εξαρτάται από το μοντέλο. | Προεπιλογή— |
Πεδίοprovider | Τύποςobject | ΑπαίτησηΠροαιρετικό | Τιμές και όρια Συνθήκες: Το provider.options απορρίφθηκε | Προεπιλογή— |
Συνδυασμοί υλικών εισόδου
text_to_embedding
Παράμετροι και κύκλος ζωής μεθόδου
| Παράμετρος | Σύμβαση |
|---|---|
Παράμετροςcontent_type | Σύμβασηapplication/json |
Παράμετροςrequired | Σύμβασηmodel, input |
Παράμετροςinput_shapes | Σύμβασηstring, string[], nonnegative_integer_token_array, nonnegative_integer_token_array[] |
Παράμετροςencoding_format | Σύμβασηfloat |
Παράμετροςdimensions_override | Σύμβασηfalse |
Παράμετροςmax_input_budget_units | Σύμβαση8194 |
Παράμετροςmultimodal_objects | Σύμβασηfalse |
Παράμετροςmaterial_types | Σύμβασηtext, token_ids |
Κύκλος ζωής: synchronous_json
Διατηρήστε τον δείκτη και τη διάσταση κάθε διανύσματος.
Το όνομα πολυτροπικού μοντέλου δεν επιτρέπει αντικείμενα εικόνας σε αυτήν ακριβώς τη διαδρομή.
Τιμολόγηση
Οι τιμολογιακές αναφορές δεν προσθέτουν επιλογές αιτήματος. Οι υποστηριζόμενες παράμετροι αναφέρονται στην επιλεγμένη μέθοδο.
- Γρήγορη λειτουργία
- Τυπική χρέωση Όταν επιλέγεται η γρήγορη λειτουργία
- Λειτουργία flex
- Τυπική χρέωση Όταν επιλέγεται η λειτουργία flex
- Μέγιστη προσπάθεια συλλογισμού
- Τυπική χρέωση Όταν η μέγιστη προσπάθεια συλλογισμού χρησιμοποιεί την προσαρμογή default
Χρεώσεις Ailoot
Τιμές ανά διαμόρφωση
| Διαμόρφωση | Πίνακας χρεώσεων | Χρέωση |
|---|---|---|
| ΔιαμόρφωσηΒασικές χρεώσεις ανά token | Πίνακας χρεώσεωνΒασική χρέωση | Χρέωση Είσοδος · Token εισόδου $0.00004 / 1K token Έξοδος · Token εξόδου $0 / 1K token Είσοδος · Ανάγνωση από την κρυφή μνήμη — / 1K token Είσοδος · Εγγραφή στην κρυφή μνήμη — / 1K token Είσοδος · Εγγραφή στην κρυφή μνήμη, 1 ώρα — / 1K token |
Το Ailoot δεσμεύει ένα εκτιμώμενο ποσό πριν από το αίτημα. Μετά το αποτέλεσμα, εκκαθαρίζει την τελική χρέωση βάσει της μετρημένης χρήσης. Η εκκαθάριση ροής χρησιμοποιεί την τελική καταγραφή χρήσης. Πώς λειτουργούν η δέσμευση και η εκκαθάριση →
Παραδείγματα αιτημάτων
Ailoot Ultra · Διανυσματικές αναπαραστάσεις
set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
python3 - <<'PY_REQUEST'
import json,os
from pathlib import Path
p=json.loads('{"model": "baai/bge-m3", "input": ["First document", "Second document"]}')
Path("request.json").write_text(json.dumps(p,ensure_ascii=False))
PY_REQUEST
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/embeddings \
-H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \
--data-binary @request.json -D response-headers.txt -o result.json
python3 - <<'PY_RESULT'
import json
from pathlib import Path
r=json.loads(Path("result.json").read_text())
for x in r.get("data",[]): print(json.dumps({"index":x.get("index"),"embedding":x.get("embedding")}))
PY_RESULT
from openai import OpenAI
import os
client=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)
result=client.embeddings.create(model='baai/bge-m3',input=["First document","Second document"])
print(result)
for item in result.data:print(item.index,item.embedding)
Λήψη και αποθήκευση αποτελεσμάτων
Ailoot Ultra · Διανυσματικές αναπαραστάσεις
json
Διατηρήστε όλα τα ολοκληρωμένα αποτελέσματα
Διατηρήστε κάθε πλήρη απάντηση, αρχείο και τμήμα περιεχομένου που επιστρέφεται.
Διατηρήστε κάθε διάνυσμα με τον δείκτη του. Το πλήθος των διανυσμάτων πρέπει να ισούται με το πλήθος των στοιχείων εισόδου· οι διαστάσεις πρέπει να είναι συνεπείς.
Αν χρειάζεται έλεγχος της αρχικής απάντησης
Δεν εισάγεται endpoint εργασιών ενσωμάτωσης.
Πεδία απάντησης
| Πεδίο | Τύπος |
|---|---|
Πεδίοobject | Τύποςstring |
Πεδίοmodel | Τύποςstring |
Πεδίοdata[].index | Τύποςinteger |
Πεδίοdata[].embedding | Τύποςfinite float[] |
Πεδίοusage | Τύποςobject |
Σφάλματα και επόμενα βήματα
| Απάντηση | Συνθήκη | Επόμενο βήμα |
|---|---|---|
Απάντηση400 · invalid_request_error | ΣυνθήκηΜη έγκυρα υποχρεωτικά πεδία, μη έγκυρη αναπαράσταση υλικού ή μη έγκυρη τιμή παραμέτρου | Επόμενο βήμαΔιορθώστε τα υποδεικνυόμενα πεδία πριν από νέο αίτημα δημιουργίας. |
Εναλλακτικά ονόματα
Εναλλακτικά ονόματα μοντέλου
Ailoot Ultra baai/bge-m3
Εναλλακτικές διαδρομές μεθόδων
Χρησιμοποιήστε τις διαδρομές μεθόδων που εμφανίζονται παραπάνω.
Σχετικά ID μοντέλων
FAQ · BAAI: bge-m3
- Ποιες είσοδοι και αποτελέσματα διατίθενται;
POST /v1/embeddings·baai/bge-m3:text,token_ids→embedding- Ποια πεδία χρησιμοποιεί το αίτημα;
POST /v1/embeddings·baai/bge-m3:model,input,encoding_format,provider- Ποια όρια ισχύουν;
POST /v1/embeddings·baai/bge-m3:ctx:8194;input.budget.maximum:8194(byte UTF8);input.min_items:1