Intfloat: Multilingual-E5-Large
Το intfloat Multilingual-E5-Large κωδικοποιεί πολυγλωσσικό κείμενο σε διανύσματα 1024 διαστάσεων με μοντέλο 24 στρώσεων. Υποστηρίζει το εύρος εκατό γλωσσών του XLM-R, χρησιμοποιεί αγγλικά προθέματα query/passage για κάθε γλώσσα και περικόπτει τις εισόδους στα 512 tokens.
Σχετικά με το μοντέλο
Αυτή η περιγραφή καλύπτει τις δυνατότητες του μοντέλου. Οι είσοδοι, έξοδοι και επιλογές που διατίθενται στο Ailoot παρατίθενται παρακάτω για την επιλεγμένη μέθοδο.
Το Multilingual-E5-Large είναι το πολυγλωσσικό μοντέλο πυκνών embeddings κειμένου της intfloat, με είκοσι τέσσερις στρώσεις και έξοδο 1024 διαστάσεων. Αρχικοποιείται από το XLM-RoBERTa Large και εκπαιδεύεται περαιτέρω σε πολυγλωσσικά δεδομένα. Η κάρτα του μοντέλου περιγράφει υποστήριξη για το εύρος εκατό γλωσσών του XLM-R, επισημαίνοντας χαμηλότερη απόδοση σε γλώσσες με περιορισμένους πόρους. Τα διανύσματά του αναπαριστούν κείμενο για ανάκτηση, σημασιολογική σύγκριση και εργασίες αριθμητικών χαρακτηριστικών.
Διατηρήστε τον ρόλο της εισόδου σε κάθε γλώσσα
Τα προθέματα της εκπαίδευσης είναι «query:» και «passage:», ακόμη και για μη αγγλικό κείμενο. Ένα ερώτημα ανάκτησης και τα αποσπάσματα του corpus χρησιμοποιούν τους αντίστοιχους ρόλους τους. Τα προθέματα παραμένουν αυτές οι αγγλικές συμβολοσειρές, ενώ η διατύπωση προέλευσης διατηρεί τη δική της γλώσσα. Για συμμετρική σημασιολογική ομοιότητα, ανάκτηση παραφράσεων, εξόρυξη δίγλωσσων κειμένων ή χρήση ως χαρακτηριστικών, ο κατασκευαστής συνιστά «query:».
Μια πρακτική συλλογή μπορεί να περιέχει τεκμηρίωση σε πολλές υποστηριζόμενες γλώσσες. Κρατήστε τη γλώσσα, το αρχικό κείμενο και τη θέση προέλευσης κάθε αποσπάσματος μαζί με το διάνυσμά του. Προετοιμάστε πραγματικά ερωτήματα αναζήτησης του κοινού αντί να υποθέτετε ότι μία αγγλική δοκιμή αντιπροσωπεύει ολόκληρη τη συλλογή. Η έξοδος πρέπει να επιστρέφει το πραγματικό απόσπασμα και το πλαίσιό του, ώστε ο αναγνώστης να μπορεί να αξιολογήσει τι λέει.
Για μια εργασία πολυγλωσσικής αντιστοίχισης, κρατήστε σαφή τον σκοπό της σύγκρισης. Ένα υποψήφιο ζεύγος μεταφράσεων και ένα ερώτημα που αναζητά υποστηρικτικό απόσπασμα αποτελούν διαφορετικές προετοιμασίες. Οι οδηγίες του μοντέλου για τα προθέματα ρόλων παρέχουν συγκεκριμένη σύμβαση για αυτές τις εργασίες· η παράλειψη του προθέματος δεν είναι το τεκμηριωμένο ισοδύναμο, επειδή αλλάζει το μοτίβο εισόδου που χρησιμοποιήθηκε στην εκπαίδευση.
Pooling και σύγκριση διανυσμάτων
Το παράδειγμα του κατασκευαστή υπολογίζει τον μέσο όρο των αναπαραστάσεων tokens χρησιμοποιώντας μάσκα προσοχής για να αποκλείσει τη συμπλήρωση και κατόπιν κανονικοποιεί το διάνυσμα. Τα εσωτερικά γινόμενα κανονικοποιημένων διανυσμάτων δίνουν ομοιότητα συνημιτόνου. Ο πίνακας 1024 διαστάσεων αναπαριστά ένα προετοιμασμένο κείμενο. Κρατήστε το ακριβές μοντέλο και την προετοιμασία συνδεδεμένα με τα αποθηκευμένα διανύσματα, ώστε τα μεταγενέστερα ερωτήματα να χρησιμοποιούν την αντίστοιχη αναπαράσταση.
Αυτά τα διανύσματα μπορούν να παρέχουν κατατάξεις υποψηφίων ή χαρακτηριστικά για ένα μεταγενέστερο στάδιο ομαδοποίησης ή ταξινόμησης. Δεν μεταφράζουν την πηγή ούτε συνθέτουν απάντηση. Επιστρέψτε το υποκείμενο κείμενο του αποσπάσματος όταν ένα αποτέλεσμα ανάκτησης προορίζεται να υποστηρίξει αναγνώστη ή μεταγενέστερο στάδιο παραγωγής RAG.
Εκπαίδευση και γλωσσική κάλυψη
Η κάρτα του μοντέλου τεκμηριώνει αντιθετική προεκπαίδευση με ασθενή εποπτεία και στη συνέχεια εποπτευόμενη λεπτομερή ρύθμιση. Η πολυγλωσσική προετοιμασία περιλαμβάνει υλικό όπως ζεύγη τίτλου και αποσπάσματος, ζεύγη συνομιλίας και ζεύγη μεταφράσεων, ενώ δεδομένα ανάκτησης και κατανόησης γλώσσας με ετικέτες υποστηρίζουν το μεταγενέστερο στάδιο. Αυτό εξηγεί τις προβλεπόμενες εργασίες αναπαράστασης κειμένου χωρίς να αποδεικνύει ίση απόδοση σε κάθε γλώσσα.
Ο κατασκευαστής προσδιορίζει ρητά την υποβάθμιση σε γλώσσες με περιορισμένους πόρους ως περιορισμό. Ελέγξτε τις πραγματικές γλώσσες και τη διατύπωση της συλλογής, συμπεριλαμβανομένων συντομογραφιών, ονομάτων και εξειδικευμένου λεξιλογίου. Η πολυγλωσσική ετικέτα είναι χρήσιμη περιγραφή του εύρους· η συνάφεια του επιστρεφόμενου κειμένου εξακολουθεί να χρειάζεται εξέταση για το κοινό και την εργασία.
Μήκος και χρήσιμα αποτελέσματα
Η μεγάλη είσοδος περικόπτεται το πολύ στα 512 tokens. Προετοιμάστε ένα εκτενές έγγραφο ως συνεκτικά αποσπάσματα, συμπεριλαμβάνοντας το πρόθεμα ρόλου και τις σχετικές επικεφαλίδες. Διατηρήστε ορισμούς και επιφυλάξεις δίπλα στη δήλωση που επηρεάζουν και κρατήστε αναγνωριστικό του γονικού εγγράφου και έκδοση πηγής έξω από το διάνυσμα.
Ο κατασκευαστής συνιστά εστίαση στη σχετική σειρά των βαθμολογιών συνημιτόνου αντί να θεωρείται μια απόλυτη τιμή καθολικό μέτρο βεβαιότητας. Ένα χρήσιμο αποτέλεσμα είναι σύνολο υποψήφιων αποσπασμάτων, συγκρίσιμες αναπαραστάσεις κειμένου ή χαρακτηριστικά συνδεδεμένα με τις αρχικές εγγραφές τους. Αυτό το ακριβές μοντέλο παραμένει χωριστό από τα αγγλικά μόνο checkpoints E5 v2 και από τις παραλλαγές E5 που έχουν προσαρμοστεί με οδηγίες, ακόμη και όταν άλλο μοντέλο επιστρέφει επίσης 1024 τιμές.
Ailoot Ultra · Διανυσματικές αναπαραστάσεις POST /v1/embeddings intfloat/multilingual-e5-large
intfloat/multilingual-e5-large
intfloat/multilingual-e5-largeΕισαγωγή
Το intfloat Multilingual-E5-Large κωδικοποιεί πολυγλωσσικό κείμενο σε διανύσματα 1024 διαστάσεων με μοντέλο 24 στρώσεων. Υποστηρίζει το εύρος εκατό γλωσσών του XLM-R, χρησιμοποιεί αγγλικά προθέματα query/passage για κάθε γλώσσα και περικόπτει τις εισόδους στα 512 tokens.
- Αποδεκτές είσοδοι
- Κείμενο · token_ids
- Αποτελέσματα
- embedding
Διαθέσιμα στο Ailoot · είσοδοι και μέθοδοι
Ailoot Ultra · Διανυσματικές αναπαραστάσεις POST /v1/embeddings
- Είσοδος
text,token_ids- Έξοδος
embedding- Παράθυρο συμφραζομένων
- 512 tokens
- Μορφή εξόδου
- json
| Πεδίο | Τύπος | Απαίτηση | Τιμές και όρια | Προεπιλογή |
|---|---|---|---|---|
Πεδίοmodel | Τύποςstring | ΑπαίτησηΥποχρεωτικό | Τιμές και όρια intfloat/multilingual-e5-large | Προεπιλογή— |
Πεδίοinput | Τύποςstring|string[]|integer[]|integer[][] | ΑπαίτησηΥποχρεωτικό | Τιμές και όρια Ελάχιστο πλήθος στοιχείων: 1 Συνθήκες: Μη κενή ομοιογενής παρτίδα. Τα ID των token είναι μη αρνητικοί ακέραιοι. Προϋπολογισμός εισόδου: Μέγιστο: 512 · Μονάδα κειμένου: byte UTF8 · Μονάδα token: στοιχεία πίνακα token | Προεπιλογή— |
Πεδίοencoding_format | Τύποςstring | ΑπαίτησηΠροαιρετικό | Τιμές και όρια float | Προεπιλογήfloat |
Πεδίοdimensions | Τύποςinteger | ΑπαίτησηΔεν υποστηρίζεται | Τιμές και όρια Ελάχιστο: 1 | Προεπιλογή— |
Πεδίοuser | Τύποςjson_value | ΑπαίτησηΠροαιρετικό | Τιμές και όρια Συνθήκες: Η πηγή επιτρέπει αυτό το πεδίο μεταδεδομένων JSON· η ακριβής σημασιολογία του ανάντη συστήματος εξαρτάται από το μοντέλο. | Προεπιλογή— |
Πεδίοsession_id | Τύποςjson_value | ΑπαίτησηΠροαιρετικό | Τιμές και όρια Συνθήκες: Η πηγή επιτρέπει αυτό το πεδίο μεταδεδομένων JSON· η ακριβής σημασιολογία του ανάντη συστήματος εξαρτάται από το μοντέλο. | Προεπιλογή— |
Πεδίοtrace | Τύποςjson_value | ΑπαίτησηΠροαιρετικό | Τιμές και όρια Συνθήκες: Η πηγή επιτρέπει αυτό το πεδίο μεταδεδομένων JSON· η ακριβής σημασιολογία του ανάντη συστήματος εξαρτάται από το μοντέλο. | Προεπιλογή— |
Πεδίοprovider | Τύποςobject | ΑπαίτησηΠροαιρετικό | Τιμές και όρια Συνθήκες: Το provider.options απορρίφθηκε | Προεπιλογή— |
Συνδυασμοί υλικών εισόδου
text_to_embedding
Παράμετροι και κύκλος ζωής μεθόδου
| Παράμετρος | Σύμβαση |
|---|---|
Παράμετροςcontent_type | Σύμβασηapplication/json |
Παράμετροςrequired | Σύμβασηmodel, input |
Παράμετροςinput_shapes | Σύμβασηstring, string[], nonnegative_integer_token_array, nonnegative_integer_token_array[] |
Παράμετροςencoding_format | Σύμβασηfloat |
Παράμετροςdimensions_override | Σύμβασηfalse |
Παράμετροςmax_input_budget_units | Σύμβαση512 |
Παράμετροςmultimodal_objects | Σύμβασηfalse |
Παράμετροςmaterial_types | Σύμβασηtext, token_ids |
Κύκλος ζωής: synchronous_json
Διατηρήστε τον δείκτη και τη διάσταση κάθε διανύσματος.
Το όνομα πολυτροπικού μοντέλου δεν επιτρέπει αντικείμενα εικόνας σε αυτήν ακριβώς τη διαδρομή.
Τιμολόγηση
Οι τιμολογιακές αναφορές δεν προσθέτουν επιλογές αιτήματος. Οι υποστηριζόμενες παράμετροι αναφέρονται στην επιλεγμένη μέθοδο.
- Γρήγορη λειτουργία
- Τυπική χρέωση Όταν επιλέγεται η γρήγορη λειτουργία
- Λειτουργία flex
- Τυπική χρέωση Όταν επιλέγεται η λειτουργία flex
- Μέγιστη προσπάθεια συλλογισμού
- Τυπική χρέωση Όταν η μέγιστη προσπάθεια συλλογισμού χρησιμοποιεί την προσαρμογή default
Χρεώσεις Ailoot
Τιμές ανά διαμόρφωση
| Διαμόρφωση | Πίνακας χρεώσεων | Χρέωση |
|---|---|---|
| ΔιαμόρφωσηΒασικές χρεώσεις ανά token | Πίνακας χρεώσεωνΒασική χρέωση | Χρέωση Είσοδος · Token εισόδου $0.00002 / 1K token Έξοδος · Token εξόδου $0 / 1K token Είσοδος · Ανάγνωση από την κρυφή μνήμη — / 1K token Είσοδος · Εγγραφή στην κρυφή μνήμη — / 1K token Είσοδος · Εγγραφή στην κρυφή μνήμη, 1 ώρα — / 1K token |
Το Ailoot δεσμεύει ένα εκτιμώμενο ποσό πριν από το αίτημα. Μετά το αποτέλεσμα, εκκαθαρίζει την τελική χρέωση βάσει της μετρημένης χρήσης. Η εκκαθάριση ροής χρησιμοποιεί την τελική καταγραφή χρήσης. Πώς λειτουργούν η δέσμευση και η εκκαθάριση →
Παραδείγματα αιτημάτων
Ailoot Ultra · Διανυσματικές αναπαραστάσεις
set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
python3 - <<'PY_REQUEST'
import json,os
from pathlib import Path
p=json.loads('{"model": "intfloat/multilingual-e5-large", "input": ["First document", "Second document"]}')
Path("request.json").write_text(json.dumps(p,ensure_ascii=False))
PY_REQUEST
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/embeddings \
-H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \
--data-binary @request.json -D response-headers.txt -o result.json
python3 - <<'PY_RESULT'
import json
from pathlib import Path
r=json.loads(Path("result.json").read_text())
for x in r.get("data",[]): print(json.dumps({"index":x.get("index"),"embedding":x.get("embedding")}))
PY_RESULT
from openai import OpenAI
import os
client=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)
result=client.embeddings.create(model='intfloat/multilingual-e5-large',input=["First document","Second document"])
print(result)
for item in result.data:print(item.index,item.embedding)
Λήψη και αποθήκευση αποτελεσμάτων
Ailoot Ultra · Διανυσματικές αναπαραστάσεις
json
Διατηρήστε όλα τα ολοκληρωμένα αποτελέσματα
Διατηρήστε κάθε πλήρη απάντηση, αρχείο και τμήμα περιεχομένου που επιστρέφεται.
Διατηρήστε κάθε διάνυσμα με τον δείκτη του. Το πλήθος των διανυσμάτων πρέπει να ισούται με το πλήθος των στοιχείων εισόδου· οι διαστάσεις πρέπει να είναι συνεπείς.
Αν χρειάζεται έλεγχος της αρχικής απάντησης
Δεν εισάγεται endpoint εργασιών ενσωμάτωσης.
Πεδία απάντησης
| Πεδίο | Τύπος |
|---|---|
Πεδίοobject | Τύποςstring |
Πεδίοmodel | Τύποςstring |
Πεδίοdata[].index | Τύποςinteger |
Πεδίοdata[].embedding | Τύποςfinite float[] |
Πεδίοusage | Τύποςobject |
Σφάλματα και επόμενα βήματα
| Απάντηση | Συνθήκη | Επόμενο βήμα |
|---|---|---|
Απάντηση400 · invalid_request_error | ΣυνθήκηΜη έγκυρα υποχρεωτικά πεδία, μη έγκυρη αναπαράσταση υλικού ή μη έγκυρη τιμή παραμέτρου | Επόμενο βήμαΔιορθώστε τα υποδεικνυόμενα πεδία πριν από νέο αίτημα δημιουργίας. |
Εναλλακτικά ονόματα
Εναλλακτικά ονόματα μοντέλου
Ailoot Ultra intfloat/multilingual-e5-large
Εναλλακτικές διαδρομές μεθόδων
Χρησιμοποιήστε τις διαδρομές μεθόδων που εμφανίζονται παραπάνω.
Σχετικά ID μοντέλων
FAQ · Intfloat: Multilingual-E5-Large
- Ποιες είσοδοι και αποτελέσματα διατίθενται;
POST /v1/embeddings·intfloat/multilingual-e5-large:text,token_ids→embedding- Ποια πεδία χρησιμοποιεί το αίτημα;
POST /v1/embeddings·intfloat/multilingual-e5-large:model,input,encoding_format,provider- Ποια όρια ισχύουν;
POST /v1/embeddings·intfloat/multilingual-e5-large:ctx:512;input.budget.maximum:512(byte UTF8);input.min_items:1