Thenlper: GTE-Base
Το Alibaba DAMO Academy GTE-base δημιουργεί embeddings αγγλικού κειμένου σε διανύσματα 768 διαστάσεων για ανάκτηση και σημασιολογική ομοιότητα. Το ακριβές μοντέλο χρησιμοποιεί pooling με μέσο όρο, υποστηρίζει ακολουθίες έως 512 tokens και τεκμηριώνει σύγκριση τύπου συνημιτόνου με προαιρετική κανονικοποίηση.
Σχετικά με το μοντέλο
Αυτή η περιγραφή καλύπτει τις δυνατότητες του μοντέλου. Οι είσοδοι, έξοδοι και επιλογές που διατίθενται στο Ailoot παρατίθενται παρακάτω για την επιλεγμένη μέθοδο.
Το GTE-base είναι το βασικού μεγέθους μοντέλο General Text Embeddings που εκπαιδεύτηκε από την Alibaba DAMO Academy. Αυτός ο κωδικοποιητής αγγλικού κειμένου βασίζεται κυρίως στο πλαίσιο BERT και παράγει πυκνά διανύσματα 768 διαστάσεων. Η εκπαίδευσή του χρησιμοποιεί μεγάλο corpus ζευγών συνάφειας από διαφορετικά πεδία, με ανάκτηση πληροφοριών, σημασιολογική ομοιότητα κειμένου και επανακατάταξη κειμένου βάσει embeddings μεταξύ των δηλωμένων εφαρμογών.
Προετοιμάστε αγγλικά ερωτήματα και αποσπάσματα
Χρησιμοποιήστε ευανάγνωστο αγγλικό κείμενο τόσο για την ανάγκη πληροφορίας όσο και για το υλικό προς αναζήτηση. Για παράδειγμα, ένα ερώτημα για αντικατάσταση φθαρμένου εξαρτήματος μπορεί να συγκριθεί με σύντομες ενότητες συντήρησης που περιγράφουν κριτήρια αντικατάστασης, βήματα επιθεώρησης και οδηγίες παραγγελίας. Διατηρήστε το όνομα εξαρτήματος και τις συνθήκες που διακρίνουν αυτές τις ενότητες.
Το δημοσιευμένο παράδειγμα κωδικοποιεί ερωτήματα και υποψήφιο κείμενο απευθείας, χωρίς πρόσθετη οδηγία εργασίας. Κρατήστε αυτή την προετοιμασία συνεπή στη συλλογή και στα μεταγενέστερα ερωτήματα. Αποθηκεύστε το αρχικό απόσπασμα και το αναγνωριστικό του δίπλα στο διάνυσμα, ώστε ένα καταταγμένο αποτέλεσμα να δείχνει την πληροφορία που αναπαραστάθηκε.
Pooling με μέσο όρο και σύγκριση
Η συνταγή αναφοράς υπολογίζει τον μέσο όρο των αναπαραστάσεων tokens του μοντέλου χρησιμοποιώντας τη μάσκα προσοχής, αποτρέποντας τη συνεισφορά θέσεων padding στο αποτέλεσμα. Έπειτα δείχνει προαιρετική κανονικοποίηση L2 και συγκρίνει τα κανονικοποιημένα διανύσματα μέσω του εσωτερικού γινομένου τους. Ένα χωριστό παράδειγμα χρησιμοποιεί ομοιότητα συνημιτόνου.
Επιλέξτε και διατηρήστε συνεπή ρύθμιση κανονικοποίησης και σύγκρισης για ευρετηρίαση και ανάκτηση. Η έξοδος περιέχει 768 αριθμητικές συνιστώσες· δεν περιέχει παραγόμενη απάντηση. Για στάδιο επανακατάταξης υποψηφίων, κωδικοποιήστε τα υποψήφια αποσπάσματα με το ίδιο μοντέλο και κατατάξτε τα βάσει ομοιότητας με το ερώτημα. Αυτό παραμένει σύγκριση βάσει embeddings, όχι ισχυρισμός ότι το μοντέλο διαβάζει από κοινού κάθε ζεύγος ερωτήματος και αποσπάσματος ως cross-encoder.
Αγγλικό εύρος και είσοδοι 512 tokens
Η ακριβής κάρτα περιορίζει αυτό το μοντέλο σε αγγλικό κείμενο και δηλώνει ότι οι μεγάλες είσοδοι περικόπτονται σε μέγιστο 512 tokens. Ένα μεγάλο εγχειρίδιο πρέπει επομένως να γίνεται ουσιαστικές ενότητες πριν την ευρετηρίαση. Κρατήστε μια προειδοποίηση, εξαίρεση ή επιφύλαξη μαζί με τον κανόνα που τροποποιεί όποτε αυτές οι λεπτομέρειες χρειάζονται για την ερμηνεία του αποσπάσματος.
Για ερώτημα σχετικά με διαστήματα συντήρησης, μια ενότητα που περιέχει το διάστημα και τη συνθήκη λειτουργίας είναι χρησιμότερη από τμήμα που περιέχει μόνο αριθμό. Διατηρήστε την επικεφαλίδα ή την ταυτότητα εξοπλισμού όταν αποσαφηνίζει την οδηγία. Ελέγξτε το μήκος όπως το μετρά ο tokenizer αντί να βασίζεστε στο ορατό πλήθος λέξεων.
Χρησιμοποιήστε τα αποσπάσματα πηγής πίσω από τη βαθμολογία
Η ανάκτηση επιστρέφει υποψηφίους από την ευρετηριασμένη συλλογή. Εξετάστε τα πρώτα αποσπάσματα για την ακριβή εργασία και κρατήστε τις θέσεις πηγής τους όταν τα δίνετε σε στάδιο σύνταξης απάντησης RAG. Ένα σχετικό απόσπασμα μπορεί να συζητά επιθεώρηση χωρίς να επιτρέπει αντικατάσταση· αυτή η διάκριση πρέπει να παραμένει ορατή στο υλικό πηγής.
Το GTE-base είναι διακριτό από το GTE-large, που παράγει διανύσματα 1024 διαστάσεων, και από μεταγενέστερες πολυγλωσσικές εκδόσεις GTE ή εκδόσεις εκτεταμένων συμφραζομένων. Η δημοσιευμένη ταυτότητα μοντέλου του ορίζει το αγγλικό εύρος, την αναπαράσταση 768 συνιστωσών και το όριο 512 tokens. Χρησιμοποιήστε αυτό το ακριβές προφίλ με αντιπροσωπευτικά ερωτήματα και εγγραφές πηγής όταν αξιολογείτε μια συλλογή ανάκτησης.
Ailoot Ultra · Διανυσματικές αναπαραστάσεις POST /v1/embeddings thenlper/gte-base
thenlper/gte-baseΕισαγωγή
Το Alibaba DAMO Academy GTE-base δημιουργεί embeddings αγγλικού κειμένου σε διανύσματα 768 διαστάσεων για ανάκτηση και σημασιολογική ομοιότητα. Το ακριβές μοντέλο χρησιμοποιεί pooling με μέσο όρο, υποστηρίζει ακολουθίες έως 512 tokens και τεκμηριώνει σύγκριση τύπου συνημιτόνου με προαιρετική κανονικοποίηση.
- Αποδεκτές είσοδοι
- Κείμενο · token_ids
- Αποτελέσματα
- embedding
Διαθέσιμα στο Ailoot · είσοδοι και μέθοδοι
Ailoot Ultra · Διανυσματικές αναπαραστάσεις POST /v1/embeddings
- Είσοδος
text,token_ids- Έξοδος
embedding- Μορφή εξόδου
- json
| Πεδίο | Τύπος | Απαίτηση | Τιμές και όρια | Προεπιλογή |
|---|---|---|---|---|
Πεδίοmodel | Τύποςstring | ΑπαίτησηΥποχρεωτικό | Τιμές και όρια thenlper/gte-base | Προεπιλογή— |
Πεδίοinput | Τύποςstring|string[]|integer[]|integer[][] | ΑπαίτησηΥποχρεωτικό | Τιμές και όρια Ελάχιστο πλήθος στοιχείων: 1 Συνθήκες: Μη κενή ομοιογενής παρτίδα. Τα ID των token είναι μη αρνητικοί ακέραιοι. Προϋπολογισμός εισόδου: Μέγιστο: 512 · Μονάδα κειμένου: byte UTF8 · Μονάδα token: στοιχεία πίνακα token | Προεπιλογή— |
Πεδίοencoding_format | Τύποςstring | ΑπαίτησηΠροαιρετικό | Τιμές και όρια float | Προεπιλογήfloat |
Πεδίοdimensions | Τύποςinteger | ΑπαίτησηΔεν υποστηρίζεται | Τιμές και όρια Ελάχιστο: 1 | Προεπιλογή— |
Πεδίοuser | Τύποςjson_value | ΑπαίτησηΠροαιρετικό | Τιμές και όρια Συνθήκες: Η πηγή επιτρέπει αυτό το πεδίο μεταδεδομένων JSON· η ακριβής σημασιολογία του ανάντη συστήματος εξαρτάται από το μοντέλο. | Προεπιλογή— |
Πεδίοsession_id | Τύποςjson_value | ΑπαίτησηΠροαιρετικό | Τιμές και όρια Συνθήκες: Η πηγή επιτρέπει αυτό το πεδίο μεταδεδομένων JSON· η ακριβής σημασιολογία του ανάντη συστήματος εξαρτάται από το μοντέλο. | Προεπιλογή— |
Πεδίοtrace | Τύποςjson_value | ΑπαίτησηΠροαιρετικό | Τιμές και όρια Συνθήκες: Η πηγή επιτρέπει αυτό το πεδίο μεταδεδομένων JSON· η ακριβής σημασιολογία του ανάντη συστήματος εξαρτάται από το μοντέλο. | Προεπιλογή— |
Πεδίοprovider | Τύποςobject | ΑπαίτησηΠροαιρετικό | Τιμές και όρια Συνθήκες: Το provider.options απορρίφθηκε | Προεπιλογή— |
Συνδυασμοί υλικών εισόδου
text_to_embedding
Παράμετροι και κύκλος ζωής μεθόδου
| Παράμετρος | Σύμβαση |
|---|---|
Παράμετροςcontent_type | Σύμβασηapplication/json |
Παράμετροςrequired | Σύμβασηmodel, input |
Παράμετροςinput_shapes | Σύμβασηstring, string[], nonnegative_integer_token_array, nonnegative_integer_token_array[] |
Παράμετροςencoding_format | Σύμβασηfloat |
Παράμετροςdimensions_override | Σύμβασηfalse |
Παράμετροςmax_input_budget_units | Σύμβαση512 |
Παράμετροςmultimodal_objects | Σύμβασηfalse |
Παράμετροςmaterial_types | Σύμβασηtext, token_ids |
Κύκλος ζωής: synchronous_json
Διατηρήστε τον δείκτη και τη διάσταση κάθε διανύσματος.
Το όνομα πολυτροπικού μοντέλου δεν επιτρέπει αντικείμενα εικόνας σε αυτήν ακριβώς τη διαδρομή.
Τιμολόγηση
Οι τιμολογιακές αναφορές δεν προσθέτουν επιλογές αιτήματος. Οι υποστηριζόμενες παράμετροι αναφέρονται στην επιλεγμένη μέθοδο.
- Γρήγορη λειτουργία
- Δεν έχει οριστεί Όταν επιλέγεται η γρήγορη λειτουργία
- Λειτουργία flex
- Δεν έχει οριστεί Όταν επιλέγεται η λειτουργία flex
- Μέγιστη προσπάθεια συλλογισμού
- Δεν έχει οριστεί Όταν η μέγιστη προσπάθεια συλλογισμού χρησιμοποιεί την προσαρμογή default
Χρεώσεις Ailoot
Τιμές ανά διαμόρφωση
| Διαμόρφωση | Πίνακας χρεώσεων | Χρέωση |
|---|---|---|
| ΔιαμόρφωσηΒασικές χρεώσεις ανά token | Πίνακας χρεώσεωνΒασική χρέωση | Χρέωση Είσοδος · Token εισόδου $0.00001 / 1K token Έξοδος · Token εξόδου $0 / 1K token Είσοδος · Ανάγνωση από την κρυφή μνήμη — / 1K token Είσοδος · Εγγραφή στην κρυφή μνήμη — / 1K token Είσοδος · Εγγραφή στην κρυφή μνήμη, 1 ώρα — / 1K token |
Το Ailoot δεσμεύει ένα εκτιμώμενο ποσό πριν από το αίτημα. Μετά το αποτέλεσμα, εκκαθαρίζει την τελική χρέωση βάσει της μετρημένης χρήσης. Η εκκαθάριση ροής χρησιμοποιεί την τελική καταγραφή χρήσης. Πώς λειτουργούν η δέσμευση και η εκκαθάριση →
Παραδείγματα αιτημάτων
Ailoot Ultra · Διανυσματικές αναπαραστάσεις
set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
python3 - <<'PY_REQUEST'
import json,os
from pathlib import Path
p=json.loads('{"model": "thenlper/gte-base", "input": ["First document", "Second document"]}')
Path("request.json").write_text(json.dumps(p,ensure_ascii=False))
PY_REQUEST
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/embeddings \
-H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \
--data-binary @request.json -D response-headers.txt -o result.json
python3 - <<'PY_RESULT'
import json
from pathlib import Path
r=json.loads(Path("result.json").read_text())
for x in r.get("data",[]): print(json.dumps({"index":x.get("index"),"embedding":x.get("embedding")}))
PY_RESULT
from openai import OpenAI
import os
client=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)
result=client.embeddings.create(model='thenlper/gte-base',input=["First document","Second document"])
print(result)
for item in result.data:print(item.index,item.embedding)
Λήψη και αποθήκευση αποτελεσμάτων
Ailoot Ultra · Διανυσματικές αναπαραστάσεις
json
Διατηρήστε όλα τα ολοκληρωμένα αποτελέσματα
Διατηρήστε κάθε πλήρη απάντηση, αρχείο και τμήμα περιεχομένου που επιστρέφεται.
Διατηρήστε κάθε διάνυσμα με τον δείκτη του. Το πλήθος των διανυσμάτων πρέπει να ισούται με το πλήθος των στοιχείων εισόδου· οι διαστάσεις πρέπει να είναι συνεπείς.
Αν χρειάζεται έλεγχος της αρχικής απάντησης
Δεν εισάγεται endpoint εργασιών ενσωμάτωσης.
Πεδία απάντησης
| Πεδίο | Τύπος |
|---|---|
Πεδίοobject | Τύποςstring |
Πεδίοmodel | Τύποςstring |
Πεδίοdata[].index | Τύποςinteger |
Πεδίοdata[].embedding | Τύποςfinite float[] |
Πεδίοusage | Τύποςobject |
Σφάλματα και επόμενα βήματα
| Απάντηση | Συνθήκη | Επόμενο βήμα |
|---|---|---|
Απάντηση400 · invalid_request_error | ΣυνθήκηΜη έγκυρα υποχρεωτικά πεδία, μη έγκυρη αναπαράσταση υλικού ή μη έγκυρη τιμή παραμέτρου | Επόμενο βήμαΔιορθώστε τα υποδεικνυόμενα πεδία πριν από νέο αίτημα δημιουργίας. |
Εναλλακτικά ονόματα
Εναλλακτικά ονόματα μοντέλου
Ailoot Ultra thenlper/gte-base
Εναλλακτικές διαδρομές μεθόδων
Χρησιμοποιήστε τις διαδρομές μεθόδων που εμφανίζονται παραπάνω.
Σχετικά ID μοντέλων
FAQ · Thenlper: GTE-Base
- Ποιες είσοδοι και αποτελέσματα διατίθενται;
POST /v1/embeddings·thenlper/gte-base:text,token_ids→embedding- Ποια πεδία χρησιμοποιεί το αίτημα;
POST /v1/embeddings·thenlper/gte-base:model,input,encoding_format,provider- Ποια όρια ισχύουν;
POST /v1/embeddings·thenlper/gte-base:input.budget.maximum:512(byte UTF8);input.min_items:1