Thenlper: GTE-Base
Alibaba DAMO Academy GTE-base tworzy osadzenia tekstu angielskiego w 768-wymiarowych wektorach do wyszukiwania i oceny podobieństwa semantycznego. Ten konkretny model używa uśredniania, obsługuje sekwencje do 512 tokenów i dokumentuje porównanie kosinusowe z opcjonalną normalizacją.
O modelu
Ten opis przedstawia możliwości modelu. Dane wejściowe, wyniki i opcje dostępne w Ailoot podano poniżej dla wybranej metody.
GTE-base to bazowa wersja modelu General Text Embeddings wytrenowana przez Alibaba DAMO Academy. Ten koder tekstu angielskiego opiera się głównie na architekturze BERT i tworzy gęste wektory 768-wymiarowe. Jego trening wykorzystuje duży korpus par powiązanych ze sobą tekstów z różnych dziedzin, a deklarowane zastosowania obejmują wyszukiwanie informacji, ocenę podobieństwa semantycznego tekstów i ponowny ranking tekstu oparty na osadzeniach.
Przygotuj angielskie zapytania i fragmenty
Używaj czytelnego tekstu angielskiego zarówno do opisania potrzeby informacyjnej, jak i w przeszukiwanym materiale. Na przykład zapytanie o wymianę zużytego komponentu można porównać z krótkimi sekcjami dotyczącymi konserwacji, opisującymi kryteria wymiany, kroki kontroli i instrukcje zamawiania. Zachowaj nazwę komponentu i warunki rozróżniające te sekcje.
Opublikowany przykład koduje pytania i kandydujący tekst bezpośrednio, bez dodawania instrukcji zadania. Utrzymuj spójne przygotowanie w kolekcji i późniejszych zapytaniach. Zapisuj oryginalny fragment i jego identyfikator obok wektora, aby wynik w rankingu mógł pokazać reprezentowane informacje.
Uśrednianie i porównywanie
Procedura referencyjna uśrednia reprezentacje tokenów modelu przy użyciu maski uwagi, zapobiegając wpływowi pozycji dopełniających na wynik. Następnie pokazuje opcjonalną normalizację L2 i porównuje znormalizowane wektory za pomocą iloczynu skalarnego. Osobny przykład używa podobieństwa kosinusowego.
Wybierz i zachowaj spójną konfigurację normalizacji i porównania do indeksowania i wyszukiwania. Wyjście zawiera 768 składników liczbowych; nie zawiera wygenerowanej odpowiedzi. Na etapie ponownego rankingu kandydatów koduj kandydujące fragmenty tym samym modelem i porządkuj je według podobieństwa do zapytania. Nadal jest to porównanie oparte na osadzeniach, a nie stwierdzenie, że model wspólnie czyta każdą parę zapytanie–fragment jako cross-encoder.
Zakres języka angielskiego i wejścia do 512 tokenów
Karta tego konkretnego modelu ogranicza go do tekstu angielskiego i podaje, że długie wejścia są obcinane do maksymalnie 512 tokenów. Długi podręcznik powinien więc zostać podzielony na znaczące sekcje przed indeksowaniem. Zachowaj ostrzeżenie, wyjątek lub zastrzeżenie razem z modyfikowaną regułą, gdy te szczegóły są potrzebne do interpretacji fragmentu.
Dla zapytania o odstępy między przeglądami sekcja zawierająca odstęp i warunki pracy jest bardziej użyteczna niż fragment zawierający tylko liczbę. Zachowaj nagłówek lub tożsamość urządzenia, gdy pomaga to jednoznacznie zrozumieć instrukcję. Sprawdzaj długość wejścia w tokenach zamiast polegać na widocznej liczbie słów.
Korzystaj z fragmentów źródłowych stojących za oceną
Wyszukiwanie zwraca kandydatów z indeksowanej kolekcji. Sprawdź najwyżej ocenione fragmenty pod kątem konkretnego zadania i zachowaj ich położenie w źródle, przekazując je do etapu pisania odpowiedzi RAG. Powiązany fragment może omawiać kontrolę, nie upoważniając do wymiany; to rozróżnienie musi pozostać widoczne w materiale źródłowym.
GTE-base różni się od GTE-large, który tworzy wektory 1024-wymiarowe, oraz od późniejszych wielojęzycznych wersji GTE i wersji z rozszerzonym kontekstem. Jego opublikowana tożsamość modelu określa zakres tekstu angielskiego, reprezentację 768-składnikową i granicę 512 tokenów. Oceniając kolekcję do wyszukiwania, używaj tego konkretnego profilu z reprezentatywnymi zapytaniami i rekordami źródłowymi.
Ailoot Ultra · Reprezentacje wektorowe POST /v1/embeddings thenlper/gte-base
thenlper/gte-baseStart
Alibaba DAMO Academy GTE-base tworzy osadzenia tekstu angielskiego w 768-wymiarowych wektorach do wyszukiwania i oceny podobieństwa semantycznego. Ten konkretny model używa uśredniania, obsługuje sekwencje do 512 tokenów i dokumentuje porównanie kosinusowe z opcjonalną normalizacją.
- Akceptowane dane wejściowe
- Tekst · token_ids
- Wyniki
- embedding
Dostępne w Ailoot · dane wejściowe i metody
Ailoot Ultra · Reprezentacje wektorowe POST /v1/embeddings
- Wejście
text,token_ids- Wyjście
embedding- Format wyjściowy
- json
| Pole | Typ | Wymaganie | Wartości i limity | Domyślnie |
|---|---|---|---|---|
Polemodel | Typstring | WymaganieWymagane | Wartości i limity thenlper/gte-base | Domyślnie— |
Poleinput | Typstring|string[]|integer[]|integer[][] | WymaganieWymagane | Wartości i limity Minimalna liczba elementów: 1 Warunki: Niepusta, jednorodna partia danych. Identyfikatory tokenów są nieujemnymi liczbami całkowitymi. Budżet wejścia: Maksimum: 512 · Jednostka tekstu: bajty UTF8 · Jednostka tokenów: elementy tablicy tokenów | Domyślnie— |
Poleencoding_format | Typstring | WymaganieOpcjonalne | Wartości i limity float | Domyślniefloat |
Poledimensions | Typinteger | WymaganieNieobsługiwane | Wartości i limity Minimum: 1 | Domyślnie— |
Poleuser | Typjson_value | WymaganieOpcjonalne | Wartości i limity Warunki: Źródło dopuszcza to pole metadanych JSON; dokładna semantyka po stronie dostawcy zależy od modelu. | Domyślnie— |
Polesession_id | Typjson_value | WymaganieOpcjonalne | Wartości i limity Warunki: Źródło dopuszcza to pole metadanych JSON; dokładna semantyka po stronie dostawcy zależy od modelu. | Domyślnie— |
Poletrace | Typjson_value | WymaganieOpcjonalne | Wartości i limity Warunki: Źródło dopuszcza to pole metadanych JSON; dokładna semantyka po stronie dostawcy zależy od modelu. | Domyślnie— |
Poleprovider | Typobject | WymaganieOpcjonalne | Wartości i limity Warunki: Odrzucono provider.options | Domyślnie— |
Kombinacje materiałów wejściowych
text_to_embedding
Parametry i cykl życia metody
| Parametr | Kontrakt |
|---|---|
Parametrcontent_type | Kontraktapplication/json |
Parametrrequired | Kontraktmodel, input |
Parametrinput_shapes | Kontraktstring, string[], nonnegative_integer_token_array, nonnegative_integer_token_array[] |
Parametrencoding_format | Kontraktfloat |
Parametrdimensions_override | Kontraktfalse |
Parametrmax_input_budget_units | Kontrakt512 |
Parametrmultimodal_objects | Kontraktfalse |
Parametrmaterial_types | Kontrakttext, token_ids |
Cykl życia: synchronous_json
Zachowaj indeks i liczbę wymiarów każdego wektora.
Nawet jeśli nazwa modelu wskazuje na multimodalność, ta konkretna ścieżka nie obsługuje obiektów obrazów.
Cennik
Informacje taryfowe nie dodają opcji żądania. Obsługiwane parametry podano przy wybranej metodzie.
- Tryb szybki
- Nie określono Gdy wybrany jest tryb szybki
- Tryb flex
- Nie określono Gdy wybrany jest tryb flex
- Maksymalna intensywność rozumowania
- Nie określono Gdy dla maksymalnej intensywności rozumowania stosowana jest domyślna korekta (default)
Stawki Ailoot
Ceny według konfiguracji
| Konfiguracja | Tabela stawek | Opłata |
|---|---|---|
| KonfiguracjaPodstawowe stawki za tokeny | Tabela stawekStawka podstawowa | Opłata Wejście · Tokeny wejściowe $0.00001 / 1K tokenów Wyjście · Tokeny wyjściowe $0 / 1K tokenów Wejście · Odczyt cache — / 1K tokenów Wejście · Zapis do cache — / 1K tokenów Wejście · Zapis do cache, 1 godz. — / 1K tokenów |
Ailoot rezerwuje szacowaną kwotę przed żądaniem. Po otrzymaniu wyniku rozlicza ostateczną opłatę według zmierzonego użycia. Rozliczenie strumieniowania korzysta z końcowego rekordu użycia. Jak działają rezerwacja i rozliczenie →
Przykładowe żądania
Ailoot Ultra · Reprezentacje wektorowe
set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
python3 - <<'PY_REQUEST'
import json,os
from pathlib import Path
p=json.loads('{"model": "thenlper/gte-base", "input": ["First document", "Second document"]}')
Path("request.json").write_text(json.dumps(p,ensure_ascii=False))
PY_REQUEST
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/embeddings \
-H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \
--data-binary @request.json -D response-headers.txt -o result.json
python3 - <<'PY_RESULT'
import json
from pathlib import Path
r=json.loads(Path("result.json").read_text())
for x in r.get("data",[]): print(json.dumps({"index":x.get("index"),"embedding":x.get("embedding")}))
PY_RESULT
from openai import OpenAI
import os
client=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)
result=client.embeddings.create(model='thenlper/gte-base',input=["First document","Second document"])
print(result)
for item in result.data:print(item.index,item.embedding)
Odbieranie i zapisywanie wyników
Ailoot Ultra · Reprezentacje wektorowe
json
Zachowaj wszystkie ukończone wyniki
Zachowaj każdą kompletną zwróconą odpowiedź, plik i część treści.
Zachowaj każdy wektor wraz z jego indeksem. Liczba wektorów musi być równa liczbie elementów wejściowych; wszystkie wektory muszą mieć tę samą liczbę wymiarów.
Jeśli trzeba sprawdzić pierwotną odpowiedź
Nie wprowadzono endpointu zadań generowania osadzeń.
Pola odpowiedzi
| Pole | Typ |
|---|---|
Poleobject | Typstring |
Polemodel | Typstring |
Poledata[].index | Typinteger |
Poledata[].embedding | Typfinite float[] |
Poleusage | Typobject |
Błędy i dalsze kroki
| Odpowiedź | Warunek | Następny krok |
|---|---|---|
Odpowiedź400 · invalid_request_error | WarunekNieprawidłowe wymagane pola, sposób reprezentacji materiału lub wartość parametru | Następny krokPopraw wskazane pola przed nowym żądaniem utworzenia. |
Aliasy
Aliasy modelu
Ailoot Ultra thenlper/gte-base
Aliasy ścieżek metod
Użyj ścieżek metod podanych powyżej.
Powiązane ID modeli
FAQ · Thenlper: GTE-Base
- Jakie dane wejściowe i wyniki są dostępne?
POST /v1/embeddings·thenlper/gte-base:text,token_ids→embedding- Jakich pól używa żądanie?
POST /v1/embeddings·thenlper/gte-base:model,input,encoding_format,provider- Jakie limity obowiązują?
POST /v1/embeddings·thenlper/gte-base:input.budget.maximum:512(bajty UTF8);input.min_items:1