Sentence Transformers: paraphrase-MiniLM-L6-v2

paraphrase-MiniLM-L6-v2 ialah model embedding Sentence Transformers untuk ayat dan perenggan pendek. Ia memetakan setiap teks ke ruang vektor padat 384 dimensi, dengan carian semantik dan pengelompokan antara tugas yang dinyatakan pembuat. Seni bina yang diterbitkan menggabungkan transformer dengan mean pooling; panjang jujukan yang dikonfigurasi ialah 128 token.

Wakili petikan yang mahu dibandingkan

Sediakan ayat atau perenggan pendek sebenar, sambil mengekalkan subjek dan syarat penting. Koleksi praktikal boleh mengandungi soalan dengan ungkapan berbeza atau penerangan ringkas tentang topik berkaitan. Hasilkan embedding bagi setiap rekod dan simpan ungkapan asal serta pengecamnya supaya perbandingan kemudian dapat mengembalikan teks itu sendiri.

Contohnya, beberapa soalan bantuan boleh menerangkan kesulitan yang sama menggunakan istilah berbeza. Peringkat keserupaan boleh mengumpulkan calon itu, selepas itu ungkapannya boleh diperiksa untuk mengenal pasti masalah sebenar. Embedding ialah perwakilan berangka yang digunakan dalam perbandingan tersebut; ia tidak menulis parafrasa atau memberikan label kelompok akhir dengan sendirinya.

Mean pooling dan penggunaan vektor

Contoh pengekodan langsung pembuat mengambil kira topeng perhatian apabila mempuratakan perwakilan token, dengan mengecualikan kedudukan padding. Seni binanya secara jelas memilih mean pooling dan tidak memilih pooling CLS atau max. Simpan kaedah pooling itu bersama model ketika menyediakan vektor yang boleh dibandingkan.

Setiap perwakilan yang dikembalikan mempunyai 384 komponen. Indeks atau peringkat pengelompokan menggunakan vektor itu dengan konfigurasi keserupaan terpilih, manakala rekod sumber asal kekal tersedia untuk semakan. Gunakan model, penyediaan input dan tetapan perbandingan yang sama merentas item yang dibandingkan. Model lain yang mengembalikan 384 nilai bukan ruang embedding yang sama berdasarkan bentuk itu sahaja.

Input pendek dalam konfigurasi yang diterbitkan

Konfigurasi rujukan Sentence Transformer menggunakan panjang jujukan maksimum 128 token. Sediakan sumber panjang sebagai unit pendek yang koheren, bukannya satu perenggan terlalu besar. Ayat yang mengandungi peraturan mungkin memerlukan pengecualian dalam ayat berikutnya; simpan unit kecil itu bersama-sama apabila muat. Bilangan perkataan atau aksara tidak secara langsung menentukan panjang token.

Untuk set penerangan pendek, kekalkan nama dan sifat pembeza yang penting kepada perbandingan. Rekod yang hanya mengandungi kategori kabur mungkin sukar dibezakan daripada rekod lain jenis itu. Simpan perkaitan sumber di luar vektor supaya calon yang dikembalikan dapat diperiksa berdasarkan bahan asal.

Hasil carian dan pengelompokan

Dalam carian semantik, wakili pertanyaan dan bahan korpus dengan model yang sama ini dan kembalikan rekod calon bersama teks sumbernya. Dalam pengelompokan, peringkat lain membentuk kumpulan daripada vektor. Periksa rekod berhampiran sempadan kelompok sebelum menggunakan pengelompokan itu sebagai keputusan produk atau label automatik.

Output berguna ialah perwakilan kompak teks pendek yang dipautkan kepada rekod asalnya. Checkpoint paraphrase-MiniLM-L6-v2 tepat ini mempunyai konfigurasi pooling dan jujukannya sendiri. Varian all-MiniLM dan paraphrase berbilang bahasa ialah profil model berasingan; latihan, skop bahasa atau tetapan inputnya tidak tersirat daripada nama MiniLM yang dikongsi.