Використання в якості embeddings моделі?

#2
by podarok - opened

Дякую за дослідження і за дану модель
Натрапив в своїх дослідженнях на неї

Наразі стою на порозі вибору моделі для практики психотерапевта і дана робота виявилася топовою в моєму виборі
Цікавить зусилля, які потрібно затратити, щоб використати дану модель в якості embeddings моделі для зберігання власного dataset практики в vector store

Але бачу, що використовуються Transformers або sentence-transformers, що трохи відходить від того, що вже вмію я

Якщо підкажете, куди мені рухатися - буду вдячний

Lang UK org

Доброго дня!

Так, ви можете використати цю модель для створення текстових ембедінгів своїх речень. Ви можете використати бібліотеку SentenceTransformer. Ось приклад:
model = SentenceTransformer('lang-uk/ukr-paraphrase-multilingual-mpnet-base')
embeddings = model.encode(sentences)

sentences - це список з вашими реченнями. Власне цей код і поверне ембедінги, які можна записати у векторну базу.

Дякую за підказку @yuriilaba

Створив GGUF варіант моделі https://huggingface.co/podarok/ukr-paraphrase-multilingual-mpnet-base
Використав туторіал https://github.com/ggml-org/llama.cpp/discussions/2948 для цього

І завелася модель в n8n та PGVector
image.png

podarok changed discussion status to closed

Sign up or log in to comment