如何将文本转换为向量?(方法二)

 

文本转换为向量有多种方式:

方法一:通过模型服务灵积DashScope将文本转换为向量(推荐)

方法二:通过ModelScope魔搭社区中的文本向量开源模型将文本转换为向量

方法三:通过Jina Embeddings v2模型将文本转换为向量

方法四:通过百川智能向量化模型将文本转换为向量

 

本文介绍方法二:如何通过ModelScope魔搭社区中的文本向量开源模型文本转换为向量,并入库至向量检索服务DashVector中进行向量检索。

ModelScope魔搭社区旨在打造下一代开源的模型即服务共享平台,为泛AI开发者提供灵活、易用、低成本的一站式模型服务产品,让模型应用更简单。

 

ModelScope魔搭社区的愿景是汇集行业领先的预训练模型,减少开发者的重复研发成本,提供更加绿色环保、开源开放的AI开发环境和模型服务,助力绿色“数字经济”事业的建设。 ModelScope魔搭社区将以开源的方式提供多类优质模型,开发者可在平台上免费体验与下载使用。

 

在ModelScope魔搭社区,您可以:

  • 免费使用平台提供的预训练模型,支持免费下载运行

  • 一行命令实现模型预测,简单快速验证模型效果

  • 用自己的数据对模型进行调优,定制自己的个性化模型

  • 学习系统性的知识,结合实训,有效提升模型研发能力

  • 分享和贡献你的想法、评论与模型,让更多人认识你,在社区中成长

 

前提条件

 

CoROM文本向量

简介

模型ID

向量维度

度量方式

向量数据类型

备注

damo/nlp_corom_sentence-embedding_chinese-base

768

Cosine

Float32

  • 中文-通用领域-base

  • 最长文本长度:512

damo/nlp_corom_sentence-embedding_english-base

768

Cosine

Float32

  • 英文-通用领域-base

  • 最长文本长度:512

damo/nlp_corom_sentence-embedding_chinese-base-ecom

768

Cosine

Float32

  • 中文-电商领域-base

  • 最长文本长度:512

damo/nlp_corom_sentence-embedding_chinese-base-medical

768

Cosine

Float32

  • 中文-医疗领域-base

  • 最长文本长度:512

damo/nlp_corom_sentence-embedding_chinese-tiny

256

Cosine

Float32

  • 中文-通用领域-tiny

  • 最长文本长度:512

damo/nlp_corom_sentence-embedding_english-tiny

256

Cosine

Float32

  • 英文-通用领域-tiny

  • 最长文本长度:512

damo/nlp_corom_sentence-embedding_chinese-tiny-ecom

256

Cosine

Float32

  • 中文-电商领域-tiny

  • 最长文本长度:512

damo/nlp_corom_sentence-embedding_chinese-tiny-medical

256

Cosine

Float32

  • 中文-医疗领域-tiny

  • 最长文本长度:512

说明

关于CoROM文本向量模型更多信息请参考:CoROM文本向量

 

使用示例

说明

需要进行如下替换代码才能正常运行:

  1. DashVector api-key替换示例中的{your-dashvector-api-key}

  2. DashVector Cluster Endpoint替换示例中的{your-dashvector-cluster-endpoint}

  3. 使用上表中模型ID替换示例中的{model_id}

  4. 需注意,若所使用的模型若为tiny模型,则向量维度为256

Python示例:

from modelscope.pipelines import pipeline
from modelscope.utils.constant import Tasks
from typing import List
from dashvector import Client


pipeline_se = pipeline(Tasks.sentence_embedding, model='{model_id}')


def generate_embeddings(texts: List[str]):
    inputs = {'source_sentence': texts}
    result = pipeline_se(input=inputs)
    return result['text_embedding']


########### 以下为通用示例:向量入库DashVector和向量检索代码参考###########
# 创建DashVector Client
client = Client(
    api_key='{your-dashvector-api-key}',
    endpoint='{your-dashvector-cluster-endpoint}'
)

# 创建DashVector Collection
# 注意:需根据模型对应向量维度调整dimension参数
rsp = client.create('CoROM-text-embedding', dimension=768)
assert rsp
collection = client.get('CoROM-text-embedding')
assert collection

# 向量入库DashVector
collection.insert(
    ('ID1', generate_embeddings(['阿里云向量检索服务DashVector是性能、性价比具佳的向量数据库之一'])[0])
)

# 向量检索
docs = collection.query(
    generate_embeddings(['The best vector database'])[0]
)
print(docs)

 

GTE文本向量

简介

模型ID

向量维度

度量方式

向量数据类型

备注

damo/nlp_gte_sentence-embedding_chinese-base

768

Cosine

Float32

  • 中文-通用领域-base

  • 最长文本长度:512

damo/nlp_gte_sentence-embedding_chinese-large

768

Cosine

Float32

  • 中文-通用领域-large

  • 最长文本长度:512

damo/nlp_gte_sentence-embedding_chinese-small

512

Cosine

Float32

  • 中文-通用领域-small

  • 最长文本长度:512

damo/nlp_gte_sentence-embedding_english-base

768

Cosine

Float32

  • 英文-通用领域-base

  • 最长文本长度:512

damo/nlp_gte_sentence-embedding_english-large

768

Cosine

Float32

  • 英文-通用领域-large

  • 最长文本长度:512

damo/nlp_gte_sentence-embedding_english-small

384

Cosine

Float32

  • 英文-通用领域-small

  • 最长文本长度:512

说明

关于GTE文本向量模型更多信息请参考:GTE文本向量

 

使用示例

本模型使用示例同CoROM文本向量-使用示例,进行相应模型ID向量维度替换即可运行。

 

Udever 多语言通用文本表示模型

简介

模型ID

向量维度

度量方式

向量数据类型

备注

damo/udever-bloom-560m

1024

Cosine

Float32

  • 模型参数:560m

  • 最长文本长度:2048

damo/udever-bloom-1b1

1536

Cosine

Float32

  • 模型参数:1b1

  • 最长文本长度:2048

damo/udever-bloom-3b

2048

Cosine

Float32

  • 模型参数:3b

  • 最长文本长度:2048

damo/udever-bloom-7b1

4096

Cosine

Float32

  • 模型参数:7b1

  • 最长文本长度:2048

说明

关于Udever 多语言通用文本表示模型更多信息请参考:Udever 多语言通用文本表示模型

 

使用示例

本模型使用示例同CoROM文本向量-使用示例,进行相应模型ID向量维度替换即可运行。

 

StructBERT FAQ问答

简介

模型ID

向量维度

度量方式

向量数据类型

备注

damo/nlp_structbert_faq-question-answering_chinese-base

768

Cosine

Float32

  • 中文-通用领域-base

  • 最长文本长度:不限制

damo/nlp_structbert_faq-question-answering_chinese-finance-base

768

Cosine

Float32

  • 中文-金融领域-base

  • 最长文本长度:不限制

damo/nlp_structbert_faq-question-answering_chinese-gov-base

768

Cosine

Float32

  • 中文-政务领域-base

  • 最长文本长度:不限制

说明

关于StructBERT FAQ问答模型更多信息请参考:StructBERT FAQ问答

 

使用示例

说明

需要进行如下替换代码才能正常运行:

  1. 使用上表中模型ID替换示例中的{model_id}

from modelscope.pipelines import pipeline
from modelscope.utils.constant import Tasks
from typing import List

pipeline = pipeline(Tasks.faq_question_answering, model='{model_id}')


def generate_embeddings(texts: List[str], max_len=30):
    return pipeline.get_sentence_embedding(texts)

说明

本示例中,向量入库DashVector和向量检索代码,参考CoROM文本向量-使用示例中的通用示例部分


更多文本向量模型

模型名称

模型ID

向量维度

度量方式

向量数据类型

备注

Bert实体向量-中文-通用领域-base

damo/nlp_bert_entity-embedding_chinese-base

768

Cosine

Float32

  • 默认最长文本长度:128

  • 详情

英文文本向量表示模型-TextRetrieval

damo/nlp_minilm_ibkd_sentence-embedding_english-msmarco

384

Cosine

Float32

  • 默认最长文本长度:128

  • 详情

英文文本向量表示模型MiniLM-IBKD-STS

damo/nlp_minilm_ibkd_sentence-embedding_english-sts

384

Cosine

Float32

  • 默认最长文本长度:128

  • 详情

text2vec-base-chinese

thomas/text2vec-base-chinese

768

Cosine

Float32

  • 默认最长文本长度:未知

  • 详情

text2vec-large-chinese

thomas/text2vec-large-chinese

1024

Cosine

Float32

  • 默认最长文本长度:未知

  • 详情

说明

  1. 列表中模型示例同CoROM文本向量-使用示例,进行相应模型ID向量维度替换即可运行

  2. 更多ModelScope社区中的开源文本向量模型在本文中不再一一列举,更多文本向量模型待您探索、发现和共建,点击进入

     

热门相关:全民女神之重生腹黑千金   幻想世界大穿越   战神小农民   至尊凰妃   伏天剑尊