多模态向量嵌入

接口标识: multimodalembedding 价格: 0.0005 元/次同步响应

接口介绍
接口文档
在线测试

接口简介

多模态向量嵌入接口把一段文本或一张图片编码为统一的1024维向量：文本与图片落在同一语义空间，语义相近则向量距离相近，可支撑跨模态检索、图文匹配、以图搜图、内容聚类去重等场景。content文本（单条最长512 Token）与file图片（JPG/JPEG/PNG/BMP，最大3MB）二选一，每次调用传其一；向量支持浮点数组或Base64编码串两种输出格式，后者按float32小端编码、可直接存入主流向量数据库。同步返回、维度固定1024，即取即入库。

详细介绍

![多模态向量嵌入接口封面](https://fujian.phpwc.com/pyapi/uploads/site/20261111/apiops_multimodalembedding__1794363424_68a2ab64e31b.png)

要让机器“看懂”文字和图片，得先把它们变成向量。多模态向量嵌入接口把文本与图片编码进同一个语义空间，让以文搜图、图文匹配成为可能。

## 接口概述
面向多模态检索、内容推荐、版权去重等场景，输入一段文本或一张图片，接口输出一个固定1024维的语义向量。由于文本与图片的向量位于同一语义空间，一段“白猫”文字的向量与一张白猫照片的向量天然相近，据此可实现跨模态检索、图文一致性匹配、以图搜图与相似内容聚类去重。向量支持浮点数组与Base64编码串两种输出格式，Base64按float32小端编码，可直接写入主流向量数据库。同步调用即取即存，向量维度固定，建库结构无需担心长度不一致。

## 核心能力
1. **统一语义空间**：文本与图片编码为同一1024维向量，跨模态内容可直接按距离比较。
2. **二选一输入**：content文本（单条最长512 Token）或file图片（JPG/JPEG/PNG/BMP，最大3MB），每次调用传其一。
3. **双输出格式**：output_format可选float浮点数组或base64编码串（float32小端），后者供向量库直存。
4. **维度固定**：dimension恒为1024，建库建索引无需处理变长向量。
5. **模态回显**：modality字段标明本次输入是文本（text）还是图片（image），便于混合入库管理。

## 产品优势
1. **接入简单**：单次POST同步返回向量，无任务、无回调、无轮询。
2. **输入灵活**：图片支持公网URL、Base64、文件ID三种方式传入，自动识别。
3. **检索更聪明**：以语义向量距离代替关键词匹配，文字未出现“白猫”二字也能找到白猫图片。
4. **降本增效**：一个接口同时覆盖文本与图片两类嵌入需求，无需分别维护两套嵌入链路。
5. **生态开放**：与平台其余向量类接口共用签名与响应结构，检索方案可平滑扩展。

## 效果展示
一句话理解：它就像给内容发“语义坐标”的翻译官——两段文字或两张图意思越接近，坐标离得越近。

以一次真实调用为例，你要传的参数：

| 参数 | 本次示例值 | 说明 |
|------|-----------|------|
| content | 一只白猫坐在窗台上晒太阳 | 待向量化文本，单条最长512 Token；与file二选一 |
| output_format | `"float"` | 向量输出格式：float浮点数组或base64编码串 |

你会拿到的结果：

| 返回内容 | 本次示例值 | 对应字段 |
|---------|-----------|---------|
| 语义向量 | `[0.0123, -0.0456, 0.0321, 0.0789]` | `embedding`，实际返回1024个数，示例截取前4个 |
| 向量维度 | `1024` | `dimension`，固定1024 |
| 输入模态 | `"text"` | `modality`，text文本 / image图片 |
| 用量信息 | 文本按token计 | `usage`，文本计input_tokens，图片计image_tokens |

API请求示例：

```text
POST /api/multimodalembedding
content=一只白猫坐在窗台上晒太阳&output_format=float
```

API响应示例：

```json
{
  "code": 0,
  "desc": "成功",
  "data": {
    "embedding": [0.0123, -0.0456, 0.0321, 0.0789],
    "dimension": 1024,
    "modality": "text",
    "usage": {
      "input_tokens": 12
    }
  },
  "request_id": "req-mmembed-demo01"
}
```

示例中embedding仅展示前4维，实际固定返回1024维；入库后对两个向量计算距离即可衡量语义相近程度，文本向量与图片向量可直接互相比较。

## 应用场景
1. **跨模态检索**：用一句话搜图片库、用图搜相关文案，支撑素材库与电商图搜。
2. **图文匹配审核**：判断配图与标题是否相符，筛除图文不符内容。
3. **相似去重**：对图库或语料按向量距离聚类，识别近重复内容与转载洗稿。
4. **推荐系统**：以向量作为内容特征，接入相似度推荐与个性化排序。

## 应用案例
一个素材库网站的运营希望用户“用一句话搜图”，传统标签检索靠人工打标、遗漏严重；接入接口后全库图片预先向量化入库，检索时把查询文本向量化再按距离排序，找图命中率明显提升。

一家内容平台的审核团队要找出封面与标题不符的内容，人工复查效率低；现在对封面图与标题分别求向量并设置距离阈值，超阈值内容自动进入人工队列，审核力量集中到真正可疑的条目上。

一款相册应用的开发者想做“找相似照片”功能，自建嵌入能力成本高；接入接口后对用户相册批量向量化并聚类，功能如期上线。

常见问题

Q：文本和图片能同时传入吗？

A：不能。content与file二选一，每次调用只传一段文本或一张图片，同传或两者都不传均返回参数错误。需要计算文本与图片的相似度时，分两次调用取得向量后再计算距离。

Q：base64输出与float有什么区别？

A：float返回浮点数组，可直接参与计算；base64把向量按float32小端打包为编码字符串，体积更小，适合直接存入支持二进制向量的向量数据库。output_format参数二选一，默认float。

Q：向量维度固定吗？

A：固定1024维，dimension字段回显实际维度。文本向量与图片向量维度一致、语义空间相同，可混合存入同一个向量库互相比较。

向量嵌入多模态语义检索以图搜图向量数据库 AI工具内容去重

接口地址： https://www.phpwc.cn/api/multimodalembedding

请求方式： POST

业务请求参数

参数名	类型	必填	默认值	说明
`content`	string	选填	-	待向量化的文本，与 file 二选一；单条不超过 512 Token。纯文本嵌入时填本项，图片嵌入时留空
`file`	string	选填	-	待向量化的图片，与 content 二选一。文件输入（自动识别）：公网URL / Base64(data:开头) / 文件ID(fileid_开头)；格式 JPG/JPEG/PNG/BMP，单张不超过 3MB
`output_format`	string	选填	`float`	向量输出格式：float 浮点数组（默认）/ base64 编码串（float32 小端，供向量库直存）

查看签名算法查看调用示例

响应参数

字段名	类型	说明
`code`	int	状态码，0=成功
`desc`	string	状态描述
`data`−	object	业务数据（成功时返回）
`embedding`	array	1024 维向量（output_format=base64 时为 base64 字符串）
`dimension`	int	向量维度，multimodal-embedding-v1 固定 1024
`modality`	string	输入模态：text 文本 / image 图片
`usage`	object	token 用量（文本计 input_tokens，图片计 image_tokens）
`request_id`	string	请求追踪ID

JSON 示例：

调用成功：

{
  "code": 0,
  "desc": "success",
  "data": { ... },
  "request_id": "abc123..."
}

调用失败：

{
  "code": 999,
  "desc": "错误描述",
  "request_id": "abc123..."
}

请先登录后使用在线测试