Skip to content

[Feature]支持多模态 Embedding(如gemini-embedding-2) #6708

@LittleNightmare

Description

@LittleNightmare

Description / 描述

目前 AstrBot 的 Embedding 机制主要局限于文本,无法处理图片、视频和音频等知识库内容。

Use Case / 使用场景

  1. 视觉知识库:用户可以上传包含图表的文档或截图,机器人能够通过视觉特征匹配到相关的历史知识。
  2. 增强型长期记忆:当用户提到“我之前发给你的那张流程图”时,机器人可以通过多模态 Embedding 准确检索到对应的图片记录。
  3. 低成本多模态支持:现在 Gemini Embedding v2 可以在免费层级使用,是测试的好机会。

Willing to Submit PR? / 是否愿意提交PR?

  • Yes, I am willing to submit a PR. / 是的,我愿意提交 PR。

Code of Conduct

Metadata

Metadata

Assignees

No one assigned

    Labels

    area:providerThe bug / feature is about AI Provider, Models, LLM Agent, LLM Agent Runner.enhancementNew feature or requestfeature:knowledge-baseThe bug / feature is about knowledge base

    Type

    No type

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions