首页 › 人工智能实验 ›

以文搜图

以文搜图是多模态人工智能的常见应用:不用图片名称,只靠一句话就能找到相关图片。演示中可以改变描述的词语,观察检索结果的排序变化,了解系统为什么认为某张图“更像”你的描述。

人工智能初中
在实验室中查看
以文搜图实验封面

实验目的

理解以文搜图的基本思路,观察描述词变化对结果的影响。

实验原理

系统把文字和每张图片分别转换成一组数字(向量),使意思相近的文字和图片得到相近的向量。检索时计算文字向量与各图片向量的相似度,按相似度从高到低排序,排在前面的就是最匹配的图片。

实验器材

实验步骤

  1. 浏览图库,了解有哪些图片。
  2. 输入一句描述,如“草地上的小狗”。
  3. 查看系统返回的图片及其排序。
  4. 修改描述,增减颜色、数量、场景等词。
  5. 比较前后结果,说说变化的原因。

实验现象与结论

描述越具体,排在前面的图片通常越符合要求;描述含糊或有歧义时,结果可能不稳定。结论:以文搜图依靠文字与图片的相似度排序,而不是按文件名查找。

常见问题

以文搜图和按图片名称搜索有什么不同?
按名称搜索比对文字标签;以文搜图比较文字与图片内容的相似度,不依赖文件名。
为什么换个说法结果会变?
不同说法转换成的向量不同,与各图片的相似度也随之改变,排序就会变化。

同一课题的其他实验 ·

相关搜索:以文搜图 · 文字搜图原理 · 多模态检索 · 人工智能 初中 图文 · AI图片检索 · 以文搜图互动课件 · 以文搜图虚拟仿真实验