图文对齐：图片和文字放进同一空间

实验目的

理解图文对齐的含义，以及对比学习和向量相似度的作用。

实验原理

用图像编码器和文本编码器分别把图片和文字映射为向量，放到同一向量空间。训练采用对比学习：让匹配的图文对相似度更高，不匹配的更低。相似度常用余弦相似度衡量。训练后即可跨模态比较，用于以文搜图、图像分类等任务。

实验器材

• 图片及其向量表示
• 文字及其向量表示
• 同一向量空间中的位置
• 相似度数值

实验步骤

1. 查看图片和文字在同一空间中的位置。
2. 选择一张图片，找出与它最近的文字。
3. 选择一段文字，找出与它最近的图片。
4. 比较匹配与不匹配的图文对的相似度。
5. 思考对齐为什么能支持以文搜图。

实验现象与结论

内容匹配的图片和文字距离较近、相似度较高；不匹配的距离较远、相似度较低。结论：图文对齐让不同形式的信息可以直接比较，这是以文搜图等多模态应用的基础。

常见问题

什么是图文对齐？

把图片和文字映射到同一向量空间，使含义匹配的图文位置相近，便于相互比较。

对比学习是怎么训练的？

拉近匹配图文对的向量，推远不匹配图文对的向量，使相似度反映内容是否相符。