通俗原理解释，一文读懂CLIP、Diffusion Models与VAE

绘画模型基础原理

当前主流的绘画模型，以及视频生成模型都由3大基础模型组成，通常把这类型的ai应用称之为多模态，它们分别是CLIP、DiffusionModels和VAE。

CLIP原理

CLIP(Contrastive Language-Image Pre-Training)是一个由OpenAI推出的视觉语言预训练模型。它是图像与文本的连接桥梁，能够通过学习图像和自然语言描述之间的关系，实现图像和文本的相互理解。通过对比学习理解图像和文本语义关联的双塔模型。它将图像和文本映射到同一语义空间，匹配的对靠近，不匹配的对远离。

Diffusion Models (扩散模型) 的原理

‌Diffusion Models（扩散模型）‌ 是一种受到非平衡热力学启发的生成模型，它是一种先进的机器学习算法，一类基于深度学习的生成模型，其核心思想源于物理学中的扩散现象：通过模拟数据逐步“扩散”为噪声的过程，再逆向学习从噪声中重建原始数据。因其强大的生成能力（尤其在图像、音频、视频领域）、训练稳定性和生成多样性，成为当前生成式AI的核心技术。

扩散模型分为前向扩散和逆向扩散两个过程：