一次性搞懂AI绘画是如何生成图像的！

　　为什么我们只需输入一句话，人工智能就能生成一幅画作呢？AI绘画究竟是如何生成图像的呢？本文将深入探讨AI绘画的五个核心问题，帮助您理解其工作原理。

　　前段时间与领导讨论AIGC时，提及了AI绘画原理的话题。原以为人工智能只是通过降噪来画图，但细节却知之甚少。好奇为何输入一句话，AI就能理解并生成一幅令人满意的画作。

　　趁着周末，我查阅了一些资料，并请教了学术界的朋友，终于大致明白了AI绘画的工作原理。现在，我将这些知识与大家分享，共同学习进步。

　　注意：本文主要用通俗易懂的语言阐述AI绘画原理，并配有插图和流程图示意。算法原理略去了很多细节，适合泛AIGC爱好者阅读和学习。

　　整个AI绘画过程，我拆解成了五个核心问题：

1. 我只输入了一句话，AI是怎么知道这句话描述的是什么？
2. AI绘画流程里提到的噪声图是哪里来的？
3. 就算有了噪声图，噪声图是怎么被一点一点去掉“马赛克”的？
4. AI是如何去掉无用的“马赛克”的，最终去掉后是否符合效果？
5. 就算有了最终效果，为什么重新作画的结果不一样？

　　这五个问题看似复杂，但只要我们了解AI绘画的绘制过程，就能明白它们问的是什么。

　　AI绘画发展迅速，最典型的就是去年的《太空歌剧院》，它获得了科罗拉多州艺术一等奖。当时看到这幅作品时，确实感到非常震撼。几年前的AI绘画效果还远不如此（如吴恩达团队用1.6万GPU和上万张数据，花了3天时间画出来的猫）。而现在，普通人只需输入一句话，几秒钟就能生成一幅高清、精致的作品。

　　那么，AI到底是如何越来越优秀，根据一句话和几个参数就能画出这么好的作品呢？

　　结论就是：去除马赛克，就能看清了。其实多年前某些成人网站就有了类似的技术，不过那个是1vs1还原，而AI绘画本质是1vsN还原，核心就是把马赛克一点一点抹掉，最终“露出”底图，完成所谓的“AI绘画”。

　　我们先看下AI绘画的使用场景。所有的软件或模型，基本上第一步都是让用户输入绘画关键词（Prompt）。以Diffusion Model为例，最右边的图像是正常图片，从右到左是不断模糊的，直至最后看不出是什么。这个过程就是算法的叠加噪声。你可以理解为不断对图片进行马赛克处理，这就是最著名的“扩散（Diffusion）”过程。

　　接下来，我们依次看五个核心问题：

1. 输入的文字，AI是怎么知道你想要描述的是什么？

　　按照上述原理，图片是被一点点抹去马赛克的。但我写的文本信息是怎么匹配到某一个马赛克图片的呢？我们都知道，目前AI绘画最主流的使用方式是在模型或软件里输入一句话（俗称Prompt），可以写主体、背景、人物、风格、参数等等，然后发送，就可以得到一张图。比如“一个穿背带裤打球的鸡”，效果如下：

　　AI绘画底层也是大模型，是一个图像模型。最早的时候文本控制模型的做法是让模型生成一堆图片，然后再让分类器从中选出一个最符合的。这种方式虽然可行，但当数据量大到一定程度时就会崩溃。因此，Openai在21年推出了OpenCLIP。CLIP的工作原理可以简单理解为：爬虫、文本+图片的信息对。

2. 噪声图是怎么来的？

　　噪声图是扩散模型生成的。扩散模型最早由斯坦福和伯克利学术专家在2015年相关论文里提出，依据正态分布给图像逐步增加噪声。到了2020年，加噪声的过程被改为根据余弦相似度的规律来处理。根据余弦调度逐渐正向扩散原始图，就像把一个完整的拼图一步一步拆开，直至完全打乱。

3. 噪声图是怎么被一点一点去掉“马赛克”的？

　　这个过程分为两个步骤：降维数据运算和提升运算效率；设计降噪网络，识别无用噪声，精准降噪。U-Net（卷积神经网络-图像分割）在这个过程中发挥了重要作用。它通过采样方式抽取一部分特征向量，识别无用噪声，然后通过降噪预测逐步减少噪声。这个过程会重复多次，直至最终图像清晰无噪声。

4. AI是如何确保去除特定的马赛克的？

　　U-Net模型通过训练集进行训练。训练集包含很多张已经叠加了随机噪声的图片（可以理解为很多添加了马赛克的图片）。AI从这些数据库里抽取图片出来尝试抹去噪声并与原图做比对。通过强化学习循环无数次后实现的效果是无论怎么随机抽并换一个新的噪声图片库AI抹掉的噪声后的图像也能和原图很像（风格都类似）。

5. 为什么重新作画的结果不一样？

　　由于AI绘画的不稳定性导致每次生成结果可能不同。如果想要稍微控制下AI绘画的效果可以通过调整Prompt、垫图、使用ControlNet以及训练模型等方式来实现。例如通过输入不同的描述词或更改局部Prompt来引导AI模型输出不同的图像；使用ControlNet通过任意条件或要求来控制生成效果等。

　　恭喜您阅读到这里！基本上应该已经了解了AI绘画的前因后果了。由于是把很多算法文章抽象为了白话文很多细节也都略去了抛砖引玉有遗漏或不当的地方欢迎和大家交流互相学习！