说时迟那时快，微软第一时间发布开源库Visual ChatGPT，把 ChatGPT 的人工智能AI能力和Stable Diffusion[1]以及ControlNet[2]进行了整合。常常被互联网人挂在嘴边的“赋能”一词，几乎已经变成了笑话，但这回，微软玩了一次真真正正的AI“赋能”，彻底打通了人工智能“闭环”。
配置Visual ChatGPT环境
老规矩，运行Git命令拉取Visual ChatGPT项目：
进入项目目录：
确保本机的Python版本不低于Python3.10.9[3]
随后安装依赖文件：
这里有几个问题，一个是官方的Pytorch版本不是最新的，这里推荐1.13.1：
另外langchain的版本也推荐最新的107版本。
安装好依赖之后，官方要求运行项目中的download.sh文件：
这个shell脚本主要就是构建子项目ControlNet，同时下载所有的ControlNet模型，如果之前已经下载过相关模型，直接将模型文件拷贝到项目目录即可：
关于ControlNet，请移玉步至：登峰造极,师出造化,Pytorch人工智能AI图像增强框架ControlNet绘画实践,基于Python3.10[4]， 这里不再赘述。
接着配置Openai的环境变量：
如果是Windows用户，遵循下列步骤，配置好OPENAI_API_KEY：
至此，大体上环境就配置好了。
Visual ChatGPT部分代码修改：
和ControlNet一样，Visual ChatGPT将运行方式写死为cuda，这对于不支持cuda模式的电脑不太友好，比如苹果M系列芯片的Mac系统，如果我们直接运行程序：
就会报这个错误：
这里需要将visual-chatgpt.py文件中写死的cuda模式改写为mps模式：
关于MPS模式，请参照：闻其声而知雅意,M1 Mac基于PyTorch(mps/cpu/cuda)的人工智能AI本地语音识别库Whisper(Python3.10)[5] ，这里不再赘述。
接着创建训练图片的文件夹：
随后还可能触发langchain库的内存溢出问题，需要将这行代码屏蔽：
接着将内存缓冲区替换为保存上下文逻辑：
当我们以为万事俱备只欠东风的时候，发现每次运行都会内存溢出，对此，官方给出了解释：
这就是加载了所有模型之后的显存占用，整整70个G的显存占用，这是给人玩的吗？人们不禁要问。
没办法，只能另辟蹊径，将非必要的模型加载代码进行屏蔽操作，一顿修改，修改后的完整代码：
Thought: Do I need to use a tool? Yes
Action: the action to take, should be one of []
Action Input: the input to the action
Observation: the result of the action
Thought: Do I need to use a tool? No
: [your response here]
注意，以上代码是修改了MPS模式、langchain库bug以及屏蔽了多个模型后的修改版本。
运行Visual ChatGPT
折腾了大半天，终于可以无错误运行了：
程序返回：
编程的乐趣就在于，当你为了运行某个程序经历了千难万险，甚至濒临绝望的时候，突然，程序调通了，此时大脑皮层会大量分泌多巴胺（dopamine），那感觉，就像突然领悟了人生妙谛，又像是终于明白了天人化生、万物滋长的要道，简而言之，白日飞升，快乐加倍，那种精神上的享受，绝对比玩电子游戏或者享受美食更加的高级。
随后访问http://localhost:7860：
直接用中文开聊即可，不需要ControlNet那些令人厌烦的引导词。
后台程序逻辑：
通过观察，我们可以得知，虽然是中文聊天，但其实ChatGPT会把中文翻译为英文，将“给我一只大金毛”翻译为：“a golden retriever”。
随后通过模型训练生成图片，再将聊天记录添加到上下文列表中，关于ChatGPT的聊天上下文，请参照：重新定义性价比!人工智能AI聊天ChatGPT新接口模型gpt-3.5-turbo闪电更新,成本降90%,Python3.10接入[6]
当然，为了可以线下单机环境将Visual ChatGPT成功跑起来，所以屏蔽了多个ControlNet图像模型，因此有些图片场景并不那么尽如人意：
结语
有的时候，当我们称赞一项技术的时候，我们会称其为这样或者那样的行业标杆、教科书之类，但是对于ChatGPT来说，它已经超越了所谓的什么标杆，或者说得更准确一些，它是标杆中的标杆，其他的所谓的类ChatGPT产品，别说望其项背了，就连ChatGPT的尾气也闻不到，说白了，想碰瓷都不知道该怎么碰，因为神明早已在ChatGPT的命格中写下八个大字：前无古人，后无来者！最后，奉上修改后的项目代码，与众乡亲同飨：github.com/zcxey2911/visual_chatgpt_mps_cut
引用链接
Stable Diffusion: https://v3u.cn/a_id_283
ControlNet: https://v3u.cn/a_id_282
Python3.10.9: https://v3u.cn/a_id_200
登峰造极,师出造化,Pytorch人工智能AI图像增强框架ControlNet绘画实践,基于Python3.10: https://v3u.cn/a_id_282
闻其声而知雅意,M1 Mac基于PyTorch(mps/cpu/cuda)的人工智能AI本地语音识别库Whisper(Python3.10): https://v3u.cn/a_id_272
重新定义性价比!人工智能AI聊天ChatGPT新接口模型gpt-3.5-turbo闪电更新,成本降90%,Python3.10接入: https://v3u.cn/a_id_284