我爱收益Visual ChatGPT连接 ChatGPT 和一系列 Visual Foundation Models 以实现在聊天过程中发送和接收图像。
请参阅我们的论文：Visual ChatGPT：使用 Visual Foundation 模型交谈、绘图和编辑
快速开始
# create a new environment
conda create -n visgpt python=3.8
# activate the new environment
conda activate visgpt
# prepare the basic environments
pip install -r requirement.txt
# download the visual foundation models
bash download.sh
# prepare your private openAI private key
export OPENAI_API_KEY={Your_Private_Openai_Key}
# create a folder to save images
mkdir ./image
# Start Visual ChatGPT !
python visual_chatgpt.py
显存占用
这里我们列出了每个视觉基础模型的GPU内存使用情况，可以修改self.tools较少的视觉基础模型以节省您的GPU内存：
| 基础模型 | 内存使用 (MB) |
|---|---|
| 图片编辑 | 6667 |
| 图片说明 | 1755 |
| T2I | 6677 |
| canny2image | 5540 |
| line2image | 6679 |
| hed2image | 6679 |
| scribble2image | 6679 |
| 姿态图像 | 6681 |
| BLIPVQA | 2709 |
| seg2image | 5540 |
| 深度2图像 | 6677 |
| 正常2图像 | 3974 |
| 指导像素2像素 | 2795 |
