Visual ChatGPT：Microsoft ChatGPT 和 VFM 相結合
加入技術交流群
推薦：使用NSDT場景編輯器助你快速搭建可二次編輯的3D應用場景什么是Visual ChatGPT？
Visual ChatGPT 是一個包含 Visual Foundation 模型 （VFM） 的系統(tǒng)，可幫助 ChatGPT 更好地理解、生成和編輯視覺信息。VFM 能夠指定輸入輸出格式，將視覺信息轉換為語言格式，并處理 VFM 歷史記錄、優(yōu)先級和沖突。
因此，Visual ChatGPT 是一種 AI 模型，它充當了 ChatGPT 限制與允許用戶通過聊天進行交流并生成視覺效果之間的橋梁。
ChatGPT 的局限性在過去的幾周和幾個月里，ChatGPT 一直是大多數(shù)人的對話。但是，由于其語言訓練功能，它不允許處理和生成圖像。
而你有視覺基礎模型，如視覺變壓器和穩(wěn)定擴散，它們具有驚人的視覺功能。這就是語言和圖像模型的組合創(chuàng)造了Visual ChatGPT的地方。
什么是可視化基礎模型？視覺基礎模型用于對計算機視覺中使用的基本算法進行分組。他們采用標準的計算機視覺技能并將其轉移到AI應用程序上，以處理更復雜的任務。
Visual ChatGPT 中的提示管理器由 22 個 VFM 組成，其中包括文本到圖像、控制網(wǎng)、邊緣到圖像等。這有助于 ChatGPT 將圖像的所有視覺信號轉換為語言，以便 ChatGPT 更好地理解。那么Visual ChatGPT是如何工作的呢？
Visual ChatGPT 如何工作？Visual ChatGPT 由不同的組件組成，以幫助大型語言模型 ChatGPT 理解視覺對象。
Visual ChatGPT 的架構組件用戶查詢：這是用戶提交查詢的位置
提示管理器：這會將用戶的視覺查詢轉換為語言格式，以便 ChatGPT 模型可以理解。
Visual Foundation Models：它結合了各種VFM，例如BLIP（Bootstrapping Language-Image Pre-training），Stable Diffusion，ControlNet，Pix2Pix等。
系統(tǒng)原理：這提供了可視化聊天GPT的基本規(guī)則和要求。
對話歷史：這是系統(tǒng)與用戶進行交互和對話的第一個點。
推理的歷史：這使用不同VFM過去具有的先前推理來解決復雜的查詢。
中間答案：通過使用 VFM，模型將嘗試輸出幾個邏輯上低估的中間答案。
你們中的一些人可能認為這是 ChatGPT 處理視覺效果的強制解決方法，因為它仍然將圖像的所有視覺信號轉換為語言。上傳圖像時，提示管理器會合成包含文件名等信息的內(nèi)部聊天歷史記錄，以便 ChatGPT 可以更好地了解查詢所指的內(nèi)容。
例如，用戶輸入的圖像的名稱將充當操作歷史記錄，然后提示管理器將協(xié)助模型通過“推理格式”來確定需要對圖像執(zhí)行的操作。在 ChatGPT 選擇正確的 VFM 操作之前，您可以將此視為模型的內(nèi)部想法。
在下圖中，您可以看到提示管理器如何啟動可視 ChatGPT 的規(guī)則：
要開始您的 Visual ChatGPT 之旅，您需要先運行 Visual ChatGPT 演示：
# create a new environment
conda create -n visgpt python=3.8
# activate the new environment
conda activate visgpt
# prepare the basic environments
pip install -r requirement.txt
# download the visual foundation models
bash download.sh
# prepare your private openAI private key
export OPENAI_API_KEY={Your_Private_Openai_Key}
# create a folder to save images
mkdir ./image
# Start Visual ChatGPT !
python visual_chatgpt.py您還可以在Microsoft的Visual ChatGPT GitHub上了解更多信息。確保查看每個視覺基礎模型上的 GPU 內(nèi)存使用情況。
可視化聊天GPT的用例那么Visual ChatGPT能做什么呢？
圖像生成您可以要求Visual ChatGPT從頭開始創(chuàng)建圖像，并提供描述。您的圖像將在幾秒鐘內(nèi)生成，具體取決于可用的計算能力。其使用文本數(shù)據(jù)的合成圖像生成基于穩(wěn)定擴散。
更改圖像背景同樣，使用穩(wěn)定的擴散，Visual ChatGPT可以改變您輸入的圖像的背景。用戶可以向助手提供他們希望將背景更改為什么的任何描述，穩(wěn)定的擴散模型將繪制圖像的背景。
更改彩色圖像和其他效果您還可以根據(jù)為應用程序提供描述來更改圖像的顏色并應用效果。Visual ChatGPT將使用各種預訓練模型和OpenCV來更改圖像顏色，突出顯示圖像邊緣等。
對圖像進行更改Visual ChatGPT 允許您通過編輯和修改圖像中的對象來刪除或替換圖像的各個方面，并向應用程序提供定向文本描述。但是，需要注意的是，此功能需要更多的計算能力。
Visual ChatGPT 的局限性眾所周知，組織總需要努力解決某種形式的缺陷來改善其服務。
計算機視覺和大型語言模型的結合Visual ChatGPT 嚴重依賴 ChatGPT 和 VFM，因此，這些各個方面的準確性和可靠性會影響 Visual ChatGPT 的性能。使用大型語言模型和計算機視覺的組合需要大量的提示工程，并且可能難以實現(xiàn)熟練的性能。
隱私和安全Visual ChatGPT能夠輕松插入和拔出VFM，這可能是一些用戶對安全和隱私問題的擔憂。Microsoft需要更多地研究敏感數(shù)據(jù)如何不被泄露。
自我校正模塊Visual ChatGPT的研究人員遇到的限制之一是由于VFM的失敗和提示的多樣性而導致的生成結果不一致。因此，他們得出結論，他們需要研究一個自我更正模塊，以確保生成的輸出符合用戶的要求，并能夠進行必要的更正。
需要大量 GPU為了從Visual ChatGPT中受益并利用22個VFM，您將需要大量的GPU RAM，例如A100。根據(jù)手頭的任務，確保您了解有效完成任務所需的 GPU 量。
總結Visual ChatGPT仍有其局限性，但這是同時使用大語言模型和計算機視覺的重大突破。如果您想了解有關Visual ChatGPT的更多信息，請閱讀本文：Visual ChatGPT：使用Visual Foundation Models進行對話，繪圖和編輯
Visual ChatGPT 與 ChatGPT4 相似嗎？如果你嘗試過這兩種方法，你有什么看法？在下面發(fā)表評論！
原文鏈接：Visual ChatGPT：Microsoft ChatGPT 和 VFM 相結合 (mvrlink.com)
*博客內(nèi)容為網(wǎng)友個人發(fā)布，僅代表博主個人觀點，如有侵權請聯(lián)系工作人員刪除。
