OpenAI的Point-E是3D模型的DALL-E，這個速度極快的系統(tǒng)可以從文本中生成3D點(diǎn)云。

在推出針對文本和圖像的生成人工智能模型之后，OpenAI現(xiàn)在展示了下一步可能出現(xiàn)的東西：一個從文本到三維模型的生成器。通過文本描述，Point-E生成了3D點(diǎn)云，可以作為虛擬環(huán)境中的模型。除OpenAI之外，已經(jīng)有其他用于3D生成的工智能模型，如谷歌的Dreamfusion或Nvidia的Magic3D。

Point-E生成展示

然而，據(jù)說OpenAI的開源Point-E速度明顯更快，在一個Nvidia V100 GPU上可以在一到兩分鐘內(nèi)生成3D模型。

OpenAI的Point-E生成點(diǎn)云

實(shí)際上，Point-E并不生成傳統(tǒng)意義上的3D模型，而是代表3D形狀的點(diǎn)云。相比之下，谷歌的Dreamfusion生成NeRFs（Neural Radiance Fields）——需要更多的時間，但與點(diǎn)云相比，NeRFs可以呈現(xiàn)出更多明顯的細(xì)節(jié)。很顯然，Point-E的質(zhì)量相對較低，因而使得該系統(tǒng)的效率很高。

Point-E從文本描述中生成的點(diǎn)云的一些例子

當(dāng)Point-E生成點(diǎn)云后，再由另一個作為三維建模和設(shè)計標(biāo)準(zhǔn)的模型將其轉(zhuǎn)化為網(wǎng)格。根據(jù)OpenAI的說法，這個過程還不能完全避免出錯：在某些情況下，云的某些部分會被錯誤地處理，導(dǎo)致生成錯誤的網(wǎng)格。

Point-E中的兩個生成模型

具體來看，Point-E本身由兩個模型組成：一個GLIDE模型和一個image-to-3D模型。前者類似于DALL-E或Stable Diffusion等系統(tǒng)，可以從文本描述中生成圖像。第二個模型由OpenAI對圖像和相關(guān)3D目標(biāo)物體進(jìn)行訓(xùn)練，學(xué)習(xí)從圖像中生成相應(yīng)點(diǎn)云。為了更好地訓(xùn)練，OpenAI使用了數(shù)百萬個3D目標(biāo)和相關(guān)的元數(shù)據(jù)。

通過GLIDE模型在 A corgi 中創(chuàng)建一個圖像，然后通過點(diǎn)云擴(kuò)散模型創(chuàng)建一個3D corgi

該團(tuán)隊報告說，“這兩步過程可能會失敗”。但它是如此之快，以至于生成目標(biāo)的速度比Dreamfusion快近600倍。"這可能讓它在某些應(yīng)用上更加實(shí)用，或者發(fā)現(xiàn)更高質(zhì)量的3D對象，"該團(tuán)隊表示。

“我們已經(jīng)推出了Point-E，一個用于文本條件合成3D點(diǎn)云的系統(tǒng)。它首先生成合成視圖，然后根據(jù)這些視圖生成彩色點(diǎn)云。我們發(fā)現(xiàn)Point-E能夠有效地產(chǎn)生以文本提示為條件的多樣化和復(fù)雜的3D形狀。”

據(jù)OpenAI稱，Point-E是公司未來展開文本到三維合成業(yè)務(wù)的起點(diǎn)，目前已在Github上開放了源代碼。Point-E 2可能最早在明年撼動3D市場。

參考鏈接：https://the-decoder.com/point-e-openai-shows-dall-e-for-3d-models/