本周五，來自馬薩諸塞大學(xué)阿默斯特分校（UMass Amherst）、約翰霍普金斯大學(xué)、卡耐基梅隆大學(xué)的研究者們提出了一個神奇的研究：虛擬社區(qū)（Virtual Community）。
虛擬社區(qū)將真實世界的地理空間數(shù)據(jù)與生成模型相結(jié)合，為多種不同類型的智能體創(chuàng)建了一個具有社會根基的交互式、可擴(kuò)展開放世界場景。
該工作昨晚提交，立即吸引了一些 AI 圈大佬的關(guān)注，紐約大學(xué)助理教授謝賽寧表示，這對于智能體研究來說意義重大。
虛擬社區(qū)提供了一個統(tǒng)一的框架，用于模擬社區(qū)中人類和機(jī)器人豐富的社交和物理互動。它建立在通用物理引擎之上，并以現(xiàn)實世界的 3D 場景作為基礎(chǔ)。作者為人類智能體實現(xiàn)了一個虛擬角色模擬框架，而其中的機(jī)器人模擬則主要繼承自 Genesis。
虛擬社區(qū)通過在環(huán)境中填充配置機(jī)器人、人類角色配置文件和社會關(guān)系網(wǎng)絡(luò)的智能體（由 LLM 提供支持）來支持基于 3D 場景的智能體社區(qū)生成。
這一個個人物，都是有詳細(xì)背景資料和活動時間表的，他們也會按照這些設(shè)定行事。他們的社會關(guān)系以群組的形式構(gòu)建，每個群組包含一組智能體、文本描述和指定的群組活動場所，所以這些人物會被連接成一個有凝聚力的社群。
虛擬社區(qū)會基于真實世界地理空間數(shù)據(jù)生成場景及相應(yīng)的智能體。如下圖所示：場景生成組件（A）使用生成模型來增強(qiáng)紋理，并精煉粗糙的 3D 數(shù)據(jù)，同時精煉地理空間數(shù)據(jù)以簡化幾何結(jié)構(gòu)。它還利用生成方法創(chuàng)建交互式對象和精細(xì)的室內(nèi)場景。智能體生成組件（B）利用 LLM 基于場景描述生成智能體角色和社交關(guān)系網(wǎng)絡(luò)。（C）再基于 Genesis 引擎模擬開放世界場景中的虛擬角色社區(qū)和機(jī)器人。
令人感興趣的是，它可以模擬世界任何地方的 3D 場景，為智能體構(gòu)建出一個大規(guī)模社區(qū) —— 從紐約到倫敦、阿姆斯特丹、丹佛等等。
現(xiàn)有的 3D 地理空間數(shù)據(jù) API 在數(shù)量和多樣性方面提供了豐富的數(shù)據(jù)，但它們通常包含大量噪聲，并缺乏紋理和幾何形狀細(xì)節(jié)。為了彌補(bǔ)這一差距，作者提出了一種在線流程，對幾何和紋理進(jìn)行全面的清理和增強(qiáng)。該流程包含四個步驟：網(wǎng)格簡化、紋理細(xì)化、對象放置和自動注釋。
虛擬社區(qū)其中還具有正常運(yùn)行的交通系統(tǒng)，包括行人移動、車輛流動和公共交通運(yùn)營。作者開發(fā)了基于 OSM 數(shù)據(jù)的自動化動態(tài)交通生成機(jī)制，能夠快速重建城市道路網(wǎng)絡(luò)并在全球范圍內(nèi)實現(xiàn)自主交通模擬。
作為一個幫助未來人與機(jī)器協(xié)作進(jìn)行訓(xùn)練的平臺，機(jī)器人將成為虛擬社區(qū)不可或缺的一部分，它們無處不在并會其中的「人類」進(jìn)行無縫互動。目前看到已經(jīng)導(dǎo)入的機(jī)器人就有宇樹的人形機(jī)器人、波士頓動力的機(jī)器狗，還有四軸無人機(jī)、谷歌機(jī)器人等。
利用虛擬社區(qū)所釋放的新功能，作者引入了兩項新的具身化多智能體任務(wù)：一項涉及多名人類智能體的競選任務(wù)，以及一項同時涉及機(jī)器人和人類智能體的社區(qū)助理任務(wù)。為了成功完成這些任務(wù)，智能體需要具備在社區(qū)環(huán)境中進(jìn)行規(guī)劃的能力，以及與其他智能體互動的社交智能。
作為這兩項任務(wù)的基礎(chǔ)，如果沒有分配到特定任務(wù)，社區(qū)中的智能體會遵循默認(rèn)的日常計劃和慣例。在每輪游戲中，都會選擇多個智能體并為其分配一項任務(wù)。當(dāng)智能體被賦予任務(wù)時，它會暫停日常計劃，專注于完成社區(qū)中分配的社交任務(wù)。
在「競選」任務(wù)中，候選人智能體必須高效地規(guī)劃與社區(qū)內(nèi)的選民智能體建立聯(lián)系并進(jìn)行說服。由于選民的性格和社會關(guān)系各不相同，一些選民最初可能傾向于某些候選人，這就要求每位候選人制定適應(yīng)性策略，以在整個選舉過程中影響和改變選民的意見。
結(jié)果如下圖所示，采用 GPT-4o 主干的候選人比采用 GPT-3.5-turbo 主干的候選人擁有更高的平均得票率和轉(zhuǎn)化率，這意味著它更有能力在大多數(shù)場景下改變選民的觀點。
社區(qū)助手任務(wù)的場景則是兩個異構(gòu)機(jī)器人在開放世界環(huán)境中合作協(xié)助人類。這些任務(wù)要求智能體進(jìn)行合作規(guī)劃，以協(xié)助人類化身進(jìn)行日?；顒?—— 搬運(yùn)，即智能體陪同人們外出并幫助搬運(yùn)物品；以及遞送，即智能體將物品從源位置（室內(nèi)或室外）運(yùn)送到目的地。
實驗結(jié)果顯示，兩種基線方法在交付方面的表現(xiàn)均優(yōu)于攜帶，這反映了在動態(tài)開放世界中同時操控物體和跟隨人類的極高難度。
作者希望虛擬社區(qū)工作能夠幫助人們大規(guī)模進(jìn)行未來的社會智能研究，包括：1）機(jī)器人如何智能地合作或競爭；2）人類如何發(fā)展社會關(guān)系和建立社區(qū)；3）智能機(jī)器人和人類如何在開放世界存。