天黑請(qǐng)閉眼，AI 請(qǐng)睜眼

撰文：南安

Deep Wolf：天黑請(qǐng)閉眼，歡迎來(lái)到狼村。

狼人殺游戲，是一種基于自由自然語(yǔ)言交流的社交推理游戲。在狼人殺中，所有玩家（通常為 5-10 人）被隨機(jī)分配一個(gè)角色（如平民、狼人、女巫、叛徒和預(yù)言家等），他們?cè)噲D推斷其他玩家的角色。

(資料圖片)

“好人陣營(yíng)”中有平民、女巫和預(yù)言家等角色，在白天投票驅(qū)逐狼人；“狼人陣營(yíng)”方面，狼人試圖在夜晚殺死平民，而叛徒試圖擾亂平民。玩家必須欺騙其他玩家才能生存，對(duì)話之中不可避免地包含大量虛假信息。為了在游戲中獲勝，玩家需要記住對(duì)話的細(xì)節(jié)，對(duì)其他玩家的角色做出假設(shè)，并發(fā)現(xiàn)其中的矛盾。

不少玩家表示自己是“狼人殺黑洞”，沒(méi)有辦法準(zhǔn)確識(shí)別他人的“謊言”，抑或是不知道如何思考話術(shù)和邏輯而消極應(yīng)對(duì)——“我是好人，昨晚發(fā)生了什么我都不知道。反正我是‘好人’。”即使拿到“預(yù)言家”“女巫”等功能性身份例如，也不會(huì)推理發(fā)言，只能渾水摸魚。

如果讓 AI 玩狼人殺游戲，它會(huì)有怎樣的表現(xiàn)？近日，一款名為 Deep Wolf的 AI 語(yǔ)言模型被證明能夠理解自然語(yǔ)言并扮演狼人殺中的角色，在游戲中成為人類的游戲助手或競(jìng)技對(duì)手。Deep Wolf 通過(guò) Longformer 理解語(yǔ)言，然后用強(qiáng)化學(xué)習(xí)方法來(lái)訓(xùn)練，最終決定投票誰(shuí)出局或者“刀”誰(shuí)。

相關(guān)研究論文以“Playing the Werewolf game with artificial intelligence for language understanding”為題，已發(fā)表在預(yù)印本網(wǎng)站 arXiv 上。

AI 玩狼人殺，能力如何？

目前，大多數(shù) AI 系統(tǒng)在其所處理的大量數(shù)據(jù)是正確的假設(shè)下學(xué)習(xí)和輸出數(shù)據(jù)。然而，由于真實(shí)社會(huì)受到虛假信息的困擾，如果 AI 能夠檢測(cè)到矛盾和虛假信息是極其有幫助的。

狼人殺的一個(gè)重要特點(diǎn)是，大部分對(duì)話都是虛假信息，而 AI 在這種情況下的行為尚未得到廣泛調(diào)查。同時(shí)，雖然很難開(kāi)發(fā)出能夠檢測(cè)真實(shí)世界中各種謊言的人工智能，但狼人中相對(duì)有限的詞匯量和處理的信息類型吸引了學(xué)者的注意。據(jù)此，這項(xiàng)研究旨在開(kāi)發(fā)一種可以通過(guò)自然語(yǔ)言對(duì)話扮演狼人殺角色的 AI 代理。

通過(guò)收集 15 名人類玩家的游戲日志，學(xué)者 Hisaichi SHIBATA、 Soichiro MIKI、Yuta NAKAMURA 對(duì)基于 Transformer 的預(yù)訓(xùn)練語(yǔ)言模型進(jìn)行了微調(diào)，構(gòu)建了一個(gè)價(jià)值網(wǎng)絡(luò)，該網(wǎng)絡(luò)能夠預(yù)測(cè)在游戲的任何給定階段贏得游戲的后驗(yàn)概率，并為下一步行動(dòng)提供候選。

另外，基于從價(jià)值網(wǎng)絡(luò)中獲得的概率，研究者開(kāi)發(fā)了一個(gè)名為 Deep Wolf 的 AI 代理，它可以與人類交互并選擇最佳投票目標(biāo)。

最后，他們通過(guò)真正讓 Deep Wolf 與人類玩家玩狼人殺并收集其勝率來(lái)評(píng)估人工智能代理的性能。

價(jià)值網(wǎng)絡(luò)的行為。在游戲的早期階段，當(dāng)價(jià)值網(wǎng)絡(luò)的角色是狼人時(shí)，后驗(yàn)概率總是很低；而在扮演預(yù)言家時(shí)后驗(yàn)概率總是很高。這表明，在這個(gè)五人版狼人殺中。價(jià)值網(wǎng)絡(luò)有能力正確估計(jì)獲勝的概率，并且在判斷平民一方有優(yōu)勢(shì)。

圖｜五名人類玩家的勝率。N/A意味著定義勝率，因?yàn)闆](méi)有執(zhí)行任何競(jìng)爭(zhēng)

Deep Wolf的表現(xiàn)。叛徒和平民的平均勝率與 Deep Wolf 扮演背叛者和平民的勝率沒(méi)有明顯區(qū)別。這表明，如果 Deep Wolf 的角色是叛徒或平民，和普通人類玩家能力相當(dāng)；而在扮演狼人或預(yù)言家角色時(shí)，則不如人類玩家。

圖｜四名人類玩家和一名 AI 玩家的勝率

AI 玩家加入，打開(kāi)狼人殺新格局

這項(xiàng)研究首次建立了一個(gè) AI 代理，它可以通過(guò)與人類玩家理解自然語(yǔ)言來(lái)扮演狼人殺中的角色。這意味著當(dāng)前的語(yǔ)言模型有能力理解陳述、說(shuō)謊或檢測(cè)對(duì)話中的謊言。

在這項(xiàng)研究中，三位學(xué)者僅僅基于 32 份游戲日志對(duì) Deep Wolf 進(jìn)行了訓(xùn)練和評(píng)估。如果能獲得更多的游戲日志，對(duì) AI 代理進(jìn)行訓(xùn)練，可能提高其性能，讓 AI 玩家變得更強(qiáng)，從而提升游戲的競(jìng)技性。

同時(shí)，在涉及 AI 代理的游戲中，除了推斷另一個(gè)玩家的角色之外，還有一項(xiàng)額外的任務(wù)，即推斷每個(gè)玩家是 AI 代理還是人類，評(píng)估人類玩家在這種情況下使用的策略的變化將是一個(gè)有趣的話題。此外，AI 玩家能夠?yàn)槔侨藲?lái)更多的可能性，例如，全部角色都使用 AI 代理，人類僅僅作為游戲觀眾？

那么，你愿意讓 Deep Wolf 加入你的狼人殺游戲嗎？

附錄：一份AI參與的狼人殺游戲日志

圖｜#1是預(yù)言家，#2和#4是平民，#3是AI（Deep Wolf）扮演的狼人，#5是叛徒

論文鏈接：

https://arxiv.org/abs/2302.10646

標(biāo)簽： 自然語(yǔ)言 其他玩家 后驗(yàn)概率