InfoQ 研究中心：《大語言模型綜合能力測評報告（2023）》（全文） 天天報資訊

(資料圖)

ChatGPT 這一現(xiàn)象級產(chǎn)品橫空出世，拉開了大語言模型技術(shù)蓬勃發(fā)展的序幕。但實際上，自 2017 年大語言模型誕生，OpenAI、微軟、谷歌、Facebook、百度、華為等科技巨頭在大語言模型領(lǐng)域的探索持續(xù)不斷，ChatGPT 只是將大語言模型技術(shù)推進至了爆發(fā)階段，當(dāng)下大模型產(chǎn)品格局更是呈現(xiàn)出了新形勢——國外基礎(chǔ)模型積累深厚，國內(nèi)應(yīng)用側(cè)優(yōu)先發(fā)力。

2022年年末以來，人工智能大模型成為技術(shù)領(lǐng)域乃至全球創(chuàng)新領(lǐng)域最炙手可熱的話題。以ChatGPT引領(lǐng)的大模型產(chǎn)品發(fā)展日新月異，有預(yù)測數(shù)據(jù)顯示，到2030年，AIGC的市場規(guī)模或?qū)⒊^萬億人民幣。2023年國內(nèi)主要廠商也相繼推出自研的大語言模型產(chǎn)品，另外國內(nèi)也推出了大量的大語言模型應(yīng)用，逐步構(gòu)建起基于中文語言特色的大語言模型生態(tài)。

為此InfoQ研究中心基于桌面研究、專家訪談、科學(xué)分析三個研究方法，查找了大量文獻及資料，采訪了10+位領(lǐng)域內(nèi)的技術(shù)專家，同時圍繞語言模型準(zhǔn)確性、數(shù)據(jù)基礎(chǔ)、模型和算法的能力、安全和隱私四個大維度，拆分出語義理解、語法結(jié)構(gòu)、知識問答、邏輯推理、代碼能力、上下文理解、語境感知、多語言能力、多模態(tài)能力、數(shù)據(jù)基礎(chǔ)、模型和算法的能力、安全和隱私12個細分維度。

分別對ChatGPTgpt-3.5-turbo、Claude-instant、Sagegpt-3.5-turbo、天工3.5、文心一言V2.0.1、通義千問V1.0.1、訊飛星火認知大模型、Moss-16B、ChatGLM-6B、vicuna-13B進行了超過3000+道題的評測，根據(jù)測評結(jié)果發(fā)布了《大語言模型綜合能力測評報告2023》。

掃碼下載“ChatGPT ”報告

標(biāo)簽：