內(nèi)容摘要：當(dāng)?shù)貢r(shí)間4月2日，美國(guó)開放人工智能研究中心宣布推出PaperBench，這是一個(gè)用于評(píng)估AI智能體復(fù)現(xiàn)前沿AI研究能力的全新基準(zhǔn)。OpenAI在PaperBench上對(duì)多個(gè)前沿模型進(jìn)行測(cè)試后發(fā)現(xiàn)，表現(xiàn)最佳的智能體Claude3.5Sonnet（新版）結(jié)合開源框架，平均復(fù)現(xiàn)得分達(dá)到21.0%。不過，OpenAI招募頂尖機(jī)器學(xué)習(xí)博士嘗試部分測(cè)試集后發(fā)現(xiàn)，上述模型表現(xiàn)尚未超越人類基線。
當(dāng)?shù)貢r(shí)間 4 月 2 日，美國(guó)開放人工智能研究中心（OpenAI）宣布推出 PaperBench，這是一個(gè)用于評(píng)估 AI 智能體復(fù)現(xiàn)前沿 AI 研究能力的全新基準(zhǔn)。PaperBench 要求智能體從零開始復(fù)現(xiàn) 20 篇 ICML 2024 Spotlight 和 Oral 論文，過程包括深入理解論文貢獻(xiàn)、開發(fā)代碼庫以及成功執(zhí)行實(shí)驗(yàn)。
OpenAI 在 PaperBench 上對(duì)多個(gè)前沿模型進(jìn)行測(cè)試后發(fā)現(xiàn)，表現(xiàn)最佳的智能體 Claude 3.5 Sonnet（新版）結(jié)合開源框架，平均復(fù)現(xiàn)得分達(dá)到 21.0%。不過，OpenAI 招募頂尖機(jī)器學(xué)習(xí)博士嘗試部分測(cè)試集后發(fā)現(xiàn)，上述模型表現(xiàn)尚未超越人類基線。
免責(zé)聲明：以上"OpenAI發(fā)布AI科研復(fù)現(xiàn)基準(zhǔn)測(cè)試PaperBench"內(nèi)容和圖片來源于網(wǎng)絡(luò)，本網(wǎng)站轉(zhuǎn)載僅為傳遞更多行業(yè)信息和交流之目的，著作權(quán)屬原創(chuàng)者所有，如有版權(quán)問題請(qǐng)聯(lián)系網(wǎng)站管理員刪除。