科學研究人員還在為文獻綜述和論文寫作而煩惱嗎？ AI2團隊帶來的OpenScholar或許能解決你的難題！這款強大的科研效率神器，擁有4.5億篇開放獲取論文和2.37億個文章段落嵌入，能夠高效地處理各種科研問題，並通過獨特的自我反饋檢索增強推理機制，不斷改進答案，直到滿足你的需求。 OpenScholar不僅功能強大，還能用於訓練更有效率的模型，其在SCHOLARQABENCH測試中超越了人類專家，展現了其在科研領域的巨大潛力。
熬夜肝文獻綜述?抓耳撓腮寫論文?別慌!AI2的科研大神們帶著他們的最新力作OpenScholar來拯救你了!這款科研效率神器，能讓文獻綜述像逛公園一樣輕鬆愉快!
OpenScholar的最大秘密武器，就是一個叫做OpenScholar-Datastore （OSDS）4.5億篇開放取用論文，還有2.37億個文章段落嵌入。有了這麼強大的知識儲備，OpenScholar才能游刃有餘地應付各種科學研究難題。
當你遇到一個科學研究問題時，OpenScholar首先會派出它的得力幹將－檢索器和重新排序器，從OSDS中快速篩選出與你的問題相關的文章段落。接著，一個語言模型（LM）包含參考文獻的完整答案。更厲害的是，OpenScholar也會根據你的自然語言回饋不斷改進答案，補充缺少的訊息，直到你滿意為止。
OpenScholar不僅自己很強大，還能幫助訓練更小巧、更有效率的模型。研究人員利用OpenScholar的流程，產生了大量的高品質訓練數據，並用這些數據訓練了一個名為OpenScholar-8B的80億參數語言模型，以及其他檢索模型。
為了全面檢驗OpenScholar的戰鬥力，研究人員也特別打造了一個名為SCHOLARQABENCH的全新測試擂台。這個擂台上設定了各種各樣的科學文獻綜述任務，包括封閉式分類、多項選擇和長篇生成，涵蓋了電腦科學、生物醫學、物理學和神經科學等多個領域。為了確保比賽的公平公正，SCHOLARQABENCH還採用了多方面評估方法，包括專家評審、自動指標以及使用者體驗測試。
經過多輪激烈角逐，OpenScholar最終脫穎而出!實驗結果表明，它在各項任務中都表現出色，甚至超越了人類專家!這項突破性的成果必將掀起科研領域的一場革命，讓科學家們告別文獻綜述的苦海，專注於探索科學的奧秘!
OpenScholar的強大功能主要得益於其獨特的自我回饋檢索增強推理機制。簡單來說，就是它會先自己給自己提問，然後根據自己的回答不斷改進答案，最後再把最完美的答案呈現給你。是不是很神奇?
具體來說，OpenScholar的自我回饋推理過程分為三個步驟:初始答案產生、回饋產生和回饋整合。 首先，語言模型會根據檢索到的文章段落產生一個初始答案。接著，它會像一個嚴厲的考官一樣，對自己的答案進行自我批評，找出不足之處，並產生一些自然語言回饋，例如「答案只包含了關於問答任務的實驗結果，請補充其他類型任務的結果」。 最後，語言模型會根據這些回饋重新檢索相關文獻，並整合所有訊息，產生一個更完善的答案。
為了訓練更小巧但表現同樣強大的模型，研究人員也利用OpenScholar的自我回饋推理流程產生了大量的高品質訓練資料。 他們先從資料庫中挑選最多引用的論文，然後根據這些論文的摘要產生一些資訊查詢問題，最後再用OpenScholar的推理流程產生高品質的答案。這些答案和中間產生的回饋資訊就構成了寶貴的訓練資料。 研究人員將這些資料與現有的通用領域指令微調資料和科學領域指令微調資料混合在一起，訓練出了一個名為OpenScholar-8B的80億參數語言模型。
為了更全面地評估OpenScholar和其他類似模型的效能，研究人員還創建了一個名為SCHOLARQABENCH的全新基準測試。 這個基準測試包含了2967個由專家撰寫的文獻綜述問題，涵蓋了電腦科學、物理學、生物醫學和神經科學等四個領域。每個問題都有專家撰寫的長篇答案，平均每個答案都需要專家花費大約一個小時的時間來完成。 SCHOLARQABENCH也採用了一種多方面評估方法，結合了自動指標和人工評估，可以更全面地衡量模型產生答案的品質。
實驗結果表明，OpenScholar在SCHOLARQABENCH上的表現遠遠超過了其他模型，甚至在某些方面超越了人類專家! 例如，在計算機科學領域，OpenScholar-8B的正確率比GPT-4o高出5%，比PaperQA2高出7%。 而且，OpenScholar產生答案的引用準確率也與人類專家不相上下，而GPT-4o則高達78-90%憑空捏造的。
OpenScholar的出現，無疑是科研領域的一大福音!它不僅能幫助科研人員節省大量時間和精力，還能提高文獻綜述的品質和效率。相信在不久的將來，OpenScholar將會成為科研人員不可或缺的得力助手!
論文網址：https://arxiv.org/pdf/2411.14199
專案地址：https://github.com/AkariAsai/OpenScholar
總而言之，OpenScholar憑藉其強大的資料儲備、創新的推理機制和優異的測試結果，為科學研究工作帶來了革命性的變化。它將有效提昇科研效率，幫助研究人員專注於更重要的科學探索，是科學研究領域的重大突破。