自然語言處理技術的助力

幸運的是，隨著自然語言處理技術的進步，通過主題模型將審稿人的發表歷史與提交論文的文本進行比較，研究人員可以更高效地為論文匹配合適的審稿人。然而，這一過程在實際應用中仍面臨兩大障礙：

1. 獲取出版歷史：從一開始就獲取審稿人的完整出版歷史并不容易。
2. 利益沖突問題：審稿人不應評審與其有個人或職業關系的作者提交的論文。

ACL與Semantic Scholar的合作實踐

在2020年的計算語言學協會（ACL）會議上，ACL與Semantic Scholar合作，部分實現了同行評審過程的自動化。通過使用Semantic Scholar的數據，會議組織者能夠檢測利益沖突并計算審稿人匹配分數。

注冊者需要通過Semantic Scholar搜索定位自己的作者頁面，并記錄其作者ID。這一過程非常輕量化，無需創建賬戶即可完成。然而，創建賬戶的用戶可以手動修正自動化模型可能出現的錯誤，同時啟用諸如自動研究推送和新研究警報等功能。

新版Semantic Scholar API的發布

為了進一步簡化同行評審流程，Semantic Scholar發布了專門用于同行評審的新服務，并將其集成到Semantic Scholar API中。這一服務為會議組織者提供了極大的便利：

1. 無需訓練語言模型：組織者不需要自行訓練語言模型，也無需下載Semantic Scholar的公共語料庫數據。
2. 數據上傳與處理：組織者只需上傳潛在審稿人和提交論文的信息，包括論文標題、摘要文本，以及審稿人和提交作者的Semantic Scholar作者ID（如果可用）。
3. 自動化計算：API會自動計算所有審稿人和論文的利益沖突及匹配分數。利益沖突基于合著關系，而匹配分數則通過SPECTER模型計算。SPECTER是目前最先進的科學出版物語言模型之一。
4. 數據隱私保護：所有上傳的數據均為私有，其他用戶無法訪問，并且可以通過API在不需要時永久刪除。

未來發展方向

未來，Semantic Scholar計劃與更多會議管理軟件提供商進行深度集成，并與其他會議建立合作關系。此外，團隊還在以下方面進行持續改進：

• 提高匹配準確性：通過改進作者消歧模型，進一步提高審稿人匹配的準確性。
• 開發新功能：研究如何利用完整語料庫搜索，從頭開始提出審稿人建議。
• 優化公共數據集：實現審稿人匹配公共數據集的基線準確性，并持續優化。

總結

Semantic Scholar API的新服務為會議組織者提供了一種高效、靈活的同行評審解決方案。通過自動化的利益沖突檢測和審稿人匹配分數計算，組織者可以更輕松地為提交論文找到合適的審稿人。這不僅減輕了審稿人的負擔，也為科學研究的健康發展提供了有力支持。

原文鏈接: https://medium.com/ai2-blog/conference-peer-review-with-the-semantic-scholar-api-24ab9fce2324