尼泊爾語-英語語言對的神經機器翻譯 (NMT)。你可以在這裡嘗試一下。
我們準備的並行資料可以在這裡找到。
data_cleaning目錄包含實作報表中討論的清潔方法的腳本。
translator目錄有一個翻譯者的工作介面。
到 2019 年底，該計畫進行了一些額外的工作，如下所述。論文中報告的模型檢查點在這裡。訓練資料有兩個部分：a）真實平行數據，b）合成平行數據
截至 2021 年 2 月，模型檔案和最新版本的套件之間存在一些相容性問題。要修復這些問題，請使用以下版本的軟體包： torch-1.3.0 fairseq-0.9.0 portalocker-2.0.0 sacrebleu-1.4.14 sacremoses-0.0.43 sentencepiece-0.1.91 。
在上面連結的論文中尋找最新的結果。
Guzman 等人在他們的論文中報告的 BLEU 分數為 7.6 和 4.3（針對監督方法）位於他們的devtest集上。他們實際上還發布了另外兩個集：稱為dev集的驗證集和最近發布的（2019 年 10 月） test集。在上面連結的報告中，我們僅報告dev集的分數。我們使用他們的實現來重現他們的模型並對其進行評分。在這裡，我們報告dev和devtest集的分數。
dev集上| 型號 | 語料庫大小 | NE-EN | EN-NE |
|---|---|---|---|
| 古茲曼等人。 (2019) | 564k | 5.24 | 2.98 |
| 這部作品 | 15萬 | 12.26 | 6.0 |
devtest集上| 型號 | NE-EN | EN-NE |
|---|---|---|
| 古茲曼等人。 (2019) | 7.6 | 4.3 |
| 這部作品 | 14.51 | 6.58 |
devtest的結果來自於使用詞彙量為 2500 的模型。
torch-1.3.0fairseq-0.9.0sentencepiece-0.1.91sacremoses-0.0.43sacrebleu-1.4.14flaskindic_nlp_libraryFairseq 用於訓練，sentpiece 用於在語料庫上學習 BPE，sacremoses 用於處理英文文本，sacrebleu 用於對模型進行評分，flask 用於介面。為了處理尼泊爾語文本，我們使用印度語 NLP 庫。
所有庫都可以使用pip安裝。
為了能夠運行翻譯器介面，需要將 Indic NLP 函式庫克隆到translator/app/modules/ 。
清理腳本也會使用其他函式庫，例如python-docx和lxml 。
使用Transformer的fairseq實作訓練模型後，將檢查點檔案複製到translator/app/models/並根據檢查點檔案的翻譯方向將其重新命名為en-ne.pt或ne-en.pt 。實現報告中結果的檢查點文件可在此處取得。將.pt檔複製到translator/app/models 。
需求和模型就位後，從translator目錄執行python app/app.py 。
有關培訓本身的詳細資訊可以從 fairseq 儲存庫或文件中取得。 FLORES github 也很有用。
| 類型 | 句子 |
|---|---|
| 來源 | ठूला गोदामहरुले, यस क्षेत्रका श र्माता हरु द्वारा बनाईएका जुत; ाले । |
| 參考 | 大型倉庫開始在倉庫中儲存鞋類產品，這些產品是由該地區的許多小型製造商生產的。 |
| 系統 | 大型倉庫開始儲存該地區小型生產商生產的鞋子。 |
| 類型 | 句子 |
|---|---|
| 來源 | प्राविधिकलेखकहरूलेपनिव्यापश लुप्र योगका लागि विभिन्न कार्यरबबबत ख्दछन्। |
| 參考 | 技術作家也編寫各種商業、專業或家庭使用的程式。 |
| 系統 | 技術作者也撰寫有關商業、專業或家庭用途的各種程序。 |
| 類型 | 句子 |
|---|---|
| 來源 | 歐巴馬的語言老練，普丁說話直接，更喜歡使用標點符號和統計數據，但兩人都有同樣的能力贏得觀眾的心。 |
| 參考 | , , , , , , , , , , , , , , , , , , , , , , , 、 、 、 、 、 、 दयलाई तरंंंयततफंरंंंंफंफंफंफंफफ क्षमता छ । |
| 系統 | 、 、 、 、 、 、 、 、 、 、 、 、 、 、 、 、 、 、 、 、 、 、 、 、 、 、 、 、 、 जित्न एउटै क्षमता छ । |
| 類型 | 句子 |
|---|---|
| 來源 | Litti Chokha是將蕎麥粉和各種香料混合在麵團中，用火烘烤而成，配以香料醬。 |
| 參考 | लिट्टी चोखा - लिट्टी जुन आंटा भित्र सत्तू तथा मसला हाले आगोमा सेकेर बनाईन्छ , को चोखे सँग पस्किइन्छ । |
| 系統 | लोती चोखोका विभिन्न मसला मिसाबरब र साएर तयार पारिन्छरयसलाईआतोमासलाईआतोतासलाईआ नेसेवा छ। |
如果您在工作中使用該項目的任何部分，請引用本文。
完成加德滿都大學電腦科學課程的第六學期。 2019 年 7 月。
