sources.en (English): I declare resumed the session of the European Parliament adjourned on Friday 17 December 1999, and I would like once again to wish you a happy new year in the hope that you enj oyed a pleasant festive period. http://targets.de(German): Ich erkläre die am Freit...
WMT 2011 News Crawl data 是一个自然语言翻译数据,从 Europarl corpus 语料中提取得到,包括:French-English、Spanish-English、German-English、Czech-English 语言对之间对应的文字描述。 提供的数据主要取自Europarl语料库的版本6。访问Europarl网站获取源代码版本。
这个脚本该脚本先下载数据,再使用Moses Tokenizer(https://github.com/moses-smt/mosesdecoder/blob/master/scripts/tokenizer/tokenizer.perl),清理训练数据,并使用BPE生成32,000个Subword的词汇表。可以使用梯子直接下载预处理后的文件: pre-processed WMT'16 EN-DE Data (502MB)(https://drive.google.com/open?i...