acc = right_num / len(logits) return acc def validate(): res = [] for data in val_input: pred = predictor.predict_cls_classifier(data) pred = pred.argmax(dim=1).numpy() res.append(pred) f1 = f1_score(val_label, res) accuracy = accuracy_score(val_label, res) recall = recall...
# 传入的句子是词元形式 returnline[:seq_len]iflen(line) > seq_lenelseline+['<pad>']*(seq_len-len(line)) 接下来,我们需要在 src_tokens 和 tgt_tokens 中的所有句子的末尾添加 <eos> 以代表句子的结束,然后再将它们处理成等长的形式,之后将其中的词元转化为其在词表中的索引,最后以张量的形式返...
xlnet-base-casedbert-base-chinese不能直接用AutoModelForSeq2SeqLM加载，因为它需要一个可以执行seq2se...
loss = model.step(bx, by, decoder_len) 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 最后你能看到它的整个训练过程。最开始预测成渣渣,但是后面预测结果会好很多。 t: 0 | loss: 3.289 | input: 96-06-17 | target: 17/Jun/1996 | inference: /2222222222 t: 70 | loss: 1.132 | input: ...
pycorrector is a toolkit for text error correction. 文本纠错,Kenlm,ConvSeq2Seq,BERT,MacBERT,ELECTRA,ERNIE,Transformer,T5等模型实现,开箱即用。 - pycorrector/pycorrector/seq2seq/train.py at master · davideuler/pycorrector