- Translation Pipeline：Hugging Face提供了方便易用的翻译管道（Translation Pipeline）。通过导入相关库和指定翻译模型，开发者可以快速构建翻译功能。例如，使用`from transformers import pipeline`导入管道模块，然后指定`"translation_<源语言>_to_<目标语言>"`这样的格式来创建翻译器。比如`en_fr_translator = pipel...
fromtransformersimportpipelinetranslator=pipeline("translation",model="Helsinki-NLP/opus-mt-fr-en")translator("Ce cours est produit par Hugging Face.")[{'translation_text':'This course is produced by Hugging Face.'}] 类似文本生成和摘要,可以通过设置参数max_length和min_length来控制结果文本的长度。
使用场景:通过指定语言对 (形如 translation_en_to_fr) 使用默认模型或使用来自 ModelHub 的模型。 使用样例: from transformers import pipeline translator = pipeline("translation", model="Helsinki-NLP/opus-mt-fr-en") translator("Ce cours est produit par Hugging Face.") # output: [{'translation_te...
Hugging Face是一个AI社区,致力于分享机器学习模型和数据集。它的主要产品包括Hugging Face Dataset、Hugging Face Tokenizer、Hugging Face Transformer和Hugging Face Accelerate。 Hugging Face Dataset是一个库,用于轻松访问和共享音频、计算机视觉和自然语言处理(NLP)任务的数据集。只需一行代码即可加载数据集,并使用强大...
简介: Hugging Face是一个流行的预训练模型库,包括NLP、CV、Audio等模型,在国内外广为流传。本文介绍如何在DSW中使用Hugging Face Python SDK完成基本的任务,包括使用pipeline对象做预测,以及用Model对象实现FineTune。特别的,我们选取中英文翻译预训练模型来演示,让大家有更加直观的印象。
或者在python中设置Hugging Face镜像: importos os.environ["HF_ENDPOINT"] ="https://hf-mirror.com" 1. Transformer 模型 Transformers 能做什么? 使用pipelines Transformers 库中最基本的对象是pipeline()函数。它将模型与其必要的预处理和后处理步骤连接起来,使我们能够通过直接输入任何文本并获得最终的答案: ...
translator = pipeline("translation_en_to_zh", model=Helsinki-NLP/opus-mt-en-zh) translator("Im learning deep learning.") [{translation_text: 我在学习深思熟虑}] 更多Pipeline请参考:https://huggingface.co/docs/transformers/v4.21.0/en/main_classes/pipelines 查找Hugging Face模型 本节来介绍一下如...
Hugging Face 的 Transformers 库快速入门(二):模型与分词器,本文主要参考的内容; Huggingface Transformers Index,Hugging Face 的主页,可以查看详细的接口; 开箱即用的 pipelines Transformers 库最基础的对象就是 pipeline() 函数,它封装了预训练模型和对应的前处理和后处理环节。我们只需输入文本,就能得到预期的答案...
translator = pipeline("translation", model=model, tokenizer=tokenizer) results = translator("我是一名研究员") print(results) 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 结果如图 *注意:这里要求库,安装命令如下 #必须安装包 pip install transformers ...
2. Pipeline 支持的任务类型 前文Hugging face Transformers(1)—— 基础知识提到了目前主要的九类 NLP 任务,除了这些经典任务外,Transformers 库还支持关于图像、音频等其他模态的任务。可以用如下代码检查所有任务类型 from transformers.pipelines import SUPPORTED_TASKS ...