SST_ELECTRA_BASE_ZH) text = "自然语言处理是人工智能领域的一个重要分支。" result = classifier(text) print(result) 命名实体识别: # 加载预训练的命名实体识别模型 ner = hanlp.load(hanlp.pretrained.ner.MSRA_NER_ELECTRA_SMALL_ZH) text = "张三就职于自然语义科技有限公司。" result = ner(text) ...
import hanlp HanLP = hanlp.load(hanlp.pretrained.mtl.CLOSE_TOK_POS_NER_SRL_DEP_SDP_CON_ELECTRA_SMALL_ZH) HanLP(['2021年HanLPv2.1为生产环境带来次世代最先进的多语种NLP技术。', '晓美焰来到北京立方庭参观自然语义科技公司。']).pretty_print()...
3. 根据分词结果进行命名实体识别 # 语种见名称最后一个字段或相应语料库print(hanlp.pretrained.ner.ALL)# 加载预训练模型进行命名实体识别任务ner=hanlp.load(hanlp.pretrained.ner.MSRA_NER_ELECTRA_SMALL_ZH)# 命名实体识别结果print(ner([sen_tok],tasks='ner*'))# 输出:[[('李华', 'PERSON', 0, 1...
执行分词和MSRA标准NER 执行分词、词性标注和依存句法分析 执行分词、词性标注和短语成分分析 多语种支持 新版Notebook- BML CodeLab上线,fork后可修改项目版本进行体验 欢迎来到HanLP在线交互环境,这是一个Jupyter记事本,可以输入任意Python代码并在线执行。请点击左上角运行全部来开始这篇NLP教程。 安装 量体裁衣,Han...
MSRA_NER_BERT_BASE_ZH = 'https://file.hankcs.com/hanlp/ner/ner_bert_base_msra_20211227_114712.zip' BERT model (Devlin et al. 2019) trained on MSRA with 3 entity types. hanlp.pretrained.ner.MSRA_NER_ELECTRA_SMALL_ZH = 'https://file.hankcs.com/hanlp/ner/msra_ner_electra_small_...
load('MSRA_NER_ELECTRA_SMALL_ZH'), output_key='ner', input_key='tok') \ .append(hanlp.load('CTB9_DEP_ELECTRA_SMALL', conll=0), output_key='dep', input_key='tok')\ .append(hanlp.load('CTB9_CON_ELECTRA_SMALL'), output_key='con', input_key='tok') HanLP('2021年HanLPv...
tagger = hanlp.load(hanlp.pretrained.pos.PKU_POS_ELECTRA_SMALL) tags = tagger(tokens) print(tags) 词性标注在信息抽取、文本分类等任务中有广泛应用。通过HanLP,我们可以快速获得词性标注结果,并应用于下游任务。 五、命名实体识别 命名实体识别(NER)是从文本中识别出具有特定意义的实体(如人名、地名、组织...
‘open_tok_pos_ner_srl_dep_sdp_con_electra_small_20201223_035557’) ) doc: Document = HanLP(‘四号网元进行六级保障业务“。’,skip_tasks=[‘ner’,‘dep’,‘sdp’,‘srl’,‘con’]) 结果是18s才返回结果。 看了下,容器分配了6个CPU,但是这段代码运行时候,一直只用到了1个CPU;内存到不多。
load('MSRA_NER_ELECTRA_SMALL_ZH'), output_key='ner', input_key='tok') \ .append(hanlp.load('CTB9_DEP_ELECTRA_SMALL', conll=0), output_key='dep', input_key='tok')\ .append(hanlp.load('CTB9_CON_ELECTRA_SMALL'), output_key='con', input_key='tok') HanLP('2021年HanLPv...
HanLP = hanlp.load(hanlp.pretrained.mtl.CLOSE_TOK_POS_NER_SRL_DEP_SDP_CON_ELECTRA_SMALL_ZH) # 世界最大中文语料库 HanLP(['2021年HanLPv2.1为生产环境带来次世代最先进的多语种NLP技术。', '阿婆主来到北京立方庭参观自然语义科技公司。']) ...