在文本分类或NER任务中,经常使用Bert预训练模型,通常就是利用Bert获取输入句子的句向量或词向量。在HuggingFace的BERT源码中有个BertModel类,它的作用就是接收传入的bert_inputs/input_ids(表示经过padding对齐后的token_id)和attention_mask(表示哪些token_id是需要被mask),得到句子的句向量和词向量。 二、BertModel...
最后，BertPooler组件从sequence_output中提取出表示整个句子的向量，即通过取出第0个token（CLS）的向量表示，经过线性变换和激活函数后输出，得到pooled_output。这一输出不仅包含了句子的全局特征，还承载了对句子整体语义的概括，为后续任务如文本分类、命名实体识别等提供了强有力的输入基础。综上所述，...