从结果中可以看出,除了使用RoBERTa的TREC数据集外,同时使用BERT和RoBERTa编码器在几乎所有设置中都取得了最好的分类性能。与具有完整训练数据的CE+CL相比,DualCL对BERT和RoBERTa的平均改善率分别为0.46%和0.39%。此外,我们观察到,在10%的训练数据下,DualCL的性能明显大于CE+CL方法,在BERT和RoBERTa上分别高出0.74%和0...
keras是神经网络模型的构建库,set_gelu用于设置BERT中的激活函数,Adam是优化器。 2. 设置激活函数 set_gelu('tanh') BERT 默认使用 GELU 激活函数,这里将它设置为'tanh'版本的 GELU 激活函数。 3. TextCNN的定义 deftextcnn(inputs,kernel_initializer):cnn1=keras.layers.Conv1D(256,3,strides=1,padding='s...