Contributions Idea 首次提出基于Transformer框架的,将Code Summary和Code Search结合的模型 Techique 使用Tree-based Transformer和Transformer对Source Code和Comment进行编码,融入更多的语义信息 Evaluation 一系列实验表明,Code Summary和Code Search的质量都有提升 Institution Example 从图中可以看出,通过Generated Comment做Que...
阿里云机器学习平台PAI与华东师范大学高明教授团队合作在SIGIR2022上发表了结构感知的稀疏注意力Transformer模型SASA,这是面向长代码序列的Transformer模型优化方法,致力于提升长代码场景下的效果和性能。由于self-attention模块的复杂度随序列长度呈次方增长,多数编程预训练语言模型(Programming-based Pretrained Language Models...
我们采用CodeXGLUE[1]提供的四个任务数据集进行评测,分别为code clone detection,defect detection,code search,code summarization。我们提取其中的序列长度大于512的数据组成长序列数据集,实验结果如下: 从实验结果可以看出,SASA在三个数据集上的性能明显超过所有Baseline。其中Roberta-base[2],CodeBERT[3],GraphCodeBERT...
阿里云机器学习平台PAI与华东师范大学高明教授团队合作在SIGIR2022上发表了结构感知的稀疏注意力Transformer模型SASA,这是面向长代码序列的Transformer模型优化方法,致力于提升长代码场景下的效果和性能。由于self-attention模块的复杂度随序列长度呈次方增长,多数编程预训练语言模型(Programming-based Pretrained Language Models, ...
我们采用CodeXGLUE[1]提供的四个任务数据集进行评测,分别为code clone detection,defect detection,code search,code summarization。我们提取其中的序列长度大于512的数据组成长序列数据集,实验结果如下: 从实验结果可以看出,SASA在三个数据集上的性能明显超过所有Baseline。其中Roberta-base ...
论文依据:"Get To The Point: Summarization with Attention" by Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez,Łukasz Kaiser, Illia Polosukhin 下载地址:Gigaword数据集这里下载 5.命名实体识别(Named Entity Recognition, NER) ...
我们采用CodeXGLUE[1]提供的四个任务数据集进行评测,分别为code clone detection,defect detection,code search,code summarization。我们提取其中的序列长度大于512的数据组成长序列数据集,实验结果如下: 从实验结果可以看出,SASA在三个数据集上的性能明显超过所有Baseline。其中Roberta-base[2],CodeBERT[3],GraphCodeBERT...
我们采用CodeXGLUE[1]提供的四个任务数据集进行评测,分别为code clone detection,defect detection,code search,code summarization。我们提取其中的序列长度大于512的数据组成长序列数据集,实验结果如下: 从实验结果可以看出,SASA在三个数据集上的性能明显超过所有Baseline。其中Roberta-base ...
我们采用 CodeXGLUE [1] 提供的四个任务数据集进行评测,分别为 code clone detection,defect detection,code search,code summarization。我们提取其中的序列长度大于 512 的数据组成长序列数据集,实验结果如下: 从实验结果可以看出,SASA 在三个数据集上的性能明显超过所有 Baseline。其中 Roberta-base [2],CodeBERT [...
本实现中用到的copy mechanism与类似论文Get To The Point: Summarization with Pointer-Generator Networks一致。 Copy mechanism的流程: copy-mode:利用当前时间步的decoder-encoder attention weight来计算input article word list上概率分布的 generate-mode:利用decoder hidden states、decoder input、decoder-encoder cont...