1. 用训练集中知识图谱里面的实体和关系文本描述对BERT Encoder进行finetune. 2. 然后再用微调好的BERT对同一个的训练集里面之前用来微调的实体和关系的文本数据进行编码,作为实体和关系这些符号embedding的初始化. 3. 接着在2的基础上再用传统KG方法再去训练实体和关系这些符号的Embedding。