1. chatGLM和chatGPT区别2. LLAMA的改进点3. LLAMA中RMSNorm比LN的优势4. LLAMA中旋转位置编码5. 除此之外会问还了解什么大语言模型6. 微调的方式(p-tuning LoRA原理)7. LoRA初始化方式.3️⃣ 自然语言1. Bert结构和预训练任务2. Bert和GPT区别3. 为什么GPT是decoder-only4. GPT
大语言模型(如GPT系列、BERT系列等)主要用于处理文本数据,通过学习大量的文本信息,来理解语言的深层次结构和含义。它们通常基于Transformer架构,能够生成连贯的文本、完成翻译、摘要、问答等多种自然语言处理任务。 工作原理 Transformer架构:Transformer是一种基于自注意力机制的模型架构,它允许模型同时处理输入数据的所有部分...