标量、向量和矩阵是线性代数中的基本概念。它们在维度上是依次上升的,可以用点线面体的概念来比喻解释。 标量(Scalar):标量是一个只有大小,没有方向的量。在物理学中,标量指在坐标变换下保持不变的物理量。在线性代数中,标量是一个的元素字段,用于定义一个向量空间。由多个标量描述的量,例如具有方向和幅度,被称...
矩阵乘积并不满足交换律,然而两个向量的点积满足交换律:x^Ty=y^Tx 矩阵乘积的转置有着简单的形式:(AB)^T = B^TA^T 4. 单位矩阵(identity matrix) 从形式上看,单位矩阵所有沿对角线的元素都是1, 而其它位置的所有元素都是0.如:\begin{bmatrix} 1 & 0 & 0 \\ 0 & 1 & 0 \\ 0 & 0 & 1 ...
4. 单位矩阵(identity matrix) 从形式上看,单位矩阵所有沿对角线的元素都是1, 而其它位置的所有元素都是0.如: 任意向量和单位矩阵相乘,都不会改变。我们将保持n nn维向量不变的单位矩阵记作In,形式上, 5. 逆矩阵 矩阵A AA的逆矩阵记作 A − 1 A^{-1}A−1, 其定义的矩阵满足如下条件: 6....
向量可以看作是一维数组,因为它有一系列的元素,每个元素都有一个索引来标识它的位置。向量通常用粗体的小写字母表示,例如 x。向量中的每个元素都是一个标量。例如,x_1 表示向量 x 的第一个元素。 3.矩阵(Matrix):矩阵是一个二维数组,由行和列组成。矩阵中的每个元素都由两个索引确定,一个表示行,一个表示...
向量可以看作只有一列的矩阵, 对应地,向量的转置可以看作只有一行的矩阵。 标量的转置等于自身。 2. 矩阵运算 矩阵可以进行加法、乘法计算。 深度学习中,允许矩阵和向量相加: 3. 矩阵乘法 两个矩阵的标准乘积不是两个矩阵中对应元素的乘积。 两个矩阵 A A A 和 B B B 的矩阵乘积(matrix product)是第三个...
一、标量、向量、矩阵与张量 1. 标量(scalar) 一个标量就是一个单独的数。标量用斜体表示。 标量通常使用小写变量名称。 在介绍标量时,会明确它是哪种类型的数,如: 定义实数标量时,可能会说: “令 表示一条线的斜率”; 在定义自然数标量时,可能会说 “令 ...
等级0 张量是标量 1 阶张量是一个向量 2 阶张量是一个矩阵 3 阶张量是 3-张量 阶n 张量是一个 n-张量 在深度学习中,我们允许矩阵和向量相加,产生另一个矩阵,其中 C(i, j) = A(i, j) + b_(j)。换句话说,向量b被添加到矩阵的每一行。这种将b隐式复制到许多位置的行为称为广播。
标量、向量、矩阵、张量。 标量(scalar)。一个标量,一个单独的数。其他大部分对象是多个数的数组。斜体表示标量。小写变量名称。明确标量数类型。实数标量,令s∊ℝ表示一条线斜率。自然数标量,令n∊ℕ表示元素数目。 向量(vector)。一个向量,一列数。有序排列。次序索引,确定每个单独的数。粗体小写变量名...
将多个矩阵组合到一起可以形成张量。比如: 因此标量、向量、矩阵都可以看作是维度更少的张量。 张量的形状 假设张量A形状为dn×dn-1...×d1,那么表达的含义是:n维张量A中包含了dn个形状为dn-1...×d1的n−1维张量B,并以此类推到1维张量。所以张量(1-1-2)的形状是3x2x2维度是3,张量(1-1-1)的...
矩阵、向量都可以表示成张量的形式,向量是矩阵的特殊形式,按实际应用可分为标量对向量求导,标量对矩阵求导、向量对向量求导、矩阵对标量求导、矩阵对向量求导、矩阵对矩阵求导等,在深度学习的反向传播(BP)中所涉及求导不外乎以上几种形式,本篇结合实例分别介绍以上各种求导过程。