05线性代数

5.1线性代数

标量

简单操作
$c = a + b \\ c = a * b \\ c = sina$
长度
$\begin{equation} \left| a \right| = \begin{cases} a & \text{ $ if a > 0 $ } \\ -a & \text{ $ otherwise $ } \end{cases} \end{equation}$ $\left| a + b\right| <= \left| a \right| + \left| b \right| \\ \left| a * b\right| = \left| a \right| * \left| b \right|$

向量

简单操作
$||a||_2 = \left[ \sum_{i=1}^m a_i^2 \right]^{1/2} \\ ||a|| >= 0 for all a \\ ||a + b|| <= ||a|| + ||b|| \\ ||a * b|| = |a| * ||b||$
长度

【举例】

$c = a + b$

$c = a * b$

点乘

$a^T b = \sum_i a_ib_i$

正交

$a^Tb = \sum_i a_i b_i = 0$

矩阵

简单操作

$C = A + B \\ C = a * B \\ C = sinA$

乘法（矩阵乘以向量）

$c = Ab$

直观上理解矩阵乘法：向量可以看作空间，矩阵可以看作是特定的工具，向量与特定的矩阵相乘后，将会使得向量变得扭曲，也就是变换到另一个空间中

范数

$c = A * b \\ hence |c| <= ||A|| * ||b||$

取决于如何衡量 b 和 c的长度
常见的范数
矩阵范数：最小的满足的上面公式的值
Frobenius 范数

$||A||_{Frob} = \left[ \sum_{ij} A_{ij}^2 \right]^{1/2}$

特殊矩阵

对称和反对称

$A_{ij} = A_{ji} \\ A_{ij} = -A_{ji}$

正定

$||x||^2 = x^Tx >= 0 \\ generalizes to \\ x^TAx >= 0$

正交矩阵
- 所有行都相互正交
- 所有行都有单位长度 $u$
- 可以写成
置换矩阵
置换矩阵是正交矩阵
特征向量和特征值
- 不被矩阵改变方向的向量$x$（但长度可能会改变）

$Ax = \lambda x$

对称矩阵总是可以找到特征向量

5.2线性代数实现

标量由只有一个元素的张量表示

你可以将向量视为标量值组成的列表

通过张量的索引来访问任一元素

访问张量的长度

只有一个轴的张量，形状只有一个元素

通过指定两个分量 $m$ 和 $n$ 来创建一个形状 $m * n$ 的矩阵

矩阵的转置

对称矩阵（symmetric matrix）$A$ 等于其转置：$A = A^T$

就像向量是标量的推广，矩阵是向量的推广一样，我们可以构建具有更多轴的数据结构 代表2个具有3 * 4结构的矩阵的组合

给定具有相同形状的任何两个张量，任何按元素二元运算的结果都将是相同形状的张量

两个矩阵的按元素的成绩称为哈达玛积（Hadamard product）（数学符号）⊙

计算其元素的和

表示任意形状张量的元素和

指定求和汇总张量的轴

axis=0 意味着对 2 这一维度进行求和，剩下的两个维度留下来了。

axis=1 意味着对 5 这一维度进行求和，剩下的两个维度留下来了。

也可以指定其中的多个维度进行求和，其余的维度留下来

下面解释一下是怎么按特定轴求和的

原始的tensor.size([2, 5, 4]), 一共是40个数
tensor([[[ 0,  1,  3,  4],
		 [ 5,  6,  7,  8],
		 [ 9, 10, 11, 12],
		 [13, 14, 15, 16],
		 [17, 18, 19, 20]],
		 
		[[21, 22, 23, 24],
		 [24, 25, 26, 27],
		 [28, 29, 30, 31],
		 [32, 33, 34, 35],
		 [36, 37, 38, 39]]])
按 axis=0 求和，也就是