UA MATH567 高维统计III 随机矩阵5 在集网上定义矩阵范数

UA MATH567 高维统计III 随机矩阵5 在集网上定义矩阵范数

在讨论随机向量的时候,我们用了化归的思想,通过随机向量的范数与投影,将随机向量化归为随机变量来研究。现在我们要研究随机矩阵了,同样也要应用化归的思想,用随机变量与随机向量的性质讨论随机矩阵的性质。

我们先回顾一下矩阵范数,考虑矩阵 A A A,它的范数可以用向量范数导出
∥ A ∥ = max ⁡ x ∥ A x ∥ 2 ∥ x ∥ 2 = max ⁡ x ∥ A x ∥ x ∥ 2 ∥ 2 = max ⁡ x ∈ S n − 1 ∥ A x ∥ 2 \left\| A \right\| = \max_{x}\frac{\left\| Ax \right\|_2}{ \left\| x \right\|_2} = \max_{x}\left\| A\frac{ x }{ \left\| x \right\|_2}\right\|_2=\max_{x \in S^{n-1}}\left\| Ax\right\|_2 A=xmaxx2Ax2=xmaxAx2x2=xSn1maxAx2

但基于我们对随机矩阵最简单的认识,这个矩阵的部分或全部的元素肯定是随机的,因此我们希望 x x x不仅仅在 S n − 1 S^{n-1} Sn1上变动;记 N \mathcal{N} N S n − 1 S^{n-1} Sn1的一个 ϵ \epsilon ϵ-net,我们希望 x x x可以在 N \mathcal{N} N上取值。所以接下来我们讨论 max ⁡ x ∈ S n − 1 ∥ A x ∥ 2 \max_{x \in S^{n-1}}\left\| Ax\right\|_2 maxxSn1Ax2 max ⁡ x ∈ N ∥ A x ∥ 2 \max_{x \in \mathcal{N}}\left\| Ax\right\|_2 maxxNAx2的关系。

引理:集网上的矩阵范数
max ⁡ x ∈ N ∥ A x ∥ 2 ≤ max ⁡ x ∈ S n − 1 ∥ A x ∥ 2 ≤ 1 1 − ϵ max ⁡ x ∈ N ∥ A x ∥ 2 \max_{x \in \mathcal{N}}\left\| Ax\right\|_2 \le \max_{x \in S^{n-1}}\left\| Ax\right\|_2 \le \frac{1}{1-\epsilon}\max_{x \in \mathcal{N}}\left\| Ax\right\|_2 xNmaxAx2xSn1maxAx21ϵ1xNmaxAx2

证明
根据 ϵ \epsilon ϵ-net的定义, N ⊂ S n − 1 \mathcal{N} \subset S^{n-1} NSn1,于是小于等于自然成立;

假设 x ∈ S n − 1 x \in S^{n-1} xSn1 ∥ A x ∥ 2 = ∥ A ∥ \left\| Ax\right\|_2 = \left\|A \right\| Ax2=A ∃ x 0 ∈ N \exists x_0 \in \mathcal{N} x0N,使得 ∥ x − x 0 ∥ 2 ≤ ϵ \left\| x-x_0 \right\|_2 \le \epsilon xx02ϵ,计算:
∥ A x − A x 0 ∥ 2 ≤ ∥ A ∥ ∥ x − x 0 ∥ 2 ≤ ϵ ∥ A ∥ \left\| Ax-Ax_0\right\|_2 \le \left\|A \right\| \left\| x-x_0 \right\|_2 \le \epsilon \left\|A \right\| AxAx02Axx02ϵA

根据三角不等式,
∥ A x 0 ∥ 2 ≥ ∥ A x ∥ 2 − ∥ A x − A x 0 ∥ 2 ≥ ( 1 − ϵ ) ∥ A ∥ \left\| Ax_0\right\|_2 \ge \left\| Ax\right\|_2 - \left\| Ax-Ax_0\right\|_2 \ge (1-\epsilon)\left\|A \right\| Ax02Ax2AxAx02(1ϵ)A

所以
∥ A ∥ ≤ 1 1 − ϵ max ⁡ x ∈ N ∥ A x ∥ 2 \left\| A \right\| \le \frac{1}{1-\epsilon}\max_{x \in \mathcal{N}}\left\| Ax\right\|_2 A1ϵ1xNmaxAx2

评述

矩阵范数除了由向量范数导出外,还可以由向量内积导出,在欧氏空间中,向量的欧氏范数导出的矩阵范数与向量欧氏内积导出的矩阵范数相同:
∥ A ∥ = max ⁡ x ∈ S n − 1 , y ∈ S m − 1 ⟨ A x , y ⟩ = max ⁡ x ∈ S n − 1 ∥ A x ∥ 2 \left\| A \right\|=\max_{x \in S^{n-1},y \in S^{m-1}} \langle Ax,y \rangle=\max_{x \in S^{n-1}}\left\| Ax\right\|_2 A=xSn1,ySm1maxAx,y=xSn1maxAx2

因此我们也可以在集网上由内积导出矩阵范数,记 M \mathcal{M} M S m − 1 S^{m-1} Sm1 ϵ \epsilon ϵ-net:

max ⁡ x ∈ N , y ∈ M ⟨ A x , y ⟩ ≤ max ⁡ x ∈ S n − 1 ∥ A x ∥ 2 ≤ 1 1 − 2 ϵ max ⁡ x ∈ N , y ∈ M ⟨ A x , y ⟩ \max_{x \in \mathcal{N},y \in \mathcal{M}} \langle Ax,y \rangle \le \max_{x \in S^{n-1}}\left\| Ax\right\|_2 \le \frac{1}{1-2\epsilon}\max_{x \in \mathcal{N},y \in \mathcal{M}} \langle Ax,y \rangle xN,yMmaxAx,yxSn1maxAx212ϵ1xN,yMmaxAx,y

相关推荐
©️2020 CSDN 皮肤主题: 撸撸猫 设计师:马嘣嘣 返回首页