线性回归

https://zh-v2.d2l.ai/chapter_linear-networks/linear-regression.html

(3.1.3) 中,向量 𝐱x 对应于单个数据样本的特征。用符号表示的矩阵 𝐗∈ℝ𝑛×𝑑X∈Rn×d 可以很方便地引用我们整个数据集的 𝑛n 个样本。其中,𝐗X 的每一行是一个样本,每一列是一种特征

这段话中对于每一行的描述是不是不太妥当?我认为每一行是没有什么实际意义的,如果每一列是一个样本的全部特征,那么每一行只是表示所有样本的第一个特征的集合,我想你们想表达的是行列所代表的意义,我认为更妥当的说法是“行数代表了一个样本的特征数量,而列数代表了样本数”

3 Likes

Hi @argb, 很棒的解释。请你发个pr做contributor吧!

说每一行是一个样本,每一列是一种特征没啥问题吧,矩阵X的size是n行d列,就是说数据集有n个样本,每个样本有d个特征,所以用你的说法来说就是行数代表了样本数,列数代表了特征数量。

我看你表达的和作者明明是同一个意思啊,只是表达方式不一样而已。

李老师这本书写得实在是太好了,解释的非常清楚,非常明白,堪称机器学习中的一绝级别的作品,机器学习中的僻邪剑谱。

你好,请问有每一节课后练习的参考答案吗?做完练习以后不太清楚自己答案的正确性。

4 Likes

第 3 小题不太会做,希望得到大家的帮助和指点,谢谢了。

尝试解答:

  1. -\log P(y|X)=1/2\sum_i|y^{(i)}-w^T x^{(i)}-b|
  2. 对比 3.1 小节案例,最小化第 1 问结果的损失函数是(省略偏差 b) $loss=\sum_i|y^{(i)}-w^T x^{(i)}|$,也就是 MAE 。与之对比,3.1小节案例中的损失函数是 MSE。解析解是什么?我没有求出来。
  3. 因为MAE导数不连续,驻点处不可导,梯度下降法可能碰到问题。解决办法是采用 Huber loss,即当损失函数小于一定阈值后,就用MSE 代替 MAE。

同求…

1 Like

谁可以讲解下3.1.8的求导过程吗,不是太清楚