引言

https://zh-v2.d2l.ai/chapter_introduction/index.html

1 Like

我对人工智能的整体方向缺乏系统的理解,因此在阅读前言一章时产生了诸多疑问。
目前根据我对散碎资料的狭隘理解,1.人工智能包含机器学习,机器学习分为监督学习无监督学习半监督学习和强化学习;2.回归分类标记搜索推荐系统序列学习等任务均属于监督学习范畴;3.监督学习的本质就是统计学习,训练模型其实是在寻找一个最佳的概率分布,从而在给定训练集特征的前提下输出最大化的条件概率;4.能够用于完成监督学习的模型种类很多,除了以前流行的核方法、树模型、图模型等等,近年来新兴的就是神经网络,只不过神经网络背后的数学统计理论支撑尚显不足;5.所以深度学习就是用神经网络进行监督学习,亦即深度学习完全含于监督学习。
如果我以上的理解都正确的话,那么回到标题就是深度学习(属于监督学习)完全被统计学习所包含。那么问题来了,整个机器学习是否都是统计学习?换而言之,除了监督学习以外,机器学习中另外的部分尤其是强化学习是否也是统计学习?如果是,应该怎么理解,毕竟强化学习已经没有对数据集的采样了,那么如何倒推出来一个最合适的概率分布模型。
如果我以上的理解哪里有误或者哪里不到位以及不严谨,烦请指出解惑,因为这些东西真的很少有人讲,相关教材资料也看了一些,只有沐神在前言里稍微谈了一点,实在搞不明白。

7 Likes

我的理解是深度学习包含在机器学习当中,要是安你所说的那样去明确划分的话,应该是机器学习大领域中除了深度学习的部分是统计学习

呃…并不是, 机器学习其实就是统计学习, 属于目前人工智能的最实际的实现途径, 无论是监督学习还是无监督学习还是统计学习根源其实都是在学一个概率分布, 只是各自处理手段不同, 但是由于统计的不确定性, 目前人工智能无法做到百分百准确, 这就是弱人工智能阶段的现状, 具体可以去看youtube上caltech在12年的CS课learning from data, 讲得非常非常好, 对理论和实践都很有帮助.

1 Like

请问1.4节这段翻译是否可以优化一下:“他也是优生学的倡导者,这提醒我们:使用数据科学虽然在道德上存在疑问,但是与数据科学在工业和自然科学中的生产性使用一样,有着悠久的历史。”
感觉原文的意思更接近“他也是优生学的倡导者,这提醒我们:数据科学在道德上存疑的使用,与其在工业和自然科学中的生产性使用一样,有着悠远而持久的历史。”

3 Likes

在古早时代统计学习还没有兴起的时候,主要是符号学习的天下。主要是知识系统一类的方法。这类方法应该引领了第一次浪潮。

练习:
1-2 就在做机器学习的练习
3. 蒸汽机和煤的关系是,煤是作为蒸汽机启动的燃料,把煤放进锅炉里加热,蒸汽机就可以启动。在算法和数据的关系里,算法并不因为有了数据在就自动演化,但是足量的数据还是算法演化的基础。

1 Like

练习:

  1. 绝大多数规则与启发式的都可以用来学习,例如:图片分类、垃圾分类,我的代码中有时候会用正则化的操作,我想着就是一些启发性的设计吧
  2. 比如我同学的水下去噪,学术界会有一些数据集可以直接处理这些问题,自动化的方法我想可能是爬虫类似这样的,或者说是自动流水线上的设备指标实时上传。
  3. 在2021年吴恩达提出基于数据的深度学习无疑回答了这个问题,煤是数据,模型是蒸汽机,根本的区别是就是煤和蒸汽机的关系
  4. 工程我想测距可能会有end2end的操作吧

请问动手学深度学习中的代码字体是什么呀?我觉得这字体看着很舒服。

我个人的理解是机器学习就是统计学。但强化学习更像是隶属于深度学习,深度学习最为特殊的是他的模型对于人类而言是未知的,我们没有办法很好的理解他。我们只是知道他做到了但并不知道如何做到的。

可以通过浏览器提供的控制台工具来查看页面任一元素的字体样式哈

中文版中前言的强化学习部分的“一个清洁机器人发现自己被困在一个许多相同的壁橱的房子里”,觉得与下文叙述不符,发现原文是"trapped in one of many identical closets in a house",个人觉得翻译的意思应该是“被困在房子中的许多相同壁橱当中的一个壁橱里”,是被困在壁橱中而不是房子中。

4 Likes

首先作为一枚入门小白,看完这篇引言我大概了解了深度学习的大体框架。但是与环境互动这个类我不是很理解为什么和监督学习它们同为一级的分类

争取寒假把动手学深度学习看完,研一要加油呀!

1 Like

机器学习也有无监督/自监督/半监督学习的,比如kmeans,MAE

从数据收集,分析感知再到决策,深度学习都发挥了相当大的作用

“这意味着统计模型需要提高内存效率(这通常是通过添加非线性来实现的)”。为啥是通过添加非线性来提升统计模型的内存效率?

配套的ipynb文件中的图打不开,比如:
chapter_introduction中的index.ipynb用jupyterlab打开后,图片不能显示

3.如果把人工智能的发展看作一场新的工业革命,那么算法和数据之间的关系是什么?它类似于蒸汽机和煤吗?根本区别是什么?
答:算法和数据的关系是互相驱动、紧密联系的。数据本身是面向应用的,它们是人工智能得以实现的基础,而算法则是利用数据达成应用目标的手段,不同手段在不同场景下有不同效果。从比喻义上说可以认为数据类似煤而算法类似蒸汽机,但是严格来说我有不同看法。由于煤只是工业革命的动力来源,而面对不同应用,煤并没有什么不同。然而数据不是如此,它与应用严格关联,没有正确的数据就几乎无法成功应用。
因此,数据在我看来更类似于所有原材料的综合、包括煤、铁矿、有色金属甚至农业产品等等。而算法也不能严格等同于蒸汽机,而是各类机器的总和。从这个角度上说,如果要类比于工业革命,那么算法和数据具有更加广泛的比喻义。

2 Likes
  1. 比如一下拟合优化的问题代码可以采用“学习“的方式来自动寻找最优的参数设置确定函数
  2. 在数学建模比赛中很多具体样本,恰好是机器学习的对象。
  3. 数据是算法的动力,我觉得还是挺类似于煤和蒸汽机的关系的。
  4. 端对端的训练方法实际上是专业交叉的一种体现,医学上的微型技术或者机器人的控制设计方面或许会用到
1 Like

个人的浅显理解:
让人眼花缭乱的深度学习,神经网络学习在数学概念上是将 N 维特征扩展成K (K >> N) 维空间,并在 K 维空间中聚类,每一层深度神经网络可以被认为是后一层神经网络的粗分类。
“推导出一个最合适的概率分布模型” 这句话其实不太对,应该是模型通过反向学习将模型调整成了训练者期望的分布映射。

然后对作者的一些疑惑做点澄清:
机械学习是计算机科学的概念,包括提到的的所有各种学习和算法的总集。包括本书中的所有内容。

统计学习是数据概念,个人认为是机械学习数学逻辑的描述,因为机械学习当前最火热的人工智能网络的真底层正反向传播其实就是逻辑回归,只是现在的模型越来越复杂,越来越庞大,没有人关注底层,所以很多人已经模糊了这个概念。相关讨论见: https://zhuanlan.zhihu.com/p/69216997

强化学习的底层还是统计学习,不过强化学习取了巧,数据输入和输出不再是直观的,或者说“”死的”数据集,而是根据训练状态实时产生的学习输入和学习评价。
以最经典的各有游戏 AI 学习举例:
获取当前的屏幕状态作为输入,输出则是进行某个动作会赢得游戏的概率,并通过代理选择最应该做的动作。AI 在 PvP 中的对练可以认为是双倍加速了这种学习过程。

就像本书引言说的,现在机械学习更强调环境交互和“感知”。
其目的还是让实现实现定好的模型(多少层网络,每层网络有多大)架构通过学习或者说训练将输入与输出映射成训练者想要或者说能赢的高维分布。

这里非常推荐沐神的 GAN 论文精度。(【GAN论文逐段精读【论文精读】】 GAN论文逐段精读【论文精读】_哔哩哔哩_bilibili)
里面详细解释了强化学习是如何自己定义想要的“结果”

1 Like