自动求导

中文版 mxnet
#1

https://zh.d2l.ai/chapter_preliminaries/autograd.html

1 Like
#2

Blockquote
实际中，根据我们设计的模型，系统会构建一个计算图（computational graph）， 来跟踪计算是哪些数据通过哪些操作组合起来产生输出…
Blockquote

一致搞不懂什么是模型，在简单实例的代码中试图寻找模型的定义，还是看不明白，能简单解释以下吗？
谢谢

#3

所以二阶导数怎么代码实现 :smile: :kissing_smiling_eyes:

#4

如果a输入一个标量0，f(a)不会死循环吗？

#5

自动微分能支持的边界是什么？

当我们自己设计一个模型的时候， 比如涉及到网络架构、激活函数、优化器这些的创新，自动微分(tf or troch or mxnet)难道全部支持吗？还是有些限定？

#6

输入一个标量应该会报错吧，你看代码，while 语句要判断b的l2 norm 是否小于1000，一个 标量怎么可能有norm。执行这个语句的时候应该就报错了。