延后初始化

http://zh-v2.d2l.ai/chapter_deep-learning-computation/deferred-init.html

5.3. 延后初始化 这个不支持pytorch嘛??

请问这个延后初始化功能 pytorch不支持吗

支持的,了解一下nn.LazyLinear

支持的,使用 torch.nn.LazyLinear,但是PyTorch的这个功能正处于开发阶段,API或功能的变化随时可能发生。
以下给出样例代码

import torch
from torch import nn
net = nn.Sequential(nn.LazyLinear(256), nn.ReLU(),nn.Linear(256,10))
print(net)
[net[i].state_dict() for i in range(len(net))]
low = torch.finfo(torch.float32).min/10
high = torch.finfo(torch.float32).max/10
X = torch.zeros([2,20],dtype=torch.float32).uniform_(low, high)
net(X)
print(net)
2 Likes