做时间序列预测时,实数的嵌入考虑

各位老师,同学大大好!

我有一个问题困扰我很久: 假如说我想用类似于Transformer的架构做时间序列预测。 我的Input X的size是[Batch_size, Seq_n, d_size], 这个d_size在处理文字类的token会转换成相应的embedding vector,比如说512的维度,但是对于我这种时间序列数据来说,我的每一个时间步上的数据就是一个实数,这种情况下我的特征维度是不是就是1(没法Embedding 为更大的维度)? 如果特征维度是1的情况下,我是不是就没法做多头注意力机制了?

谢谢任何指点!