我正在使用卫星数据构建飓风预报器。我在多层LSTM模型中有多个输出,输入和输出数组遵循结构[samples [time [features]]]。作为输入和输出,我具有飓风,WS和其他尺寸的坐标。
问题在于误差减少,因此,该模型始终预测为常数。阅读了几篇文章后,我对数据进行了标准化,删除了一些不必要的图层,但是,该模型始终会预测相同的输出。
我认为模型足够大,考虑到输出都在[-1; 1]之内,因此激活函数很有意义。所以我的问题是:我在做什么错?
该模型如下:
class Stacked_LSTM():
def __init__(self, training_inputs, training_outputs, n_steps_in, n_steps_out, n_features_in, n_features_out, metrics, optimizer, epochs):
self.training_inputs = training_inputs
self.training_outputs = training_outputs
self.epochs = epochs
self.n_steps_in = n_steps_in
self.n_steps_out = n_steps_out
self.n_features_in = n_features_in
self.n_features_out = n_features_out
self.metrics = metrics
self.optimizer = optimizer
self.stop = EarlyStopping(monitor='loss', min_delta=0.000000000001, patience=30)
self.model = Sequential()
self.model.add(LSTM(360, activation='tanh', return_sequences=True, input_shape=(self.n_steps_in, self.n_features_in,))) #, kernel_regularizer=regularizers.l2(0.001), not a good idea
self.model.add(layers.Dropout(0.1))
self.model.add(LSTM(360, activation='tanh'))
self.model.add(layers.Dropout(0.1))
self.model.add(Dense(self.n_features_out*self.n_steps_out))
self.model.add(Reshape((self.n_steps_out, self.n_features_out)))
self.model.compile(optimizer=self.optimizer, loss='mae', metrics=[metrics])
def fit(self):
return self.model.fit(self.training_inputs, self.training_outputs, callbacks=[self.stop], epochs=self.epochs)
def predict(self, input):
return self.model.predict(input)
注意
1)在此特定问题中,时间序列数据不是“连续的”,因为一个时间序列属于特定的飓风。因此,我针对每个飓风调整了时间序列的训练和测试样本。这意味着我不能stateful=True
在图层中使用该函数,因为这将意味着该模型在不同的飓风之间没有任何区别(如果我的理解是正确的话)。
2)没有图像数据,因此不需要卷积模型。
根据我的经验,很少有建议:
LSTM的4层太多了。坚持两个,最多三个。
不要relu
用作LSTM的激活。
请勿BatchNormalization
用于时间序列。
除此之外,我还建议删除两个LSTM层之间的密集层。
嗯...结果并不是真的好,但是感谢您的回复。最终,为什么在时间序列中使用BatchNormalization是错误的?
实际上,模型总是在预测同一件事
我已经更新了问题
您是否还需要格式的输出
[batch, timestep, features]
?这就是为什么要重塑Dense
图层的输出?您不使用BatchNormalization是时间,因为您希望模型中可见时间步长的任何波动。对于图像,这种波动可能是噪音。在时间序列中,它们可能是合法数据。