1. 时间序列预测的深度学习方法概述在当今数据驱动的世界中时间序列数据无处不在——从金融市场的股价波动到城市交通流量监测再到工业生产线的传感器读数。这类数据的特点是具有明显的时间依赖性即当前时刻的观测值与过去时刻的值密切相关。传统的时间序列分析方法如ARIMA虽然在某些场景下表现良好但当面对复杂、非线性的时间模式时深度学习方法往往能展现出更强的建模能力。在众多深度学习架构中长短期记忆网络(LSTM)和Transformer模型是两类最具代表性的时间序列处理工具。LSTM作为循环神经网络(RNN)的改进版本通过精心设计的门控机制解决了传统RNN的长期依赖问题。而Transformer模型则完全摒弃了循环结构依靠自注意力机制来捕捉序列中的长距离依赖关系。这两种架构各有特点LSTM的优势在于其有序处理序列的方式天然适合时间序列数据Transformer的并行计算特性使其训练效率更高且能直接建模任意距离的依赖关系在资源消耗方面LSTM通常参数更少而Transformer可能需要更多数据才能充分发挥性能实际应用中选择哪种架构需要综合考虑数据特性、预测任务复杂度以及计算资源等因素。没有绝对的好坏只有适合与否。2. 项目环境准备与数据加载2.1 基础环境配置我们使用Python作为开发语言主要依赖以下库PyTorch构建和训练深度学习模型pandas/numpy数据处理和数值计算matplotlib数据可视化scikit-learn评估指标计算pip install torch pandas numpy matplotlib scikit-learn2.2 芝加哥公共交通数据集介绍本项目使用芝加哥公共交通管理局(CTA)发布的每日乘客数量数据集记录从2001年开始的公交和铁路乘客数量。这个真实世界的数据集具有典型的时序特征明显的日/周/季节性周期特殊事件(如节假日)导致的异常波动长期趋势变化import pandas as pd import numpy as np import matplotlib.pyplot as plt import torch import torch.nn as nn from sklearn.metrics import mean_squared_error, mean_absolute_error # 加载原始数据 url https://data.cityofchicago.org/api/views/6iiy-9s97/rows.csv?accessTypeDOWNLOAD df pd.read_csv(url, parse_dates[service_date]) # 过滤COVID-19后的数据以避免分布偏移 df df[df[service_date] 2019-12-31] df.sort_values(service_date, inplaceTrue) ts df.set_index(service_date)[total_rides].fillna(0) # 数据可视化 plt.figure(figsize(12, 6)) plt.plot(ts) plt.title(CTA Daily Total Rides (2001-2019)) plt.xlabel(Date) plt.ylabel(Number of Rides) plt.grid(True) plt.show()2.3 数据预处理关键步骤时间序列预测任务的数据预处理有几个特殊之处时序分割不能随机划分训练/测试集必须保持时间先后顺序。我们采用前80%作为训练后20%作为测试。窗口化处理将连续的时间序列转换为监督学习所需的(X, y)样本对。例如用前30天的数据预测第31天的值。def create_sequences(data, seq_len30): X, y [], [] for i in range(len(data)-seq_len): X.append(data[i:iseq_len]) y.append(data[iseq_len]) return np.array(X), np.array(y) # 数据集划分 n len(ts) train ts[:int(0.8*n)] test ts[int(0.8*n):] # 创建序列样本 SEQ_LEN 30 X_train, y_train create_sequences(train.values.astype(float), SEQ_LEN) X_test, y_test create_sequences(test.values.astype(float), SEQ_LEN) # 转换为PyTorch张量 X_train torch.tensor(X_train).float().unsqueeze(-1) y_train torch.tensor(y_train).float().unsqueeze(-1) X_test torch.tensor(X_test).float().unsqueeze(-1) y_test torch.tensor(y_test).float().unsqueeze(-1)3. LSTM模型构建与训练3.1 LSTM架构设计LSTM模型的核心是其门控机制包括遗忘门决定丢弃哪些历史信息输入门确定要更新的新信息输出门控制当前时刻的输出我们的实现使用单层LSTM后接全连接层输出预测值class LSTMModel(nn.Module): def __init__(self, hidden32): super().__init__() self.lstm nn.LSTM( input_size1, # 单变量时间序列 hidden_sizehidden, batch_firstTrue ) self.fc nn.Linear(hidden, 1) def forward(self, x): out, _ self.lstm(x) # out形状: [batch, seq_len, hidden] return self.fc(out[:, -1]) # 只取序列最后时间步 lstm_model LSTMModel() print(lstm_model)3.2 训练过程与技巧训练神经网络时需要注意几个关键点学习率设置太大容易震荡太小收敛慢损失函数选择回归任务常用MSEBatch大小影响梯度估计的准确性def train(model, X, y, epochs100, patience5): model.train() optimizer torch.optim.Adam(model.parameters(), lr1e-3) loss_fn nn.MSELoss() best_loss float(inf) counter 0 for epoch in range(epochs): optimizer.zero_grad() outputs model(X) loss loss_fn(outputs, y) loss.backward() optimizer.step() # Early stopping检查 if loss.item() best_loss: best_loss loss.item() counter 0 else: counter 1 if counter patience: print(fEarly stopping at epoch {epoch}) break if epoch % 10 0: print(fEpoch {epoch}, Loss: {loss.item():.4f}) return model lstm_model train(lstm_model, X_train, y_train)实际训练中发现LSTM对初始化比较敏感有时需要多次运行才能得到理想结果。可以尝试添加梯度裁剪(gradient clipping)防止梯度爆炸。4. Transformer模型实现4.1 Transformer架构设计与传统RNN不同Transformer完全基于注意力机制主要组件包括位置编码注入序列顺序信息自注意力层计算序列元素间的关联权重前馈网络非线性变换我们的简化实现只使用单层Transformer编码器class SimpleTransformer(nn.Module): def __init__(self, d_model32, nhead4): super().__init__() self.embed nn.Linear(1, d_model) # Transformer编码器层 encoder_layer nn.TransformerEncoderLayer( d_modeld_model, nheadnhead, batch_firstTrue ) self.transformer nn.TransformerEncoder(encoder_layer, num_layers1) self.fc nn.Linear(d_model, 1) def forward(self, x): x self.embed(x) # [batch, seq_len, d_model] x self.transformer(x) return self.fc(x[:, -1]) # 预测最后一个时间步的下一个值 transformer_model SimpleTransformer() print(transformer_model)4.2 Transformer训练注意事项训练Transformer时有几个特殊考虑学习率预热初始阶段逐步提高学习率层归一化稳定训练过程注意力掩码控制信息流动(本任务不需要)# 使用与LSTM相同的训练函数 transformer_model train(transformer_model, X_train, y_train)实践中发现Transformer需要比LSTM更多的训练数据才能发挥优势。在小数据集上简单的LSTM可能反而表现更好。5. 模型评估与对比分析5.1 评估指标计算我们采用两种常用指标评估预测效果MAE(平均绝对误差)直观解释预测偏差大小RMSE(均方根误差)对大误差更敏感def evaluate(model, X, y): model.eval() with torch.no_grad(): preds model(X).numpy().flatten() true y.numpy().flatten() mae mean_absolute_error(true, preds) rmse np.sqrt(mean_squared_error(true, preds)) return mae, rmse, preds # 评估两个模型 lstm_mae, lstm_rmse, lstm_preds evaluate(lstm_model, X_test, y_test) trans_mae, trans_rmse, trans_preds evaluate(transformer_model, X_test, y_test) print(fLSTM - MAE: {lstm_mae:.1f}, RMSE: {lstm_rmse:.1f}) print(fTransformer - MAE: {trans_mae:.1f}, RMSE: {trans_rmse:.1f})5.2 结果可视化分析绘制预测值与真实值的对比图能更直观地理解模型表现plt.figure(figsize(15, 6)) plt.plot(y_test.numpy().flatten(), labelTrue Values) plt.plot(lstm_preds, labelLSTM Predictions, alpha0.7) plt.plot(trans_preds, labelTransformer Predictions, alpha0.7) plt.title(Model Predictions Comparison) plt.xlabel(Time Step) plt.ylabel(Number of Rides) plt.legend() plt.grid(True) plt.show()5.3 性能差异解释在我们的实验中两个模型表现非常接近这可能是因为任务相对简单单步预测比多步预测容易数据规模有限Transformer的优势在大数据量下更明显模型规模较小我们使用了精简版的两种架构当尝试更复杂的预测任务(如预测未来30天的序列)或使用更大规模数据集时Transformer可能会展现出更明显的优势。此外添加更多特征(如天气、节假日信息)也可能改变两种模型的相对表现。6. 实际应用建议与扩展方向6.1 模型选择指南根据实践经验建议考虑以下因素选择模型考虑因素倾向LSTM的情况倾向Transformer的情况数据量小到中等(数千样本)大规模(数万以上样本)序列长度中等长度(100-500步)超长序列(500步)计算资源有限充足预测范围短期预测长期依赖预测实时性要求高中等6.2 可能的改进方向特征工程添加滞后特征引入外部变量(天气、节假日等)进行差分/对数变换使序列更平稳模型优化尝试更深的网络结构调整超参数(隐藏层大小、学习率等)使用更复杂的注意力变体(如Informer)训练技巧使用学习率调度器添加正则化(Dropout, L2等)尝试不同的优化器# 示例添加差分处理 diff_ts ts.diff().dropna() # 然后重新进行窗口化和训练6.3 生产环境部署考虑将时间序列模型投入实际使用时还需考虑在线学习数据分布可能随时间变化需要定期更新模型预测不确定性输出预测区间而不仅是点估计监控建立性能下降的检测机制资源效率平衡预测精度与计算成本我在实际项目中发现对于业务决策而言解释模型为什么做出特定预测往往比预测精度本身更重要。这点上虽然两种模型都是黑盒但可以通过注意力权重分析(Transformer)或门激活分析(LSTM)获得一定洞见。