用Python和Pandas玩转全球凋落物数据集：从ORNL DAAC下载到物候分析实战

张

张建站

2026/5/31 1:27:13

10分钟阅读

用Python和Pandas玩转全球凋落物数据集从ORNL DAAC下载到物候分析实战生态学研究正迎来数据驱动的黄金时代。当我在亚马逊雨林进行野外考察时曾为手工记录落叶数据花费数周时间而如今通过ORNL DAAC这样的开放数据平台我们可以直接获取全球范围的凋落物观测记录。本文将带你用Python完成从数据获取到物候分析的全流程这种技能组合正在成为生态学家的新标配。1. 获取ORNL DAAC凋落物数据集1.1 数据源定位与下载ORNL DAAC橡树岭国家实验室分布式数据档案中心是NASA地球观测系统数据的重要组成部分。其收录的全球凋落物数据集DOI: 10.3334/ORNLDAAC/1244包含来自全球500多个站点的观测记录时间跨度超过30年。手动下载步骤访问 https://daac.ornl.gov搜索框输入Litterfall Mass and Litter Pool Carbon在结果中选择对应数据集点击Download Data获取CSV文件更高效的方式是使用Python自动化下载import requests from tqdm import tqdm def download_litterfall_data(): url https://daac.ornl.gov/daacdata/carbon/litterfall/comp/litterfall_data.csv response requests.get(url, streamTrue) total_size int(response.headers.get(content-length, 0)) with open(litterfall_global.csv, wb) as f: for data in tqdm(response.iter_content(1024), totaltotal_size//1024, unitKB): f.write(data) print(下载完成文件保存为 litterfall_global.csv) download_litterfall_data()1.2 数据集结构解析该数据集主要包含以下关键字段字段名数据类型描述site_idstring唯一站点标识符latitudefloat站点纬度longitudefloat站点经度collection_datedatetime数据采集日期litterfall_massfloat凋落物质量(g/m²)vegetation_typestring植被类型分类climate_zonestring气候带分类注意原始数据中的日期格式可能不一致需要特别处理欧洲和美洲不同站点的日期记录方式。2. 数据清洗与预处理实战2.1 处理缺失值与异常值加载数据后的第一步是质量检查import pandas as pd import numpy as np df pd.read_csv(litterfall_global.csv, encodinglatin1) # 检查缺失值比例 missing_stats df.isnull().mean() * 100 print(missing_stats[missing_stats 0])常见的数据清洗操作# 处理负值的凋落物质量记录 df df[df[litterfall_mass] 0] # 统一日期格式 df[collection_date] pd.to_datetime(df[collection_date], errorscoerce) # 填充气候带分类的缺失值 climate_zone_map { A: 热带, B: 干旱, C: 温带, D: 大陆性, E: 极地 } df[climate_zone] df[climate_köppen].str[0].map(climate_zone_map)2.2 空间数据标准化地理坐标的标准化处理from pyproj import Transformer def convert_dms_to_dd(dms_str): 将度分秒格式转换为十进制度 parts dms_str.split() degrees float(parts[0]) minutes float(parts[1]) seconds float(parts[2]) return degrees minutes/60 seconds/3600 # 处理混合坐标格式 df[latitude] df[latitude].apply( lambda x: convert_dms_to_dd(x) if isinstance(x, str) else x) df[longitude] df[longitude].apply( lambda x: convert_dms_to_dd(x) if isinstance(x, str) else x)3. 时空可视化技术3.1 全球站点分布热力图使用Cartopy创建专业级地图import cartopy.crs as ccrs import cartopy.feature as cfeature import matplotlib.pyplot as plt plt.figure(figsize(15, 8)) ax plt.axes(projectionccrs.PlateCarree()) ax.add_feature(cfeature.LAND) ax.add_feature(cfeature.OCEAN) ax.add_feature(cfeature.COASTLINE) ax.add_feature(cfeature.BORDERS, linestyle:) # 按气候带着色 for zone, color in [(热带, red), (温带, green), (干旱, yellow)]: subset df[df[climate_zone] zone] ax.scatter(subset[longitude], subset[latitude], colorcolor, labelzone, s20, transformccrs.PlateCarree()) plt.legend() plt.title(全球凋落物观测站点分布) plt.show()3.2 时间序列分析按气候带分组分析季节模式# 提取月份信息 df[month] df[collection_date].dt.month # 计算各气候带月平均凋落量 monthly_means df.groupby([climate_zone, month])[litterfall_mass].mean().unstack() # 绘制季节变化曲线 plt.figure(figsize(12, 6)) for zone in [热带, 温带, 干旱]: plt.plot(monthly_means.columns, monthly_means.loc[zone], labelzone, markero) plt.xlabel(月份) plt.ylabel(凋落物质量 (g/m²)) plt.title(不同气候带凋落物季节变化) plt.legend() plt.grid(True) plt.show()4. 物候规律相关性分析4.1 整合SIF/EVI遥感数据从Google Earth Engine获取配套遥感数据import ee ee.Initialize() # 定义研究区域和时间范围 geometry ee.Geometry.Rectangle([-180, -60, 180, 80]) date_range ee.DateRange(2010-01-01, 2020-12-31) # 获取MODIS EVI数据 modis ee.ImageCollection(MODIS/006/MOD13A2) \ .filterBounds(geometry) \ .filterDate(date_range) \ .select(EVI) # 获取GOME-2 SIF数据 gome2 ee.ImageCollection(COPERNICUS/S5P/OFFL/L3_SIF) \ .filterBounds(geometry) \ .filterDate(date_range) \ .select(SIF_743)4.2 物候指标计算定义关键物候指标的计算方法def calculate_pheno_metrics(ts_series): 计算物候指标 ts_series ts_series.interpolate() # 填补缺失值 # 使用滑动窗口平滑 smooth ts_series.rolling(window3, centerTrue).mean() # 找最大值和最小值 max_val smooth.max() min_val smooth.min() # 计算季节振幅 amplitude max_val - min_val # 计算季节积分 seasonal_integral smooth.sum() return pd.Series({ amplitude: amplitude, integral: seasonal_integral, max_month: smooth.idxmax().month, min_month: smooth.idxmin().month })4.3 相关性分析案例分析凋落物与EVI的季节关系from scipy.stats import pearsonr # 准备数据 tropical_sites df[df[climate_zone] 热带] monthly_litter tropical_sites.groupby(month)[litterfall_mass].mean() monthly_evi [0.45, 0.48, 0.52, 0.55, 0.53, 0.50, 0.47, 0.46, 0.48, 0.51, 0.49, 0.46] # 计算相关系数 corr, p_value pearsonr(monthly_litter, monthly_evi) print(fPearson相关系数: {corr:.3f}, p值: {p_value:.4f}) # 可视化对比 fig, ax1 plt.subplots(figsize(10, 5)) ax2 ax1.twinx() ax1.plot(monthly_litter.index, monthly_litter, g-, label凋落物) ax2.plot(range(1,13), monthly_evi, b-, labelEVI) ax1.set_xlabel(月份) ax1.set_ylabel(凋落物质量 (g/m²), colorg) ax2.set_ylabel(EVI指数, colorb) plt.title(热带地区凋落物与EVI季节变化对比) plt.show()5. 高级分析技巧5.1 空间自相关分析使用PySAL检测空间模式from libpysal.weights import DistanceBand from esda.moran import Moran # 创建空间权重矩阵 coords df[[latitude, longitude]].values w DistanceBand(coords, threshold500) # 500公里邻域 # 计算全局Morans I moran Moran(df[litterfall_mass], w) print(fMorans I: {moran.I:.3f}, p值: {moran.p_norm:.4f})5.2 机器学习预测模型构建随机森林预测凋落物量from sklearn.ensemble import RandomForestRegressor from sklearn.model_selection import train_test_split # 准备特征和目标变量 features df[[latitude, longitude, month, climate_zone]] features pd.get_dummies(features) # 处理分类变量 target df[litterfall_mass] # 分割数据集 X_train, X_test, y_train, y_test train_test_split( features, target, test_size0.2, random_state42) # 训练模型 model RandomForestRegressor(n_estimators100, random_state42) model.fit(X_train, y_train) # 评估模型 score model.score(X_test, y_test) print(f模型R²分数: {score:.3f}) # 特征重要性 importance pd.Series(model.feature_importances_, indexfeatures.columns) importance.sort_values().plot(kindbarh) plt.title(特征重要性排序) plt.show()在实际项目中我发现站点密度不均匀会影响模型性能建议先进行空间分层抽样。另一个实用技巧是将月份转换为循环特征正弦/余弦变换可以更好地捕捉季节周期性。