本文详解在 Polars 中通过 storage_options 正确配置 AWS 凭据含 Session Token以安全、可靠地读取 S3 上的 Parquet 文件避免 403 Forbidden 等权限错误。 本文详解在 polars 中通过 storage_options 正确配置 aws 凭据含 session token以安全、可靠地读取 s3 上的 parquet 文件避免 403 forbidden 等权限错误。在使用 Polars 读取 AWS S3 上的 Parquet 文件时仅传递 aws_access_key_id 和 aws_secret_access_key 往往不够——尤其当你的 AWS Profile 使用了基于角色的临时凭证如通过 aws sts assume-role 或 SSO 登录获取时必须显式传入 aws_session_token否则将触发 ComputeError: Client error with status 403 Forbidden。这是因为 Polars 的底层对象存储客户端object_store不自动解析本地 ~/.aws/credentials 或 ~/.aws/config 中的 profile 配置也无法隐式加载 session token。? 推荐做法使用 boto3 获取完整冻结凭证以下代码展示了最健壮、跨环境兼容的写法适用于 IAM 用户密钥、角色扮演AssumeRole、SSO 登录等多种认证场景import polars as plimport boto3# 指定本地 AWS Profile 名称需已通过 aws-cli 配置profile_name my-prod-profiles3_path s3://my-s3-bucket/data/output.parquet# 创建 boto3 session 并提取完整凭证含 tokensession boto3.Session(profile_nameprofile_name)credentials session.get_credentials().get_frozen_credentials()# 构建 storage_options —— 必须包含三项核心凭证 regionstorage_options { aws_access_key_id: credentials.access_key, aws_secret_access_key: credentials.secret_key, aws_session_token: credentials.token, # ?? 关键不可省略 aws_region: session.region_name or us-east-1, # 建议显式指定}# 使用 read_parquet立即执行或 scan_parquet惰性执行df pl.read_parquet(s3_path, storage_optionsstorage_options)# 或lf pl.scan_parquet(s3_path, storage_optionsstorage_options).collect()?? 注意事项与最佳实践不要硬编码凭证始终优先使用 boto3.Session(profile_name...) 动态获取凭证而非手动设置环境变量或明文密钥。aws_session_token 是必需的若 credentials.token 为 None例如使用长期 IAM 密钥可安全省略该字段但只要 profile 启用了 MFA、SSO 或 AssumeRoletoken 就一定存在且必须传递。Region 必须匹配aws_region 应与 S3 bucket 所在区域一致否则可能引发签名错误SignatureDoesNotMatch。惰性 vs 立即加载pl.read_parquet()直接返回 DataFrame适合小到中等规模数据pl.scan_parquet()返回 LazyFrame支持链式过滤/投影下推pushdown大幅提升大文件处理效率推荐用于生产 ETL 流程。替代方案高级用户若希望完全复用 AWS CLI 配置包括 credential_process 或 sso可改用 polars 0.20.20 版本支持的 anonymousFalse 自动凭据链需确保 AWS_PROFILE 环境变量已设且 boto3 可访问import osos.environ[AWS_PROFILE] my-prod-profile # 仅当未显式传 storage_options 时生效df pl.read_parquet(s3://bucket/key.parquet) # Polars 会尝试自动加载但该方式透明性低、调试困难生产环境仍强烈推荐显式传参。? 验证是否成功运行后可通过以下方式快速验证连接与权限 Ideogram Ideogram是一个全新的文本转图像AI绘画生成平台擅长于生成带有文本的图像如LOGO上的字母、数字等。