从SciHub到DataSpace：欧空局Copernicus数据OData API迁移与Python实战

1. 欧空局Copernicus数据平台迁移背景

2023年10月，欧空局（European Space Agency）做了一项重大决定：正式关闭运行多年的SciHub数据平台，将所有对地观测数据服务迁移至全新的DataSpace平台。这个变化让不少依赖Copernicus数据的开发者措手不及，特别是那些已经基于SciHub API开发了自动化脚本的研究团队。

我最初发现这个变化是在一次常规数据抓取任务失败后。当时脚本突然报错，检查才发现原来常用的https://scihub.copernicus.eu/dhus/#/home已经无法访问。经过一番摸索，终于在新平台https://dataspace.copernicus.eu找到了数据的新家。这次迁移不仅仅是网址变更那么简单，整个API架构和数据访问方式都发生了重大变化。

最显著的区别是，新平台全面采用了OData（Open Data Protocol）作为标准查询协议。相比SciHub的老式REST API，OData提供了更强大的查询能力，特别是对于处理海量对地观测数据时，可以通过单一请求实现复杂的过滤和分页操作。不过这种改变也意味着开发者需要重写大部分数据访问代码。

2. 新旧平台核心差异解析

2.1 认证机制升级

旧SciHub平台使用的是基础的HTTP Basic认证，只需要用户名密码就能获取数据。而DataSpace平台改用了更现代的OAuth 2.0协议，需要通过OpenID Connect获取访问令牌（access token）。这种改变提高了安全性，但也增加了代码复杂度。

我在实际迁移过程中发现，很多开发者卡在了第一步——获取access token。这里有个小技巧：请求时必须明确指定client_id为"cdse-public"，这是平台为公开API分配的固定客户端ID。如果忘记设置这个参数，认证请求会直接失败。

def get_access_token(username, password): data = { "client_id": "cdse-public", # 这个参数绝对不能少 "username": username, "password": password, "grant_type": "password", } response = requests.post( "https://identity.dataspace.copernicus.eu/auth/realms/CDSE/protocol/openid-connect/token", data=data ) return response.json()["access_token"]

2.2 查询语法革命

SciHub时代的查询相当简单直接，主要通过几个固定参数过滤数据。而OData协议则提供了完整的查询语言，可以构建极其复杂的过滤条件。比如要查询特定时间范围、轨道号和产品类型的数据，现在可以通过一个精心构造的$filter参数实现。

在实际使用中，我发现OData的any操作符特别有用，它可以深入嵌套的属性中进行条件匹配。下面这个例子展示了如何查询特定轨道方向的Sentinel-3数据：

filter_orbit = """ Attributes/OData.CSC.StringAttribute/any( att:att/Name eq 'orbitDirection' and att/OData.CSC.StringAttribute/Value eq 'ASCENDING' ) """

3. Python实战：从认证到批量下载

3.1 构建高效查询URL

新平台的OData端点位于https://catalogue.dataspace.copernicus.eu/odata/v1/Products。要构建一个完整的查询URL，需要将多个过滤条件用"and"连接起来。这里有个实用技巧：使用f-string可以大大简化查询构建过程。

我在项目中总结出了一个URL构建函数，可以灵活组合各种查询条件。特别注意$top参数的使用，它可以限制返回结果数量，避免一次性获取过多数据导致超时：

def build_query_url(params): filters = [] if 'time_range' in params: start, end = params['time_range'] filters.append(f"ContentDate/Start gt {start}T00:00:00.000Z") filters.append(f"ContentDate/Start lt {end}T00:00:00.000Z") if 'orbit_number' in params: filters.append( "Attributes/OData.CSC.IntegerAttribute/any(" "att:att/Name eq 'relativeOrbitNumber' and " f"att/OData.CSC.IntegerAttribute/Value eq {params['orbit_number']})" ) base_url = "https://catalogue.dataspace.copernicus.eu/odata/v1/Products" return f"{base_url}?$filter={' and '.join(filters)}&$top=500"

3.2 实现可靠的文件下载

数据查询只是第一步，真正的挑战在于高效可靠地下载可能数GB大小的卫星数据文件。经过多次实践，我总结出一个包含以下关键特性的下载方案：

1. 断点续传：通过检查本地文件大小，可以恢复中断的下载
2. 进度显示：使用tqdm库显示实时下载进度
3. 错误重试：对失败的下载自动重试最多5次
4. 并发下载：利用ThreadPoolExecutor实现多文件并行下载

def download_with_retry(url, filename, max_retries=5): for attempt in range(max_retries): try: with requests.get(url, stream=True) as r: r.raise_for_status() total_size = int(r.headers.get('content-length', 0)) with open(filename, 'wb') as f, tqdm( desc=filename, total=total_size, unit='iB', unit_scale=True ) as progress: for chunk in r.iter_content(chunk_size=8192): f.write(chunk) progress.update(len(chunk)) # 验证文件完整性 if os.path.getsize(filename) == total_size: return True except Exception as e: print(f"尝试 {attempt + 1} 失败: {str(e)}") time.sleep(5 * (attempt + 1)) return False

4. 迁移过程中的经验与坑点

4.1 分页处理的注意事项

新平台的OData接口虽然支持$skip和$top实现分页，但在实际使用中发现，当结果集很大时，深分页（high skip values）会导致性能急剧下降。最佳实践是结合过滤条件尽量减少单次查询的结果量。

我通常采用的策略是：

1. 首先用严格的时间范围缩小查询窗口
2. 然后按轨道号或其他维度进一步过滤
3. 最后才考虑使用分页获取剩余结果

4.2 元数据结构的改变

SciHub和DataSpace的产品元数据结构完全不同。以前直接可用的字段，现在可能嵌套在复杂的Attributes结构中。比如获取产品类型现在需要通过这样的路径：Attributes/OData.CSC.StringAttribute/any(att:att/Name eq 'productType')/Value

处理这种嵌套数据时，建议先请求少量样本数据，仔细研究返回的JSON结构，再编写具体的解析代码。盲目尝试只会浪费大量时间。

4.3 下载配额与限流

新平台引入了更严格的请求频率限制。如果短时间内发送过多请求，可能会收到429 Too Many Requests响应。我的解决方案是：

• 在请求之间添加随机延迟（0.5-2秒）
• 对失败请求实现指数退避重试
• 将大任务拆分为多个小任务分批处理

def safe_request(url, headers): retry_delay = 1 for attempt in range(5): try: time.sleep(retry_delay * (0.5 + random.random())) response = requests.get(url, headers=headers) response.raise_for_status() return response except requests.HTTPError as e: if e.response.status_code == 429: retry_delay *= 2 continue raise

迁移到DataSpace平台确实需要投入一些学习成本，但一旦掌握了OData API的使用方法，你会发现新系统在灵活性和功能强大程度上远超旧平台。特别是在处理复杂查询和大批量数据时，OData协议提供的标准化操作可以大大简化开发工作。