联蔚盘云-ADF的数据采集方案-Azure Storage数据源

身份验证方式

适用场景

前置要求/规范

Microsoft Entra ID - Managed identity

同租户下的Blob数据采集

1.ADF与Storage位于同租户下

2.ADF已启用并分配Managed identity

3.Blob已授权对应Managed identity所需访问权限

4.完成Blob的Managed private endpoint部署

Microsoft Entra ID - ServicePrincipal

同一Azure云环境下

1.ServicePrincipal不支持跨云授权访问，例如Azure CN下不支持配置使用Azure Global的ServicePrincipal

2.Blob已授权对应标识访问权限

3.凭据托管至Azure Key vault

4.Azure Key vault的Link已经建立

5.完成Blob的Managed private endpoint部署 6.Blob未启用软删除

共享访问签名 (SAS)

1.临时授权访问

2.跨云Blob数据采集

1.Blob已授权对应Token的访问权限

2.SAS URI已托管至Azure Key vault

4.Azure Key vault的Link已经建立

Storage Account AccessKey

独享存储账户（权限范围过大，不推荐）

1.AccessKey已托管至Azure Key vault

2.Azure Key vault的Link已经建立

Anonymous

无身份验证（不推荐）

不推荐

最佳实践说明

#场景说明

同一Azure云环境或同租户下：优先使用Microsoft Entra ID认证进行统一的身份验证管理，次之选用共享访问签名 (SAS) ；

跨云Blob数据采集：不支持使用Microsoft Entra ID认证，此时优先选用共享访问签名 (SAS) ；

不推荐场景：Storage Account AccessKey和Anonymous访问不推荐，谨慎使用；

#规范要求

签发路径：必须使用HTTPS等受信任的签发途径；

周期性轮换：所有密钥必须妥善保管，并根据不同的方式定义密钥生命周期管理规范；

撤销：所有授权必须定义紧急撤销预案，如发生泄露需及时撤销；

网络：支持private endpoint的应优先使用private endpoint；

IR类型

要求/规范

说明

Azure 托管运行时

启用托管虚拟网络

托管虚拟网络仅在与数据工厂区域相同的区域中受支持

自托管运行时

自托管运行时应配置使用Private Endpoint接入

Private Endpoint不支持自承载 IR 进行的交互式创作（如测试连接、浏览文件夹列表和表列表、获取架构和预览数据）通过专用链接进行

Azure-SSIS IR

Azure-SSIS IR应使用虚拟网络集成并进行网络权限管控

分类

要求/规范

备注

网络安全边界

1.Azure-SSIS IR应使用虚拟网络集成并进行网络权限管控

2.Azure集成运行时应启用托管虚拟网络

3.优先使用托管Private Endpoint

4.自承载运行时应配置使用ADF Private Endpoint

虚拟网络集成能够优化网络链路的效率和网络边界

权限管理

1.优先使用Microsoft Entra ID认证

2.如使用本地身份验证的密钥需加密存储并周期性轮换

3.最小特权原则

1.web端管理：资源组层级”数据工厂参与者“

2.powershell&sdk管理：资源层级”参与者“

3.细化的权限分配：自定义角色（权限组合）Microsoft.DataFactory/factories 系列 Microsoft.Resources/deployments/ 权限

加密

1.启用传输加密：HTTPS、TLS 1.2及以上

2.启用存储加密：Azure托管密钥、自托管密钥

密钥管理

1.所有密钥需使用受信任的密钥管理

2.密钥需周期性轮转

例如 Azure Key vault

数据保护

1.启用Azure Policy进行数据采集出入站数据源管理

2.优先使用源代码管理保护源代码数据和资源管理器模板

3.实时模式管理下需要周期性导出资源管理器模板文件和参数

资源管理器模板不会包含任何机密信息

分类

推荐监视项

说明

Monitor

##Jobs

1.PipelineFailedRuns（包含Pipeline实例分类）：运行失败的Pipeline数量

2.ActivityFailedRuns（包含Activity实例分类）：运行失败的Activity数量

3.TriggerFailedRuns（包含Trigger实例分类）：运行失败的Trigger数量

##Managed Vnet Azure IR

1.MVNetIRPipelineCapacityUtilization（包含IR实例分类）：托管网络Azure IR的Pipeline容量使用率

2.MVNetIRPipelineWaitingQueueLength（包含IR实例分类）：托管网络Azure IR的Pipeline队列长度

3.MVNetIRExternalCapacityUtilization（包含IR实例分类）：托管网络Azure IR的外部Pipeline容量使用率

4.MVNetIRExternalWaitingQueueLength（包含IR实例分类）：托管网络Azure IR的外部Pipeline队列长度

1.监视对应任务的运行状况

2.监视IR资源使用情况

Log

Pipeline、Trigger、Sandbox：日志记录Pipeline、Trigger、Sandbox对应的日志输出

用于Audit运行事件并为周期性Review提供重要的数据支撑

说明

Azure CN不支持Airflow IR

自承载运行时可使用instance自身的监控数据