0908-CDP Private Cloud Base 7.1.9正式GA

八月再见，九月你好，今天是九月八日，新学年开始，Cloudera正式发布CDP Base 7.1.9和Cloudera Manager 7.11.3。此版本首次在CDP PvC Base上引入强大的Open Data Lakehouse分析功能，同时它和CDP Base 7.1.7一样，也是一个长期支持版本（long-term release, LTS），EOS的时间为2027年九月。

1.主要亮点

1.CDP Base7.1.9通过Open Data Lakehouse引入了数据的未来架构，这是一种由Apache Iceberg提供支持的现代架构，可提供数据可靠性和简化的数据管理。这种基于开源标准的创新表格式（table format）彻底改变了大规模数据管理，凭借时间旅行、模式演化和简化的数据发现等内置功能，Iceberg使数据团队能够增强数据湖管理，同时维护数据完整性。

2.此版本通过零停机升级(Zero Downtime Upgrades，ZDU)提供高可用性，通过消除或减少长时间停机来确保最大限度地减少工作流程中断。客户可以通过大型集群的一阶段（one-stage）升级和自动升级来进一步提高生产力，从而提高业务运营的弹性和效率。

3.Apache Ozone存储使我们客户的部署具有足够的可扩展性，足以处理海量数据集。此版本添加了新的Ozone功能，例如快照、改进的复制以及volume和bucket的配额，以促进现代云原生架构的采用。

2.主要功能更新

1.Apache Iceberg将事务可靠性和列式存储效率独特地结合起来，为处理数据湖分析提供了新标准，将数据湖现代化为新的湖仓一体架构。

• • 此版本集成了Impala、Spark、Flink和NiFi计算引擎，用于并发访问和处理Iceberg数据集。它提供时间旅行功能、改进的查询性能、数据治理以及简化的数据管道和数据操作，以增强客户部署的敏捷性。此外，跨所有这些引擎的联邦数据访问可以在单个数据副本上轻松部署多个不同的用例。
• • 该版本还通过数据湖数据的原地schema evolution和ACID事务，简化了对General Data Protection Regulation(GDPR)和类似法规的遵守。
• • Iceberg Replication使客户能够在私有云中的Iceberg表之间复制表级数据，适用于在HDFS存储上运行的Spark创建的Iceberg V2表。
• • 该版本支持使用单个SQL命令原地从Hive表迁移到Iceberg，无需应用程序重构，从而使客户能够最大限度地发挥Data Lakehouse功能。

2.高可用性功能 - 企业就绪性（Enterprise Readiness）要求客户的部署和工作负载可靠、高可用且敏捷。通过以下功能来利用高可用性，此版本体现了我们对客户增长和业务运营的承诺：

• • 零停机升级（ZDU）满足了客户对集群升级高可用性的需求。HDFS、HBase、Hive、Kudu、Kafka、Ranger、Ranger KMS和YARN现在支持零停机升级。此外，Impala、Knox、Job History Server、Oozie、Phoenix、Solr、Zeppelin和Zookeeper现在支持减少升级停机时间。
• • Livy和Spark History Server的高可用性允许在集群中运行多个服务实例，以在生产部署中维持不间断的服务。

3.Apache Ozone功能和集成 - 继续释放数据密集型应用程序的全部潜力，该版本提供以下Ozone新功能：

• • Ozone现在支持volume和bucket级别的快照，添加了Ozone recon改进，以提供对关键数据管理指标和报告的见解，例如过滤器、大小或访问的热图（heatmap），其他还包括例如数据被访问或删除的次数。
• • Ozone-Knox集成允许用户通过HDFS和S3等标准协议使用Knox访问Ozone数据。
• • Ozone-Hue集成允许Hue使用文件浏览器连接和浏览Ozone对象，此外Hue还支持使用Ozone上的数据来运行存储过程并访问查询历史记录。
• • Ranger Resource Mapping Service(RMS)将支持Ozone存储位置的授权，RMS for Ozone与Hive-HDFS ACL sync共存，并为HDFS和Ozone文件系统提供授权。

4.平台功能 - CDP Private Cloud Base在通过网络通信的应用程序之间提供隐私保护和数据完整性，该版本添加了新的安全措施和高级加密功能，以创建更安全的客户环境：

• • TLS1.2协议加密提供在集群中的主机之间创建的安全连接，以便在CDP服务和后端数据库之间使用TLS 1.2。
• • CDP PvC Base组件和Oracle后端数据库之间提供安全通信SSL(TCPS)。
• • 对“/tmp”文件系统的“noexec”选项的支持允许CDP组件或服务在/tmp上未启用exec的情况下运行，从而通过禁止用户从/tmp运行可执行二进制文件来降低安全风险。

5.Operational Databases – Kafka rebase到3.4，Zookeeper rebase到3.8，Curator rebase到5.4.0。

6.新增和增强的安全功能 - 以下安全功能和增强功能有助于管理 CDP PvC Base的全面数据安全和策略实施：

• • Ranger KMS代替Key Trustee Server(KTS)成为统一的加密秘钥管理服务，支持从KTS和NavEncrypt导入密钥，以及从NavEncrypt所在的旧KTS节点到Ranger KMS节点的自动切换，以免损害数据加密和安全性。
• • Knox HttpFS增强了访问和传输HDFS数据的外围安全性。
• • Knox token authentication供高效且可扩展的用户身份认证，通过使用易于滚动、更新和撤销的令牌。

7.SDX功能 - 为了让用户和管理员继续享受共享数据体验(SDX)的优势并改进平台和数据治理，7.1.9中提供了以下功能：

• • Ranger现在支持Ranger Tag Sync/User Sync的高可用，以便在默认主机发生故障时，其他主机可以接管。
• • Ranger User Sync现在为客户提供了一个选项，可以像更新组成员身份一样对待来自多个同步源的用户/组。
• • Ranger导入/导出为角色提供了 API，无需手动创建角色并将其与导入/导出策略相关联。
• • Atlas审计时效（audit aging）减少了Atlas系统中现有的审计数据，该数据基于最终用户标准和用户可以管理的配置更改。

8.合规性和报告功能 - 支持CGI标准和FIPS认证对于受监管的行业和政府组织至关重要。此版本增加了针对RHEL 8.8（带有JDK 8）平台的FIPS认证，以支持我们的客户保护其敏感信息并遵守其安全措施。此外，FIPS组件支持已扩展到Apache Phoenix、NavEncrypt和Ranger KMS。

9.升级支持矩阵 - 此版本通过降低升级复杂性来增强用户体验，CDP PvC Base 7.1.9的一步（one-step）升级支持矩阵如下图所示。

10.新的操作系统和数据库支持 - Operating System Support: RHEL 9.1, Oracle UEK, SLES 15 SP4； Python: Python 3.10 support

原文参考：

https://docs.cloudera.com/cdp-private-cloud/latest/release-summaries/topics/announcement-202309-719.html

Cloudera Manager 7.11.3发布说明：

https://docs.cloudera.com/cdp-private-cloud-base/7.1.9/manager-release-notes/topics/cm-whats-new-7113.html

Cloudera Runtime 7.1.9发布说明：

https://docs.cloudera.com/cdp-private-cloud-base/7.1.9/runtime-release-notes/topics/rt-pvc-whats-new.html