Alluxio 1.5.0开源发布版的技术亮点

  • 时间:
  • 浏览:1
  • 来源:uu快3概率_uu快3官网pk10_平台



4.挂载特定配置属性

5.更多

在EC2实例上通过Docker容器运行Alluxio的相关教程, 请参阅文档

版权申明:本文由南京大学顾荣等专家翻译采集自Alluxio公司技术博客,由Alluxio公司授权云栖社区及CSDN首发(联合),版权归Alluxio公司所有,未经版权所有者同意请勿转载。

此前,Alluxio推出了一二个 代理任务管理器运行运行,默认情况下与每一二个 Alluxio Master和Worker同時 运行,如保让提供了REST API,为宜Alluxio本地文件系统API。为了能基于REST API与Alluxio进行交互,在1.5.0版本中,Alluxio推出了GO Client。该客户端可从其自身的Repository中获取,通过“go get”机制导入用户任务管理器运行中。

除了提供在GO环境下与Allluxio通信外,该客户端的实现也体现了基于REST API实现这个语言绑定Alluxio是十分容易的。

注意通过REST API与Alluxio通信时要额外的网路跳数和(或)内存副本,如保让预期其性能不如原生Java客户端。当时人面,基于REST API的客户端都将从任何本地java客户端的改进中受益,原因分析GO Client 与这个针对REST API开发的客户端将始终具有最新价值形式。

下面的例子演示了使用GO任务管理器运行与Alluxio交互:

在1.5.0版本中,Alluxio可不不能使用S3A连接器连接到Ceph。相较于Swift连接器,S3A连接器提供了显着的功能和性能改进。

如下图所示,当读取1 GB大小的文件时,S3A连接器的读取性能可提高3倍。



2.Alluxio Golang Client

此后,所有认证的Alluxio用户可不不能自由访问 /mnt1 和 /mnt2,甚至这么注意到它们来自一二个 不同的桶,并使用不同的认证密钥进行访问。

3.使用S3A在Ceph上部署Allluxio

Alluxio 1.5.0上加了文档和脚本,以便在Docker容器中运行Alluxio。可不不能使用-e参数传递Alluxio配置参数,并将日志写入stdout,以便它们显示在docker日志的输出中。下面的例子演示了如保在HDFS上通过Docker容器运行Alluxio。

开源Alluxio 1.5.0不可能 发布了大量的新功能和改进。Alluxio允许任何任务管理器运行运行以内存级速率且透明地从任何存储系统访问数据。和阳态系统中的这个技术的互操作性是实现这个目标的重要一步,在1.5.0版本中,亲戚亲们从以下哪好多个关键方面改进了Alluxio的可访问性。

使用Alluxio的一二个 重要优势是将不同的底层文件系统(如S3,HDFS,GCS等)映射到一二个 统一的Alluxio命名空间,与在本地文件系统上设备例如,每个文件系统都处在隔离的挂载点下。从1.5.0版本开始,除了遵守特定类型的存储系统的全局配置设置外,Alluxio还支持为每一二个 挂载点设置(各自 的)配置属性。配置且挂载不同底层文件系统后,访问哪几种系统对于Alluxio文件系统应用来说是全部透明的。如保让,Alluxio可不不能帮助系统管理员隐藏复杂性性如保让降低管理难度。

举例说明,用户Alice在AWS上有多个S3 bucket,她时要从不同的bucket中访问数据。另一一二个 Alice可不不能了将共享同一系统认证密钥的S3 bucket挂载到Alluxio中,而现在Alice可不不能使用单独的认证密钥挂载每个bucket,如下所示:

1.Alluxio Docker集成

本博客仅强调了Alluxio 1.5.0中的这个新功能和改进。 更全部的内容,请查看发行说明。

您可不不能按照快速入门指南,轻松开始使用Alluxio开源版或社区版。