移动云并行文件存储PFS服务介绍
并行文件存储是面向移动云云主机、裸金属、容器服务等提供的高性能、高并发文件存储服务,数据存储在集群中的多个数据节点,支持上千台云主机并行访问,单文件系统可提供百万级IOPS和毫秒级延时。
适用场景
- 人工智能、机器学习
pfs单个文件挂载点可承载数亿个几十KB的小文件,容量与性能可线性提升和扩展,满足AI训练中GPU或CPU计算集群的高带宽、低延时的小文件访问特性,使GPU等计算资源得到最大程度的利用。
- 高性能计算
PFS语义上支持大量客户端之间的并发协同工作,可满足大规模高性能计算并发的需求。
- 自动驾驶训练
自动驾驶的训练模型汽车,每天收集近十TB数据,PFS支持将海量数据快速有效存放,在深度学习模型进行训练时完成高速加载,同时解决激光点云等应用大文件随机IO的性能瓶颈。
- 电子设计自动化(EDA)
在EDA仿真过程中,仿真程序需要对大量的时序文件完成分析和处理,其过程是对元数据访问性能、并行文件存储带宽访问的双重挑战,PFS对小文件访问可提供极强的OPS访问能力,应对EDA应用编译、模拟过程的数据挑战。
- 影视制作
高清影片渲染在传统的IT架构模型下非常耗时,制作工作室要通过数千台高性能工作节点并发访问渲染素材完成渲染工作,在渲染过程中,PFS 提供独具特色的Windows客户端,使Windows渲染工作站通过PFS Windows客户端实现对素材的共享和高速访问,高效完成影视和渲染制作任务。
- 生命科学
基因分析、病毒检测是对基因碱基对序列的分析和计算,涉及海量的非结构化数据,PFS全面支持文件访问语义接口,高带宽的处理能力满足科学研究、临床应用的实际需要。
性能
容量 | 带宽 | 写IOPS | 读IOPS |
2TB | 1GB/s | 20K | 40K |
5TB | 2.5GB/s | 60K | 150K |
10TB | 2.5GB/s | 60K | 150K |
20TB | 2.5GB/s | 60K | 150K |
30TB | 2.5GB/s | 80K | 200K |
40TB | 2.5GB/s | 80K | 200K |
50TB | 5GB/s | 100K | 300K |
60TB | 5GB/s | 100K | 300K |
70TB | 5GB/s | 100K | 300K |
80TB | 5GB/s | 100K | 300K |
90TB | 5GB/s | 100K | 300K |
100TB | 7.5GB/s | 100K | 300K |
150TB | 7.5GB/s | 100K | 300K |
200TB | 7.5GB/s | 100K | 300K |
250TB | 7.5GB/s | 100K | 300K |
300TB | 7.5GB/s | 100K | 300K |
350TB | 7.5GB/s | 100K | 300K |
400TB | 7.5GB/s | 100K | 300K |
450TB | 7.5GB/s | 100K | 300K |
500TB | 7.5GB/s | 100K | 300K |
接口
移动云文件存储控制台的API支持HTTP或者HTTPS网络请求协议,允许GET和POST方法。如果您熟悉网络服务协议和一种以上编程语言,推荐您调用API管理您的并行文件存储PFS。可对并行文件系统进行扩容、续订、添加PFS权限规则、查询及创建网络策略等操作。如果您更习惯使用图形化的Web应用程序,可以使用移动云控制台,实现API支持的所有控制层的操作。
数据流动
并行文件存储PFS与对象存储EOS之间实现了数据流动。我们可以通过创建数据流动任务来实现不同对象存储和并行文件存储之间的数据同步。当并行文件存储PFS与对象存储EOS创建数据流动后,PFS会自动同步EOS存储桶中的对象元数据。同步完成后我们可以通过POSIX访问接口快速处理EOS中的数据。
弹性可扩展
并行文件存储容量与性能可线性提升和扩展,支持在线的扩容,后台自动负载均衡,满足日渐增长的容量以及性能需求。
安全性
并行文件存储内部采用多重数据保护机制,具有RAM分权管理等安全机制,提供高可靠、高可用的存储服务。
计费方式
您可以根据需求选择按量、按月和包年三种计费方式,相应的,如果您进行扩容、退订,计费方式与价格具体可以参考“价格总览”和“计费模式”。
本文由 vps主机对比评测网 刊发,转载请注明出处