• 全部
  • 经验案例
  • 典型配置
  • 技术公告
  • FAQ
  • 漏洞说明
  • 全部
  • 全部
  • 大数据引擎
  • 知了引擎
产品线
搜索
取消
案例类型
发布者
是否解决
是否官方
时间
搜索引擎
匹配模式
高级搜索

onestor存储性能如何做估算

  • 0关注
  • 0收藏,36浏览
粉丝:0人 关注:0人

问题描述:

如何对onestor存储的块、文件、对象三种场景的性能做大致估算,估算的具体流程公式是什么

3 个回答
粉丝:8人 关注:9人

前置准备
先收集基础参数:所有硬盘的标称随机IOPS/顺序带宽、硬盘数量、存储池RAID/EC冗余策略、集群节点数、前端业务网络总带宽。
通用估算流程
1. 先统计所有裸盘的总标称性能
2. 扣除冗余开销得到底层裸存储可用性能
3. 对应不同协议场景扣除协议固有开销
4. 取底层性能、网络带宽上限的最小值作为最终估算值
分场景具体公式
1. 块存储场景
随机IOPS= 所有盘随机IOPS总和 × 冗余数据占比(EC N+M为N/(N+M),RAID5为(盘数-1)/盘数,RAID6为(盘数-2)/盘数) × 块协议系数(FC 0.75~0.8,iSCSI 0.7~0.75,全闪额外乘写放大系数0.8~0.9)
顺序带宽= 所有盘顺序带宽总和 × 冗余数据占比 × 块协议系数0.8~0.9
2. 文件存储场景
随机IOPS= 块存储可用IOPS × 文件协议系数(大文件0.65~0.7,小文件场景0.5~0.6),额外叠加元数据盘性能开销
顺序带宽= 块存储可用带宽 × 文件协议系数0.7~0.8
3. 对象存储场景
随机IOPS= 块存储可用IOPS × 对象协议系数(大对象0.55~0.6,小对象场景0.45~0.5),额外扣减桶索引、HTTP交互开销
顺序带宽= 块存储可用带宽 × 对象协议系数0.75~0.85
校准规则
3节点以上集群乘扩展系数0.85~0.95(节点越多系数越接近1),最终性能不能超过前端业务网总带宽上限。精准测算可向H3C技术支持申请官方Onestor专属性能估算工具。

暂无评论

粉丝:10人 关注:2人

一、先明确核心公式(通用)

所有场景都绕不开这 3 个基础关系:
  1. 吞吐量(MB/s)= IOPS × 平均 IO 大小(KB)÷ 1024
  2. IOPS = 并发数 ÷ 平均时延(ms)× 1000
  3. 集群性能 ≈ 单节点性能 × 节点数 × 效率系数(0.85~0.95)

二、第一步:确定单节点硬件基线(必做)

ONEStor 性能强依赖硬盘类型 + 内存 + 网卡,先算单节点上限。

1)块存储(RBD,虚拟机 / 数据库)

典型配置(NVMe SSD+10GbE)单节点基线:
  • 随机读(4KB):80,000 ~ 120,000 IOPS;时延 0.2~0.4ms
  • 随机写(4KB):40,000 ~ 60,000 IOPS;时延 0.4~0.8ms
  • 顺序读(128KB+):1,200 ~ 1,800 MB/s
  • 顺序写(128KB+):800 ~ 1,200 MB/s
估算公式(单节点):
  • 随机 IOPS ≈ 单盘 IOPS × 盘数 × 0.9(并发效率)
  • 顺序吞吐 ≈ 单盘顺序吞吐 × 盘数 × 0.9(并发效率)

2)文件存储(CIFS/NFS,共享目录)

文件场景受元数据 + 并发连接数影响更大,基线(NVMe+10GbE):
  • 小文件(4KB,随机):30,000 ~ 50,000 IOPS;时延 0.5~1ms
  • 大文件(1MB,顺序):1,000 ~ 1,500 MB/s
  • 并发连接上限:10,000 ~ 20,000(依赖内存)
估算公式(单节点):
  • 文件 IOPS ≈ 块存储随机 IOPS × 0.6(元数据开销)
  • 文件吞吐 ≈ 块存储顺序吞吐 × 0.8(协议开销)

3)对象存储(S3,图片 / 视频 / 归档)

对象场景分元数据(Bucket/Object)+ 数据读写,基线(NVMe+10GbE):
  • 小对象(<1MB,随机):20,000 ~ 40,000 IOPS;时延 1~2ms
  • 大对象(>10MB,顺序):800 ~ 1,200 MB/s
  • 元数据 QPS:5,000 ~ 10,000(列表 / 查询)
估算公式(单节点):
  • 对象 IOPS ≈ 块存储随机 IOPS × 0.4(元数据 + 分片开销)
  • 对象吞吐 ≈ 块存储顺序吞吐 × 0.7(分片 + 校验开销)

三、第二步:集群性能估算(节点扩展)

ONEStor 是分布式,性能近似线性扩展,但要乘效率系数:

通用集群公式

  • 集群 IOPS = 单节点 IOPS × 节点数 × 0.85(分布式一致性 / 网络开销)
  • 集群吞吐 = 单节点吞吐 × 节点数 × 0.9(网络聚合效率)
  • 集群时延 = 单节点时延 × 1.1~1.3(跨节点访问)

示例(3 节点,NVMe SSD)

  • 块随机读:100,000 × 3 × 0.85 = 255,000 IOPS
  • 文件大文件吞吐:1,200 × 3 × 0.9 = 3,240 MB/s
  • 对象小对象 IOPS:30,000 × 3 × 0.85 = 76,500 IOPS

四、第三步:分场景修正(关键,避免高估)

1)块存储场景修正

  • 数据库(MySQL/Oracle,4KB~8KB 随机):集群 IOPS × 0.7(锁 + 事务开销)
  • 虚拟机(64KB~128KB 混合):集群 IOPS × 0.8;吞吐 × 0.9
  • RAID / 纠删码(EC4+2):写性能 × 0.6(校验开销);读无影响

2)文件存储场景修正

  • 小文件密集(<64KB,如办公文档):IOPS × 0.5;时延 × 1.5
  • 大文件共享(>1GB,如视频):吞吐 × 0.85;无明显 IOPS 瓶颈
  • 多用户并发(>500 连接):IOPS × 0.7;需增加内存(每节点≥64GB)

3)对象存储场景修正

  • 小对象(<1MB,如图片):IOPS × 0.6;元数据 QPS 需单独评估
  • 大对象(>10MB,如视频备份):吞吐 × 0.8;无明显 IOPS 瓶颈
  • EC 纠删码(EC8+2):写性能 × 0.5;读 × 0.9

五、第四步:最终估算流程(一步到位)

  1. 明确业务模型:块 / 文件 / 对象 → 随机 / 顺序 → 读写比例 → 平均 IO 大小
  2. 确定硬件配置:硬盘类型(NVMe/SAS/HDD)→ 单节点盘数 → 内存 / 网卡
  3. 查单节点基线:按上文对应场景取单节点 IOPS / 吞吐 / 时延
  4. 算集群理论值:单节点 × 节点数 × 效率系数(0.85~0.9)
  5. 场景修正:按业务类型乘对应修正系数(0.5~0.9)
  6. 结果输出:最终 IOPS、吞吐、时延,预留 20% 冗余

六、常用经验值(直接套用)

表格
场景典型 IO 大小读写比集群 IOPS(NVMe,3 节点)集群吞吐(MB/s)
块 - 数据库4KB7:3200,000800
块 - 虚拟机64KB5:5150,0002,500
文件 - 小文件4KB6:4100,000500
文件 - 大文件1MB3:730,0003,000
对象 - 小对象512KB2:880,0001,000
对象 - 大对象10MB1:920,0002,500

七、注意事项

  • HDD 集群:随机 IOPS 大幅下降(单节点仅 1,000~3,000),适合顺序吞吐场景
  • DCache 加速:启用后随机 IOPS 可提升 30%~50%,时延降低 20%~40%
  • 实测验证:估算后建议用 FIO(块)、vdbench(文件)、s3bench(对象)跑基准测试,偏差应 < 20%

暂无评论

粉丝:16人 关注:1人

关于OneStor存储性能的估算,它遵循从底层硬件到上层协议的清晰分层逻辑,可以概括为四个步骤。基于这些步骤,下表汇总了三种场景(块、文件、对象)大致的性能估算公式,你可以对照自己的项目参数进行代入计算。

场景性能指标估算公式关键系数说明
块存储 (iSCSI, RBD)随机IOPS总裸盘IOPS × 冗余占比 × 块协议系数冗余占比:EC (N+M)为 N/(N+M);多副本为 1/副本数。
块协议系数 (iSCSI):0.70 ~ 0.75。
写放大 (SSD):额外乘 0.8 ~ 0.9。
顺序带宽总裸盘带宽 × 冗余占比 × 块协议系数块协议系数 (带宽):0.8 ~ 0.9
文件存储 (NFS, CIFS)随机IOPS块存储IOPS × 文件协议系数小文件场景:0.5 ~ 0.6
大文件场景:0.65 ~ 0.7
顺序带宽块存储带宽 × 文件协议系数文件协议系数 (带宽) (NFS/CIFS):0.7 ~ 0.8
对象存储 (S3, Swift)随机IOPS块存储IOPS × 对象协议系数小对象场景:0.45 ~ 0.5
大对象场景:0.55 ~ 0.6
顺序带宽块存储带宽 × 对象协议系数对象协议系数 (带宽) (HTTP/S3):0.75 ~ 0.85

请注意:上述系数是通用的经验值,实际性能会因网络、CPU内存、数据分布和负载模型等因素而有所不同,精准测算建议使用官方工具。



 补充知识:深入理解 OneStor 性能估算的各个步骤

除了核心公式,理解估算过程中的前置准备、校准规则和关键概念也同样重要。

1. 前置准备:收集关键参数

在计算前,需要明确:

  • 物理资源:集群的节点数和每节点数据盘数、前端业务网络总带宽。

  • 硬盘规格:每块盘的标称性能(HDD随机读约200 IOPS,SSD则高出几个数量级)。

  • 数据保护策略冗余方式(纠删码、多副本)及具体参数。

2. 集群扩展与最终校准

  • 扩展性损耗:集群性能随节点线性增长,但3节点以上通常有约5%~15%的额外损耗。节点越多,其扩展系数(0.85~0.95)越趋近于1。

  • 最终性能上限:最终性能需取计算出的存储后端理论值前端业务网络总带宽两者中的最小值

3. 关键概念:区分场景配置

在混合组网中,可将SSD用作高性能层的独立Pool,或作为HDD的加速缓存,这会显著影响最终性能。

暂无评论

编辑答案

你正在编辑答案

如果你要对问题或其他回答进行点评或询问,请使用评论功能。

分享扩散:

提出建议

    +

亲~登录后才可以操作哦!

确定

亲~检测到您登陆的账号未在http://hclhub.h3c.com进行注册

注册后可访问此模块

跳转hclhub

你的邮箱还未认证,请认证邮箱或绑定手机后进行当前操作

举报

×

侵犯我的权益 >
对根叔社区有害的内容 >
辱骂、歧视、挑衅等(不友善)

侵犯我的权益

×

泄露了我的隐私 >
侵犯了我企业的权益 >
抄袭了我的内容 >
诽谤我 >
辱骂、歧视、挑衅等(不友善)
骚扰我

泄露了我的隐私

×

您好,当您发现根叔知了上有泄漏您隐私的内容时,您可以向根叔知了进行举报。 请您把以下内容通过邮件发送到pub.zhiliao@h3c.com 邮箱,我们会尽快处理。
  • 1. 您认为哪些内容泄露了您的隐私?(请在邮件中列出您举报的内容、链接地址,并给出简短的说明)
  • 2. 您是谁?(身份证明材料,可以是身份证或护照等证件)

侵犯了我企业的权益

×

您好,当您发现根叔知了上有关于您企业的造谣与诽谤、商业侵权等内容时,您可以向根叔知了进行举报。 请您把以下内容通过邮件发送到 pub.zhiliao@h3c.com 邮箱,我们会在审核后尽快给您答复。
  • 1. 您举报的内容是什么?(请在邮件中列出您举报的内容和链接地址)
  • 2. 您是谁?(身份证明材料,可以是身份证或护照等证件)
  • 3. 是哪家企业?(营业执照,单位登记证明等证件)
  • 4. 您与该企业的关系是?(您是企业法人或被授权人,需提供企业委托授权书)
我们认为知名企业应该坦然接受公众讨论,对于答案中不准确的部分,我们欢迎您以正式或非正式身份在根叔知了上进行澄清。

抄袭了我的内容

×

原文链接或出处

诽谤我

×

您好,当您发现根叔知了上有诽谤您的内容时,您可以向根叔知了进行举报。 请您把以下内容通过邮件发送到pub.zhiliao@h3c.com 邮箱,我们会尽快处理。
  • 1. 您举报的内容以及侵犯了您什么权益?(请在邮件中列出您举报的内容、链接地址,并给出简短的说明)
  • 2. 您是谁?(身份证明材料,可以是身份证或护照等证件)
我们认为知名企业应该坦然接受公众讨论,对于答案中不准确的部分,我们欢迎您以正式或非正式身份在根叔知了上进行澄清。

对根叔社区有害的内容

×

垃圾广告信息
色情、暴力、血腥等违反法律法规的内容
政治敏感
不规范转载 >
辱骂、歧视、挑衅等(不友善)
骚扰我
诱导投票

不规范转载

×

举报说明