单台机器数据存储量对IO性能的影响,比如1TB和100TB时IO会被影响多少?

单台机器数据存储量对IO性能的影响,比如1TB和100TB时IO会被影响多少?

问题描述:

机器CPU、iops、内存不变的情形下,存储的数据量大小是否会影响IO呢?
最近碰到一个问题,发现20TB的服务器存储性能差了很多;然后网上查各种资料,并没有找到类似的性能影响曲线或权威的说明;大概仅知道存储数据量越大时,寻道时间越长(猜测)。

  • 普通硬盘,不是ssd,不是nas
  • 实际存储4000W个文件量+;
  • 海量小文件存储,不涉及数据库;现象是两台30TB的服务器之间数据传输缓慢,40GB的数据量需要18个小时;

存储数据量越大时,寻道时间越长
没有这个说法,机械硬盘的寻道时间是固定的。
如果你有100TB数据,单个硬盘肯定没有那么大容量,那么你用阵列吧,用阵列只会提高性能。
但是数据量大,对于没有索引的查询来说,性能会下降,这是因为它需要全表扫描才能获取所有匹配的记录。
海量小文件,建议采用blob存储,而不是丢文件系统。

40G的数据要18小时,看起来好像很长,但是40G的数据是一个大的文件还是无数的小文件?

大量小文件会受硬盘4K读写性能制约。
普通小容量单碟机械硬盘(以5400转500G做参考)的4k单线程读写速度大概是0.1MB/s,4K Q32T1读写速度也低于1M/s。
不清楚你所使用的服务器硬盘的性能如何,看起来受硬盘本身性能影响的可能性大。