新足迹 › 论坛 › 兴趣爱好区 › IT与科技 › 电脑和宽带 › 并发小文件速度

精华好帖回顾
· 笨鸟的中式小点心--韭菜鲜虾馅的水晶饺和春卷 (2009-4-25) 迁移的笨鸟	· E&E -- 鲜虾青菜鸡蛋疙瘩汤，来一碗呗！ (2011-1-24) 闲夏采薇
· 澳洲除了空气好，还有什么，回国不尴尬指南 (2015-3-27) wanming1986	· 把妹哥之BMW强化驾驶训练 (2012-3-24) kvwb

查看: 2268|回复: 13

并发小文件速度 [复制链接]

呼呼呼

皮靴族

发表于 2022-4-2 23:16 |显示全部楼层

此文章由呼呼呼原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者呼呼呼所有！转贴必须注明作者、出处和本声明，并保持内容完整

本帖最后由呼呼呼于 2022-4-8 22:30 编辑

Nvme 硬盘插PCIE3.0 速度大约900MB/s
而USB3.0 标称速度大约500MB/s

不考虑大文件，只考虑4k随机小文件的情况下。把nvme 装usb硬盘盒里（比如3.0 or 3.2等） vs 直接插PCIe插槽。应用上，速度应该一样对吗？（理论）

实际应用：经常需要并发读写几百到几千的小文件大约10k-100k大小。想把nvme装usb盒子里，方便迁移。

如果认真考虑一下。主板PCIE有直连CPU的。主板USB似乎没直连CPU。会有明显区别吗？几毫秒也要算。

再深入探讨一下。如果NAS能跑满万兆，光纤连。vs 上面的直连PCIE 效果？

抠脚大叔

frank_1982

铜靴族

发表于 2022-4-2 23:31 来自手机 |显示全部楼层

此文章由 frank_1982 原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者 frank_1982 所有！转贴必须注明作者、出处和本声明，并保持内容完整

楼主不太懂电脑硬件构架，鉴定完毕

上班ing

银靴族

发表于 2022-4-3 00:43 |显示全部楼层

此文章由上班ing 原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者上班ing 所有！转贴必须注明作者、出处和本声明，并保持内容完整

买usb type c 接口的

hwan21

银靴族

发表于 2022-4-3 01:07 |显示全部楼层

此文章由 hwan21 原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者 hwan21 所有！转贴必须注明作者、出处和本声明，并保持内容完整

你这啥垃圾SSD这么慢，PCIE3.0的NVME SSD现在最低都能跑到2000MB以上了， 4.0的基本5000-7000，你拿USB来比怎么比

HD9990

头像被屏蔽

禁止发言

发表于 2022-4-3 01:08 |显示全部楼层

此文章由 HD9990 原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者 HD9990 所有！转贴必须注明作者、出处和本声明，并保持内容完整

不知道说啥好。。。LZ能问出来这种问题应该是对电脑有一定的了解。。。

如果你两者都有。。建议去下个 crystal disk 自己测一下，。，，有4K随机读写测试。。。

USB 3.0这种10年前的老接口就算了吧。。3,1 3,2都还行。。。我估计如果不是大量文件载入。。体感上不会有太大的差别（硬盘盒的性能不拖后腿的前提下）

Xinjian

金靴族

发表于 2022-4-3 14:59 |显示全部楼层

此文章由 Xinjian 原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者 Xinjian 所有！转贴必须注明作者、出处和本声明，并保持内容完整

M.2 M key可以提供4组PCIe3 TX/RX，每组都可以有8G的速度，理论上可以有将近4GB/s的吞吐量，USB3才有一组高速通道，比不了的。

呼呼呼

皮靴族

发表于 2022-4-3 17:02 |显示全部楼层

此文章由呼呼呼原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者呼呼呼所有！转贴必须注明作者、出处和本声明，并保持内容完整

实质问题是：
1T多，超千万数量的文件，经常并发访问；但是备份不方便。所以在考虑如下几种可能：

1. 老老实实正常 PCIE，然后慢慢备份。。。（目前方式，太痛苦，备份一遍一周到两周，需要经常备份）
2. 装USB接口的nvme，担心小文件随机访问速度
3. 万兆NAS 直接放NAS里。但是担心随机访问速度。

因为需要考虑随机访问的速度。所以，想找一个差不多折中或者尽量快速的方案。

另外大家推荐一下哪种具体型号的nvme 自带的缓存速度比较好的。目前用过970 evo pro, 980, 980 pro 蓝盘，黑盘。效果都不太好。读写稍微多一点，消耗的时间几乎翻倍。并且，竟然蓝盘速度会好。竟然比黑盘和三星都好。

抠脚大叔

呼呼呼

皮靴族

发表于 2022-4-3 17:02 |显示全部楼层

此文章由呼呼呼原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者呼呼呼所有！转贴必须注明作者、出处和本声明，并保持内容完整

本帖最后由呼呼呼于 2022-4-3 16:04 编辑

即：重点是小文件并发（而不是大文件最高速度）

之前也是看评测买。结果发现，实际应用根本不一样。

抠脚大叔

hzhz1992219

草鞋族

发表于 2022-4-7 19:02 |显示全部楼层

此文章由 hzhz1992219 原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者 hzhz1992219 所有！转贴必须注明作者、出处和本声明，并保持内容完整

备份你用ssd？长时间不通电，会丢数据的！

smionli

布鞋族

发表于 2022-4-8 15:59 |显示全部楼层

此文章由 smionli 原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者 smionli 所有！转贴必须注明作者、出处和本声明，并保持内容完整

没看懂，你要是想要多个小文件访问速度还是读写速度快？
不考虑金钱的话，包括备份速度的比较好的选择，是用nas光纤，采用nfs协议，多硬盘多ssd进行raid，你可以用zfs等文件系统，然后再用一个大约1t的ssd作为cache盘处理。
这样基本满足你，对于安全，速度的要求，当然价格也高。如果对备份有需求，再弄个慢速大容量硬盘做软备份即可，如要要做snapshot级别备份，就用ssd，说白了钱的事儿。