Throughput >> Latency

Linux阅码场 2021-04-21 00:00

在04年发表的论文《Latency Lags Bandwidth》作者David Patterson谈到他观察到的有趣现象,在很多计算机相关技术里面,包括处理器,内存,硬盘和网络,其Bandwidth或者Throughput要比Latency进步快很多。在衡量计算效能的正确姿势(1)我们已经聊过Throughput和Latency的概念,Throughput指的是单位时间完成的任务数,而Latency是完成任务所需要的时间。比如针对处理器,Throughput指的是单位时间完成的指令数量,可以用MIPS(Million Instructions Per Second)来代表,而Latency一般指执行一条指令所花费的时间。

作者统计了大概20年时间(~1980 - ~2000)相关技术重要节点时两个指标的变迁,平均到年度变化如下图。

近20年区间累积改善的倍数Latency相比Throughput:处理器为21x vs 2250x,内存为4x vs 120x,网络为16x vs 1000x,硬盘为8x vs 143x,可谓差距巨大。下图(log化后的结果)反应了这个相对变化快慢。

在作者新近的著作里,继续跟踪了最近十几年两个指标的变化,反映Throughput > Latency的趋势还在延续,底下表格是有关处理器,内存,硬盘和网络技术在最近30~40年重要节点的详细参数汇总。

两个指标为什么会呈现这种差别,从技术上可以做如下理解:

  1. 摩尔定律更有助于Throughput。晶体管数目增多,芯片面积增大会限制Latency指标。

  2. 改善Latency指标可以帮助Througput,但反过来不成立,改善Throughput甚至有可能不利Latency。

  3. 绝对的距离以及相应的传输时间限制Latency的改善空间。正如网络谚语有云:Bandwidth problems can be cured with money. Latency problems are harder because the speed of light is fixed—you can’t bribe God.

  4. 测量Latency时候系统软件的开销没法像Throughput一样摊销,典型的如网络软件栈之于网络延迟。

而且从市场营销的角度,Throughput可能是个更好的卖点。另外,我觉得这跟用户的体验心理相关,对很多程序而言,用户关心的任务往往是粗粒度的(coarse grained),这正反映了Throughput的特点,而Latency是细粒度(fine grained)指标,针对的是用户任务的子任务,甚至子子任务。比如对一个计算程序,用户关心计算整体需要花多少时间,他不关心具体分发的每个GPU硬件线程执行快慢,更无从计较每条指令的延时。所以Throughput实际上代表了计算系统与用户的接口,而Latency代表系统的内部实现细节。只要计算系统的软件硬件架构实现可以掩藏Latency,相比之下Latency就显得不那么重要了。

最后需要强调的是,对交互式程序,Latency还是非常有价值的指标,无论是桌面还是网络程序,响应时间太慢会极大影响用户体验。


~~~~~~~~~~~~~~~~~~~~~~~~~~~~

如果觉着内容有帮助,请帮忙关注,点赞,分享给更多的朋友。谢谢!

Linux阅码场 专业的Linux技术社区和Linux操作系统学习平台,内容涉及Linux内核,Linux内存管理,Linux进程管理,Linux文件系统和IO,Linux性能调优,Linux设备驱动以及Linux虚拟化和云计算等各方各面.
评论
热门推荐
相关推荐
X
广告
我要评论
0
0
点击右上角,分享到朋友圈 我知道啦
请使用浏览器分享功能 我知道啦