5 GB的jpeg图像下载和/或导入所需的时间与5 GB的纯文本所需的时间相同吗?


39

只是想知道,从现在开始,我要从爸爸为我刻录的CD中导入所有图片。我很好奇,在进行此类传输时,如果5 GB的图片所花费的时间与5 GB的文字所花费的时间完全相同。由于即使文件大小累积相同,也可能与不同的文件格式相关联的“开销” ...

编辑:它实际上不是CD-ROM,而是DVD-R


11
除非不是,否则5 gig是5 gig。
Xavierjazz

2
不能与之
抗争

35
哪一个较重:一吨砖头或一吨羽毛?
Graham Borland

1
在将其视为一个明显的坏问题之前,请先参阅我的答案(以及其他能说明不同因素的好答案)。5GB可能是5GB,但是数据传输的管道效率有所不同。
戴维·斯特拉顿

1
@格雷厄姆:哪个更重,一磅的羽毛或一磅的黄金?(解答)
BlueRaja-Danny Pflughoeft

Answers:


75

答案是“取决于”。取决于您所说的“下载”。

如果从网站下载,则某些站点会自动“即时”压缩文件,并且文本压缩得很好,而JPEG已经压缩,因此根本不会压缩。在这种情况下,会有很大的不同。

如果您仅使用复制命令将文件从一台计算机复制到另一台计算机,则没有任何区别。但是,如果您使用某种专用工具,则再次取决于该工具是否使用自动压缩。jpeg和text之间的唯一区别是可以压缩文件。

无论文件是什么,与文件传输相关的“开销”没有区别。


29
在副本的情况下,如果总大小是相同的,则数量的文件更可能产生影响的有开销传输文件/文件夹的元数据。
克里斯·纳瓦

2
@ chris-nava:是的,这是真的。我只考虑了相同大小的文件,但是您正确地指出了这一细微差别。
haimg 2011年

2
@DarkTemplar:它包含元数据。几乎总是。通常,在文件“外部”存储的元数据数量非常有限:文件名,权限和一些访问时间。许多文件系统都可以选择在文件“外部”存储任意(甚至大)元数据,但这很少使用。
约阿希姆·绍尔

4
转移机制也可能是延迟的根源。例如,SMB(Windows文件共享)在传输大量小文件方面表现不佳,而同一文件集的NFS或FTP传输速度要快得多。
克里斯·纳瓦

4
令我惊讶的是,没有人提到防病毒软件增加了一些重大开销的可能性。许多防病毒应用程序都会扫描JPEG文件中的病毒,并忽略文本文档。这肯定会导致取决于因素。
Scott Rippey

17

拥有5GB的图片,您可能会谈论几千个合理大小的文件,每个文件说3MB以上。如果您要下载5GB的文本文件,通常希望每个文件都小得多。因此,您可能要处理一个数量级或两个额外的文件(数十万或数百万个文件)。

与在较大文件中复制相同数量的数据相比,复制大量小文件需要更长的时间。创建每个文件都有合理的开销。

不足以产生巨大的变化,但仍会有所不同。


3
我认为这可以带来很大的不同。与复制一个3MB的文件相比,复制100个3万个文本文件肯定要花更长的时间,具体取决于复制的位置。
史蒂文·诺托

+1用于在此处解决真正的问题。迄今为止最好的答案。
artistoex 2011年

12

ftp中的“取决于”详细信息。

ftp Binary模式只是直接传输,将花费5GB的时间。

如果要从Windows到Linux进行ftp文本传输(令人惊讶的是,纯文本),则ftp实际上会将行尾从/ r / n更改为/ n,反之亦然。流替换的开销可能会有所增加,但是如果使用5GB的文本,则每行删除一个字符时,从win到lin的磁盘写入量将减少,而增加一个字符时,从lin到win的磁盘写入量将减少每行。

那么,在Linux上是5GB吗?还是Windows?

足足学了一个晚上,要睡觉了!


我们如何到达FTP的?OP似乎正在从DVD驱动器复制到本地驱动器?
andynormancx 2011年

从标题。“到了深夜,我回答了这个问题,而不是下面的段落。就像他最初几段中票数最高的海报一样。现在可以从一种媒体复制到另一种...
Fiasco Labs

3

文件本身没有任何开销,但是某些存储/传输工具支持自动压缩,因此可能会有所不同。

从DVD复制到未压缩的驱动器时,没有区别。复制到压缩的NTFS驱动器时,文本所占空间将小于JPEG。

从使用压缩的HTTP服务器下载时,文本将花费更少的时间下载。但是,如果服务器不使用压缩,则不会有任何区别。

另外,谈论开销,一百万个大小为5GB的小文件将比单个5GB的文件占用更多的[实际]空间,并且通常会花费更多的时间,因为5GB的空间不包含存储文件名,日期和其他元数据所需的空间。 。


3

这是对解决压缩等影响效率和下载时间的因素的其他答案的补充。

尚未提到的一点是数据包效率。我怀疑大多数人甚至都没有遇到过这个问题,因此这里有一些简短的背景。

在尝试使用Web服务之前,我们想了解使用Web服务与使用更“标准”数据库连接(例如OleDb,System.Data.SqlClient,JDBC等)之间的效率差异。我们让专家将数据包嗅探器安装到位,以跟踪整个网络上的数据流,以查看差异。

我们期望使用Web服务的效率会降低,因为其他类型的连接的二进制格式以及用于描述数据的XML标签的额外开销。

我们发现,至少在我们的网络上,Web服务在许多情况下更为有效。区别在于,在传输二进制数据时,数据包中的某些字节为空,但是在发送文本数据时,数据包的使用效率更高。

我们发现这很有趣,并在传输不同类型的文件时进行了尝试,结果发现,通常,通过网络传输的纯文本始终使用每个数据包中100%的可用位,其中二进制传输中经常有未使用的位。我不能告诉你为什么,但是有几个实验证明了这一点。

关于该问题的几条评论似乎都认为这是一个有缺陷的问题,但实际上并非如此。即使数据量保持不变,管道的效率也同样重要。

因为我无法抗拒非IT人员会理解的类比:

杂货店的冰柜中的单个架子有x的空间,但是如果容器是方形的,则可以在架子上容纳更多加仑的冰淇淋,而如果是圆形的则可以容纳更多的冰淇淋,这是因为使用圆形会浪费空间容器。尽管起初是违反直觉的,但我们的测试告诉我们任何杂货店库存商会告诉我们什么。


2
涉及的数据库是什么?不同的RDBMS或多或少具有“网络效率”。您是从连接建立还是仅从数据集数据测量的?我真的很好奇
Fabricio Araujo

1

传统观点认为5GB是5GB。但是,在某些情况下,这两者并不相同。这与文件数据结构的差异有关。

首先,JPEG被压缩。要查看图像,必须首先将文件解压缩,并且对于绝大多数此类图像,您必须具有整个文件才能执行此操作。有渐进式JPEG在加载时提供迭代的清晰图像,但是在DSL和其他高速连接非常普遍的时代,它们已经很少使用了。另一方面,文本或多或少是流式的;只要有一个字节(取决于使用的UTF编码,就是一个字节,则为两个或四个),就可以显示该字符。甚至最古老的数据传输机制也可以比读取文本更快地加载文本。因此,与5GB的文本文件相比,5GB的JPEG需要更长的时间才能显示内容。

其次,同样因为JPEG被压缩,它们不能与在传输之前压缩大量数据的浏览器或文件传输程序/协议一起很好地工作。您可以通过ZIP压缩文件来查看此内容;除非将第二个ZIP进程配置为进行更多压缩(降低速度),否则大小不会有太大差异。这意味着使用这些工具之一时,5GB不是5GB。JPEG仍将约为5GB,但文本可以压缩,可能降至1GB或更小。如果将5GB的位图文件与5GB的纯文本进行比较,则比较会更加接近。

但是,仅使用NTP,FTP或HTTP将5GB的文件从一台计算机移动到另一台计算机,而不使用任何压缩或“ doanload booster”机制,总体上将花费大约相同的时间。任何差异都是由于每次传输期间任何给定的秒内网络流量水平不同而导致的。


我从未听说过交错的JPG。您是否正在将渐进JPG与交错的GIF / PNG混合在一起?
蓬松的

“渐进JPEG”变体是一种隔行格式,非常类似于隔行GIF / PNG。JPEG的“渐进式”一词使IMO迷惑,因为“渐进式扫描”,“ 720p(渐进式)”和“ 1080p”等众所周知的术语。这些术语都表示一次通过而不是两次隔行扫描以完整分辨率绘制了整个帧,这与“渐进式” JPEG显示行为完全相反。
KeithS 2011年

1
但这不是渐进式JPEG的工作原理。它不是GIF或PNG(就此而言,不是DVD视频)之类的隔行/交错格式,而是DCT块的迭代改进。进行中的渐进JPEG具有完整的像素覆盖率-只是比特率较低。JPEG也不处理GIF或PNG等扫描线中的事物,而是将它们作为像素正方形组的集合进行处理。
蓬松的

番茄,番茄。该图像最初是使用较早出现的完整图像数据的子集显示的,然后使用其余图像进行精炼。那是我的意思。无论是行还是块,它都是多遍加载样式,而不是单遍加载样式。
KeithS 2011年

正如您所暗示的,这不仅仅是术语上的微小差异,而且这也没有充分的理由变成了砖墙争论。我只是想建议您对答案做些小修改,而不是试图惹恼小马。
蓬松的

0

光盘驱动器上的5 GB应该是相同的-如果是JPG或文本。通过网络传输时,我记得调制解调器的时代,根据硬件的不同,调制解调器具有内置的压缩​​功能,因此,已经压缩的5 GB JPG将不再被压缩,但是5 GB的文本通常具有很大的潜力压缩。

那么,为什么不将其用于硬盘​​呢?如果需要的话,也许您会在硬盘驱动器上需要太多逻辑,过于脆弱的压缩会使硬盘驱动器过热,并且过于容易地显式压缩数据(如果需要)?也许某些驱动器存在?

By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.