使用cURL进行网站抓取如何“合法”？[关闭]

最近，我正在尝试使用cURL，但发现它有很多可能。我建立了一个小脚本，可以爬行一个音乐网站，该网站播放在线歌曲。在实验的过程中，我发现还可以抓取歌曲源（该站点不提供下载）。

我只是想知道。.爬网是否完全合法？我是指使用http and port '80'，

市场上缺少下载管理器，他们可以从几乎所有站点下载..都是合法有效的。

确切地回答您的问题是。唯一可能的例外是您所在国家/地区的加密技术，如果cURL是使用静态链接的SSL支持构建的，或者您是从美国出口到被视为敌对的几个国家之一。

通常，对网站的公开网页进行爬网也是合法的。如果您在浏览器中看到的所有页面均下载一个副本，则不会有任何问题。如果您开始引起其他用途的问题，则可以将其视为拒绝服务攻击。您可能还需要检查网站的条款或条件，但是由于您已经下载了该网站的条款或条件，因此并没有太大区别（充其量只是一种微妙的技术性）。

然而，下载音乐仅此而已。无论您使用Limewire，uTorrent，Megaupload，Flashget还是cURL，都仍在下载音乐。如果歌手/唱片公司说是这样，或者您拥有许可证，或者通常在法律上允许您这样做，那是合法的。

因此，cURL是完全合法的。但是像其他任何事情一样，您可能不会做任何事情。

IMDB.com明确禁止在其网站上将此类剪贴程序作为其服务条款的一部分使用。

由于这里没有代表，我无法对答案发表评论，但是有几个答案表明，根据网站的服务条款，它可能不合法。这是一个微妙的技术性，但是如果是这样，那它仍然是合法的，但是您可能因违反合同或侵犯版权而被民事起诉（尽管侵犯版权也可能构成刑事违法）。但是总的来说，仅仅因为网站的服务条款表明您不能做某事，并不意味着他们具有法律权限禁止您这样做。

通常，重要的是您对它的处理方式，然后是如何获取它。IE，您可以复制CD，但是您对该CD做了什么？您是将其出售给某人的（非法的）还是只是将其放在旧CD顶部的架子上，以便获得无刮擦的副本（合法）。同样，即使您完全拥有音乐，您仍然仅有权复制该音乐以供自己使用，甚至不供他人使用。

这是一个问题。通常，当涉及到互联网时，如果它是由有权发布它的人“发布”的，并且没有任何规定它不是免费使用的（即TOS），则通常被认为是公平的游戏以非商业方式使用它。但是，如果内容甚至不是网页的“可见”部分的一部分，并且需要抓取源代码和浏览文件夹来获取/访问，该怎么办？尽管它可能在“公共”网络上并且可以通过非安全方式访问。这几乎就像声称您可以抢劫某人的房子，因为他们把他们的门打开了，这有点可笑，但在某种程度上仍然有效。如果页面上没有链接，则可能会认为该内容未“发布”

但这无可厚非，如果您没有做任何疯狂的事情，或试图从他人的工作中获利，那么通常没人在乎您是否抓取。