从100%可访问但非“公开”的API中获取数据的合法性如何


38

我找到了一个网站,该网站提供了一个巨大的可过滤表格,其中包含有关一个国家/地区城市的最新数据。该站点使用无限滚动方法来加载表的行。

通过使用Chrome的开发人员工具浏览该网站,我发现它向一些内部URL发出AJAX请求以获取数据。该URL包含许多与过滤器相对应的查询参数。

我试图直接在浏览器中访问该URL,并且以一种不错的JSON格式获取所有数据。我什至可以使用过滤器来获取所需的具体数据。该URL实际上是可访问的,因此我不需要做任何麻烦的事情,我只是在调用网络中存在的URL。

所以我的问题是:为了自己的目的使用URL检索数据对我来说是合法还是非法?

注意:我不想创建相同类型的城市列表,但是我想使用该数据来创建一些在线游戏,从而可能赚点钱...


重要说明:一些回应和评论

这只是一个示例场景,我不是在寻找获取有关城市数据的地方。如果需要,可以考虑使用一个网站,其中提供有关某个季节更新的足球运动员表现的数据。

再次,对于具体国家,我并不是在考虑特定的立法,如果您知道一个明显(il)合法的国家,那将是有用的信息。


4
您打算如何处理这些数据?听起来并没有非法的数据,但是将其复制或显示给用户可能会侵犯版权
Stephen Ostermiller

2
您正在使用API​​的网站可能会使用技术手段而非合法手段来阻止您使用此API。通常最好获得使用API​​的权限,以确保它不会被阻塞并给用户带来不便。
Stephen Ostermiller

3
这很简单!询问许可咨询公司或版权律师!不是网站管理员!
西蒙·海特

6
@bybe,很抱歉,我找不到Stack Exchange的许可咨询网站,我只向Stack Exchange用户或上帝询问问题,上帝从来没有回应。
MikO 2014年

1
您将要阅读我的答案,然后再仔细考虑。
closetnoc 2014年

Answers:


27

让我清楚一点。我非常了解一件事,那就是版权法。我不是律师,但是,版权知识一直是我咨询公司30年来一直需要的。作为一项额外的奖励,我主要向电信公司咨询,并经常处理订户数据以及数据分析和表示这些数据以进行销售和重复使用。我至少有资格在这个论坛上回答这个问题。

我将尽我所能来最好地解释这一点:一,定义专有经文的普通方式;第二,定义引用的案例例外和其他相关的版权注意事项;第三,要清楚答案。

让我澄清一下版权。电话簿的例子是用词不当。接到电话后,您已作为私人公民与私人公司签订了私人合同协议,所得到的信息(无论是否公开)均为私人专有数据,因此电话簿的内容为专有信息(请注意)。这个词)仅是因为通常只能通过公司数据源(订户数据)以外的任何其他方式来获得。如果数据可以通过普通方式获得,例如到处走走并写下门牌号码和街道名称,则该数据是公开可用的数据,并且易于使用。这并不是说不能通过普通方式获得电话号码。有可能。

进一步澄清。引用来源:http : //www.lib.umich.edu/copyright/facts-and-data

对于原创作品的版权保护无论如何不以任何形式进行描述,解释,说明或体现,都不会扩展到任何思想,程序,过程,系统,操作方法,概念,原理或发现。在这样的工作中。

本段具有误导性。本段所述的例外情况受专利法和其他法律保护。版权仅扩展到作品的创作。

该:

“额头汗水”学说

...是指任何活动,例如搬家并手动收集数据。这是普通手段的定义。可以敲门并索要相同的电话数据。只有通过常规方式才能收集事实的事实是该数据或专有数据的一部分是公开的。

使用电话数据的通常方法是:一,通过合法手段获得原始数据;第二,运用合理使用原则。这将需要直接从公司获得电话簿的副本,这可以是免费的或收费的,并且以不同的方式组织事实以创建新作品。您在芝加哥时是否尝试过获取西雅图电话簿?您会发现电话公司可能会向您收取惊人的费用。但是,如果您是西雅图的电话订户,并且要求提供西雅图电话簿,则费用将少得多,甚至免费。我不得不做多次。有些人的工作就是亲自从电信公司获取电话簿,并根据需要付费。

Feist出版物诉农村电话一案中引用的裁决在以上链接中(此答案中)取决于两个事实:一个是,农村合作社运营商作为本地垄断者的数据需要通过运营协议公开获得;第二,该作品的展示受版权保护,而不是由于事实1而包含在其中的事实。因此,只有在狭窄的参数范围内,这种情况才能被视为先例,必须丢弃。通常,协议不要求将私人公司订户数据公开。您必须记住,农村合作社是为公共利益而建立的公共信托/实体,并由公众和/或合作社成员拥有,因此在法律上允许其被批准运营或存在。每种情况都不同。

在贝尔电话公司成立之初,除非订户限制,否则该公司被要求公开发布电话数据。当Bell公司拆分为Bells,Bell Atlantic,Bell South等婴儿公司时,仍然需要这些公司作为垄断来公开电话数据。但是,随着放松管制,实际上还有VoIP,蜂窝电话和其他选择,垄断是罕见的。只有在垄断情况下,才能提出上述论点。

继续引用上面的链接(在此答案中):

仅仅因为数据不受版权保护,并不意味着在您希望使用其他人的数据集时,没有其他法律上的考虑。

请记住这一点。

无论数据来源如何,任何给定的数据集及其表示形式都是其本身的工作。无论事实如何,对事实的公开展示本身就是一件作品。

鉴于您不是通过普通方式获取数据,即使数据是公开的,并且无论数据的原始来源如何,您都无法免费使用您所描述的内容,并且您可能会受到刑事指控并应承担民事责任潜在的侵犯版权以及犯罪侵入和非法使用未经一般授权的计算机和其他通信设备的行为,并可能属于RICO法规。

使用合法吗?没有!绝对不!它不是通过普通方式获得的,也不是网站运营商公开专有数据的意图。如果没有AUP(可接受的使用政策)将无济于事。在这种情况下,根据法律对“合理的人”,“合理的标准”和“合理的假设”做出了保护网站所有者的假设。聪明的人会使用网站的“设计/创建中的漏洞”来获取数据以供其他用途,这是不合理的。同样,如果该站点从其活动中获利,则进一步的保护将发挥作用。


3
伟大的对立面。值得重申的是,当您怀疑自己的行为是否合法时,通常值得咨询律师。
斯蒂芬·奥斯特米勒

1
NFL声明其专有拥有球队/球员统计数据,因此对数据进行许可使用。如果我在电视上看到它,则是通过许可协议,如果在新闻报纸中看到它,则是通过许可协议,杂志。您将获得数据的大多数来源都是经许可的。但是,如果通过普通方式(例如询问朋友)获得,那是合法的。但是,如果您在不从信息中获利的网站上发布统计信息,尽管NFL非常谨慎地考虑许可问题,但它不会开枪打死您。他们可以写一封信,但总的来说,他们不会打扰。
closetnoc 2014年

2
英国的法律不同,即使每个数据项都不能享有版权,“公共数据”集合也可以享有版权。
伊恩·林格罗斯

2
@closetnoc,仅使用隐藏的API来获取信息是否非法?如果您打算按预期使用网站并手动写下信息,然后再使用,那是否合法?跟进:如果是这样,并且您使该过程自动化,那么它仍然合法吗?
杰森

1
@closetnoc我很好奇:假设该网站robots.txt没有限制URL,并且在各种搜索引擎上都可以查询到该URL,这会影响您的分析吗?使用JSON,我已经看到它比吹捧的“人类可读” XML更具可读性(但他们说!:D)[例如SOAP],您是否同意在那时可以说它可以“通过'常规方式'获得”? ?在安装了其中一个易于查看JSON的扩展程序的浏览器上,单击链接并查看数据将很简单。而且我想自动添加JSON-REST-query-field-search的功能也不会落后...
shelleybutterfly 2014年

6

这里的其他答案中似乎不太清楚的一件事...

首先,它是否“合法”取决于国家。例如,如果我们谈论的是美国,那么使用数据本身并不是非法的。但是,我建议您使用美国人口普查的真实数据。他们通过所谓的TIGER产品提供大量数据。该数据集与GIS专业人士用来填充Bing地图,Google地图等的数据集相同。

但是,尽管数据可以免费获得,但这并不一定意味着来自该公开API的数据是合法可用的。您说它是JSON形式,这表明它已从其原始格式“被按摩”为这种格式-并且该自定义格式可能属于知识产权。 ,除非您拥有使用许可,否则我相信它将是非法的。像这里的其他人一样,我也不是律师,但是公司甚至不需要指责您并称呼您为黑客。专有数据是专有数据,即使它是无意间分发的。您应该与该公司联系,并让他们知道所有这些数据都暴露给外界,并请求允许使用它们。如果不这样做,并且以堆栈交换上的这个问题为证据,则很容易对您提起诉讼。您基本上已经说过:“这看起来不合法,但无论如何我都喜欢,我想从中赚钱。” 再说一次,我不是律师,但这似乎不是开始审判的好方法。

事实是,如果您对城市名称和其他地理数据感兴趣,那么几乎所有国家/地区都可以免费获取。最后我知道,美国发布的数据最多,但是几乎每个国家都有数据。我犹豫只说一句,因为我是一名程序员,很难证明“为所有人”的说法……如果您选择一个任意的国家,那么那里的数据总比没有好。如果您有特定的国家/地区,请前往GIS Stack Exchange。您要查找的主要对象是“ shapefile”,因此请问一个问题,例如“在哪里可以获取__________的shapefile?” 还有OpenStreetMap这是一个开源地图。我不确定获取他们的shapefile数据有多么容易,但是如果您可以从他们那里获取数据(而且我不知道为什么无法这样做,您就可以基于本地运行离线地图存储的信息),那么您便拥有了所需的所有数据,并且合法无虞。您必须花费时间将海量数据分解为所需的数据,但是shapefile总是定义得很好并且易于解析。


1
您提出了一些要点!合法机构从美国政府获得的任何数据都是公共领域的,因为它已经由公众通过税收支付并拥有。如果以特殊格式(例如印刷(GPO政府印刷办公室),磁带或CD或其他介质等)提供格式,则政府喜欢对此数据收费。他们这样做是为了收回人工/材料成本,尽管我有时会争论费用与成本之间的关系。美国政府从事赢利游戏已有几十年了。您为什么认为他们真的想要所有额外的人口普查数据?他们卖掉它。
closetnoc

5

尽管closetnoc讨论了数据本身的问题,但还有一个更大的法律问题:您无权访问提供数据的API。

大多数计算机犯罪法律的基准都涉及“未经授权访问计算机系统”的概念。在访问控制方面,您不应将此法律上的授权与授权概念混淆。系统的拥有者并没有必须确保他的系统访问它是非法的,就像你,当你进入一个房子,一个上锁的门仍然非法闯入。

在这种情况下,明显缺乏安全性并不意味着授权使用它。迄今为止,互联网的概念在判例法中尚无先例,但是您可以想象使用HTTP 80协议来暗示公开授权来查看网站。相反,通常不认为后台RPC协议(即使它们可能在HTTP请求上运行)是公开可用的,除非操作员以这种方式发布服务,并授权第三方使用。

因此,持续使用API​​来检索数据将是非法的。从API进行数据转储以构建自己的数据集的行为也是非法的。此后是否使用数据是否非法是一个巨大的灰色地带,但closetnoc涵盖了大多数问题。

当然,如果您在无法识别的事实之后修改数据转储,则几乎不可能证明您已犯罪。但是,如果您要处理这么多麻烦,为什么不从合法来源获取数据呢?


有趣的是,我同意你的看法,只是当你争论“ AJAX RFC协议是一个不用于公共访问的内部系统”时,对我来说这没有意义。我不确定与它有什么协议。许多组织都提供此类公开数据服务,以供公众使用。例如,提供GIS数据的地方政府。对我而言,有意义的事实是OP发现数据服务的方式,而且显然不打算将其用于公共用途。我在这里基地吗?

我确实涵盖了这样一种事实,即在任何标准下此类访问都是不合法的,但是,我很高兴您再次提到它。这是重要的一点。任何AUP都应声明默认情况下未授予访问授权(当然,它不必是那个苛刻的人)。这个想法是先建立一个否定的默认值,然后以相当狭窄的webbie方式定义可接受的用法。
closetnoc 2014年

1
@pseudocoder不,您是正确的。我的意思是,人们已经确立了合理的期望,即默认情况下对HTTP服务的访问是公开的,而对RFC服务和类似协议而言则相反。此类服务通常会发布以供公众使用,并以此宣布。正如我所说,我不知道有关此的判例法,也不了解各种网络犯罪法律在实践中如何处理这件事,但这是一个重要的区别。[...]
Lilienthal 2014年

3
如果您对公共访问没有这种期望,那么您将违反对StackExchange的访问,因为其所有者未明确授予您查看页面的权限。一个有理智的人(法律讨论中很流行的概念)会希望网站服务对所有人都可用,而敏感部分则隐藏在访问控制层后面。那个人不会期望“隐藏”的后台服务(普通人不理解)同样有资格对所有人免费。我已经编辑了答案,希望可以更好地解释这种二分法。
Lilienthal 2014年

“ RFC”是指“ RPC”吗?
ruakh 2014年

4

这可能取决于数据的性质。 纯数据(如电话簿)不能享有版权。因此,通过API列出的城市应该是公平的游戏,可以复制并显示给用户。但是,如果该API包含城市描述,则这些描述将受版权法保护,并且您在不侵犯版权的情况下将无法使用它们。

如果您可以合法地复制数据,建议您将其复制到您自己的站点,以防止过早关闭您的API使用。


1
感谢您的回复。只是不清楚什么可以是纯数据。例如:城市中的居民数量或城市中去年的新车辆登记数量...或其他情况:克里斯蒂亚诺·罗纳尔多本赛季得分的进球数或明年U2的音乐会清单。 ..这些都是纯数据吗?
MikO 2014年

我不是律师。知识产权律师将更适合于建议您如何将法律应用于您的特定数据。您提供的示例对我来说就像数据。只有它们的展示或排列都可以受版权保护(通过我的回答中的链接)
Stephen Ostermiller

1
我认为判例法支持电话簿中的姓名和电话号码不受版权保护的事实。参见Feist v。Rural:“电话簿的白页不符合宪法所规定的具有版权保护条件的最低原创性,并且资源的努力和支出不受版权保护。”
Stephen Ostermiller

3

(IANAL,法律和规范在世界范围内差异很大,但是由于知识产权条约的缘故,某些事情趋于保持一致。如果您在专业领域之外还遇到专业问题,请咨询专业人士。)

通常,从法律上讲,除非将API 主动记录具有指定服务条款的公共API,否则不应将其视为“打算供公共消费” 。公众可以访问API的事实并没有使其公开。

在数据本身的状态不是完全公共领域的情况下,在某些情况下显然公共领域的情况下,提供API的实体的意图非常重要。如果网站运营商打算将API用于动态网页或移动应用程序(仅举两个常见示例),则任何其他用法都是“未授权”的,除非在某处得到了特别授权。如果目标消费者是特定网页中的一小段动态代码,则出于以特定的(希望)愉快且有用的方式将人类可理解的像素放置在显示器上的目的,任何其他使用都是未经授权的。

通过打开的窗户进入建筑物而不打开或破坏任何东西的技术能力不会保护您免遭犯罪侵害的逮捕...

而且,与知识产权律师一起玩“技术能力”与“原始意图”游戏几乎是不明智的。如果别无其他,请记住,一贯败诉的律师不会一直为他们收取报酬。


2

您所说的可能很好。您将超链接到信息,然后对其进行转换。

在Perfect 10,Inc.诉Amazon.com,Inc. [19]中,第九巡回法院再次考虑了图像搜索引擎对缩略图的使用是否合理。尽管事实比Arriba Soft案更接近事实,但法院仍然认为被告侵权者的使用是公平的,因为它“具有很大的变革性”。法院解释:

我们得出的结论是,在这种情况下,尤其是考虑到其公共利益,谷歌搜索引擎的重大变革性质超过了谷歌对缩略图的取代和商业用途。…… 我们也铭记最高法院的指示,即“新作品更具变革性,其他可能不利于合理使用的发现的其他因素(例如商业主义)的意义也就越小。”

此外,法院在美国的第一个上诉裁决中专门针对链接的版权地位:

当Google构架出现在用户计算机屏幕上的嵌入式链接图像时,Google不会根据《版权法》显示……全尺寸侵权照片图像的副本。由于Google的计算机不存储照片图像,因此,出于版权法的目的,Google没有这些图像的副本。换句话说,Google没有任何“固定了作品的……可以从其感知,复制或以其他方式传达作品的实质性对象”,因此无法传达副本。Google不提供图片的副本,而是提供HTML指令,这些指令将用户的浏览器定向到存储完整尺寸的图片的网站发布者的计算机。提供这些HTML指令并不等同于显示副本。首先,HTML指令是文本行,而不是照片图像。其次,HTML指令本身并不会导致侵权图像出现在用户的计算机屏幕上。HTML仅将图像的地址提供给用户的浏览器。然后,浏览器与存储侵权图像的计算机进行交互。正是这种相互作用导致侵权的图像出现在用户的计算机屏幕上。Google可以帮助用户访问侵权图片。然而,此类帮助仅引起了分担责任问题,并不构成对版权所有者的展示权的直接侵犯。…虽然内联链接和框架可能会使某些计算机用户认为他们正在查看单个Google网页,但是与《商标法》不同,《版权法》并不能保护版权持有者免受引起消费者困惑的行为的侵害。

Arriba Soft and Perfect 10之后的美国法律状态

Arriba Soft案所主张的主张是,以缩小尺寸的副本进行深层链接和实际复制(或准备减小尺寸的派生作品)均可以作为合理使用的理由,因为被告对作品的使用并未实际或潜在地转移从第一部作品开始的市场;并且它为公众提供了一种以前没有的,非常有用的功能,就像版权法所促进的那样(在网络上查找所需的信息)。“完美十人”案涉及类似的考虑,但涉及更多的利益平衡。该行为被原谅是因为对公众而言,原本无法获得的有用功能的价值超过了Google可能取代其使用对Perfect 10的影响。

此外,在《完美十大》中,法院开创了影响深远的先例,支持链接和框架,法院 在版权方面给予了完全的通过它得出的结论是:“内联链接和框架可能会使某些计算机用户认为他们正在查看单个Google网页,但是,《版权法》 ...不能保护版权持有者免受引起消费者困惑的行为的侵害。”

强调我的。林克

您只是在使用超链接,没有在制作副本,没有在显示副本,没有在损害商业利益,并且正在对其进行高度转换。我想说您需要所有要素都很好。但是,IANAL。


OP的问题与超链接无关。您引用的情况也不适用。实际上,这种情况不应该提起。索赔人提出的侵犯版权指控是没有道理的,因为合理使用原则将直接适用。关键字是可转换的。这是定义合理使用以及搜索引擎引用或引用他人作品的权利的另一关键要素。OP正在讨论整个销售的提取和对他人作品的使用,这是对版权的侵犯,其中包括联邦政府的重大RICO侵犯。
closetnoc

/ *我不是律师/我绝对〜倾向于〜在这一方面……*特别是通过 RESTish JSON查询API通过http / https 链接,该链接已经用于获取开放网站的数据根据现行法律在美国的公众 [足够的资格?xD]“应”不违反法律,原因如下:1.无需DMCA规避-由于没有适当的规避措施,因此无需“规避”这一事实。仅仅声称有人为了防止他人复制而对某物进行保护是不够的,该措施law.cornell.edu/uscode/text/17/1201
shelleybutterfly 2014年

/ * I!= AL /和2.这里的主要焦点之一:*链接与hading不同。如Q中所述,如果玩家的浏览器已下载,那么对于在线游戏来说可能还可以;或(也许)是否已根据玩家的行为抢占了一切。[IMO,在某处将该站点归功于它是正确的。]但是,问题在于:我们得到了技术。但是,许多法官/陪审团都是文盲,有些人似乎故意误解了。最好的情况是,您必须浪费资源进行战斗。因此,如果您可以做这样的游戏,请省去麻烦。做其他事情。海事组织。gl。
shelleybutterfly 2014年

@closetnoc:您可能想重读OP。他正在谈论访问包含一些文本的网页。那是一个超链接。在超链接上的维基百科:“内联链接显示远程内容而无需嵌入内容。无论用户是否选择链接,都可以访问远程内容。内联链接可以显示内容的修改版本;例如,图像的缩略图,低分辨率预览,裁剪部分或放大部分可能会显示。” 这就是OP所说的,不是吗?
Shane 2014年

@closetnoc:他计划将用于呈现信息的文本转换为游戏。那是变革性的。除非他自己保存数据,否则他也不会谈论提取任何东西,而只是查看和转换它。我不知道您为什么认为反对有组织的球拍活动的法律在这里有任何意义。OP正在询问是否违反版权法来访问超链接,或将该超链接提供的数据转换为新内容。
Shane 2014年

-1

只要您不必输入密码即可获取密码,但它是合法的,但是,一些不太成熟的公司可能会声称遭到黑客入侵并请您与律师联系。您必须准备好捍卫自己。您会发现他们没有罪恶感,因为他们正在向公众发布数据,但这可能需要捍卫自己。检察官和警察服从公司。这通常发生在安全通知中,有人会通知公司存在安全漏洞,然后公司会向他们指控黑客入侵。该公司还可以自由更改API,恕不另行通知,这可能会破坏您的应用程序。

http://www.extremetech.com/computing/146323-canadian-college-expels-student-for-white-hat-security-probing

如果您之前曾听说过,请阻止我:一位技术狂热者在检查安全漏洞时有点过分热衷,发现了一个重大漏洞,提出了信息,然后提出了法律和人身威胁。

http://www.bostonglobe.com/metro/2014/03/29/the-inside-story-mit-and-aaron-swartz/YvJZ5P6VHaPJusReuaN7SI/story.html

入侵者潜伏在MIT校园的某个地方,下载了成千上万的学术期刊文章。


1
确实。尽管定罪最终被推翻,但奥恩海默(Auernheimer)在屏幕上刮擦AT&T的时间仍超过了三年。
Andrew Medico 2014年

4
-1。这是不正确和危险的建议。大多数计算机犯罪法律的基准都涉及“未经授权访问计算机系统”的概念。仅仅由于系统(显然)不受保护,并不表示您有权使用它。您也不应将法律意义上的授权与访问控制上下文中的授权混淆。
Lilienthal 2014年

1
@Lilienthal OP问题中网站的可用性表明每个人都授权。实际上,甚至可以说用户代理从服务器上运行了javascript,因此反向授权网站在用户的计算机上运行代码并执行其他查询
Hagen von Eitzen 2014年

1
@HagenvonEitzen最肯定不是。该网站是面向公众的,并使用后端服务来显示数据。将它与咖啡店进行比较:您可以点一杯意式浓缩咖啡,但不能跳到柜台后面按照自己的方式冲泡咖啡,必须经过咖啡师。
Lilienthal 2014年

1
@Chloe保留所有权利,应仅因事实不正确而应否决该答案,并有可能帮助导致某人实施非法行为。您会考虑编辑答案吗?
closetnoc
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.