LinkedIn网络抓取

我最近发现了一个新的R包，用于连接到LinkedIn API。不幸的是，LinkedIn API似乎很受限制。例如，您只能获取有关公司的基本数据，而这与有关个人的数据是分离的。我想获取有关给定公司的所有员工的数据，您可以在网站上手动进行操作，但无法通过API进行操作。

如果import.io能够识别LinkedIn分页，则将是完美的选择（请参阅页面末尾）。

有谁知道适用于LinkedIn网站当前格式的任何Web抓取工具或技术，或者如何弯曲API进行更灵活的分析？最好是在R或基于Web的环境中，但当然可以接受其他方法。

Beautiful Soup是专门为Web爬网和抓取而设计的，但它是为python而不是R编写的：

http://www.crummy.com/software/BeautifulSoup/bs4/doc/

Scrapy是一个很棒的Python库，可以帮助您更快地抓取不同的站点，并使您的代码结构更好。并非所有站点都可以使用经典工具进行解析，因为它们可以使用动态JS内容构建。对于此任务，最好使用Selenium（这是网站的测试框架，但它也是出色的Web抓取工具）。该库还有一个Python包装器。在Google中，您可以找到一些技巧，这些技巧可以帮助您在Scrapy中使用Selenium 并使代码清晰，井井有条，并且可以使用一些很棒的Scrapy库工具。

我认为Selenium对于Linkedin来说比经典工具更好。有很多JavaScript和动态内容。另外，如果您想在帐户中进行身份验证并抓取所有可用内容，则使用简单的库（例如request或urllib）进行经典身份验证时会遇到很多问题。

我喜欢将rvest与SelectorGadget chrome插件结合使用，以选择相关部分。

我使用rvest并构建了一些小的脚本来通过以下方式在论坛中进行分页：

1. 查找“ Page n Of m”对象
2. 提取物m
3. 根据页面结构，建立一个从1到m的链接列表（例如www.sample.com/page1）
4. 通过完整的链接列表迭代刮板

如果您了解python，我也会与beautifulsoup一起使用。如果您宁愿编写javascript / JQuery代码（并且您熟悉node.js），则可能需要检出CoffeeScript（请参阅Tutorial），我已经在多种场合成功使用了它来抓取网页。

xml文件是Python中一个不错的Web抓取库。Beautiful Soup是lxml的包装。因此，lxml比易碎和漂亮的汤要快，并且学习起来也容易得多。

这是我为个人项目构建的刮板示例，可以在网页上进行迭代。

BeautifulSoup在LinkedIn上不起作用。乱码违反政策。Octoparse仅适用于Windows。还有另一种方法吗？我想提取一个人帐户的“相似人”数据。请帮忙！

在这里，我分享我的成功经验。

Octoparse是一个很棒的免费网络抓取工具。我用它成功地刮了Linkedin数据，这是一个详细的视频教程，用于从Linkedin提取数据。