以稳定高效的方式从网页获取数据

最近，我了解到，使用正则表达式来解析网站的HTML以获取所需的数据并不是最佳方法。

所以我的问题很简单：那么，什么/最好/最有效且通常稳定的方式来获取此数据？

我应该注意：

• 没有API
• 没有其他可以从中获取数据的来源（没有数据库，提要等）
• 无法访问源文件。（来自公共网站的数据）
• 假设数据是普通文本，显示在html页面的表格中

我目前在我的项目中使用python，但是独立于语言的解决方案/提示会很好。

附带提出一个问题：当通过Ajax调用构建网页时，您将如何处理？

编辑：

在HTML解析的情况下，我知道没有实际的稳定方法来获取数据。页面更改后，解析器就完成了。在这种情况下，我的意思是：一种有效的页面解析方法，只要页面没有变化，它总是可以为我提供相同的结果（显然是针对同一组数据）。

好吧，这是我的2美分：

如果不涉及AJAX，或者很容易清除，则将HTML“修复”到XHTML（例如使用HTMLTidy），然后使用XPath而不是正则表达式来提取信息。
在结构良好的网页中，逻辑上分离的信息实体位于不同的<div>s或任何其他标记中，这意味着您可以使用简单的XPath表达式轻松找到正确的信息。这也非常好，因为您可以在Chrome的控制台或Firefox的开发人员控制台中对其进行测试，并在编写一行其他代码之前验证其是否正常工作。
这种方法还具有很高的信噪比，因为通常选择相关信息的表达式是单线的。它们也比正则表达式更易于阅读，并且是为此目的而设计的。

如果页面中包含AJAX和严肃的JavaScript，请在​​应用程序中嵌入浏览器组件，并使用其DOM触发所需的事件，并使用XPath提取信息。那里有很多很好的可嵌入浏览器组件，其中大多数都在幕后使用真实世界的浏览器，这是一件好事，因为网页可能是不正确的（X）HTML，但在所有主流浏览器上仍然表现出色（实际上，大多数页面最终都采用这种方式）。

以我的经验，在使用.NET环境时，您可以利用HTML Agility Pack。

如果页面格式设置为XHTML，则还可以使用常规XML解析器。您可以想象的任何环境都有很多。

对于有关AJAX的附带问题，您可以使用常规的HTTP网络代码来获取数据并进行解析。

同样，如果您的AJAX堆栈返回XML，您将有很多选择。如果返回JSON，请考虑一个允许您将流映射到键入对象的库。在.NET中，我建议您使用Newtonsoft.Json。

解析HTML并不是一件容易的事，因为必须处理可能不正确的标记（标签汤）。多年来，浏览器已采用或多或少地采用相同的策略来处理错误，并且该算法已在HTML5规范中进行了命名（是的，HTML5规范指定了如何处理非HTML5的内容）。

是所有主要语言的库，用于解析HTML，例如this。

无论如何，您得到的结果在任何意义上都是不稳定的。每次网页格式更改时，您都必须调整刮板。

附带提出一个问题：当通过Ajax调用构建网页时，您将如何处理？

如果正在进行ajax调用，则很有可能是带有某些变量的POST或GET URL。

我将检查JavaScript以找出端点和参数是什么。之后，很有可能返回的数据是json / xml / plain文本或部分html。

了解了以上信息后，您只需向该端点发出GET或POST请求，然后解析返回的数据。

没有稳定或更好的方法来执行此操作，HTML网页不是要由计算机操纵的。它是针对人类用户的，但是如果您需要这样做，我建议您使用浏览器和一些JavaScript。在我的工作中，我参与了一个项目，该项目需要从第三方站点中提取一些信息。该应用程序是作为Chrome扩展程序开发的。页面加载完成后，将使用注入到网站上的JavaScript编写应用程序逻辑。提取的数据通过http服务器发送到数据库。这不是最好的方法，但是可以。附言：网站所有者已授权我们进行此类操作。