大型网站（如StackOverflow）如何处理其访问日志？

我想知道像StackOverflow这样的大型网站如何处理其访问日志。在每个请求上对磁盘进行写操作似乎有些不经济，但是Google Analytics（分析）是否可以可靠地将其用作您的唯一信息资源？

在* nix系统上，您可以使用syslog-ng将日志消息存储在用于负载平衡群集的专用日志服务器上，然后使用Splunk之类的日志分析解决方案来监视事物-例如StackExchange网站实际运行，对于StackOverflow Meta可能是个好问题。

网络服务器日志中包含很多信息，而Google Analytics（分析）将永远无法使用它们，我可以想到两点：

• 错误，例如404等。
• 访问媒体文件，例如图片等（包括链接到您的图像的外部网站）
• IP地址，尽管回答另一个问题指出可以将其设置为用户变量
• 完整的引荐网址，例如Google从产品搜索，网络搜索等发送链接。每个搜索都有关键字，但Google Analytics（分析）不会显示，等其他变量&source=products。

肯定还有更多我现在想不起来的东西。

还有错误日志；我认为，对于网站的平稳运行至关重要。没有什么你会忽略的。

我并没有真正查看这些日志并最终每月删除它们。我只看它们以解决问题。至于使用Google Analytics（分析）监视应用程序，CrazyEgg和其他人做得很好。

在此类服务存在之前，这些日志非常有价值。现在，它们是很好的开发人员工具，但我不知道我的任何同事或朋友都主动归档这些日志或解析它们以获取数据。