Questions tagged «scaling»

哪些内核参数或其他设置控制可在Linux服务器上打开的TCP套接字的最大数量？允许更多连接的权衡是什么？ 我注意到在使用ab对Apache服务器进行负载测试时，最大化服务器上​​的打开连接非常容易。如果您取消了ab的-k选项，该选项允许连接重用，并使其发送大约10,000个以上的请求，则Apache会处理大约11,000个左右的请求，然后暂停60秒钟。查看netstat输出显示TIME_WAIT状态下有11,000个连接。显然，这很正常。出于TCP可靠性的原因，即使在客户端完成连接后，连接也会保持默认打开状态60秒。 看来这是对服务器进行DoS的一种简便方法，我想知道通常的调整和预防措施是什么。 这是我的测试输出： # ab -c 5 -n 50000 http://localhost/ This is ApacheBench, Version 2.0.40-dev <$Revision: 1.146 $> apache-2.0 Copyright 1996 Adam Twiss, Zeus Technology Ltd, http://www.zeustech.net/ Copyright 2006 The Apache Software Foundation, http://www.apache.org/ Benchmarking localhost (be patient) Completed 5000 requests Completed 10000 requests apr_poll: The timeout specified has …

89 linux  apache-2.2  performance  scaling  tuning 

因为我知道对此没有真正的答案，所以不详细说明规格。但是我今天一直在用abApache中的命令进行负载测试。 在从4个不同的数据库表加载并处理数据的页面上，获得了每秒70个请求（1000个并发用户的1000个请求）的数量。所以这是一个相当沉重的页面。 该服务器目前尚未用于其他任何用途，它的负载仅由我自己承担，因为它正在开发中。但是许多用户每天都会使用该应用程序。 但是够了吗？还是我应该担心（只要超过X请求一秒钟） 我以为我不用担心，但是我想要一些提示。

39 web-server  scaling  load-testing 

我正在一个可能最终拥有非常大的数据库的网站上工作。直到deviantART，该网站才会成为一个艺术社区。我将运行许多查询来分析网站的使用方式。我希望某些查询会杀死数据库，因为我还不知道如何优化SQL查询。我从一个小型Linux VPS开始，将来会转移到物理服务器。 在这种情况下，哪个数据库可以最佳扩展？

20 linux  mysql  postgresql  scaling 

我想暂时阻止外部端口80，但希望负载平衡器通过防火墙（通过安全组）通过，以便它不会将该实例视为不正常。我怎样才能做到这一点？ 更新： 我也想知道如何只允许我自己通过端口80访问弹性负载均衡器（但阻止其他人访问）。我知道负载平衡器没有可以设置的特定安全组，并告诉它仅接受我的IP地址，但是还有其他方法可以做到吗？

18 amazon-ec2  load-balancing  amazon-web-services  scaling 

我们希望能够按需添加更多后端服务器。现在，我没有一种无需重启haproxy就可以将更多后端服务器添加到配置文件中的方法。

17 load-balancing  scaling  haproxy 

由于Windows 8.1不允许系统范围的“ Windows XP样式”高DPI支持，因此如何使Microsoft管理控制台应用程序（mmc.exe）具有高DPI感知能力？没有它的“疑难解答兼容性”上下文菜单项。

16 scaling  windows-8.1  dpi 

我正在构建一个分析程序包，并且项目要求指出我每天需要支持10亿次匹配。是的，“十亿”。换句话说，每秒持续命中不少于12,000次，最好有一定的爆发空间。我知道我将需要多个服务器，但是我试图在“向其添加更多硬件”之前从每个节点中获得最大性能。 现在，我已经完成了点击跟踪部分，并对其进行了优化。我几乎只是将请求直接保存到Redis中（供以后使用Hadoop处理）。该应用程序是Python / Django，带有用于网关的粗话。 我的2GB Ubuntu 10.04 Rackspace服务器（不是生产机器）每秒可以处理约1200个静态文件（使用Apache AB标记为一个静态资产）。相比之下，如果我将静态文件链接替换为跟踪链接，则每秒仍会收到约600个请求-我认为这意味着我的跟踪器已经过优化，因为它仅比提供相同的静态资产慢2倍反复。 但是，当我以数以百万计的点击数作为基准时，我注意到一些事情- 没有磁盘使用-这是预料之中的，因为我已经关闭了所有Nginx日志，并且我的自定义代码除了将请求详细信息保存到Redis之外不执行任何操作。 非恒定内存使用率-大概是由于Redis的内存管理，我的内存使用率将逐渐上升然后回落，但是这从来都不是我的瓶颈。 系统负载徘徊在2-4左右，即使在我最重的基准测试期间，系统仍然可以响应，并且我的（其他）服务器每执行600个请求时，我仍然可以手动查看http://mysite.com/tracking/pixel，几乎看不到延迟。第二。 如果我进行了一次简短的测试，比如说50,000次点击（大约200万次），那么我每秒就会收到600个稳定可靠的请求。如果我运行更长的测试（到目前为止尝试了3.5m），我的r / s会降低到250。 我的问题- 一种。看起来我要用尽这台服务器了吗？1200个/ s静态文件的nginx性能是否可与其他人媲美？ b。是否有针对此类高容量应用程序的常见Nginx调整？我将工作线程设置为64，将gunicorn工作线程设置为8，但是调整这些值似乎对我没有多大帮助或伤害。 C。是否有任何Linux级别的设置可能会限制我的传入连接？ d。在长时间运行的测试中，什么会导致我的性能下降到250r / s？同样，在这些测试过程中内存没有达到极限，并且HDD的使用为零。 在此先感谢，所有:) 编辑 这是我的nginx配置-http: //pastie.org/1450749-它主要是香草，有明显的脂肪被修剪掉。

15 nginx  scaling  high-volume  redis 

亚马逊，Facebook和Google每天必须吸收TB（如果不是PB），这是否意味着他们需要人们不断地在新机架中安装新硬盘和电缆，就像建立普通服务器的方式一样，或者是否使用了不同的技术批量连接驱动器？

13 hard-drive  scaling 

我正在尝试以多区域方案扩展我们的Web应用程序（PHP，MySQL，内存缓存）。当前，我们正在使用在ELB和RDS实例后面有两个EC2实例的设置，所有这些实例均位于美国东部（弗吉尼亚州）地区。 我们也希望在欧盟（爱尔兰）地区也有业务。这意味着那里至少有一个新的EC2实例（与其他相同，服务于同一应用程序）。 我已经复制了所需的AMI，设置了新实例，设置了相同的ELB配置（SSL终止所需），并在Route53中配置了基于延迟的路由。它按建议工作。 但是，来自欧盟的客户存在速度问题。这是由于EU EC2实例连接到基于美国的RDS实例这一事实。据我所知，亚马逊尚未启用RDS多区域复制。 您是否对使用单个RDS实例时如何适当加快整个设置有任何建议？ 另外，关于如何扩大规模的任何一般想法？理想情况下，出于各种原因，我们希望继续使用RDS技术。不过，我愿意接受建议（我想下一个想法是托管我们自己的MySQL服务器）。

11 amazon-ec2  amazon-web-services  scalability  amazon-rds  scaling 

这个问题不太可能对将来的访客有所帮助；它仅与较小的地理区域，特定的时间段或极为狭窄的情况（通常不适用于Internet的全球受众）有关。要获得使该问题更广泛适用的帮助，请访问帮助中心。 8年前关闭。 是否有关于硬件级别以支持ElasticSearch的良好指南？对Lucene或Solr的建议是一个不错的起点吗？我们正在考虑从以下时间开始部署 2700万份文档，8TB数据 每天添加30万个文档 然后将其放大约10倍， 2.7亿文档，80TB数据 每天增加300万份文档 这是一个奇怪的用例，其中查询将以每天数千次的速度进行，但是响应时间需要保持足够低的时间才能获得Ajaxy Webapp的良好体验。

10 hardware  scaling  elasticsearch 

我正在进行一项合同的初步研究，该合同是在运行Linux CentOS 6的约600台远程服务器（及其600个专用LAN）之间建立VPN网络的。该网络应该是基于星型的，因此每个远程服务器都连接到中央服务器以进入VPN（我知道这是SPOF，但这没关系，因为构建此VPN的主要应用程序将在中央服务器）。 我想使用OpenVPN（它非常灵活，可以调整到我们所需的配置），但是我想知道在如此大的网络上运行它的最佳实践是什么。例如，如果在tun模式下使用，它将在中央服务器上创建600个tun接口，我什至不知道它是否受支持和/或产生任何问题。 我没有这么大的网络经验，因此我愿意接受任何类型的建议和指导。谢谢！

9 networking  openvpn  scaling 

我目前正在尝试为基于Drupal的Web应用程序指定一个可水平扩展的群集，该群集看起来类似于下面的彩色图表： 负载平衡器实现了粘性会话，因此，在为用户分配了要使用的服务器后，用户便保持状态。 每个应用程序服务器具有以下内容： 正面清漆 drupal 6在中间运行在灯堆上 内存缓存在后面 两台mysql数据库服务器位于共享IP上，它们位于具有DRBD和listenbeat的HA群集中，因此，丢失一台将不会破坏整个平台。 对于您不确定的几件事，我不确定。 文件应如何水平扩展？ 我正在考虑使用NFS在每个应用程序服务器上安装共享文件目录，因此所有位置都可以使用一次上传的文件。我之所以想到NFS，是因为它已经存在了很长时间，并且我没有使用MogileFS或GlusterFS的经验，并且它是我们以前使用过的东西，因此我们对其更加熟悉。 是否有任何可遵循的准则来确定以这种方式通过NFS共享目录的服务器数量是多少？ 应该如何在此处的共享文件存储中提供HA？ 这里的一个问题是NFS服务器是单点故障。 我们已经在Mysql服务器上使用Heartbeat和DRBD，并且我希望将堆栈中涉及的技术数量保持在尽可能低的水平-如果我对文件使用相同的HA策略，将会有什么陷阱服务器呢？ 另一种方法 这是面向内部网站的，当内部计划启动时，有限数量的用户偶尔会在短时间内非常密集地使用该网站。因此，这不需要像某些初创公司那样无限扩展。 鉴于 我们可以预期的流量上限 向文件服务器中添加HA，并设计一个可以水平扩展的设置，这样会带来相当大的复杂性 我也在考虑使两个Web服务器变得更强大，以便它们可以处理它们之间的峰值负载，并在cron作业中设置统一或rsync，以便： 它们的文件仍保持同步（粘性会话使用户保持与文件上传到的服务器相同） 丢失一个表示该站点仍在运行。 这听起来像是解决任何可能的NFS / DRBD HA复杂性难题的可行方法吗？ 谢谢， C

9 nfs  lamp  scaling 

最近有人问我：“你知道什么时候决定要增加内存还是增加服务器？” （在扩展数据挖掘应用程序的上下文中）。 我不知道，所以有什么方法可以决定？我对体系结构和扩展的了解很少（我对计算机内存和服务器功能的了解仅限于高级基础知识），因此，也欢迎普遍了解更多有关这些内容的提示。

9 memory  scaling 

服务器运行CakePHP应用程序时出现此问题。服务器异常缓慢，我首先以为这是应用程序问题，但随后我发现以5-6MB / s的速度不断写入磁盘。 查找如此大量写入原因的最简单方法是什么？ 服务器正在运行Gentoo。

9 linux  performance  io  scaling 

根据您的经验，哪个数据库服务更难扩展？MySQL还是Postgres？我知道MySQL具有几项现成的缩放/聚类功能，但是对于Postgres，没有现成的。CMIIW。 编辑： 抱歉，我的问题是横向扩展（水平扩展），即群集，分片等。我知道两者都可以水平扩展，但是哪一个更易于实现？ 感谢你的分享。

8 mysql  postgresql  scaling