Questions tagged «cluster»

关闭。这个问题是题外话。它当前不接受答案。 想改善这个问题吗？ 更新的问题，所以这是对话题的超级用户。 6年前关闭。 是否有人知道一些链接/书籍/您能想到的任何东西，这些链接描述了构建一个小型家庭集群的过程（当我说家庭时，不一定意味着要在家中保留，而是意味着它相对便宜且体积小）实验目的，特别强调当今哪种硬件已经足够，以及某种成本分析？ 虽然，如果有人在这里做，我会很感激您可以分享的所有经验。

14 cluster 

有人知道一种方法来找出给定数据在CD或DVD上的物理位置吗？ 目前，我正在尝试观看DVD，并且已经过了一半，但是它一直在电影的某个特定位置死掉，大概是因为刮擦。我有一个维修工具包，但是我不知道该把精力集中在哪里，因为光盘上有几处划痕和划痕，而且我也无法知道是哪个引起了问题。 显然，不建议对它们全部进行清洗，因为这不仅浪费了套件中的消耗性材料，而且并非所有这些都是问题，并且通过操作它们，有些可能变得难以阅读。而且，仅仅因为我正在看电影的中途，并不意味着它会从集线器到边缘的途中，原因有几个： 光盘朝向外边缘的数据要比向内边缘的数据多（圆形在数学上比矩形要复杂） 光盘没有完全装满（即使是，电影本身也会全部使用，还有其他功能） 因为在这种特殊情况下它是商用DVD，所以它也是双层的，这进一步使手动确定变得复杂 因此，我正在尝试找到一个程序，该程序可以让我识别文件（或其一部分），群集等，并向我显示其在CD / DVD上的位置的图片。这样，我可以查看光盘并修复与轮毂的距离相对应的所有划痕。 例如，下图可能指示几个文件或群集范围在光盘上的位置，因此通过查找这些区域中的异常（根据需要旋转），可以识别出正确的位置。 我确信它是可以做到的，因为至少有一种复制保护（DPM）形式使用了它，而DVD-lab Pro包括“ DVD拓扑”功能。

13 dvd  compact-disc  cluster  disc 

我最近一直试图将一些文件备份到DVD，并且刻录过程失败，说某些文件的CRC校验失败。然后我尝试在Windows资源管理器中浏览这些文件，整个机器锁定，我必须重新启动。 我运行了没有'/ F / R'参数的checkdisk，它告诉我我有坏扇区。因此，我使用参数重新运行它，并且在“Chkdsk正在验证usn journal”阶段检查磁盘失败并显示以下错误： 磁盘空间不足以修复usn journal $ j数据流 硬盘是400 GB磁盘上的300 GB分区，分区上有160 GB的可用空间。我的操作系统（Windows 7）安装在另一个分区上，运行正常。 知道我怎么解决这个问题吗？或修复它足以复制我的文件？

4 windows-7  hard-drive  cluster  check-disk 

我已经在Docker容器中成功部署了3个Zookeeper / Exhibitor节点，它们形成了一个集群。我是通过他们开始的 java \ -jar /opt/exhibitor/exhibitor.jar \ --port ${EXHIBITOR_PORT} --defaultconfig /opt/exhibitor/defaults.conf \ --configtype s3 --s3config ${S3_BUCKET}:${S3_PREFIX} --s3configprefix ${S3_PREFIX} \ --s3region ${AWS_REGION} --s3backup true --hostname ${HOSTNAME} \ ${SECURITY} 并已设定 auto-manage-instances=1 有 myid 所有节点和每个节点的文件都知道集群中的所有其他节点。但是，当我启动它们时，它们会不断地重新启动。可能导致这种情况的任何想法？没有错误日志或任何事情，只是每个zookeeper节点启动，然后重新启动一段时间。

3 docker  cluster 

如果您购买了10个Raspberry Pi，它们可以连接在一起作为一台计算机吗？ 10 Raspberry Pi's，2560 mb ram，350美元 或者它不起作用？ 用法：作为台式电脑。不是实验室工作等

2 linux  cluster 

我正在设置我希望将成为我正在创建的网站的强大且可扩展的视频处理集群。 目前，我正在使用FFMPEG在运行我的网站的同一个Web服务器上处理视频上传。 这种方法目前运行良好，但我预计这台服务器很快就无法应对需要完成的视频处理量，从而导致积压不断增加的长度。 我希望有一个可扩展的解决方案，我可以在其中创建一个视频处理集群，其中各个作业将在节点之间进行。 我还希望能够相对轻松地添加/删除和启用/禁用各个处理节点 - 这样我们可以根据我们的需求或财务问题进行扩展和缩小。 我们的核心站点目标网络服务器运行CentOS 6（我们当前的单座开发服务器运行的是Ubuntu 12.04 LTS，这是我们首选的FFMPEG转换环境）。我们的网站没有使用任何特殊的，PHP 5.3及以上，MySQL 5，Apache 2.2.xxx。 如何设置Ubuntu VPS的视频处理集群，而不是关注DNS /域管理方面，而是设置和部署作业到各个节点？ 当我在6周前设置我的单座环境时，我偶然发现了GearMan。这看起来能够执行任务，或者任何可能使用它的人是否有任何有用的注释/建议？ 你们中的任何人都有一些可以帮助我的知识吗？

2 ubuntu  video  ffmpeg  cluster  job-control 

假设网站基础设施非常复杂并且是完全分布式的（可能像大多数大型网络公司一样）。 我是否正确地认为虽然有所有这些额外的Web服务器来处理多个客户端请求，但仍然有一个“机器”，用户必须输入？我猜这台机器将是物理上与IP地址相关联的机器？ 我问，因为我需要知道，在存在分布式系统的地方，是否还存在单点故障 - 通常是控制节点，或者在本例中，是否连接到公共互联网的机器？当然不能有两台机器连接到互联网，因为它们必须有不同的IP地址？ 这台“机器”本身可能不是服务器，但也许它是一台思科设备。我只需要知道，在现实世界中，这些分布式系统是否还有一个特定的部分，它们依赖于一个电子设备的完整性？

1 website  cluster  distributed-computing  erlang 

这是我的用例：我有大约十几台机器松散地聚集在一起，每台机器都有几百GB的分区，目前还没有使用过。我想创建一个临时分区，以便用户可以在本地转储数据，而不是强调单个NFS服务器进行大量写入，如果他们不需要的话。 让这个有点困难的问题是将存储绑定到一台机器上是非常尴尬的。我想向用户呈现一个本地写入的文件系统，但是全局读取（和删除！）。 像普通的unionfs/ aufs/ overlayfs（与NFS结合）的东西，我认为可以工作，期望实际删除用户必须搜索创建它的特定本地安装的东西并删除它：删除主机上的东西unionfs不会实际上释放了空间。此外，overlayfs文档（至少，我希望其他人也不喜欢它）说在使用它时更改底层文件系统是一个坏主意，会产生未定义的行为。 我看着一点点的另一种选择是一个完整的集群文件系统（ceph，lustre，等），但两者似乎是一个很大的开销，我不认为我真正想要的冗余分布式存储。实际上，如果机器的写入由该机器中的磁盘处理并且不会在其他地方引起问题，则更为可取。 有没有办法以实际（相对简单）的方式完成这类事情？

1 linux  filesystems  nfs  cluster 

我找不到有效的Spark选项来要求执行者使用GPU。 我正在尝试设置HADOOP集群，以便通过Spark在可用的GPU上运行机器学习算法。 到目前为止，我正在尝试使用最小的群集（1个资源管理器和2个节点管理器（每个具有8cores，32Gb RAM，1个Nvidia GPU））进行设置，每个人都运行Ubuntu 18.04。 资源发现按预期工作（我看到了16个内核，56Gb内存和2个yarn.io/gpu） 该文档提供了一种使用“ --conf spark.yarn.executor.resource.yarn.io/gpu=1”的方法，但这对我不起作用（无论在spark-submit命令参数中还是在$ SPARK_CONF / metrics.properties）。 由于YARN 3是第一个提供GPU隔离的应用程序，因此我尝试避免回滚到较旧（/有更多文献记载）的版本。 我猜这可以通过SparkContext在代码中设置，并且很高兴知道如何做，但是由于我比ML工程师更喜欢管理，我宁愿一劳永逸地将它设置在conf文件中。无论如何在这一点上，任何解决方案将不胜感激。 是否有人愿意提供良好的语法来分配启用了资源隔离的GPU？ 爱你们，凯文 （HortonWorks HDP上的纱线3.1.1 / 3.2.0）

1 gpu  cluster  hadoop 

我是Terraform的新手，在设置非常基本的配置时遇到了问题。我想要一些可以带来我的东西 “泊坞窗鲸” 图片。从看 Hashicorp 和 AWS docs，似乎我需要一个 “aws_ecs_service” 用的是 “aws_ecs_task_definition” 。 运用 这个例子 ，我已经创建了以下配置。 variable "access_key" {} variable "secret_key" {} provider "aws" { alias = "west" region = "us-west-1" access_key = "${var.access_key}" secret_key = "${var.secret_key}" } resource "aws_ecs_cluster" "default" { name = "whale" } resource "aws_ecs_service" "whale-service" { name = …

amazon-ec2  amazon-web-services  cluster 

我正在尝试在由域控制器和多个Web服务器组成的分布式Windows群集上安装SSL证书。通常，在只有一个Web服务器的设置上，这是一项简单的任务，但是使用当前设置，我无法从群集外部访问该站点。 我在Web服务器上请求并安装了证书，然后将其导出并安装在其他Web服务器和域控制器上（遵循Microsoft的 如何在IIS 6.0和IIS 5.0中使用一个SSL证书对Web服务器场进行负载平衡 ）。在网络服务器上，该网站作为可通过互联网上的https显示的SSL站点。但在系统之外却没有。 telnet IP：端口也不会通过控制器。 这是我发出的命令： telnet xxx.xxx.xxx.196 443 Connecting To xxx.xxx.xxx.196...Could not open connection to the host, on port 443 : Connect failed 我检查了Windows防火墙（甚至没有打开）并按照community.spiceworks.com/topic / ...上的说明添加443： netsh advfirewall firewall add rule name="Open 443" dir=in action=allow protocol=TCP localport=443 同样的 out。但它仍然无效。 我错过了什么步骤？

windows  networking  ssl  cluster 

所以我想建立一个具有高可用性的MySQL数据库服务器 - 因此我得到了两个设备（Banana Pi）并遵循了如何安装MySQL集群软件的教程。我知道只有两个设备的星座并不完全是如何使用MySQL集群，但为了节省硬件成本我现在只有这两个设备。 到目前为止，我有以下配置（sqlnode1和sqlnode2是设备的主机名）： 管理节点（ndb_mgmd）： sqlnode1（节点ID：1） sqlnode2（节点ID：2） 存储引擎（ndbd）： sqlnode1：配置为使用localhost上的管理节点（节点ID：3） sqlnode2：配置为使用localhost上的管理节点（节点id：4） MySQL服务器（mysqld）： sqlnode1：配置为使用两个ndbd节点（节点ID：5） sqlnode2：配置为使用两个ndbd节点（节点ID：6） 所以基本上，每个设备都有一个正在运行的ndb_mgmd，ndbd和mysqld。 我想要实现的是，如果其中一个设备出现故障，另一个设备应该是完全可用的（出于某些非常具体的原因，我不能在这里使用简单的数据库复制）。 一旦我启动了所有组件，一切都运行正常。如果我在一个MySQL主机上更改数据，另一个会立即应用更改（反之亦然）。 但是，如果我断开其中一个设备的LAN电缆，会发生以下情况： 断开连接sqlnode2：功能节点（sqlnode1）挂起一小段时间然后继续正常工作（这基本上就是我想要的） 断开连接sqlnode1：运行节点（sqlnode2）会挂起很短的时间然后 根本不起作用 - 所有查询都以“4009群集故障”结束，并且只有在恢复已退出的节点的网络连接后，查询才会再次开始工作。之后，监视ndb_mgmd守护程序会显示已强制关闭节点标识4（sqlnode2上的ndbd）。 总之，整个系统似乎依赖于sqlnode1，我真的很想知道为什么会发生这种情况，因为我认为如果一个组件退出（并且另一个组件可用），一切都会继续运行。 我按照本教程设置了两个不同的管理节点： http://www.clusterdb.com/mysql-cluster/deploying-mysql-cluster-over-multiple-hosts 我错过了什么吗？或许我误解了MySQL集群是如何工作的？

linux  networking  mysql  cluster 

我问：Mac OSX SL或Lion用户如何在群集中搜索特定文件（foo.txt） 从群集中，您需要为所需文件运行某种形式的递归查找。例如，使用'find'。 RAM-1# find /ifs |grep test.txt /ifs/Elements/avid2test.txt /ifs/Elements/test.txt 我建议联系Apple支持人员，建议他们从Mac客户端本身搜索远程文件系统上的文件 这很好，但我不希望用户使用CLU！ 谁知道一个好的非CLI方法？聚光灯不是一种选择。该集群大约80 TB。

macos  search  nfs  cluster