Questions tagged «producer-consumer»

为什么要对Redis进行排队？ 我的印象是Redis可以很好地实现排队系统。到目前为止，我们一直在使用MySQL数据库进行轮询或RabbitMQ。有了RabbitMQ，我们遇到了很多问题-客户端库非常差且存在漏洞，我们不想花费太多的开发人员时间来修复它们，也不希望在服务器管理控制台上遇到一些问题，等等。至少，我们没有掌握几毫秒，也没有认真提高性能，因此，只要系统的体系结构能够智能地支持队列，我们​​就可能处于良好状态。 好的，这就是背景。本质上，我有一个非常经典，简单的队列模型-几个生产者在生产工作，几个消费者在消费工作，生产者和消费者都需要能够智能地进行扩展。事实证明，天真PUBSUB是行不通的，因为我不希望所有订阅者都消费工作，我只希望一个订阅者可以接收工作。乍一看，在我看来，这BRPOPLPUSH是一个明智的设计。 我们可以使用BRPOPLPUSH吗？ 基本设计BRPOPLPUSH是您有一个工作队列和一个进度队列。当消费者收到工作时，它会自动将项目推送到进度队列中，而当工作完成时，它就是工作LREM了。如果客户死了，这可以防止工作混乱，并使监视工作变得很轻松-例如，我们可以判断是否存在导致消费者花费大量时间来执行任务的问题，此外还可以判断是否存在大量任务。 它确保 作品交付给了一位消费者 工作在进度队列中结束，因此如果消费者使用它，则不会出现黑洞 缺点 对于我来说，我发现的最好的设计实际上没有使用实际上是很奇怪的，PUBSUB因为这似乎是大多数有关Redis排队的博客所关注的内容。所以我觉得我缺少明显的东西。我看到PUBSUB不使用两次任务就使用的唯一方法是简单地推送一个通知，通知工作已经到达，然后消费者可以无阻塞地进行通知RPOPLPUSH。 一次请求一个以上的工作项目是不可能的，这似乎是一个性能问题。对于我们的情况而言，这不是一个很大的选择，但显然，该操作不是针对高吞吐量或这种情况而设计的 简而言之：我是否缺少任何愚蠢的东西？ 还添加了node.js标记，因为这是我最常使用的语言。考虑到Node的单线程和非阻塞性质，它可能会在实现方面提供一些简化，但是此外，我正在使用node-redis库，并且解决方案也应该或可以对其优点和缺点敏感。

29 node.js  message-queue  redis  pubsub  producer-consumer 

我正在设计一个包含三个部分的应用程序： 监视某些事件（文件创建，外部请求等）发生的单个线程 N个工作线程通过处理它们来响应这些事件（每个工作进程处理并消耗一个事件，并且处理可能需要花费可变的时间） 一个控制器，用于管理那些线程并执行错误处理（线程重新启动，结果记录） 尽管这是非常基本的，并且不难实现，但我想知道这样做的“正确”方法是什么（在Java的这种具体情况下，但也希望有更高的抽象答案）。我想到两种策略： 观察者/可观察者：监视线程由控制器观察。在发生事件的情况下，然后会通知控制器，并可以将新任务分配给可重用的缓存线程池中的空闲线程（如果所有线程当前都忙，请等待并将任务缓存在FIFO队列中）。工作线程实现Callable并返回结果（或布尔值）成功或返回错误，在这种情况下，控制器可以决定要执行的操作（取决于发生的错误的性质）。 生产者/消费者：监视线程与控制器（事件队列）共享一个BlockingQueue，并且控制器与所有工作器（任务队列和结果队列）共享两个。在发生事件的情况下，监视线程将任务对象放入事件队列中。控制器从事件队列中获取新任务，对其进行审阅并将其放入任务队列中。每个工作人员都在等待新任务，并从任务队列中获取/使用它们（先到先服务，由队列本身进行管理），然后将结果或错误放回到结果队列中。最后，控制器可以从结果队列中检索结果，并在出现错误的情况下采取相应的步骤。 两种方法的最终结果是相似的，但是它们都有细微的差别： 使用观察者，线程的控制是直接的，每个任务都归属于特定的新生成的工作程序。创建线程的开销可能更高，但是由于缓存了线程池，因此开销并不大。另一方面，“观察者”模式被简化为单个“观察者”模式，而不是多个观察者模式，这与其设计的目的不完全相同。 队列策略似乎更容易扩展，例如，添加多个生产者而不是一个生产者很简单，不需要任何更改。不利之处在于，即使根本不做任何工作，所有线程也将无限期运行，并且错误/结果处理看起来不像第一个解决方案那样优雅。 在这种情况下最合适的方法是什么？为什么？我发现很难在线找到该问题的答案，因为大多数示例仅处理明确的案例，例如用“观察者”案例更新许多具有新值的窗口或与多个消费者和生产者进行处理。任何输入，不胜感激。

15 java  architecture  concurrency  observer-pattern  producer-consumer