SQS maxNumberOfMessages


11

使用Java客户端应用程序,我正在SQS队列中查询消息。队列中有12,000条消息作为测试设置。我正在将openJDK与最新的aws-java-sdk(software.amazon.awssdk 2.10.62)一起使用,进一步显示了pom.xml。

我看到的问题是,尽管设置了maxNumberOfMessages(10),但我只得到3。我知道这是最大的保证,不能保证消息的数量,但是返回的消息数量没有任何波动。总是3。

AWS文档: MaxNumberOfMessages要返回的最大消息数。Amazon SQS永远不会返回比该值更多的消息(但是,可能会返回更少的消息)。有效值:1到10。默认值:1。类型:整数必需:否

使用短轮询消耗消息

当您使用短轮询使用队列中的消息时,Amazon SQS会采样其服务器子集(基于加权随机分布),并仅从这些服务器返回消息。因此,特定的ReceiveMessage请求可能不会返回您的所有消息。但是,如果队列中的邮件少于1,000条,则后续请求将返回您的邮件。如果您不停地使用队列,Amazon SQS将对其所有服务器进行采样,并且会收到所有消息。

因此,我们使用较旧的aws sdk和较新的aws sdk在java中测试了两个客户端,结果相同。始终只返回3条消息。

有趣的是,如果您将其作为AWS Lambda运行而不是在外部(在强大的桌面上)运行应用程序,则会收到10条消息。此lambda测试是由同事使用JavaScript进行的。

因此,问题仍然是为什么我们每个请求只能收到3条消息,而在lambda内却只能得到10条消息。

给定每个请求的成本,则是基于亚马逊利润=)的加权随机分布

SQS测试方法:

public void SQStart()
{
    AwsBasicCredentials awsCreds = AwsBasicCredentials.create("accessKeyID", "secretKeyID");
    AwsCredentialsProvider creds = StaticCredentialsProvider.create(awsCreds);
    SqsClient sqs = SqsClient.builder().credentialsProvider(creds).region(Region.EU_WEST_1).build();
    GetQueueUrlRequest getQueueRequest = GetQueueUrlRequest.builder()
            .queueName(QUEUE_NAME)
            .build();
    String queueUrl = sqs.getQueueUrl(getQueueRequest).queueUrl();

    for (int x =1; x < 100; x++) {
        ReceiveMessageRequest receiveMessageRequest = ReceiveMessageRequest.builder()
                .queueUrl(queueUrl)
                .maxNumberOfMessages(10)
                .build();


        List<Message> messages = sqs.receiveMessage(receiveMessageRequest).messages();
        if (messages.size() > 3 ) {
            System.out.println("YEY More than 3 Messages: "+ messages.size());
        }
    }
}

POM.XML:

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>groupId</groupId>
    <artifactId>SQSTest</artifactId>
    <version>1.0-SNAPSHOT</version>
    <build>
        <plugins>
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-compiler-plugin</artifactId>
                <configuration>
                    <source>8</source>
                    <target>8</target>
                </configuration>
            </plugin>
        </plugins>
    </build>


    <dependencyManagement>
        <dependencies>
            <dependency>
                <groupId>software.amazon.awssdk</groupId>
                <artifactId>bom</artifactId>
                <version>2.10.62</version>
                <type>pom</type>
                <scope>import</scope>
            </dependency>
        </dependencies>
    </dependencyManagement>

    <dependencies>
        <dependency>
            <groupId>junit</groupId>
            <artifactId>junit</artifactId>

            <scope>test</scope>
        </dependency>
        <dependency>
            <groupId>software.amazon.awssdk</groupId>
            <artifactId>sqs</artifactId>
        </dependency>

        <dependency>
            <groupId>org.apache.httpcomponents</groupId>
            <artifactId>httpclient</artifactId>
            <version>4.5.9</version>
            <scope>runtime</scope>
        </dependency>
        <dependency>
            <groupId>org.apache.httpcomponents</groupId>
            <artifactId>httpcore</artifactId>
            <version>4.4.10</version>
            <scope>runtime</scope>
        </dependency>
        <dependency>
            <groupId>commons-logging</groupId>
            <artifactId>commons-logging</artifactId>
            <version>1.2</version>
        </dependency>
        <dependency>
            <groupId>com.amazonaws</groupId>
            <artifactId>aws-java-sdk-s3</artifactId>
            <version>1.11.720</version>
        </dependency>
        <dependency>
            <groupId>org.slf4j</groupId>
            <artifactId>slf4j-simple</artifactId>
            <version>1.6.1</version>
        </dependency>
    </dependencies>
</project>

只是一个想法,但是您是否检查了AWS上队列本身的配置?也许它是通过maxNumberOfMessages属性设置的,该属性可能会优先于您在Java客户端中设置的属性?由于它可以在javascript lambda中运行,因此这很奇怪,但仍然值得一

Answers:


9

给定每个请求的成本,则是基于亚马逊利润=)的加权随机分布

显然,您的目标是减少成本,无论是通过向SQS发送更少的请求,还是通过强制SQS传递最大数量的可用消息。

正如您在问题中所述,SQS没有义务传递最大数量的可用消息。但是,假设您还没有意识到,我想通知您。


长轮询

开发者指南亚马逊简单队列服务状态:

消费队列中消息的过程取决于您使用短轮询还是长轮询。默认情况下,Amazon SQS使用短轮询,仅查询其服务器的子集(基于加权随机分布),以确定是否有任何消息可用于响应。您可以使用长时间轮询来降低成本,同时允许消费者在到达队列后立即接收消息。

您发送到SQS的消息可能已全部存储在单独的服务器上。如文档所述,如果您的队列设置为使用short polling,则仅可以查询服务器的一部分。我的猜测是您在调用时很不幸,receiveMessage并且3每次都只返回一次。

如果我们在同一文档页面上查看长时间轮询的好处,它会指出:

长时间轮询具有以下优点:

  • 通过允许Amazon SQS等待队列中的消息可用之前再发送响应,从而消除空响应。除非连接超时,否则对ReceiveMessage请求的响应将至少包含一条可用消息,最多达到ReceiveMessage操作中指定的最大消息数。

  • 通过查询所有(而非子集)Amazon SQS服务器来消除错误的空响应。

第二个项目符号在这里非常重要。即使您没有看到空的响应,也可能存在更多未查询的消息存储在服务器上。如果启用了长时间轮询,则假设总共有3台以上的服务器,则希望返回的消息量有所增加。

因此,我的建议是对您的队列启用长时间轮询。为此,请参阅设置长轮询页面。


正如DevilCode在下面的评论中提到的,他能够通过使用FIFO队列而不是标准队列并对其进行长时间轮询来解决自己的问题。


我们已经通过长时间轮询测试了相同结果,并获得了相同结果。我们的队列中有12,000条消息,而轮询设置为20秒。我们仍然只收到三个消息。如果我们得到三个带有长轮询和短轮询的消息,则没有理由使用长轮询(除非队列为空,等待消息)。不幸的是,我们试图平衡成本和速度。不幸的是,由于硬件的原因,我们只能使用有限的读取线程,因此每个调用可以下拉的消息数量是处理速度的限制因素。
DevilCode

@DevilCode在启用长轮询的情况下,我无法重现您的问题。您的队列是标准队列还是FIFO队列?您可能还想通过AWS打开支持凭单,以查看他们是否可以在其端进行更改。
Jacob G.

这是一个标准队列。您是否在本地运行代码,我们是否使用Java?
DevilCode

@DevilCode我使用FIFO队列对其进行了测试。是的,我正在使用AWS Java SDK v2从我的SQS队列接收消息。我的代码未在AWS Lambda函数内运行。
Jacob G.

1
OK测试了FIFO队列,我们​​得到10条消息,而在标准队列中,我们只有3条消息。我现在可以得出的结论是,文档是指FIFO队列,而不是标准队列。
DevilCode

0

我认为是一个类似的问题。正如Jacob指出的那样,长期轮询似乎是解决该问题的方法。


0

长轮询:

        ReceiveMessageRequest receiveMessageRequest = new ReceiveMessageRequest(queueUrl)
              .withWaitTimeSeconds(10)     // long poll: wait 10 seconds, max is 20 seconds
              .withMaxNumberOfMessages(10);
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.