使用Java客户端应用程序,我正在SQS队列中查询消息。队列中有12,000条消息作为测试设置。我正在将openJDK与最新的aws-java-sdk(software.amazon.awssdk 2.10.62)一起使用,进一步显示了pom.xml。
我看到的问题是,尽管设置了maxNumberOfMessages(10),但我只得到3。我知道这是最大的保证,不能保证消息的数量,但是返回的消息数量没有任何波动。总是3。
AWS文档: MaxNumberOfMessages要返回的最大消息数。Amazon SQS永远不会返回比该值更多的消息(但是,可能会返回更少的消息)。有效值:1到10。默认值:1。类型:整数必需:否
使用短轮询消耗消息
当您使用短轮询使用队列中的消息时,Amazon SQS会采样其服务器子集(基于加权随机分布),并仅从这些服务器返回消息。因此,特定的ReceiveMessage请求可能不会返回您的所有消息。但是,如果队列中的邮件少于1,000条,则后续请求将返回您的邮件。如果您不停地使用队列,Amazon SQS将对其所有服务器进行采样,并且会收到所有消息。
因此,我们使用较旧的aws sdk和较新的aws sdk在java中测试了两个客户端,结果相同。始终只返回3条消息。
有趣的是,如果您将其作为AWS Lambda运行而不是在外部(在强大的桌面上)运行应用程序,则会收到10条消息。此lambda测试是由同事使用JavaScript进行的。
因此,问题仍然是为什么我们每个请求只能收到3条消息,而在lambda内却只能得到10条消息。
给定每个请求的成本,则是基于亚马逊利润=)的加权随机分布
SQS测试方法:
public void SQStart()
{
AwsBasicCredentials awsCreds = AwsBasicCredentials.create("accessKeyID", "secretKeyID");
AwsCredentialsProvider creds = StaticCredentialsProvider.create(awsCreds);
SqsClient sqs = SqsClient.builder().credentialsProvider(creds).region(Region.EU_WEST_1).build();
GetQueueUrlRequest getQueueRequest = GetQueueUrlRequest.builder()
.queueName(QUEUE_NAME)
.build();
String queueUrl = sqs.getQueueUrl(getQueueRequest).queueUrl();
for (int x =1; x < 100; x++) {
ReceiveMessageRequest receiveMessageRequest = ReceiveMessageRequest.builder()
.queueUrl(queueUrl)
.maxNumberOfMessages(10)
.build();
List<Message> messages = sqs.receiveMessage(receiveMessageRequest).messages();
if (messages.size() > 3 ) {
System.out.println("YEY More than 3 Messages: "+ messages.size());
}
}
}
POM.XML:
<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
<modelVersion>4.0.0</modelVersion>
<groupId>groupId</groupId>
<artifactId>SQSTest</artifactId>
<version>1.0-SNAPSHOT</version>
<build>
<plugins>
<plugin>
<groupId>org.apache.maven.plugins</groupId>
<artifactId>maven-compiler-plugin</artifactId>
<configuration>
<source>8</source>
<target>8</target>
</configuration>
</plugin>
</plugins>
</build>
<dependencyManagement>
<dependencies>
<dependency>
<groupId>software.amazon.awssdk</groupId>
<artifactId>bom</artifactId>
<version>2.10.62</version>
<type>pom</type>
<scope>import</scope>
</dependency>
</dependencies>
</dependencyManagement>
<dependencies>
<dependency>
<groupId>junit</groupId>
<artifactId>junit</artifactId>
<scope>test</scope>
</dependency>
<dependency>
<groupId>software.amazon.awssdk</groupId>
<artifactId>sqs</artifactId>
</dependency>
<dependency>
<groupId>org.apache.httpcomponents</groupId>
<artifactId>httpclient</artifactId>
<version>4.5.9</version>
<scope>runtime</scope>
</dependency>
<dependency>
<groupId>org.apache.httpcomponents</groupId>
<artifactId>httpcore</artifactId>
<version>4.4.10</version>
<scope>runtime</scope>
</dependency>
<dependency>
<groupId>commons-logging</groupId>
<artifactId>commons-logging</artifactId>
<version>1.2</version>
</dependency>
<dependency>
<groupId>com.amazonaws</groupId>
<artifactId>aws-java-sdk-s3</artifactId>
<version>1.11.720</version>
</dependency>
<dependency>
<groupId>org.slf4j</groupId>
<artifactId>slf4j-simple</artifactId>
<version>1.6.1</version>
</dependency>
</dependencies>
</project>