正确的Amazon Elastic Search Cluster访问策略

我最近开始使用新的Amazon Elasticsearch Service，但似乎无法弄清楚我需要的访问策略，这样我只能从分配了特定IAM角色的EC2实例中访问服务。

这是我当前为ES域分配的访问策略的示例：

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Sid": "",
      "Effect": "Allow",
      "Principal": {
        "AWS": [
          "arn:aws:iam::[ACCOUNT_ID]:role/my_es_role",
        ]
      },
      "Action": "es:*",
      "Resource": "arn:aws:es:us-east-1:[ACCOUNT_ID]:domain/[ES_DOMAIN]/*"
    }
  ]
}

但是正如我所说，这是行不通的。我登录到EC2实例（具有my_es_role附加的角色）并尝试在“ https：//*.es.amazonaws.com”端点上运行简单的curl调用，出现以下错误：

{“消息”：“用户：匿名者无权执行：es：ESHttp获取资源：arn：aws：es：us-east-1：[ACCOUNT_ID]：domain / [ES_DOMAIN] /”}

有人知道我必须更改访问策略才能使其正常工作吗？

您可以将访问锁定为仅IAM，但是如何在浏览器中查看Kibana？您可以设置代理（请参阅Gist和/或NPM模块），或同时启用IAM和基于IP的访问以查看结果。

使用以下访问策略，我能够同时获得IAM访问IP限制的访问。请注意，顺序很重要：在IAM语句之前，我无法使其与基于IP的语句一起使用。

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Principal": {
        "AWS": "arn:aws:iam::xxxxxxxxxxxx:root"
      },
      "Action": "es:*",
      "Resource": "arn:aws:es:us-west-2:xxxxxxxxxxxx:domain/my-elasticsearch-domain/*"
    },
    {
      "Sid": "",
      "Effect": "Allow",
      "Principal": {
        "AWS": "*"
      },
      "Action": "es:*",
      "Resource": "arn:aws:es:us-west-2:xxxxxxxxxxxx:domain/my-elasticsearch-domain/*",
      "Condition": {
        "IpAddress": {
          "aws:SourceIp": [
            "192.168.1.0",
            "192.168.1.1"
          ]
        }
      }
    }
  ]
}

我的EC2实例具有带有arn:aws:iam::aws:policy/AmazonESFullAccess 策略的实例配置文件 。Logstash应该使用logstash-output-amazon-es输出插件对请求进行签名。在我的EC2实例上运行的Logstash包括如下输出部分：

output {
    amazon_es {
        hosts => ["ELASTICSEARCH_HOST"]
        region => "AWS_REGION"
    }
    # If you need to do some testing & debugging, uncomment this line:
    # stdout { codec => rubydebug }
}

我可以从访问策略中的两个IP（192.168.1.0和192.168.1.1）访问Kibana。

根据AWS文档，正如您（和我）刚刚测试的那样，您不能将对AWS ES域的访问限制为角色/帐户/用户/ ...，而只需对其进行cURL！

标准客户端（例如curl）无法执行基于身份的访问策略所需的请求签名。您必须使用基于IP地址的访问策略，该策略允许匿名访问成功执行此步骤的说明。（http://docs.aws.amazon.com/elasticsearch-service/latest/developerguide/es-gsg-search.html）

因此，您基本上有两种解决方案：

• 更改访问策略并将其限制为IP，我想您不能使用私有IP，因为您的ES群集似乎不属于您的VPC（默认或不属于）。请使用公共IP
• 签署您的请求：http : //docs.aws.amazon.com/elasticsearch-service/latest/developerguide/es-managedomains.html#es-managedomains-signing-service-requests

如果您希望保持访问策略不变（比限制IP更为灵活），则对请求进行签名可能是最好的解决方案，但这似乎更为复杂。到目前为止，我还没有尝试过，也找不到任何文档可以提供帮助。

晚会晚了一点，但是我可以通过在请求中添加签名来处理完全相同的问题。

如果您使用Python（就像我一样），则可以使用以下库使其特别易于实现：https : //github.com/DavidMuller/aws-requests-auth

它对我来说非常有效。

您只需要在弹性搜索策略中输入完整的用户名即可。

在这种情况下，您可以从错误消息本身获取完整的用户名。就我而言：“ arn：aws：sts :: [ACCOUNT_ID]：assumed-role / [LAMBDA_POLICY_NAME] / [LAMBDA_NAME]”

    {
        "Version": "2012-10-17",
        "Statement": [
        {
          "Effect": "Allow",
          "Principal": {
            "AWS": [
              "arn:aws:sts::xxxxxxxxxxxx:assumed-role/[lambda-role]/[full-lambda-name]"
            ]
          },
          "Action": "es:*",
          "Resource": "arn:aws:es:[region]:xxxxxxxxxxxxx:domain/[elasticsearch-domain-name]/*"
        }
      ]

    }

您可以使用基于资源的策略或基于身份的策略，而不是基于IP的策略，就像硬编码IP地址一样。

但是您需要使用签名版本4来签署请求

有关Java的实现，请参阅http://mytechbites.blogspot.in/2017/04/secure-amazon-elastic-search-service.html

角色ARN需要更改。它看起来像是“ arn：aws：iam :: [ACCOUNT_ID]：role / service-role / my_es_role”

我也在尝试执行此操作，并且使用Allow access to the domain from specific IP(s)EC2实例的弹性IP 的选项使它起作用（也可以使用实例的私有IP起作用，但我不太确定）