Questions tagged «elasticsearch»


4
Ubuntu卸载elasticsearch
我在ubuntu中安装了带deb文件的elasticsearch.90.7。我尝试使用以下命令卸载elasticsearch.90.7: sudo apt-get --purge autoremove elasticsearch 然后我下载elasticsearch-1.6.0.deb了安装Elasticsearch 1.6。 当我运行此命令以通过deb文件安装elasticsearch 1.6时: dpkg -i elasticsearch-1.6.0.deb 它向我展示了这一点: Selecting previously unselected package elasticsearch. (Reading database ... 89826 files and directories currently installed.) Preparing to unpack elasticsearch-1.6.0.deb ... Creating elasticsearch group... OK Creating elasticsearch user... OK Unpacking elasticsearch (1.6.0) ... Setting up elasticsearch (1.6.0) ... …

1
扩展Logstash(使用redis / elasticsearch)
在超过12个centos 5.8服务器的群集上,我使用本机logstash托运人部署了logstash,后者将发/var/log/*/*.log回中央Logstash服务器。 我们尝试使用rsyslogd作为托运人,但是由于rsyslogd的ImFile模块中存在错误,如果远程端不响应,则日志会堆积在内存中。 当前,我们使用Redis作为传输机制,因此logstash01已在本地运行redis,这些日志绑定到VLAN的IP。 因此,logstash-shipper在logstash01上发送到redis。logstash01发送给在单独进程中运行的Elasticsearch。 这就是我们所看到的。Elasticsearch有141个被阻止的线程。跟踪elasticsearch父级显示: futex(0x7f4ccd1939d0, FUTEX_WAIT, 26374, NULL 这是来自Elasticsearch的Jstack 这是logstash的jstack 因此,..昨晚,某些Web服务器(日志被logstash拖尾)发疯了,平均负载超过500。 在logstash01上,有这个 Dec 19 00:44:45 logstash01 kernel: [736965.925863] Killed process 23429 (redis-server) total-vm:5493112kB, anon-rss:4248840kB, file-rss:108kB 所以OOM杀手杀死了Redis的服务器,然后指原木堆放在内存里面是已上市的东西..而服务器上莫名其妙意味着阿帕奇获取其短裤的扭曲。(坦率地说,我不确定如何,我只是假设它在拖尾日志)。 这是我关于事件如何发生的理论: 我们的流量高峰。 生成了大量日志。 这些存储在Redis中,因为logstash / elasticsearch似乎每秒只能处理300-400个新事件。 Redis已完全填满,OOM杀手无意识地宰了它。 Redis停止接受新项目。 现在,项目开始在远程主机端堆积。 一切都疯了。Apache停止接受请求。(为什么?)。 问题是: 如果只有日志拖尾,为什么apache会发疯。是因为拖尾的东西阻碍了Apache的写作? 有没有使弹性搜索更快/更好/具有弹性的明智方法? 是否有一种明智的方法可以使Redis具有弹性并且不会因为OOM而死亡 我设置的方式是否存在根本缺陷,还是每个人都有此问题? -编辑- @lusis的一些规格。 admin@log01:/etc/init$ free -m total used …

3
无法为elasticsearch更改vm.max_map_count
史前史 我有在CentOS 6.5上运行的elasticsearch和SugarCRM7。我每天都面临着同样的问题:java outOfMemory错误。发生这种情况是因为vm.max_map_count值较小,仅当建议使用262144时为65530。 问题 问题是vm.max_map_count似乎不可更改: 在根下更改 sudo sysctl -w vm.max_map_count=262144 退货 错误:键'vm.max_map_count'的权限被拒绝 而 ps aux | grep java 仅返回grep进程 更改Elasticsearch启动 sudo service elasticsearch start 也返回错误 错误:键'vm.max_map_count'的权限被拒绝 开始elasticsearch:[确定] 通过文件进行手动更改(脏污脏物): sudo vi /proc/sys/vm/max_map_count 也不起作用: “ / proc / sys / vm / max_map_count” [只读]​​ 1L,6C -插入-W10:警告:更改只读文件 E45:设置了“只读”选项(添加!以覆盖) “ / proc / …

1
Elasticsearch正在使用过多的磁盘空间
我有一台安装了Elasticsearch 1.3.2的CentOS 6.5服务器。 我的elasticsearch.yml配置文件是对默认发货的Elasticsearch的最小修改。除去所有注释行后,它看起来像: cluster.name: xxx-kibana node: name: "xxx" master: true data: true index.number_of_shards: 5 index.number_of_replicas: 1 path: logs: /log/elasticsearch/log data: /log/elasticsearch/data transport.tcp.port: 9300 http.port: 9200 discovery.zen.ping.multicast.enabled: false Elasticsearch 默认情况下应启用压缩功能,并且我阅读了各种基准测试,将压缩率从低至50%提高到了95%。不幸的是,在我的情况下,压缩率为-400%,换句话说:用ES存储的数据占用的磁盘空间是内容相同的文本文件的4倍。看到: 12K logstash-2014.10.07/2/translog 16K logstash-2014.10.07/2/_state 116M logstash-2014.10.07/2/index 116M logstash-2014.10.07/2 12K logstash-2014.10.07/4/translog 16K logstash-2014.10.07/4/_state 127M logstash-2014.10.07/4/index 127M logstash-2014.10.07/4 12K logstash-2014.10.07/0/translog 16K logstash-2014.10.07/0/_state …

1
对Elastic Search硬件的建议[关闭]
这个问题不太可能对将来的访客有所帮助;它仅与较小的地理区域,特定的时间段或极为狭窄的情况(通常不适用于Internet的全球受众)有关。要获得使该问题更广泛适用的帮助,请访问帮助中心。 8年前关闭。 是否有关于硬件级别以支持ElasticSearch的良好指南?对Lucene或Solr的建议是一个不错的起点吗?我们正在考虑从以下时间开始部署 2700万份文档,8TB数据 每天添加30万个文档 然后将其放大约10倍, 2.7亿文档,80TB数据 每天增加300万份文档 这是一个奇怪的用例,其中查询将以每天数千次的速度进行,但是响应时间需要保持足够低的时间才能获得Ajaxy Webapp的良好体验。

1
当Logstash尝试写入数据时,Elasticsearch死亡
我有一个Raspberry Pi 2(截至2015年4月的最新Raspbian)安装程序,上周在测试网络上同时运行ElasticSearch和Logstash(不是简单的安装程序,但稳定了一个星期!)。我今天重新启动了机器,在让事情重新运行方面一直非常困难。ES和LS都将独立运行,但是当我尝试将LS输出推入ES时,ES实例死掉了,没有任何解释。我的目标是通过标准输出插件将运行数据和LS数据都泵入ES。 ElasticSearch [v1.5.0] 我相信这是核心问题所在。ES可以通过启动service elasticsearch start并保持运行状态,可以通过HTTP请求访问端口9200进行访问,并且一切正常的迹象似乎很正常。只要某种东西(据我所知,什么都可以)试图将数据写入索引,该进程就会死亡,并且调试日志@ / var / log / elasticsearch / *不包含任何与服务失败相关的信息。我试图通过logstash(请参见下文)以及curl插入,这两者都终止了ES进程。我正在运行的curl命令是curl -XPOST "http://localhost:9200/logstash-2015.04.05/records/" -d "{ \"type\" : \"specialRecord\" }"。 Logstash [v1.4.2] 我目前正在使用此简单配置运行: input { stdin { } } output { stdout { codec => rubydebug } elasticsearch { host => '127.0.0.1' cluster => 'elasticsearch' } …

4
如何最好地监控logstash?
我已经在邮件列表上看到过几次这个问题,但是没有令人满意的答案。 如何最好地监视管道是否阻塞?客户端-> logstash-> elasticsearch。 Logstash尤其是elasticsearch容易出现资源匮乏的情况。他们俩都擅长从上次停站的地方接站,但是人们究竟是如何观看他们的观看者的呢? 欢迎意见。
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.