如何查看Elasticsearch集群日志

阿里云Elasticsearch 支持用户查看集群的后台日志。用户可以使用相关接口,将集群的后台日志推送到阿里云的 BOS 存储服务上,方便用户下载并查看日志,后续根据自己的业务需求进行调优。具体说明如下:
阿里云Elasticsearch开通地址 https://www.aliyun.com/product/bigdata/product/elasticsearch
阿里云Elasticsearch官方使用教程 https://help.aliyun.com/product/57736.html

  • 查看节点的日志信息

    GET /_bpack/log/{nodeId}/list

nodeId一个或多个节点ID(nodeId 可通过 GET _cat/nodes?v 返回的 "name" 列得到,如果不填的话返回全部节点的日志信息)

  • 上传日志到阿里云的 BOS 存储服务上

    POST /_bpack/log/{nodeId}/upload{"log_files": "elasticsearch.log,elasticsearch-2018-08-04.log","settings": {"endpoint": "s3.bj.bcebos.com","bucket": "es-log","access_key": "xxxxxx","secret_key": "xxxxxx"}}

  • 参数 作用 必须
    nodeId 一个或多个节点 ID,不传的话全部节点都需要发送指定的日志文件 no
    log_files 需要上传的日志名,多个日志以逗号隔开 yes
    endpoint BOS 服务域名(关于 BOS 在各个区域的服务域名见下) yes
    bucket 目标 bucket(要求用户提前创建好) yes
    access_key 百度智能云 ak yes
    secret_key 百度智能云 sk yes
    max_upload_bytes_per_sec 推送最大速率,默认"40mb" no
    max_retries 失败时尝试次数,默认 0 no
    BOS 的各个区域 对应的服务域名 Endpoint
    BJ s3.bj.bcebos.com
    GZ s3.gz.bcebos.com
    SU s3.su.bcebos.com

    BOS bucket 的文件结构目录:

    |-- 'log-集群名字'| -- 'nodeId'|-- 20180808114514 --> 上传的开始时间| |-- elasticsearch.log| |-- elasticsearch-2018-08-04.log| -- 'nodeId'|-- 20180808114514| |-- elasticsearch.log| |-- elasticsearch-2018-08-04.log

  • 查看日志上传进度

    GET /_bpack/log/{nodeId}/upload

  • 取消日志上传

    Delete /_bpack/log/{nodeId}/upload