欢迎来到即将发布的 MinIO 文档版本! 此页面上的内容正在积极开发中 可能随时更改。 如果找不到您要找的内容,请查看我们的 历史文档。 感谢您的耐心等待。 我们期待您贡献自己强大的力量,帮助更多的中国技术开发者![翻译]

将事件发布到 Elasticsearch

MinIO 支持发布 bucket notification 事件到 Elasticsearch 服务端点。

MinIO 依赖于 olivere/elastic 弹性 v7 项目 连通性。 elastic/v7 库专门针对 Elasticsearch v7.0 并且 与早期的 Elasticsearch 版本不兼容

将 Elasticsearch Endpoint 添加到 MinIO 部署

以下过程添加了一个新的 Elasticsearch 服务端点以支持 bucket notifications 在一个 MinIO 部署。

Important

这个程序 requires 全部重启 minio server 流程 同时与部署相关联。 通常有一个简短的 API 操作中断或可能失败的时间段。

使用带有内置重试逻辑的 S3 兼容 SDK 的应用程序 or 实现手动重试逻辑通常不会遇到明显的中断 服务。 对于不能使用重试逻辑的应用,考虑调度 一个维护期,以尽量减少在执行时服务的中断这个程序。

先决条件

Elasticsearch v7.0 及更高版本

MinIO 依赖于 olivere/elastic 弹性 v7 项目 连通性。 elastic/v7 库专门针对 Elasticsearch v7.0 并且 与早期的 Elasticsearch 版本不兼容

MinIO mc 命令行工具

此过程使用 mc 用于某些操作的命令行工具。 见 “mc” Quickstart 安装说明。

1) 将 Elasticsearch Endpoint 添加到 MinIO

您可以使用任一环境变量配置新的 Elasticsearch 服务端点 or 通过设置运行时配置设置。

MinIO 支持指定 Elasticsearch 服务端点和关联 配置设置使用 environment variables. The minio server 进程在其上应用指定的设置 下次启动。

以下示例代码设置了 all 环境变量 与配置 Elasticsearch 服务端点相关。 最低 required 变量是:

set MINIO_NOTIFY_ELASTICSEARCH_ENABLE_<IDENTIFIER>="on"
set MINIO_NOTIFY_ELASTICSEARCH_URL_<IDENTIFIER>="<ENDPOINT>"
set MINIO_NOTIFY_ELASTICSEARCH_INDEX_<IDENTIFIER>="<string>"
set MINIO_NOTIFY_ELASTICSEARCH_FORMAT_<IDENTIFIER>="<string>"
set MINIO_NOTIFY_ELASTICSEARCH_USERNAME_<IDENTIFIER>="<string>"
set MINIO_NOTIFY_ELASTICSEARCH_PASSWORD_<IDENTIFIER>="<string>"
set MINIO_NOTIFY_ELASTICSEARCH_QUEUE_DIR_<IDENTIFIER>="<string>"
set MINIO_NOTIFY_ELASTICSEARCH_QUEUE_LIMIT_<IDENTIFIER>="<string>"
set MINIO_NOTIFY_ELASTICSEARCH_COMMENT_<IDENTIFIER>="<string>"
  • <IDENTIFIER> 替换为唯一的描述性字符串

    目标服务端点。 对所有使用相同的 <IDENTIFIER> 值 与新目标服务端点相关的环境变量。 以下示例假定标识符为 “PRIMARY”。

    如果指定的``<IDENTIFIER>`` 匹配现有的 Elasticsearch MinIO 部署上的服务端点,新设置 override 该端点的任何现有设置。 用 mc admin config get notify_elasticsearch 查看 MinIO 上当前配置的 Elasticsearch 端点 部署。

  • <ENDPOINT> 替换为 Elasticsearch 服务端点的 URL。 例如:

Elasticsearch Service for Bucket Notifications 为完成 每个环境变量的文档。

MinIO 支持在运行时添加或更新 Elasticsearch 端点 minio server 过程使用 mc admin config set 命令 和 notify_elasticsearch 配置键。 您必须重新启动 minio server 应用任何新的或更新的配置的过程 设置。

以下示例代码设置了与配置相关的 all 设置 Elasticsearch 服务端点。 最低 required 设置是:

mc admin config set ALIAS/ notify_elasticsearch:IDENTIFIER \
   url="ENDPOINT" \
   index="<string>" \
   format="<string>" \
   username="<string>" \
   password="<string>" \
   queue_dir="<string>" \
   queue_limit="<string>" \
   comment="<string>"
  • 用唯一的描述性字符串替换 “IDENTIFIER” Elasticsearch 服务端点。 此过程中的以下示例 假设标识符为 “PRIMARY”。

    如果指定的 “IDENTIFIER” 与现有的 Elasticsearch 服务匹配 MinIO 部署上的端点,新设置 override 该端点的任何现有设置。 用 mc admin config get notify_elasticsearch 查看 MinIO 上当前配置的 Elasticsearch 端点 部署。

  • ENDPOINT 替换为 Elasticsearch 服务端点的 URL。 例如:

    https://user:password@hostname:port

Elasticsearch Bucket Notification Configuration Settings 为完成 每个设置的文档。

2) 重启 MinIO 部署

您必须重新启动 MinIO 部署才能应用配置更改。 使用 mc admin service restart 命令重新启动部署。

Important

MinIO重新启动 all minio server 相关流程 同时部署。 应用程序可能会经历短暂的 重启过程中的停机时间。

考虑在维护期间安排重启以最小化服务中断。

mc admin service restart ALIAS

将 “ALIAS” 替换为 alias 部署到 重新开始。

The minio server 进程在启动时为每个配置的 Elasticsearch 打印一行 目标类似于以下:

SQS ARNs: arn:minio:sqs::primary:elasticsearch

您必须在配置存储通知时指定 ARN 资源 关联的 Elasticsearch 部署作为目标。

3) 使用 Elasticsearch Endpoint 作为目标配置存储通知

使用 mc event add 添加新存储通知的命令 以配置的 Elasticsearch 服务为目标的事件:

mc event add ALIAS/BUCKET arn:minio:sqs::primary:elasticsearch \
  --event EVENTS
  • 将 “ALIAS” 替换为 alias 一个 MinIO 部署。

  • BUCKET 替换为要在其中配置存储的名称事件。

  • 用逗号分隔的列表替换 “EVENTS” events MinIO 为其触发通知。

mc event list 查看所有配置的存储事件 给定的通知目标:

mc event list ALIAS/BUCKET arn:minio:sqs::primary:Elasticsearch

4) 验证配置的事件

对配置了新事件的存储执行操作,然后 检查通知数据的 Elasticsearch 服务。 需要采取的行动 取决于哪个 events 被指定 配置存储通知时。

例如,如果存储通知配置包括 s3:ObjectCreated:Put 事件,您可以使用 mc cp 命令在存储中创建一个新对象并触发 通知。

mc cp ~/data/new-object.txt ALIAS/BUCKET

更新 MinIO 部署中的 Elasticsearch 端点

以下过程更新现有的 Elasticsearch 服务端点以支持 bucket notifications 在一个 MinIO 部署。

Important

这个程序 requires 全部重启 minio server 流程 同时与部署相关联。 通常有一个简短的 API 操作中断或可能失败的时间段。

使用带有内置重试逻辑的 S3 兼容 SDK 的应用程序 or 实现手动重试逻辑通常不会遇到明显的中断 服务。 对于不能使用重试逻辑的应用,考虑调度 一个维护期,以尽量减少在执行时服务的中断这个程序。

先决条件

Elasticsearch v7.0 及更高版本

MinIO 依赖于 olivere/elastic 弹性 v7 项目 连通性。 elastic/v7 库专门针对 Elasticsearch v7.0 并且 与早期的 Elasticsearch 版本不兼容

MinIO mc 命令行工具

此过程使用 mc 用于某些操作的命令行工具。 见 “mc” Quickstart 安装说明。

1) 列出部署中已配置的 Elasticsearch 端点

使用 mc admin config get 命令列出当前 在部署中配置 Elasticsearch 服务端点:

mc admin config get ALIAS/ notify_elasticsearch

将 “ALIAS” 替换为 alias MinIO 部署。

命令输出类似于以下内容:

notify_elasticsearch:primary  queue_dir="" queue_limit="0"  url="https://user:password@hostname:port" format="namespace" index=""
notify_elasticsearch:secondary queue_dir="" queue_limit="0"  url="https://user:password@hostname:port" format="namespace" index=""

The notify_elasticsearch key 是顶级配置键 一个 用于存储桶通知的 Elasticsearch 服务. The url key 指定 Elasticsearch 给定 notify_elasticsearch 键的服务端点。 这 notify_elasticsearch:<IDENTIFIER> 后缀描述了唯一标识符 Elasticsearch 服务端点。

记下要更新的 Elasticsearch 服务端点的标识符 下一步。

2) 更新 Elasticsearch 端点

使用 mc admin config set 设置新配置的命令 用于 Elasticsearch 服务端点:

mc admin config set ALIAS/ notify_elasticsearch:<IDENTIFIER> \
   url="https://user:password@hostname:port" \
   index="<string>" \
   format="<string>" \
   username="<string>" \
   password="<string>" \
   queue_dir="<string>" \
   queue_limit="<string>" \
   comment="<string>"

The notify_elasticsearch url 配置 设置是 Elasticsearch 服务端点所需的 minimum。 全部 其他配置设置是 optional。 看 用于存储桶通知的 Elasticsearch 服务 完整列表 Elasticsearch 配置设置。

3) 重启 MinIO 部署

您必须重新启动 MinIO 部署才能应用配置更改。 使用 mc admin service restart 命令重新启动部署。

Important

MinIO 重启 all minio server 相关流程 同时部署。 应用程序可能会经历短暂的 重启过程中的停机时间。

考虑在维护期间安排重启以最小化 服务中断。

mc admin service restart ALIAS

将 “ALIAS” 替换为 alias 部署到 重新开始。

The minio server 进程在启动时为每个配置打印一行 Elasticsearch目标类似于以下:

SQS ARNs: arn:minio:sqs::primary:elasticsearch

3) 验证更改

使用更新的事件配置对具有事件配置的存储桶执行操作 Elasticsearch 服务端点并检查 Elasticsearch 服务 通知数据。 所需的操作取决于哪个 events 配置桶时指定 通知。

例如,如果存储通知配置包括 s3:ObjectCreated:Put 事件,您可以使用 mc cp 命令在存储中创建一个新对象并触发 通知。

mc cp ~/data/new-object.txt ALIAS/BUCKET