今天就跟大家聊聊有关怎么使用GCS offloader 卸载存储在 BookKeeper 中的数据，可能很多人都不太了解，为了让大家更加了解，小编给大家总结了以下内容，希望大家根据这篇文章可以有所收获。对于大量不需要快速访问的数据，建议你使用 Apache Pulsar 的内置功能——分层存储。它也是 Pulsar 分片架构的原生优势。
通过分层存储，你可以从 Apache BookKeeper 卸载数据到可扩展、无限的廉价云原生存储（例如 Google Cloud Storage、AWS S3）或文件系统，构建高性能的消息集群，并降低运维成本。
Google Cloud Storage (GCS) offloader 是 StreamNative Hub 上托管的一个 Pulsar 插件。
介绍如何通过 GCS offloader 将存储在 BookKeeper 中的数据卸载至 GCS。请按照以下步骤安装 GCS offloader。
Apache jclouds：2.2.0 或更高版本???? 步 骤1. 选择以下任一方式下载 Pulsar 压缩包：从 Apache mirror 下载：
https://archive.apache.org/dist/pulsar/pulsar-2.5.1/apache-pulsar-2.5.1-bin.tar.gz从 Pulsar 下载页面下载
https://pulsar.apache.org/download通过 wget 命令下载
https://www.gnu.org/software/wget2. 下载并解压 Pulsar offloaders 安装包。注意：在裸机集群中运行 Pulsar 时，需要保证每个 broker 所在的 Pulsar 目录中，都有 `offloaders` 解压缩后的安装文件。在 Docker 中运行 Pulsar 或使用 Docke 香港云主机r image（例如 K8S、DCOS）部署 Pulsar 时，可以使用 `apachepulsar/pulsar-all` image 而不使用 `apachepulsar/pulsar` image。`apachepulsar/pulsar-all` image 已经捆绑了分层存储 offloaders。
3. 在本地 Pulsar 目录中创建 offloader 文件夹，将解压后的 Pulsar offloaders 文件复制到此处。???? 输出如下输出所示，Pulsar 通过 Apache jclouds 支持 GCS 和 AWS S3 。以下内容为在 Pulsar 中使用 GCS offloader 的详细步骤。
第 1 步：配置 GCS offloader driver在使用 GCS offloader 之前，需要为 GCS offloader driver 配置一些属性。更多关于如何配置 GCS offloader driver 属性的信息，可以参阅：
https://hub.streamnative.io/offloaders/gcs/2.5.1/#configuration本示例假设已在 `standalone.conf` 中进行了如下配置，并以单机模式运行 Pulsar。——第 2 步：创建 GCS 存储分区1. 进入 Google Cloud 控制台(https://console.cloud.google.com/) ，在左边侧栏选择 Storage。2. 选择浏览器，然后点击创建存储分区。为了确保 broker 可以访问存储分区，需要为服务账号设置 Storage Object Creator 和 Storage Object Viewer。
3. 设置存储分区的名称。Bucket 名称应与在第 1 步配置的 `gcsManagedLedgerOffloadBucket` 值一致。更多关于 `gcsManagedLedgerOffloadBucket`的信息，可以参阅：
https://hub.streamnative.io/offloaders/gcs/2.5.1/#step-1-configure-gcs-offloader-driver4. 设置存储分区。存储分区应与在第 1 步配置的 `gcsManagedLedgerOffloadRegion` 值一致。更多关于 `gcsManagedLedgerOffloadRegion` 的信息，可以参阅：
https://hub.streamnative.io/offloaders/gcs/2.5.1/#step-1-configure-gcs-offloader-driver5. 点击创建。现在，你已经成功创建了一个 GCS 存储分区。——
第 3 步：创建 GCS 服务账号1. 进入 Google Cloud 控制台，在左边侧栏选择 IAM 和管理。2. 选择服务账号，然后点击创建服务账号。3. 设置服务账号名称。创建服务账号后，服务账号 ID 会自动创建。4. 点击创建。5. 为服务账号授权，点击下一步。6. 点击创建密钥。7. 选择 JSON后点击创建，然后选择将生成的 JSON 文件保存到本地。JSON 文件应与在第 1 步配置的 `gcsManagedLedgerOffloadServiceAccountKeyFile` 值一致。
更多关于 `gcsManagedLedgerOffloadServiceAccountKeyFile` 的信息，可以参阅：
https://hub.streamnative.io/offloaders/gcs/2.5.1/#step-1-configure-gcs-offloader-driver8. 复制 JSON 文件中的密钥 ID 到密钥 ID对话框，然后点击完成。——第 4 步：为 GCS 服务账号分配权限1. 在 IAM 和管理页面，点击 IAM，然后点击添加。2. 填写在第 3 步创建的 GCS 服务账号名称。3. 为服务账号设置 Storage Object Creator和 Storage Object Viewer权限。4. 点击保存。——第 5 步：从 BookKeeper 卸载数据到 GCS以下命令均在本地 Pulsar 所在的文件夹（例如 `~/path/to/apache-pulsar-2.5.1`）中执行。1. 启动 Pulsar（单机模式）。2. 为确保生成的数据不会被立刻删除，建议设置保留策略。
https://pulsar.apache.org/docs/en/next/cookbooks-retention-expiry/#retention-policies
保留策略可以设置为大小限制或时间限制，设置的值越大，数据保留的时间越长。更多关于 `pulsarctl namespaces set-retention options` 命令的信息（包括 flags、说明、默认值、快捷键等），可以 参阅：
https://streamnative.io/docs/pulsarctl/v0.4.0/#-em-set-retention-em-
3. 使用 pulsar-perf 生产数据。4. Ledger 发生切换后，卸载操作才会开始。为了确保卸载操作成功执行，建议多等待几个 ledger 发生切换。前文配置的保留策略也是为了保证 ledger 在切换时，数据不会被 broker 删除。如需查看 ledger 信息，可以使用 `pulsarctl topics internal-stats option` 命令。???? 输出以下输出中显示 ledge 已发生切换：已存在 ledger 10、ledger 11 和 ledger 12。更多关于 `pulsarctl topics internal-stats options` 命令的信息（包括 flags、说明、默认值、快捷键等），可以参阅：
https://streamnative.io/docs/pulsarctl/v0.4.0/#-em-internal-stats-em-
5. Ledger 切换后，你可以手动触发卸载操作（如下所示）。另外，你也可以设置自动触发卸载操作。更多关于如何设置自动触发卸载操作，可以参阅：
https://hub.streamnative.io/offloaders/gcs/2.5.1/#configure-gcs-offloader-to-run-automatically???? 输出
更多关于 `pulsarctl topics offload options` 命令的信息（包括 flags、说明、默认值、快捷键等），可以参阅：
https://streamnative.io/docs/pulsarctl/v0.4.0/#-em-offload-em-6. 检查卸载操作的状态。 卸载操作可能会需要一段时间。???? 输出更多关于 `pulsarctl topics offload-status options` 命令的信息（包括 flags、说明、默认值、快捷键等），可以参阅：
https://streamnative.io/docs/pulsarctl/v0.4.0/#-em-offload-status-em-操作完成后，数据成功卸载到 GCS。
点击观看如何在 Pulsar 中使用 GCS offloader 的分步演示。
想要随时掌握 Pulsar 的研发进展、用户案例和热点话题吗？快来关注 Apache Pulsar 和 StreamNative 微信公众号，我们第一时间在这里分享与 Pulsar 有关的一切。看完上述内容，你们对怎么使用GCS offloader 卸载存储在 BookKeeper 中的数据有进一步的了解吗？如果还想了解更多知识或者相关内容，请关注开发云行业资讯频道，感谢大家的支持。
这篇文章将为大家详细讲解有关如何解决电脑键盘错乱的问题，小编觉得挺实用的，因此分享给大家做个参考，希望大家阅读完这篇文章后可以有所收获。一、键盘输入功能被切换若是这种原因的话，则只要关闭小键盘即可，但由于各个厂家的笔记本设计不同，所以，关闭和打开小键盘的方式也…
免责声明：本站发布的图片视频文字，以转载和分享为主，文章观点不代表本站立场，本站不承担相关法律责任；如果涉及侵权请联系邮箱：360163164@qq.com举报，并提供相关证据，经查实将立刻删除涉嫌侵权内容。
微信扫一扫 
