[ Broker ] 使用 Docker 在 AWS EC2 建立 Kafka

栏目: 后端 · 发布时间: 5年前

學習目標

  • 在 AWS EC2 建立 Kafka Broker

前置準備作業

  1. 一台能上網的電腦

  2. 已擁有 AWS 帳號且能正常使用 AWS 的服務

啟動 AWS EC2 Ubuntu Server

Step 1. 開啟 AWS Portal

❖ 透過覽瀏器開啟下方網址
  https://aws.amazon.com/tw/

[ Broker ] 使用  <a href='https://www.codercto.com/topics/20577.html'>Docker</a>  在 AWS EC2 建立 Kafka

Step 2. 選取 AWS EC2 服務

❖ 點選 【 Services 】中的 【 EC2 】

[ Broker ] 使用 Docker 在 AWS EC2 建立 Kafka

Step 3. 進入 Instance 設定頁面

❖ 點選 【 Launch Instance 】

[ Broker ] 使用 Docker 在 AWS EC2 建立 Kafka

Step 4. 選擇作業系統種類

❖ 點選 【 Ubuntu Server 16.04 LTS (HVM), SSD Volume Type - ami-0f9cf087c1f27d9b1 (64-bit x86) / ami-036ede09922dadc9b (64-bit Arm) 】中的【 Select 】按鈕

[ Broker ] 使用 Docker 在 AWS EC2 建立 Kafka

Step 5. 選擇 Instance 規格

❖ 選擇【 t2.small 】規格
  ㊟ 規格可自行決定,本範例使用【 t2.small 】規格示範
  ㊟ 記憶體至少 2G 以上

[ Broker ] 使用 Docker 在 AWS EC2 建立 Kafka

Step 6. 設定埠 (Port) 號

❖ 選擇【 6. Configure Security Group 】連結

[ Broker ] 使用 Docker 在 AWS EC2 建立 Kafka

❖ 點選【 Add Rule 】按鈕

[ Broker ] 使用 Docker 在 AWS EC2 建立 Kafka

❖ ① 在【 Port Range 】欄位輸入【 2181 】
     在【 Source 】欄位輸入【 0.0.0.0/0 】
  ② 在【 Port Range 】欄位輸入【 9092 】
     在【 Source 】欄位輸入【 0.0.0.0/0 】
  ③ 在【 Port Range 】欄位輸入【 29092 】
     在【 Source 】欄位輸入【 0.0.0.0/0 】
  ㊟【 Source 】欄位可依需求調整,本範例使用【 0.0.0.0/0 】

[ Broker ] 使用 Docker 在 AWS EC2 建立 Kafka

❖ 點選【 Review and Launch 】按鈕

[ Broker ] 使用 Docker 在 AWS EC2 建立 Kafka

Step 7. 啟動 Instance

❖ 點選【 Launch 】按鈕

[ Broker ] 使用 Docker 在 AWS EC2 建立 Kafka

Step 8. 設定 key

❖ 依需求建立 key

[ Broker ] 使用 Docker 在 AWS EC2 建立 Kafka

❖ 點選確認選項

[ Broker ] 使用 Docker 在 AWS EC2 建立 Kafka

❖ 點選【 Launch Instances 】按鈕

[ Broker ] 使用 Docker 在 AWS EC2 建立 Kafka

Step 9. Ubuntu Server 建立結果

❖ 點選【 View Instances 】按鈕

[ Broker ] 使用 Docker 在 AWS EC2 建立 Kafka

❖ 【 Ubuntu Server 】相關資訊

[ Broker ] 使用 Docker 在 AWS EC2 建立 Kafka

Step 10. 取得 Ubuntu Server 登入資訊

❖ 點選【 Connect 】按鈕

[ Broker ] 使用 Docker 在 AWS EC2 建立 Kafka

❖ 登入資訊
  ㊟ 之後登入到 Ubuntu Server 會使用到此資訊

[ Broker ] 使用 Docker 在 AWS EC2 建立 Kafka

Step 11. 取得傳送檔案到 Ubuntu Server 的資訊

❖ 點選【 Connect 】按鈕

[ Broker ] 使用 Docker 在 AWS EC2 建立 Kafka

❖ 傳送檔案資訊
  ㊟ 之後傳送檔案到 Ubuntu Server 會使用到此資訊

[ Broker ] 使用 Docker 在 AWS EC2 建立 Kafka

Step 12. 登入到 AWS EC2

Step 13. 安裝 Docker

於終端機 【 macOS 】或 Putty 【 Windows 】中輸入下方指令

sudo apt-get update  
sudo apt-get install -y docker.io

Step 14. 安裝 Docker Compose

於終端機 【 macOS 】或 Putty 【 Windows 】中輸入下方指令

①
sudo curl -L "https://github.com/docker/compose/releases/download/1.23.1/docker-compose-$(uname -s)-$(uname -m)" -o /usr/local/bin/docker-compose

②
sudo chmod +x /usr/local/bin/docker-compose

③
docker-compose --version

Step 15. 下載 Docker Compose yml 檔

於終端機 【 macOS 】或 Putty 【 Windows 】中輸入下方指令

wget https://raw.githubusercontent.com/ArcherHuang/Kafka/master/Docker/docker-compose.yml

Step 16. 啟動 Zookeeper 與 Kafka

於終端機 【 macOS 】或 Putty 【 Windows 】中輸入下方指令

sudo docker-compose up -d

[ Broker ] 使用 Docker 在 AWS EC2 建立 Kafka

Step 17. 取得 Container Name

於終端機 【 macOS 】或 Putty 【 Windows 】中輸入下方指令

sudo docker ps -a

[ Broker ] 使用 Docker 在 AWS EC2 建立 Kafka

Step 18. 進到 Container 中

於終端機 【 macOS 】或 Putty 【 Windows 】中輸入下方指令

sudo docker exec -it Container-Name bash

㊟ 請修改【 Container-Name 】為步驟 17 取得的名字

[ Broker ] 使用 Docker 在 AWS EC2 建立 Kafka

Step 19. 建立 Topic

於終端機 【 macOS 】或 Putty 【 Windows 】中輸入下方指令

kafka-topics --create --zookeeper zookeeper:2181 \  
  --replication-factor 1 --partitions 1 \
  --topic test

[ Broker ] 使用 Docker 在 AWS EC2 建立 Kafka

Step 20. Publish Topic

於終端機 【 macOS 】或 Putty 【 Windows 】中輸入下方指令

kafka-console-producer --broker-list kafka:9092 --topic test

再輸入測試文字如 hello world

[ Broker ] 使用 Docker 在 AWS EC2 建立 Kafka

Step 21. Consume Topic

① 離開 Publish 模式
   按 Ctrl+c
② 於終端機 【 macOS 】或 Putty 【 Windows 】中輸入下方指令
kafka-console-consumer \  
  --bootstrap-server kafka:9092 \
  --from-beginning \
  --topic test

[ Broker ] 使用 Docker 在 AWS EC2 建立 Kafka

Step 22. 其他指令

  • 列出 Topic
    • kafka-topics --list --zookeeper zookeeper:2181
  • 查看 Topic 描述
    • kafka-topics --describe --zookeeper zookeeper:2181 --topic test
  • 刪除 Topic
    • kafka-topics --delete --zookeeper zookeeper:2181 --topic test

GitHub

List of blogs


以上所述就是小编给大家介绍的《[ Broker ] 使用 Docker 在 AWS EC2 建立 Kafka》,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对 码农网 的支持!

查看所有标签

猜你喜欢:

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

Python Cookbook 中文版,第 3 版

Python Cookbook 中文版,第 3 版

David M. Beazley、Brian K. Jones / 陈舸 / 人民邮电出版社 / 2015-5-1 / 108.00元

《Python Cookbook(第3版)中文版》介绍了Python应用在各个领域中的一些使用技巧和方法,其主题涵盖了数据结构和算法,字符串和文本,数字、日期和时间,迭代器和生成器,文件和I/O,数据编码与处理,函数,类与对象,元编程,模块和包,网络和Web编程,并发,实用脚本和系统管理,测试、调试以及异常,C语言扩展等。 本书覆盖了Python应用中的很多常见问题,并提出了通用的解决方案。......一起来看看 《Python Cookbook 中文版,第 3 版》 这本书的介绍吧!

html转js在线工具
html转js在线工具

html转js在线工具

HEX CMYK 转换工具
HEX CMYK 转换工具

HEX CMYK 互转工具

HSV CMYK 转换工具
HSV CMYK 转换工具

HSV CMYK互换工具