大数据常用组件默认端口号

栏目: 服务器 · 发布时间: 7年前

内容简介:一般来说,Hadoop集群是运行在内网中的,并不开放外网访问,然后通过一个gateway机器作为集群的客户端来提交作业,或者管理集群。此时,内网应当是互通的;如果内网仍需要开启防火墙,那么就需要将Hadoop所用到的端口号加入到防火墙的例外当中。这篇文章列举了Hadoop生态系统下常用大数据组件的默认端口号,包括 HDFS、YARN、MapReduce、Hive、Spark、Zookeeper、Kakfa,其他的例如HBase、Sqoop等以后用到的时候再新增吧。感谢阅读,希望这篇文章能给你带来帮助!

一般来说,Hadoop集群是运行在内网中的,并不开放外网访问,然后通过一个gateway机器作为集群的客户端来提交作业,或者管理集群。此时,内网应当是互通的;如果内网仍需要开启防火墙,那么就需要将Hadoop所用到的端口号加入到防火墙的例外当中。

这篇文章列举了Hadoop生态系统下常用大数据组件的默认端口号,包括 HDFS、YARN、MapReduce、Hive、Spark、Zookeeper、Kakfa,其他的例如HBase、Sqoop等以后用到的时候再新增吧。

端口 配置项 说明
Hadoop HDFS
8020 fs.defaultFS hdfs:// 连接
50090 dfs.namenode.secondary.http-address
50091 dfs.namenode.secondary.https-address
50010 dfs.datanode.address
50075 dfs.datanode.http.address WebUI
50020 dfs.datanode.ipc.address
50070 dfs.namenode.http-address
50475 dfs.datanode.https.address
50470 dfs.namenode.https-address
50100 dfs.namenode.backup.address
50105 dfs.namenode.backup.http-address
8485 dfs.journalnode.rpc-address
8480 dfs.journalnode.http-address
8481 dfs.journalnode.https-address
8019 dfs.ha.zkfc.port
Hadoop YARN
8032 yarn.resourcemanager.address
8030 yarn.resourcemanager.scheduler.address
8088 yarn.resourcemanager.webapp.address WebUI
8090 yarn.resourcemanager.webapp.https.address
8031 yarn.resourcemanager.resource-tracker.address
8033 yarn.resourcemanager.admin.address
8044 yarn.nodemanager.webapp.https.address
8047 yarn.sharedcache.admin.address
8788 yarn.sharedcache.webapp.address
8046 yarn.sharedcache.uploader.server.address
8045 yarn.sharedcache.client-server.address
8049 yarn.nodemanager.amrmproxy.address
8089 yarn.router.webapp.address
8091 yarn.router.webapp.https.address
Hadoop MapReduce
10020 mapreduce.jobhistory.address
19888 mapreduce.jobhistory.webapp.address
19890 mapreduce.jobhistory.webapp.https.address
Hive
9083 metastore
10000 thrift
Zookeeper
2181 /etc/zookeeper/conf/zoo.cfg clientPort 客户端连接端口
2888 server.x follower连接到leader的端口
3888 server.x leader选举时的端口
Spark
8080 spark.master.ui.port Master WebUI
8081 spark.worker.ui.port Worker WebUI
18080 spark.history.ui.port History server WebUI
7077 SPARK_MASTER_PORT Master port
6066 spark.master.rest.port Master REST port
4040 spark.ui.port Driver WebUI
Kafka
9092 server.properties 客户端连接

感谢阅读,希望这篇文章能给你带来帮助!


以上所述就是小编给大家介绍的《大数据常用组件默认端口号》,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对 码农网 的支持!

查看所有标签

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

指数型组织

指数型组织

萨利姆•伊斯梅尔 (Salim Ismail)、迈克尔•马隆 (Michael S. Malone)、尤里•范吉斯特 (Yuri van Geest) / 苏健 / 浙江人民出版社 / 2015-8-1 / CNY 69.90

《指数型组织》是一本指数级时代企业行动手册。作者奇点大学创始执行理事萨利姆·伊斯梅尔归纳了指数型组织的11个强大属性,并提出了建立指数型组织的12个关键步骤。通过自己创建的一套“指数商”测试题,伊斯梅尔还测量出了指数型组织世界100强。  为什么小米、海尔和阿里巴巴能进入“指数型组织世界100强”名单?“独角兽”Uber、Airbnb、谷歌等知名企业是如何指数化自己的组织的?  未......一起来看看 《指数型组织》 这本书的介绍吧!

随机密码生成器
随机密码生成器

多种字符组合密码

RGB HSV 转换
RGB HSV 转换

RGB HSV 互转工具

RGB CMYK 转换工具
RGB CMYK 转换工具

RGB CMYK 互转工具