内容简介:一般来说,Hadoop集群是运行在内网中的,并不开放外网访问,然后通过一个gateway机器作为集群的客户端来提交作业,或者管理集群。此时,内网应当是互通的;如果内网仍需要开启防火墙,那么就需要将Hadoop所用到的端口号加入到防火墙的例外当中。这篇文章列举了Hadoop生态系统下常用大数据组件的默认端口号,包括 HDFS、YARN、MapReduce、Hive、Spark、Zookeeper、Kakfa,其他的例如HBase、Sqoop等以后用到的时候再新增吧。感谢阅读,希望这篇文章能给你带来帮助!
一般来说,Hadoop集群是运行在内网中的,并不开放外网访问,然后通过一个gateway机器作为集群的客户端来提交作业,或者管理集群。此时,内网应当是互通的;如果内网仍需要开启防火墙,那么就需要将Hadoop所用到的端口号加入到防火墙的例外当中。
这篇文章列举了Hadoop生态系统下常用大数据组件的默认端口号,包括 HDFS、YARN、MapReduce、Hive、Spark、Zookeeper、Kakfa,其他的例如HBase、Sqoop等以后用到的时候再新增吧。
| 端口 | 配置项 | 说明 |
|---|---|---|
| Hadoop HDFS | ||
| 8020 | fs.defaultFS | hdfs:// 连接 |
| 50090 | dfs.namenode.secondary.http-address | |
| 50091 | dfs.namenode.secondary.https-address | |
| 50010 | dfs.datanode.address | |
| 50075 | dfs.datanode.http.address | WebUI |
| 50020 | dfs.datanode.ipc.address | |
| 50070 | dfs.namenode.http-address | |
| 50475 | dfs.datanode.https.address | |
| 50470 | dfs.namenode.https-address | |
| 50100 | dfs.namenode.backup.address | |
| 50105 | dfs.namenode.backup.http-address | |
| 8485 | dfs.journalnode.rpc-address | |
| 8480 | dfs.journalnode.http-address | |
| 8481 | dfs.journalnode.https-address | |
| 8019 | dfs.ha.zkfc.port | |
| Hadoop YARN | ||
| 8032 | yarn.resourcemanager.address | |
| 8030 | yarn.resourcemanager.scheduler.address | |
| 8088 | yarn.resourcemanager.webapp.address | WebUI |
| 8090 | yarn.resourcemanager.webapp.https.address | |
| 8031 | yarn.resourcemanager.resource-tracker.address | |
| 8033 | yarn.resourcemanager.admin.address | |
| 8044 | yarn.nodemanager.webapp.https.address | |
| 8047 | yarn.sharedcache.admin.address | |
| 8788 | yarn.sharedcache.webapp.address | |
| 8046 | yarn.sharedcache.uploader.server.address | |
| 8045 | yarn.sharedcache.client-server.address | |
| 8049 | yarn.nodemanager.amrmproxy.address | |
| 8089 | yarn.router.webapp.address | |
| 8091 | yarn.router.webapp.https.address | |
| Hadoop MapReduce | ||
| 10020 | mapreduce.jobhistory.address | |
| 19888 | mapreduce.jobhistory.webapp.address | |
| 19890 | mapreduce.jobhistory.webapp.https.address | |
| Hive | ||
| 9083 | metastore | |
| 10000 | thrift | |
| Zookeeper | ||
| 2181 | /etc/zookeeper/conf/zoo.cfg clientPort | 客户端连接端口 |
| 2888 | server.x | follower连接到leader的端口 |
| 3888 | server.x | leader选举时的端口 |
| Spark | ||
| 8080 | spark.master.ui.port | Master WebUI |
| 8081 | spark.worker.ui.port | Worker WebUI |
| 18080 | spark.history.ui.port | History server WebUI |
| 7077 | SPARK_MASTER_PORT | Master port |
| 6066 | spark.master.rest.port | Master REST port |
| 4040 | spark.ui.port | Driver WebUI |
| Kafka | ||
| 9092 | server.properties | 客户端连接 |
感谢阅读,希望这篇文章能给你带来帮助!
以上所述就是小编给大家介绍的《大数据常用组件默认端口号》,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对 码农网 的支持!
本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们。
指数型组织
萨利姆•伊斯梅尔 (Salim Ismail)、迈克尔•马隆 (Michael S. Malone)、尤里•范吉斯特 (Yuri van Geest) / 苏健 / 浙江人民出版社 / 2015-8-1 / CNY 69.90
《指数型组织》是一本指数级时代企业行动手册。作者奇点大学创始执行理事萨利姆·伊斯梅尔归纳了指数型组织的11个强大属性,并提出了建立指数型组织的12个关键步骤。通过自己创建的一套“指数商”测试题,伊斯梅尔还测量出了指数型组织世界100强。 为什么小米、海尔和阿里巴巴能进入“指数型组织世界100强”名单?“独角兽”Uber、Airbnb、谷歌等知名企业是如何指数化自己的组织的? 未......一起来看看 《指数型组织》 这本书的介绍吧!