Drill: Hive 插件

栏目: 服务器 · 发布时间: 7年前

内容简介:Drill: Hive 插件

Drill 1.1 及后续的版本支持Hive 1.0;要使用Hive的自定义SerDes或是输入格式、输出格式来访问Hive 的表,所有的Drill节点必须在Drill安装目录的jars/3rdparty 目录下放上Hive的SerDes或是输入格式,输出格式的Jar包。

你可以通过选择WEB办控制台里的”Storage” tab来更新Hive配置。从禁用的手件列表里, 点击”hive”后面的”Update”按钮。Hive默认的插件的配置应当像下面这样:

{
      "type": "hive",
      "enabled": false,
      "configProps": {
        "hive.metastore.uris": "",
        "javax.jdo.option.ConnectionURL": "jdbc:derby:;databaseName=../sample-data/drill_hive_db;create=true",
        "hive.metastore.warehouse.dir": "/tmp/drill_hive_wh",
        "fs.default.name": "file:///",
        "hive.metastore.sasl.enabled": "false"
      }
    }

Drill连接到Hive的远程元数据

Hive的元数据是在Hive之外做为一个独立服务存的的。Drill可以能冠军Thrift来访问元数据。元数据和Hive数据库是通过JDBC来交互的。

按照这一章后面的步骤来将Drill指向到Hive的元数据服务的地址。在Hive 插件的配置中,设定Connection参数,来给Drill提供一个connection。在这里,如果你并不是通过HBaseStorageHandler来查询Hive 表的,你就已经完成配置了;如果你通过HBaseStorageHandler来查询Hive表,你需要配置Zookeeper quorum 和port这两个属性,因为HBaseStorageHandler需要这两个参数。Drill也使用这些参数来发现HBase 服务。如果你使用HBase 插件,请在Hive插插和HBase 插件里使用相同的Zookeeper quorum 和port 参数(如果你想要Hive 查询访问和HBase一样的源的话)。

注意,请确认你在注册Hive的元数据的时候,Hive元数据服务已经跑起来了。

Hive 远程元数据配置

要连接Drill到一个Hive 远程元数据:

  1. 在hive.metastore.uris配置项里指定的系统上执行这个命令:

hive --service metastore

  1. 在Drill的Web控制台上,点选 “Storage” 标签页。

以上所述就是小编给大家介绍的《Drill: Hive 插件》,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对 码农网 的支持!

查看所有标签

猜你喜欢:

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

原则

原则

[美] 瑞·达利欧 / 刘波、綦相 / 中信出版社 / 2018-1 / CNY 98.00

※ 华尔街投资大神、对冲基金公司桥水创始人,人生经验之作 作者瑞·达利欧出身美国普通中产家庭,26岁时被炒鱿鱼后在自己的两居室内创办了桥水,现在桥水管理资金超过1 500亿美元,截至2015年年底,盈利超过450亿美元。达利欧曾成功预测2008年金融危机,现在将其白手起 家以来40多年的生活和工作原则公开。 ※ 多角度、立体阐述生活、工作、管理原则 包含21条高原则、139条中原......一起来看看 《原则》 这本书的介绍吧!

随机密码生成器
随机密码生成器

多种字符组合密码

URL 编码/解码
URL 编码/解码

URL 编码/解码

HEX HSV 转换工具
HEX HSV 转换工具

HEX HSV 互换工具