一文熟悉Presto(万字长文，建议收藏)

host

coordinator

worker

linux121

√

×

linux122

×

√

linux123

×

√

Shell

[root@linux121 software]# tar -zvxf presto-server-315.tar.gz -C /opt/servers/

Shell

[root@linux121 presto-server-315]# mkdir -p /file/data/presto

Shell

[root@linux121 presto-server-315]# mkdir etc

Shell

[root@linux121 etc]# vim node.properties

#环境名称,自己任取.集群中的所有Presto节点必须具有相同的环境名称.

node.environment=develop

#支持字母,数字.对于每个节点,这必须是唯一的.这个标识符应该在重新启动或升级Presto时保持一致

node.id=1

#指定presto的日志和其它数据的存储目录,自己创建前面创建好的数据目录

node.data-dir=/file/data/presto

Shell

[root@linux121 etc]# vim jvm.config

#参考官方给的配置,根据自身机器实际内存进行配置

-server

#最大jvm内存

-Xmx15G

-XX:-UseBiasedLocking

#指定GC的策略

-XX:+UseG1GC

-XX:G1HeapRegionSize=32M

-XX:+ExplicitGCInvokesConcurrent

-XX:+ExitOnOutOfMemoryError

-XX:+HeapDumpOnOutOfMemoryError

-XX:ReservedCodeCacheSize=512M

-Djdk.attach.allowAttachSelf=true

-Djdk.nio.maxCachedBufferSize=2000000

Shell

这是针对coordinator所在节点的配置信息(针对worker所在节点配置信息后面会配置.):

[root@linux122 etc]# vim config.properties

#该节点是否作为coordinator,如果是true就允许该Presto实例充当协调器

coordinator=true

#允许在协调器上调度工作(即配置worker节点).为false就是不允许.对于较大的集群,协调器上的处理工作可能会影响查询性能,因为机器的资源无法用于调度,管理和监视查询执行的关键任务

#如果需要在协调器所在节点配置worker节点改为true即可

node-scheduler.include-coordinator=false

#指定HTTP服务器的端口.Presto使用HTTP进行所有内部和外部通信

http-server.http.port=7788

#每个查询可以使用的最大分布式内存量。

query.max-memory=12GB

#查询可在任何一台计算机上使用的最大用户内存量

query.max-memory-per-node=5GB

#查询可在任何一台计算机上使用的最大用户和系统内存量，其中系统内存是读取器，写入器和网络缓冲区等在执行期间使用的内存。

query.max-total-memory-per-node=6GB

#该参数默认值时-Xmx的30%.且这个值加上query.max-total-memory-per-node的值不能大于-Xmx的值.否则无法启动

memory.heap-heaproom-per-node=2GB

#discover-server是coordinator内置的服务,负责监听worker

discovery-server.enabled=true

#发现服务器的URI.因为已经在Presto协调器中启用了discovery,所以这应该是Presto协调器的URI

discovery.uri=http://linux121:7788

Shell

#在etc目录下创建catalog目录

[root@linux121 etc]# mkdir catalog

Shell

#在catalog目录下创建hive.properties文件

[root@linux121 catalog]# vim hive.properties

#代表hadoop2代版本,并不是单单指hadoop2.x的版本,而是hadoop第二代.固定写法

connector.name=hive-hadoop2

#指定hive的metastore的地址(hive必须启用metastore)

hive.metastore.uri=thrift://linux123:9083

#如果hdfs是高可用必须增加这个配置.如果不是高可用,可省略.如果Presto所在的节点没有安装Hadoop,需要从其它hadoop节点复制这些文件到Presto的节点

hive.config.resources=/opt/servers/hadoop-2.9.2/etc/hadoop/core-site.xml,/opt/servers/hadoop-2.9.2/etc/hadoop/hdfs-site.xml

Shell

#通过文件名称区分不同的mysql数据来源

[root@linux121 catalog]# vim mysql_a.properties

#配置Mysql源.这里必须是mysql

connector.name=mysql

#指定连接Mysql的url

connection-url=jdbc:mysql://linux123:3306

#连接mysql的主机名

connection-user=root

#连接mysql的密码

connection-password=12345678

Shell

#通过文件名称区分不同的mysql数据来源

[root@linux121 catalog]# vim mysql_b.properties

#配置Mysql源.这里必须是mysql

connector.name=mysql

#指定连接Mysql的url

connection-url=jdbc:mysql://linux121:3306

#连接mysql的主机名

connection-user=root

#连接mysql的密码

connection-password=123456

Shell

[root@linux121 servers]# rsync-script /opt/servers/presto-server-315/

Shell

[root@linux122 etc]# vim node.properties

node.id=2

[root@linux123 etc]# vim node.properties

node.id=3

Shell

[root@linux122 etc]# vim config.properties

#该节点是否作为coordinator,因为是worker节点,这里是false

coordinator=false

#访问端口,可以自己指定

http-server.http.port=7788

#每个查询可以使用的最大分布式内存量。

query.max-memory=12GB

#查询可在任何一台计算机上使用的最大用户内存量

query.max-memory-per-node=5GB

#查询可在任何一台计算机上使用的最大用户和系统内存量，其中系统内存是读取器，写入器和网络缓冲区等在执行期间使用的内存。

query.max-total-memory-per-node=6GB

#该参数默认值时-Xmx的30%.且这个值加上query.max-total-memory-per-node的值不能大于-Xmx的值.否则无法启动

memory.heap-heaproom-per-node=2GB

#指定discovery-server的地址,这样worker才能找到它.与上面的端口须一致

discovery.uri=http://linux121:7788

Shell

[root@linux123 etc]# vim config.properties

#该节点是否作为coordinator,如果是true就是作为协调器

coordinator=false

#访问端口,可以自己指定

http-server.http.port=7788

#每个查询可以使用的最大分布式内存量。

query.max-memory=12GB

#查询可在任何一台计算机上使用的最大用户内存量

query.max-memory-per-node=5GB

#查询可在任何一台计算机上使用的最大用户和系统内存量，其中系统内存是读取器，写入器和网络缓冲区等在执行期间使用的内存。

query.max-total-memory-per-node=6GB

#该参数默认值时-Xmx的30%.且这个值加上query.max-total-memory-per-node的值不能大于-Xmx的值.否则无法启动  

memory.heap-heaproom-per-node=2GB

#指定discovery-server的地址,这样worker才能找到它.与上面的端口须一致

discovery.uri=http://linux121:7788

Shell

[root@linux121 ~]# myssh chown -R presto:presto /file/data/presto/

Shell

[root@linux121 ~]# myssh chown -R presto:presto /opt/servers/presto-server-315/

Shell

[presto@linux121 presto-server-315]$ bin/launcher start

[presto@linux122 presto-server-315]$ bin/launcher start

[presto@linux123 presto-server-315]$ bin/launcher start

Shell

[presto@linux121 presto-server-315]$ jps

14881 PrestoServer

Shell

[presto@linux121 bin]$ mv presto-cli-315-executable.jar presto

Shell

[root@linux121 presto-server-315]# chmod +x presto

Shell

[presto@linux121 presto-server-315]$ ./presto \

--server linux121:7788 \

--catalog hive \(可选)

--schema test \(可选)

--user xiaobai (可选)

Shell

#查看所有的数据库

presto:test> show schemas;

#查看某个库下的所有表

presto:test> show tables;

#查看一条sql查询(6亿多条数据比hive快很多)

presto:test> select count(1) from test.test_hive;

   _col0   

-----------

 620756992

Shell

[root@linux121 software]# unzip yanagishima-20.0.zip -d /opt/servers

Shell

[root@linux121 conf]# vim yanagishima.properties

#可以删除原文件的内容,然后重新填入下面的内容

#指定jetty的端口,类似tomcat的web容器的一个组件

jetty.port=8080

#指定数据源

presto.datasources=presto_test

presto.coordinator.server.presto_test=http://linux121:7788

catalog.presto_test=hive

schema.presto_test=ods

sql.query.engines=presto

Shell

[root@linux121 yanagishima-20.0]# nohup bin/yanagishima-start.sh 1>/dev/null 2>&1 &

Shell

PATH=/opt/servers/jdk-11.0.9/bin/:$PATH

Shell

-DHADOOP_USER_NAME=xiaobai

SQL

--1.在hive的test库下车间presto1表

create table hive.test.presto1(

"sid" int comment '学生id',

"sname" varchar(50) comment '学生姓名',

"cname" varchar(50) comment '班级名称',

"total_score" int comment '考试总分'

)

;

--2.往表中插入数据

insert into hive.test.presto1 values(1101,'孙悟空','1班',500),(1102,'猪八戒','1班',600),(1103,'如来佛祖','1班',600)

,(1104,'观音菩萨','2班',480),(1105,'姜子牙','2班',500),(1106,'李达康','2班',550)

,(1107,'王瞎子','3班',500),(1108,'姜子牙','3班',500),(1109,'凤姐','3班',550),(1110,'张无忌','3班',480)

;

--3.查看数据

select * from hive.test.presto1;

--4.计算出每个班级总分排在前2名的学生信息(分数相同就名次并列.如果第一名有2个并列,那么分数第2的就排名第3了).语法与hive一模一样

select

sid

,sname

,cname

,total_score

from

(

        select

        sid

        ,sname

        ,cname

        ,total_score

        ,rank() over(partition by cname order by total_score desc) as dn

        from hive.test.presto1

)t1

where dn<=2

;

SQL

--1.创建hive.test.presto2表

create table hive.test.presto2(

"user_id" int comment '用户id',

"login_time" varchar(50) comment '登陆时间.精确到秒'

)

;

--2.往表中插入数据

insert into hive.test.presto2 values(1001,'2020-12-30 12:10:15'),(1001,'2020-12-30 13:10:15'),(1001,'2020-12-31 10:00:00'),(1001,'2021-01-01 15:00:00')

,(1002,'2020-12-25 12:10:15'),(1002,'2020-12-26 13:10:15'),(1002,'2020-12-27 10:00:00')

,(1003,'2020-12-25 12:08:50'),(1003,'2020-12-25 13:10:15'),(1003,'2020-12-26 10:00:00'),(1003,'2020-12-26 11:00:00'),(1003,'2020-12-28 18:00:00')

;

--3.查询表的数据

select * from hive.test.presto2 order by user_id,login_time;

--4.求出连续3天都有登陆的用户id(语法与hive有一些区别)

select

distinct user_id

from

(

        select

        user_id

        ,date_add('day',-rn,date(login_date)) as date_diff

        from

        (

                select

                user_id

                ,login_date

                ,row_number() over(partition by user_id order by login_date) as rn

                from

                (                         

                        select

                        user_id

                        ,format_datetime(cast(login_time as timestamp),'yyyy-MM-dd') as login_date

                        from hive.test.presto2

                        group by user_id,format_datetime(cast(login_time as timestamp),'yyyy-MM-dd')

                )t1

        )t2

)t3

group by  user_id,date_diff

having count(user_id)>=3

;