1.启动spark-shell 需要加上mysql jar位置
spark-shell --master local[2] --jars /Users/walle/app/mysql-connector-java-8.0.11.jar
2. 简单sql
spark.sql("show databases").show spark.sql("show tables").show spark.sql("use sparktest") spark.sql("select * from student").show
3. 代码中用SparkSession
package com.waitingfy object sparkhive { def main(args: Array[String]): Unit = { import java.io.File import org.apache.spark.sql.{Row, SaveMode, SparkSession} case class Record(key: Int, value: String) // warehouseLocation points to the default location for managed databases and tables val warehouseLocation = new File("spark-warehouse").getAbsolutePath val spark = SparkSession .builder() .master("local[2]") .appName("Spark Hive Example") .config("spark.sql.warehouse.dir", warehouseLocation) .enableHiveSupport() .getOrCreate() import spark.implicits._ import spark.sql sql("CREATE TABLE IF NOT EXISTS src (key INT, value STRING) USING hive") sql("LOAD DATA LOCAL INPATH '/usr/local/Cellar/spark-2.3.0/examples/src/main/resources/kv1.txt' INTO TABLE src") // Queries are expressed in HiveQL // sql("SELECT * FROM src").show() val sqlDF = sql("SELECT key, value FROM src WHERE key < 10 ORDER BY key") sqlDF.show() spark.close() } }4352
以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持 码农网
猜你喜欢:- Tensorflow数据读取指南
- Kafka学习笔记 -- 读取数据
- Tensorflow数据读取机制剖析
- 如何远程读取数据库页面?
- Pytorch读取,加载图像数据(一)
- Perl读取mysql数据库
本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们。
人工智能
腾讯研究院、中国信通院互联网法律研究中心、腾讯AI Lab、腾讯开放平台 / 中国人民大学出版社 / 2017-10-25 / 68.00元
面对科技的迅猛发展,中国政府制定了《新一代人工智能发展规划》,将人工智能上升到国家战略层面,并提出:不仅人工智能产业要成为新的经济增长点,而且要在2030年达到世界领先水平,让中国成为世界主要人工智能创新中心,为跻身创新型国家前列和经济强国奠定基础。 《人工智能》一书由腾讯一流团队与工信部高端智库倾力创作。本书从人工智能这一颠覆性技术的前世今生说起,对人工智能产业全貌、最新进展、发展趋势进行......一起来看看 《人工智能》 这本书的介绍吧!