目录
- 1,hive 什么意思?
- 2,Hive 是什么意思?
- 3,Hadoop,Hive,Spark 之间是什么关系
- 4,Hive基础之Hive是什么以及Hive使用场景
- 5,如何在Hive中使用Json格式数据
- 6,hive sql和mysql的关键词用法有什么不同
1,hive 什么意思?
1.名词(可数),(人造的)蜂房,注意bee hive虽然可以表示天然的蜜蜂巢,但是使用honeycomb会减少歧义的几率。同时honeycomb还是google的android系统的一个版本代号。
2.a hive of activity/industry. 表示喧闹繁忙的场所/工业区
3.动词,释义一的衍生用法。把蜜蜂赶入蜂房,或蜜蜂进入蜂房。分别作为及物动词和不及物动词使用。
4.短语动词 hive(sth) off to (sth),表示把机构的一部分分离,使其独立。
另建议此类问题先查工具书。
望采纳,欢迎追问
2,Hive 是什么意思?
hive的中文意思为蜂房;蜂箱;一箱蜜蜂;蜂群;忙碌的场所;繁忙的地方;把蜜蜂收入蜂箱。 hive可作动词和名词使用。英式读法[haɪv],美式读法[haɪv]。 1、作名词时的中文意思为蜂房;蜂箱;一箱蜜蜂;蜂群;忙碌的场所;繁忙的地方。 a structure made for bees to live in. 蜜蜂居住的地方。 2、作动词时的中文意思为把蜜蜂收入蜂箱;贮备;聚居;从团体中分出。 The IT department is being hived off into a new company. 信息技术部正被分离出来,成立新公司。 扩展资料: 一、hive的近义词 swarm 英式读音[swɔːm];美式读音[swɔːrm] 名词(n.)一大群(蜜蜂等昆虫);一大群;一大批(向同方向移动的人) 动词(V.)成群地来回移动;成群地飞来飞去 A dark cloud of bees comes swarming out of the hive. 黑压压的一大群蜜蜂从蜂巢中飞出来。 二、短语用例 hive off 转让,出售(部分业务)
3,Hadoop,Hive,Spark 之间是什么关系
Hadoop是一个由Apache基金会所开发的分布式系统基础架构。Hadoop也是apache开源大数据的一个生态圈总称,里面包含跟大数据开源框架的一些软件,包含hdfs,hive,zookeeper,hbase等等;Hadoop的框架最核心的设计就是:HDFS和MapReduce。HDFS为海量的数据提供了存储,则MapReduce为海量的数据提供了计算。
Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的sql查询功能,可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低,可以通过类SQL语句快速实现简单的MapReduce统计,不必开发专门的MapReduce应用,十分适合数据仓库的统计分析。
Spark 是一种与 Hadoop 相似的开源集群计算环境,但是两者之间还存在一些不同之处,这些有用的不同之处使 Spark 在某些工作负载方面表现得更加优越,换句话说,Spark 启用了内存分布数据集,除了能够提供交互式查询外,它还可以优化迭代工作负载。
尽管创建 Spark 是为了支持分布式数据集上的迭代作业,但是实际上它是对 Hadoop 的补充,可以在 Hadoop 文件系统中并行运行。通过名为 Mesos 的第三方集群框架可以支持此行为。
hadoop(hive)<-spark(扩展)
4,Hive基础之Hive是什么以及Hive使用场景
Hive是什么
1)Hive 是建立在Hadoop (HDFS/MR)上的用于管理和查询结果化/非结构化的数据仓库;
2)一种可以存储、查询和分析存储在Hadoop 中的大规模数据的机制;
3)Hive 定义了简单的类SQL 查询语言,称为HQL,它允许熟悉SQL 的用户查询数据;
4)允许用Java开发自定义的函数UDF来处理内置无法完成的复杂的分析工作;
5)Hive没有专门的数据格式(分隔符等可以自己灵活的设定);
ETL的流程(Extraction-Transformate-Loading):将关系型数据库的数据抽取到HDFS上,hive作为数据仓库,经过hive的计算分析后,将结果再导入到关系型数据库的过程。
Hive是构建在Hadoop之上的数据仓库
1)使用HQL作为查询接口;
2)使用HDFS作为存储;
3)使用MapReduce作为计算;
Hive应用场景
数据源:
1)文件数据,如中国移动某设备每天产生大量固定格式的文件;
2)数据库
以上两种不同的数据源有个共同点:要使用hive,那么必须要将数据放到hive中;通常采用如下两种方式:
1)文件数据:load到hive
2)数据库: sqoop到hive
数据的离线处理;
hive的执行延迟比较高,因为hive常用于数据分析的,对实时性要求不高;
hive优势在于处理大数据,对于处理小数据没有优势,因为hive的执行延迟比较高。
处理数据存放在hive表中,那么前台系统怎么去访问hive的数据呢?
先将hive的处理结果数据转移到关系型数据库中才可以,sqoop就是执行导入导出的操作
5,如何在Hive中使用Json格式数据
总体来说,有两大类方法:1、将json以字符串的方式整个入Hive表,然后使用LATERAL VIEW json_tuple的方法,获取所需要的列名。 2、将json拆成各个字段,入Hive表。这将需要使用第三方的SerDe 本文将主要使用第二种方法。 wget https://hive-json-serde.googlecode.com/files/hive-json-serde-0.2.jar # 添加jar包hive> add jar /home/heyuan.lhy/develop/wanke_http_test/hive-json-serde-0.2.jar;hive> # 创建hive表CREATE TABLE test_json( id BIGINT, text STRING,)ROW FORMAT SERDE 'org.apache.hadoop.hive.contrib.serde2.JsonSerde'STORED AS TEXTFILE; LOAD DATA LOCAL INPATH "test.json" OVERWRITE INTO TABLE test_json;之后,就可以使用 SELECT等语句进行操作了。 备注:这个SerDe虽然比较老,但经过测试,支持到0.12的版本无压力。
6,hive sql和mysql的关键词用法有什么不同
当然不是,hive支持jdbc和odbc数据源连接,可以连接很多种数据库,mysql、oracle等等等等,它自己的metastore用的就是derbyDB。 具体的连接方法在官网上有说明,使用odbc需要重新编译相关组件。hive通过jdbc连接其他数据库的教程在google上一搜
应该是Hadoop在hbase和Hive中的作用吧。 hbase与hive都是架构在hadoop之上的。都是用hadoop作为底层存储。而hbase是作为分布式数据库,而hive是作为分布式数据仓库。当然hive还是借用hadoop的MapReduce来完成一些hive中的命令的执行。