HIve
-
一文带你搞清楚什么是“数据倾斜”「建议收藏」
一文带你搞清楚什么是“数据倾斜”「建议收藏」原写法:SELECT mid, url, COUNT AS cntFROM subqGROUP BY mid, urlORDER BY cnt
-
再谈hive–job数、mapper数和reducer数「建议收藏」
再谈hive–job数、mapper数和reducer数「建议收藏」我们在集群上提交hive作业时,通过打印的运行日志可以看到hive作业有多少个job、多少个mappper、多少个reducer。job数可以理
-
你知道Hive统计函数count(*)为什么不走MR吗?[通俗易懂]
你知道Hive统计函数count(*)为什么不走MR吗?[通俗易懂]问题Hive执行count(*)不走MR呢?[what]先说结论:如果表数据是insert进表的,count(*)统计时,带where条件执行时
-
Hive千亿级数据倾斜解决方案(好文收藏)[通俗易懂]
Hive千亿级数据倾斜解决方案(好文收藏)[通俗易懂]数据倾斜问题剖析数据倾斜是分布式系统不可避免的问题,任何分布式系统都有几率发生数据倾斜,但有些小伙伴在平时工作中感知不是很明显,这里要注意本篇文
-
HiveSQL中级进阶常用技巧「建议收藏」
HiveSQL中级进阶常用技巧「建议收藏」方式一:通过设置每个 reducer 处理的数量大小,最多 reducer 数量来间接控制 reducer 数据。
-
Hive,Flink,Spark出现数据倾斜了?别慌,原因和解决方法早知道[通俗易懂]
Hive,Flink,Spark出现数据倾斜了?别慌,原因和解决方法早知道[通俗易懂]在计算过程中有些地方数据早早地处理完了,有些地方数据迟迟没有处理完成,造成整个处理流程迟迟没有结束,这就是最直接数据倾斜的表现。
-
京东:Flink SQL 优化实战[通俗易懂]
京东:Flink SQL 优化实战[通俗易懂]在 Flink SQL 任务里会出现以下这种情况:如果相同的 UDF 既出现在 LogicalProject 中,又出现在 Where 条件中,
-
详解HiveSQL执行计划[通俗易懂]
详解HiveSQL执行计划[通俗易懂]一、前言Hive SQL的执行计划描述SQL实际执行的整体轮廓,通过执行计划能了解SQL程序在转换成相应计算引擎的执行逻辑,掌握了执行逻辑也就能
-
架构实践——Hive大数据表的性能调优技巧「建议收藏」
架构实践——Hive大数据表的性能调优技巧「建议收藏」关键要点从 Hadoop 文件系统或 Hive 表读取数据时,从事大数据应用程序的开发人员会遇到挑战。合并作业是一种用于将较小文件合并到较大文件
-
5.HIVE定位调优指导「建议收藏」
5.HIVE定位调优指导「建议收藏」1.1. 日志搜集1.1.1. HiveServer日志获取Hive调优需要看HiveServer的运行日志及GC日志。HiveServer日志
-
我33岁,从国企主管零基础转型大数据开发,年薪涨了20W[通俗易懂]
我33岁,从国企主管零基础转型大数据开发,年薪涨了20W[通俗易懂]2013年本科毕业留在上学的二线城市,到2021年,在一家国企里干了8年,分别干过培训,行政,后勤,从专员干到主管,工资从3K一点点升到9K,日
-
数据仓库中的SQL性能优化「建议收藏」
数据仓库中的SQL性能优化「建议收藏」一个Hive查询生成多个map reduce job,一个map reduce job又有map,reduce,spill,shuffle,so
-
「面试宝典」2022年超全超详细的最新大数据开发面试题,附答案「建议收藏」
「面试宝典」2022年超全超详细的最新大数据开发面试题,附答案「建议收藏」前言:此套面试题来自于各大厂的真实面试题及常问的知识点,如果能理解吃透这些问题,你的大数据能力将会大大提升,进入大厂指日可待。
-
Hive MetaStore 在快手遇到的挑战与优化「建议收藏」
Hive MetaStore 在快手遇到的挑战与优化「建议收藏」分享嘉宾:王磊@快手编辑整理:Frank出品平台:DataFunTalk导读:快手基于Hive构建数据仓库,并把Hive的元数据信息存储在MyS
-
Hive 大数据表性能调优「建议收藏」
Hive 大数据表性能调优「建议收藏」本文要点大数据应用程序开发人员在从 Hadoop 文件系统或 Hive 表读取数据时遇到了挑战。合并作业(一种用于将小文件合并为大文件的技术)有
-
Hive底层原理:explain执行计划详解[通俗易懂]
Hive底层原理:explain执行计划详解[通俗易懂]不懂hive中的explain,说明hive还没入门,学会explain,能够给我们工作中使用hive带来极大的便利!
-
想学大数据?那你得了解Hive文件存储格式[通俗易懂]
想学大数据?那你得了解Hive文件存储格式[通俗易懂]通常情况下,在接触Hive时我们常常着重于HiveQL语句的学习,从而忽视其他Hive相关配置的重要性,本篇文章小编将带大家了解Hive操作数据
-
一起揭开 Hive 编程的神秘面纱「建议收藏」
一起揭开 Hive 编程的神秘面纱「建议收藏」1.
-
大数据分析师工程师入门6-HIVE进阶[通俗易懂]
大数据分析师工程师入门6-HIVE进阶[通俗易懂]数据与智能 本公众号关注大数据与人工智能技术。由一批具备多年实战经验的技术极客参与运营管理,持续输出大数据、数据分析、推荐系统、机器学习、人工智
-
Hadoop集群搭建及Hive的安装与使用
1、集群安装与配置以centos为例,首先创建4台虚拟机,分别命名为hp001、hp002、hp003、hp004。安装成功后,然后分别修改主机