更新于 7月4日

hadoop大数据开发工程师

1.8-3万
  • 北京朝阳区
  • 5-10年
  • 本科
  • 全职
  • 招1人

职位描述

HadoopHIVE、SPARKPythonlinuxLDAP
岗位职责:
1.支持Hadoop集群底座的运维故障分析、解决、性能优化;大数据集相关组件主要包括:Yarn、HDFS、ZooKeeper、Storm、Kafka、Hbase、Hive、Spark、Kerberos、Spark、Flink、Flume、MySQL等组件运维;
2.开展Yarn性能优化,提升集群资源利用率和任务响应速度;队列优化和维护;优化调度器性能;
3.及时关注Apache官方网站、论坛,针对Patch提出升级建议、方案,并组织实施;
4.配合开展HDFS存储、Hive元数据治理优化,建立并完善存储治理方案;
5.配合开展Hive、Spark作业优化,对业务侧提出优化建议。如:作业小文件问题、数据倾斜治理方案等;
6.提出集群优化建设方案,参与建设和优化大规模分布式集群的自动化运维、监控等工具和管理平台。
任职要求:
1.本科及以上学历,通信/计算机等相关专业,具有良好的学习能力、沟通能力、团队合作能力及一定的抗压能力;
2.熟悉Hadoop、Hive、Hbase、Spark等开源项目,理解组件架构及原理;
3.对大数据运维开发有浓厚兴趣,熟悉Apache Hadoop部署、性能调优;
4.能阅读/理解Hadoop等相关开源组件源码;
5.对HQL、SparkSQL等有较深入的研究,能解决实际业务性能问题;
6.熟练掌握LDAP、Kerberos等安全认证体系;
7.熟练掌握Linux命令与工具进行问题定位,熟悉常规的互联网技术架构;
8.具备一定的Java开发能力;
9.擅长Linux Shell、Python脚本编写,有DevOPS/自动化运维经验工作者优先考虑。

工作地点

北京朝阳区华腾世纪总部公园-A座5层

职位发布者

王志朋/人事经理

立即沟通
公司Logo龙湖集团公司标签
龙湖集团1993年创建于重庆,发展于全国。2009年,龙湖集团控股有限公司(股份代码:00960)于香港联交所主板上市,2021年被纳入恒生指数成份股,连续15年位列《福布斯》全球企业2000强,多年入选《财富》世界500强。龙湖集团构建高质量发展模式,聚焦开发、运营、服务三大板块,发挥地产开发、商业投资、资产管理、物业管理、智慧营造五大航道协同效应,实现一二线高能级城市的全面布局。与此同时,龙湖持续提升各航道行活能力,实现经营性现金流为正的内生式增长,并不断优化提升资产质量,实现企业的可持续发展。更多信息可以前往龙湖官网查询:https://www.longfor.com
公司主页