更新于 5月4日

大数据平台运维 / Hadoop运维(数据迁移方向)

1.7-1.8万
  • 深圳龙岗区
  • 5-10年
  • 本科
  • 全职
  • 招1人

雇员点评标签

  • 工作环境好
  • 同事很nice
  • 人际关系好
  • 团队执行强
  • 氛围活跃
  • 免费班车
  • 管理人性化
  • 准时发工资

职位描述

数据迁移ShellHadoopSparkHDFShivelinux
生态业务,偶尔需要出差,base 武汉或者深圳
一、技术技能
1.大数据技术栈
Hadoop生态系统 : 熟悉HDFS、MapReduce、YARN的基本原理与操作 掌握Hive、Spark等数据处理工具
分布式存储系统 : 了解HBase、MongoDB等NoSQL数据库,熟悉对象存储系统如OBS、OceanStore,数据仓库与ETL工具 : 熟悉DolphinScheduler调度工具。
2.数据迁移工具与技术
DistCp : 熟悉Hadoop DistCp工具的使用,能够编写和优化数据迁移脚本
数据同步工具 : 掌握Apache Sqoop、Flume等数据同步工具
3.API与集成 : 熟悉RESTful API、SOAP等接口技术,用于系统间数据传输 掌握消息队列系统如Kafka、RabbitMQ在数据迁移中的应用
4.编程与脚本
编程语言 : 熟练掌握Java、Python、Scala等大数据常用编程语言
脚本编写 : 熟悉Shell、Python脚本编写,用于自动化迁移任务
版本控制 : 熟悉Git或其他版本控制系统,管理迁移脚本和配置
5.数据库管理
关系型数据库 : 熟悉MySQL、PostgreSQL、Oracle、SQL Server等RDBMS的管理与优化
NoSQL数据库 : 熟悉MongoDB、HANA、Redis等NoSQL数据库的管理与优化
数据迁移策略 : 掌握数据抽取、转换、加载(ETL)流程 熟悉数据清洗、去重、验证等迁移后处理技术
6. 数据质量与验证
数据校验工具 : 熟悉数据校验和测试工具,掌握数据完整性、一致性、准确性的验证方法 熟悉数据质量监控与报告工具
7. 系统与网络
操作系统 : 熟悉Linux/Unix系统管理,掌握Shell命令与脚本
网络基础 : 理解网络协议、带宽管理、网络安全等基础知识 熟悉数据传输中的网络优化技术
二、项目经验
1. 大数据迁移项目
成功案例 : 至少2-3个完整的大数据迁移项目经验,涵盖不同规模和复杂度
迁移类型 : 经历过等多种类型
数据量处理 : 处理过PB级别的数据迁移任务,具备处理大规模数据的能力
2. 问题解决
故障排除 : 具备快速定位和解决迁移过程中出现的各类技术问题
优化经验 : 有迁移过程中性能优化、资源调优的实际经验
三、其他能力
1. 数据安全与合规
安全措施 : 熟悉数据加密、访问控制、身份验证等安全措施
2. 监控与日志管理
监控工具 : 熟悉Prometheus、Grafana、Nagios等监控工具的使用
日志分析 : 掌握ELK Stack(Elasticsearch, Logstash, Kibana)或其他日志管理工具
四、软技能
1. 沟通能力
团队沟通 : 能够清晰地与技术团队和非技术人员沟通迁移计划与进展
文档编写 : 撰写详细的技术文档、迁移报告和用户手册
2. 学习能力
技术更新 : 持续学习新技术和工具,保持对大数据和云计算领域的最新了解
适应变化 : 能够快速适应项目需求变化和技术环境的变化
3. 问题解决与决策
分析能力 : 具备强大的逻辑思维和分析能力,能够独立解决复杂问题
决策能力 : 在关键时刻做出合理的技术和项目管理决策
4. 团队合作
协作精神 : 能够在多学科团队中高效合作,共同完成项目目标
领导能力 : 具备一定的团队领导和管理能力,能够指导和培训初级成员

工作地点

深圳龙岗区金荣达科技工业园

职位发布者

阿舒/高级招聘经理

立即沟通
公司Logo软通动力信息技术(集团)股份有限公司公司标签
软通动力信息技术(集团)股份有限公司(以下简称“软通动力”)是中国数字技术产品和服务创新领导企业,致力于成为一家具有全球影响力的科技企业,企业数字化转型可信赖合作伙伴。公司2005年成立于北京,多年来始终坚持科技创新,具有软硬全栈的智能技术产品和服务能力,提供软件与数字技术服务、计算产品与数字基础设施、数字能源与智算服务以及国际化服务。目前,公司在10余个重要行业服务超过1100家国内外客户,其中超过230家客户为世界500强或中国500强企业,员工近90000人。软通动力拥有软通咨询、软通金科、软通工业互联、机械革命、软通华方等业务子品牌,并在全球40余个城市布局业务,构建北美、日本、东南亚、中东四大国际交付中心,在北京城市副中心、江苏无锡建设两大智能制造基地。同时,公司前瞻布局智能制造、ICT软硬基础能力和生产力智能化产品,打造产业链闭环。软通动力设立30个能力中心,拥有1个国家级工程实验室,6个省市政府认定的工程、技术实验室及研发中心,1个博士后科研工作站,50+技术合作伙伴的生态合作体系,不断探索前沿技术的巨大商业应用潜力。公司旗下教育品牌软通教育,拥有一家全日制本科学院——郑州西亚斯学院数字技术产业学院;同时在全国合作院校600多所,设有70多个校企联合人才培养基地,通过校企合作、协同育人,为社会培养高素质应用型人才。软通动力先后获得“2023年中国IT服务市场排名TOP 1”、“2024年Q4 PC出货量国内市场份额排名TOP 2”、“2024年中国软件和信息技术服务竞争力百强企业”、“2023年中国信创企业100强”、“2024万得ESG评级(Wind ESG Rating)AA级及信息技术服务行业ESG综合得分排名第一”等荣誉及市场认可,并拥有全球软件工程领域最高级别CMMI V2.0成熟度5级评估认证、国家研发运营一体化(DevOps)三级能力成熟度模型认证、信息技术服务标准(ITSS)运维能力成熟度一级认证等专业资质,支撑公司更优质的服务体系。
公司主页