更新于 9月20日

数据架构师(高级开发工程师)

2.5-3万
  • 上海黄浦区
  • 董家渡
  • 5-10年
  • 本科
  • 全职
  • 招1人

职位描述

JavaGCPKafka大数据AIHadoopETL 数据仓库SPARK 机器学习
职位描述
作为数据架构师,您将负责设计和优化企业级数据架构,确保数据的高效存储、处理和分析,支持业务决策和数字化转型。您需要与数据工程师、分析师、业务团队紧密合作,构建可扩展、安全且高性能的数据生态系统。
主要职责
1. 数据架构设计与规划
• 设计企业级数据架构,包括数据仓库、数据湖、实时数据流等解决方案。
• 制定数据建模、存储、集成和治理的标准与规范。
• 确保架构支持业务需求,如数据分析、机器学习、BI可视化等。
2. 数据治理与标准化
• 建立数据质量管理框架,定义数据生命周期管理策略。
• 推动元数据管理、数据血缘追踪和数据安全策略(如权限控制、脱敏)。
3. 技术选型与实施
• 评估并引入大数据技术栈(如Hadoop、Spark、Flink、Kafka等)及云平台(AWS、Azure、GCP)。
• 优化ETL/ELT流程,设计高性能数据管道。
4. 跨部门协作
• 与业务团队沟通,将需求转化为技术方案。
• 指导数据工程师和开发团队实现架构目标,确保技术落地。
5. 性能优化与创新
• 监控数据系统性能,解决瓶颈问题,提升处理效率。
• 探索新技术趋势(如AI驱动的数据分析、实时处理、湖仓一体等)。
任职资格
必需条件:
l 本科及以上学历,计算机、数学、统计学等相关专业,3年以上大数据平台开发经验;
l 熟悉大数据生态技术栈(Hadoop/Spark/Flink/Hive/Kafka 等),具备分布式系统开发经验;
l 熟练使用JAVA/Python/Scala至少一门语言,熟悉SQL优化及数据仓库建模方法论;
l 熟悉云原生数据平台架构(AWS/Azure/阿里云等),有数据湖、实时数仓项目经验优先;
l 具备良好的逻辑思维,沟通能力和技术文档撰写能力;
l 熟悉数据治理体系(如DataOps, 数据血缘追踪,数据质量监控);
l 熟悉容器化技术(Docker/K8s)及自动化运维工具。
加分项:
• 拥有云平台认证(AWS/Azure/GCP数据专家)。
• 熟悉数据隐私法规(如GDPR、CCPA)。
• 有金融、电商、物联网等领域的行业经验。

工作地点

上海黄浦区绿地外滩中心T3

入职公司信息

  • 入职公司: 上海外服信息技术有限公司
  • 公司地址: 上海黄浦区上海市黄浦区会馆街55号绿地外滩中心T3
  • 公司人数: 100-299人

认证资质

  • 人力资源服务许可认证

    人力资源服务许可证是由国家人力资源与社会保障相关部门颁发,代表人才经纪人所在企业可以合法开展人力资源相关业务的资质证件。展示该标签代表该企业发布此职位时已上传《人力资源服务许可证》或《人力资源服务备案证书》并经由平台审验通过。

职位发布者

HR/招聘专员

刚刚活跃
立即沟通
公司Logo上海东浩人力资源有限公司
上海东浩人力资源有限公司隶属于上海外服(集团)有限公司,在长三角、大湾区、京津冀、中西部建立大区招聘中心,不断推动外服全国招聘能力高质量发展。同时结合外服集团逾38年的行业及细分领域深耕,为客户提供具备地域、产业特征的行业人才招聘及用工服务方案。位于中国武汉的全国人才寻访中心,通过AI顾问与人工顾问以”技术赋能+专业服务”的模式,执行全国大批量项目,为外服各招聘团队提供高效专业的支持。
公司主页