大数据开发工程师

  • 南京
  • 五年以上
  • 本科及以上
  • 16k-22k
  • 3人
  • 2021-0-08更新

岗位职责

  • 1、负责大数据离线/实时处理流程等功能的开发和维护。
    2、基于业务需求和应用场景,设计和实现公司大数据相关数据;
    3、负责设计、开发、优化数据接入、数据存储、数据计算服务框架;
    4、负责大数据平台开发,测试和调优等,包括大数据文件系统、并行计算性能调优等。
    5、参与和负责数据库仓库的搭建和开发等。
    6、协作完成大数据产品相关的其他工作;

任职要求

  • 1、本科及以上学历,3-5年相关工作经验;
    2、熟悉大数据领域常用的相关组件,如haddop、Spark、Hbase、Flink、Hive、storm、MapReduce等,对其中一种或多种原理有深刻理解;
    3、熟悉相关数据挖掘、机器学习等相关算法/平台的使用;
    4、熟悉HSQL,有丰富的HIVE sql调优经验;
    5、熟练java编程,有BI系统项目开发并且了解商业BI解决方案经验者优先;
    6、熟悉数据仓库建模、ETL设计开发,有实际互联网数据仓库建设经验优先;有数据质量与数据治理相关经验的优先