大数据工程师

工作地点:上海 所属部门:技术部 更新日期:2019年11月27日

职位描述

1. 参与和负责大数据基础设施和平台的搭建、开发以及维护工作;

2. 完成数据处理Pipeline的设计、实现、优化与测试;

3. 处理海量日志;

4. 与公司其他团队紧密配合,提供数据需求的解决方案;

5. 通过敏捷开发高质、高效地完成任务。

职位要求

1. 计算机、数学或统计学相关专业本科以上学历;

2. 两年以上数据仓库经验,有整体ETL开发经验,理解元数据管理;

3. 熟悉至少一种主流数据库(MySQL、PostgresSQL优先),精通SQL语言;

4. 熟悉Hadoop / Hive / Spark;

5. 熟练掌握Python或Scala编程语言;

6. 熟悉Linux系统,掌握shell脚本、sed、awk,正则表达式;

7. 对计算机编程,学习新技术,攻克技术难点有热情;

8. 学习能力强,能独立解决问题,善于学习总结;

9. 良好的团队合作精神和沟通协调能力。

加分项

1. 有大型数据仓库项目实施经验者优先;

2. 有Pentaho、Kettle、Informatica等工具使用经验者优先;

3. 有Redshift、Hadoop、Hive,Spark等大数据数据处理经验者优先。

应聘方法

有意者发送简历到recruit@alo7.com邮箱。