数据工程师_上汽依维柯红岩招聘_汽车直聘

1. 负责项目中数据清洗、数据处理、数据校验相关开发工作;

2. 负责数据中心建模、数据预处理、数据导入等系统的设计和开发;

3. 负责ETL流程的优化及解决ETL相关技术问题。

4. 负责现有大数据平台性能优化。

5. 负责ETL相关部署优化文档编写，并完成数据相关的工作和任务。

1. 从事数据ETL相关工作经验3年以上,了解IBM-CDC或OGG相关技术原理;

2. 熟悉SQL语句及数据库常用内部函数功能及用法;

3. 熟悉常用关系型数据库(DB2, Oracle, MySQL等)的基本操作及集成;

4. 熟悉Linux或者Unix，熟练使用Shell，有Java开发经验;

5. 有过基于InfoSphere CDC，DataStage，OGG等ETL产品进行项目实施的经验;

6. 有过基于FineBI或SmartBI等相关产品进行BI项目实施经验的优先考虑;

7. 具备Hadoop、Hive、HBase，Spark，Kylin等大数据技术背景,熟悉Scala，Python，R语言之一优先;

8. 良好的团队协作、沟通能力、学习能力，工作踏实、积极主动、认真负责。