数据工程师

岗位职责：
设计、开发和维护企业级数据基础设施,包括数据仓库、数据湖和实时数据处理平台,确保高效和稳定的数据处理、存储和检索功能。

负责数据的收集、清洗、转换和加载（ETL）工作,将原始数据转换为结构化和半结构化格式,以便于分析和报告。

使用先进的数据处理技术,包括流数据处理和批处理,以及数据编程语言（如Python, Scala）来清洗、验证和丰富数据。

实施和维护数据治理实践,包括数据质量管理、合规性监控和数据安全策略,确保数据的准确性和可靠性。

在云环境中构建和优化大数据处理流程,包括与云服务（如AWS, Azure, Google Cloud）的数据仓库和数据库解决方案的集成。

配合业务分析师和数据科学家,提供数据集、支持数据探索和分析工作,确保数据准备和处理流程满足业务需求。

监控和优化数据处理性能,包括查询优化、资源管理和故障排除。

职位要求：
至少5年作为数据工程师或数据管理员的专业工作经验。具有在大型企业环境中处理复杂数据系统的经验,包括数据的收集、存储、处理和分析。

拥有计算机科学、信息技术、数据科学或相关领域的高等教育学位。优先考虑具有相关领域硕士学位或博士学位的候选人。

熟练掌握SQL和高级数据查询技能,能够设计和优化复杂的数据查询和数据处理任务。

对云数据基础设施的深入了解,包括但不限于云数据库（如Amazon Redshift, Google BigQuery, Azure SQL Database）和数据仓库解决方案（如Snowflake, Apache Hadoop）。

具有在数据湖（如AWS S3, Azure Data Lake Storage）和数据仓库环境中构建和管理数据的经验,包括设置数据湖架构、数据治理和元数据管理。

熟悉各种数据清洗、转换和整合工具（如Apache Spark, Apache NiFi, Talend）和数据质量管理实践。

对数据模型设计和数据仓库架构有深入理解,包括维度建模、事实表和维表的构建以及数据仓库的性能调优。

理解和应用数据治理和合规性要求,包括数据安全、隐私保护法规（如GDPR, CCPA）及其在数据处理中的应用。

具备优秀的分析和问题解决能力,能够处理复杂的数据问题,并提出创新的解决方案。

强大的沟通技巧和团队合作能力,能够与技术团队和业务团队有效沟通,理解业务需求并将其转化为数据解决方案。