岗位职责:
- 负责大数据相关技术栈的部署与开发,包括 Kafka 、HDFS 、HBase 、Hive 、Spark/Flink 等。
- 搭建并优化分布式数据存储与计算框架,设计高效的数据清洗与处理流程。
- 实现实时数据流处理,支持时序特征计算及存储。
- 持续优化数据处理性能,确保系统的高吞吐和低延迟。
任职要求:
- 熟悉 Kafka 集群部署与调优,能够设计高可用消息队列架构。
- 精通 HDFS 、Hive 、HBase 等分布式存储技术,具备数据分层存储设计经验。
- 掌握 Spark 或 Flink ,能够独立完成离线批处理和实时流处理任务。
- 熟悉 Linux 环境,具备 Shell 脚本开发能力。
- 有分布式系统的开发与优化经验,了解数据备份与容灾策略。
加分项:
- 有电力或物联网行业相关经验。
- 熟悉 scala/go 开发语言。
- 了解 Kafka Connect 或 Flink SQL 。
公司地点在广州科学城,但是前期要派驻南方电网驻场办公。项目完成后,回公司工作,所以并非长期外包。
待遇是 25k x 14 ,周末双休,五险一金。
欢迎联系我们,简历请投送至: [email protected]