工作技能

• 理解hdfs分布式文件系统存储结构和高可用原理；
• 熟悉Zookeeper分布式服务框架，理解HA高可用集群；
• 掌握hadoop mapreduce计算框架编程，对yarn的资源调度，作业监控有一定认识；
• 熟悉hive数据仓库工具及HQL的书写，能对日志数据进行查询，统计等数据操作；
• 了解hbase数据库的原理；
• 熟悉linux系统，了解常用的linux的shell命令，能在linux系统下搭建开发环境；
• 理解面向对象设计思想，熟练使用Java编程语言；
• 熟悉kafka、flume数据采集工具的使用，实现流式数据的过滤和分析；
• 理解Hbase的存储原理，Hbase存储架构，实现数据的毫秒检索；
• 了解Python、scala语言编程，能运用scala进行spark RDD，spark streaming编程；
• 了解Spark相关组件，了解Storm运行流程；
• 能阅读英文技术文档。具备良好的文档写作能力；