项目总结

威马大数据项目接近尾声。

学到的东西：

• HBase
• 依赖注入
• 命令行参数解析
• 高级 Spark Streaming
• Streaming 封装
• Phoenix
• 配置文件解析
• CDH 集群搭建
• Kafka

不太熟悉的是 mapWithState 这个高级 API。况且它这样的代码还很丑，打算用 Spark Structured Streaming 来重写部分功能。