今天终于跑通了 Spark Structured Streaming 的例子。翻阅了很多资料, 还是跑一个 Demo 最让人放心。但是为了跑通这个 Demo 耗费了很多时间来解决问题:
- JSON 数据源
- schema 对象
- 数据格式
第一次跑出来的结果为空, 解决了上面几个问题才可以。看了好几篇优秀的英文文章, 写得非常清晰, 有一种想翻译的冲动, 但是后来找到了掘金翻译好的文章, 应该比我翻译的好多了。不再打算翻译英文文档了, 除了 Perl 6。因为我翻译的时候, 不会把注意力放在文章的逻辑连贯性上, 这样不好, 翻译出来的只是一篇磕磕绊绊的文章。
离重构又近了一步, 哈哈哈哈哈。
明天去加班摸鱼。争取把项目用 Spark Structured Streaming 写一遍。
做一名学习委员真的优秀!