🐴

🐴

🐴

spark 官方不太打算接入原生支持 kotlin，具体可以看 issue： https://issues.apache.org/jira/browse/SPARK-32530

不过你可以用 kotlin 调 java 的 API，我之前封装过一版可以参考下：bitlap/kspark

🐴

不允许 join 的话，只能 xxxname 做 like 处理，查出对应的 id 。然后回主表用 xxxid in (刚刚查出的 id)，注意控制好数量。

奇怪的词语又增加了。。

吓到不敢说话

@franc3567 硬核

谁用谁知道，爽的飞起。。

@ty1999 应该是系统少装了啥命令行工具，直接贴错误堆栈。

1. 数据接收模块：多节点，可以自己写个 web 程序，简单处理下数据和规范格式，然后将数据以日志的方式落地。
2. 日志收集模块：简单点可以用 flume 收集日志，然后发到 kafka
3. kafka 消费模块：用 sparkstreaming，flink 之类的处理框架，将数据落到 hive 中（ hdfs ）
4. 离线处理：然后起离线任务去处理，可以用 spark，hive 之类的。后面就是数仓干的一些活，每天定时任务可以用 airflow 之类的进行调度。
5. 数据展示模块：将每天调度出来的统计数据，通过 spark 或者 sqoop 之类的导出的关系型数据库，或者干脆直接上 olap 框架。最后对接一些 bi 系统，比如 metabase，superset 等。

总之里面技术比较杂乱，还得考虑每个技术版本的兼容性问题。整个环境搭建起来也挺费事的，当然也有整体的解决方案比如 cdh，hdp 之类的。

相关课程的话，B 站应该有培训的视频，涉及面挺广的，不过学习周期就特别长了。。最好还是有个经验的人带着搞，不然到处都是坑😂

看着不错，赞一个。

🐴