V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
txc106
V2EX  ›  Spark

spark 大数据离线分析 爬虫存到 csv 有的列是长度不固定的 list 请问应该怎么存到 hive?直接存 list 吗?该怎么分析呢?

  •  
  •   txc106 · 2021-04-08 21:50:59 +08:00 · 1067 次点击
    这是一个创建于 1323 天前的主题,其中的信息可能已经有所发展或是发生改变。

    完全没有头绪 另目前自己定的流程是爬虫-》 hdfs-》通过 scala 预处理后存 hive-》 scala 分析-》 mysql-》可视化 请问这个流程有什么问题吗? 看其他项目处理的数据都没有 list 我是因为那列有的是空有的有三四个数据 然后就直接存的 list 该怎么处理呢?我也没能查到其他人有类似的处理流程。。。

    1 条回复    2024-07-15 15:51:34 +08:00
    wzwmeme
        1
    wzwmeme  
       129 天前
    直接存 list 呀,用的时候炸开
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2501 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 21ms · UTC 15:48 · PVG 23:48 · LAX 07:48 · JFK 10:48
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.