rootzeal
V2EX  ›  Spark

spark 源码研究

  •  
  •   rootzeal · Jan 28, 2019 via Android · 5028 views
    This topic created in 2695 days ago, the information mentioned may be changed or developed.
    我建了个公众号专门研究 spark 源码的 欢迎大家关注 大家可以试读一下 https://mp.weixin.qq.com/s/rjrpRZWj2pyscPHOMF1QCQ
    3 replies    2019-01-28 20:25:12 +08:00
    F281M6Dh8DXpD1g2
        1
    F281M6Dh8DXpD1g2  
       Jan 28, 2019 via iPhone
    只讨论 query rewrite 就够写半本书了
    光 predicate pushdown 什么时候能推什么时候不能推,推了之后会不会适用别的优化就够喝一壶了
    还有 wholestage codegen 和
    F281M6Dh8DXpD1g2
        2
    F281M6Dh8DXpD1g2  
       Jan 28, 2019 via iPhone
    @liprais 按错了,接楼上
    wholestage codegen 和 vector execution 也可以顺带的讲一下的
    标题过于真实,建议改成了解 spark sql
    rootzeal
        3
    rootzeal  
    OP
       Jan 28, 2019 via Android
    @liprais 有道理 慢慢来 一步步深入 标题是夸张了点
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   5482 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 29ms · UTC 07:46 · PVG 15:46 · LAX 00:46 · JFK 03:46
    ♥ Do have faith in what you're doing.