首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    触宝科技基于Apache Hudi的流批一体架构实践

    •相比Flink纯内存的计算模型,在延迟不敏感的场景Spark更友好 这里举一个例子,比如批流一体引擎SS与Flink分别创建Kafka table并写入到ClickHouse,语法分别如下 Spark...使用master最新代码0.9.0-SNAPSHOT之后任务可以按照预期运行,运行的Flink SQL如下 CREATE TABLE ed ( `value` VARCHAR, ts as get_json_object.../Hive语义基本一致的get_json_object以及json_tuple UDF,这些都是在批流一体引擎做的功能增强的一小部分。...稍作适配SS版本的任务也在一天之内上线了,任务SQL如下 CREATE STREAM ed ( value STRING, ts as get_json_object(value,'$.ts...'), event_ts as to_timestamp(get_json_object(value,'$.ts'))) WITH ('connector' = 'kafka','topic' =

    1.1K21

    json_tuple一定比 get_json_object更高效吗?

    要理性的比较json_tuple和get_json_object的效率,最近有朋友问我:hive中取多个key时,为什么用了json_tuple,效率反而比get_json_object慢了一些?...上面是搜索网上的结论的截图,基本都会认为json_tuple比get_json_object高效,理由是:取多个key值时,json_tuple只解析一次,而get_json_object需要解析多次。...从代码中可以看到,get_json_object函数会缓存jsonObject,也就是说json字符串转化为jsonObject的过程只有一次。并不是解析多次。...2、执行计划层面(get_json_object更简洁,json_tuple更繁重) 从下图中可以看到,get_json_object的执行计划,只有一个selectOperator ,非常简单 ?...以上,我们在实际用的时候,不要盲从,用get_json_object也是没关系的,况且正常情况下,一次也不会取成千上万个key值...

    2.8K20

    flink sql 知其所以然(十八):在 flink 中还能使用 hive udf?附源码

    udf:flink sql 提供了扩展 udf 的能力,即 module,并且 flink sql 也内置了 HiveModule(需要你主动加载进环境),来支持一些 hive 内置的 udf (比如 get_json_object...实时数据使用 flink 产出,离线数据使用 hive\spark 产出。 那么回到我们文章标题的问题:为什么需要 flink 支持 hive udf 呢?...flink 扩展支持 hive 内置 udf flink 扩展支持用户自定义 hive udf 第一部分:flink 扩展支持 hive 内置 udf,比如 get_json_object,rlike...).forEach(System.out::println); 就会将 default 和 core module 中的所有包含的 udf 给列举出来,当然也就包含了 hive module 中的 get_json_object...get_json_object 然后我们再去在 flink sql 中使用 get_json_object 这个 udf,就没有报错,能正常输出结果了。

    1.4K20
    领券