文档建议反馈控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

Spark为什么只有在调用action时才会触发任务执行呢（附算子优化和使用示例）？

但初学Spark的人往往都会有这样的疑惑，为什么Spark任务只有在调用action算子的时候，才会真正执行呢？咱们来假设一种情况：假如Spark中transformation直接触发Spark任务！...导致map执行完了要立即输出，数据也必然要落地（内存和磁盘） 2. map任务的生成、调度、执行，以及彼此之间的rpc通信等等，当牵扯到大量任务、大数据量时，会很影响性能 看到这两点是不是很容易联想到...所以Spark采用只有调用action算子时才会真正执行任务，这是相对于MapReduce的优化点之一。...但是每个Spark RDD中连续调用多个map类算子，Spark任务是对数据在一次循环遍历中完成还是每个map算子都进行一次循环遍历呢？ 答案很确定：不需要对每个map算子都进行循环遍历。...，而原RDD中的元素经flatmap处理后可生成多个元素来构建新RDD。

1.7K30

Spark为什么只有在调用action时才会触发任务执行呢（附算子优化和使用示例）？

微信图片_20200709201425.jpg但初学Spark的人往往都会有这样的疑惑，为什么Spark任务只有在调用action算子的时候，才会真正执行呢？...导致map执行完了要立即输出，数据也必然要落地（内存和磁盘） 2. map任务的生成、调度、执行，以及彼此之间的rpc通信等等，当牵扯到大量任务、大数据量时，会很影响性能 看到这两点是不是很容易联想到...所以Spark采用只有调用action算子时才会真正执行任务，这是相对于MapReduce的优化点之一。...但是每个Spark RDD中连续调用多个map类算子，Spark任务是对数据在一次循环遍历中完成还是每个map算子都进行一次循环遍历呢？ 答案很确定：不需要对每个map算子都进行循环遍历。...，而原RDD中的元素经flatmap处理后可生成多个元素来构建新RDD。

2.4K00
    • 您找到你想要的搜索结果了吗？
    是的
    没有找到

    ProGuard 在 Android 上的使用姿势

    xitu/gold-m… 译者：dieyidezui 校对者：corresponding 为什么使用 ProGuard ProGuard 是一个压缩、优化、混淆代码的工具。...当一些类和方法会被动态访问到时（如使用反射），在某些情况下，ProGuard 在构建调用图时不能正确的决定他们的「生死」，导致这些代码被错误的移除掉。...当您只从 XML 资源引用您的代码会时（通常使用底层的反射），这个情况也会发生。 在一次 Android 典型的构建过程中，AAPT（处理资源的工具）会生成一个额外的 ProGuard 规则文件。...重要的是去理解为什么您会收到这些警告以及您在构建时是否真的缺少这些类。 现在您可能会尝试使用 -ignorewarnings 选项直接忽略所有的警告，但这通常不是个好注意。...ProGuard 和 混淆后的堆栈 我之前提及到，在构建过程中 ProGuard 会在处理类文件时输出映射关系和日志文件。当您需要保留构建产物时，您应当保存好这些文件和 APK 在一起。

    2.6K40

    Android 代码混淆规则

    ProGuard是一个免费的Java类文件收缩，优化，混淆和预校验器。它可以检测并删除未使用的类，字段，方法和属性。它可以优化字节码，并删除未使用的指令。...它可以将类、字段和方法使用短无意义的名称进行重命名。最后，预校验的Java6或针对Java MicroEdition的所述处理后的码。...条件是所指定的类成员都存在（既在压缩阶段没有被删除的成员，效果和keep差不多） -keepnames class_specification:指定要保留名称的类和类成员，前提是在压缩阶段未被删除，仅用于模糊处理...allowshrinking class_specification 的简写] -keepclassmembernames class_specification：指定要保留名称的类成员，前提是在压缩阶段未被删除，仅用于模糊处理...class_specification 的简写] -keepclasseswithmembernames class_specification：指定要保留名称的类成员，前提是在压缩阶段后所指定的类成员都存在，仅用于模糊处理

    2.6K10

    AndroidJava 混淆中使用-assumenosideeffects删除日志代码遇到的问题

    典型例子就是打包时删掉日志输出。...为什么这样做？因为如果有个傻子图方便直接在log参数里面调用了有边界效应的方法（也就是流程中必不可缺的方法），那你删掉就要出事了。...所以问题就在于：使用了通配符“public *”之后，proguard把LogUtil之外的方法删了，例如我的EsLock.java中的wait()的调用。...所以当你使用了统配符的时候，这两个方法也是会被影响的。 那么问题来了，为什么不是LogUtil.wait()这样的调用才会被删除，而是EsLock.wait()的方法也会被删除？...我猜测proguard采用的是一种展开的方式去处理的，当你配置了LogUtil的所有方法时，他会同时产生一个Object的所有方法的配置。这样处理起来会高效很多。

    4.3K10

    C#使用Xamarin开发可移植移动应用进阶篇(8.打包生成安卓APK并精简大小),附源码

    正文 我记得,之前在写安卓方面的文章的时候,有人就问过我.Xamarin.Android为什么打包出来这么大?随便一个HelloWord就20-30MB? 嗯..今天我们就来解决这个问题.....ProGuard是一个Android SDK工具，用于链接和模糊Java代码。...一般,在小型Xamarin.Android应用程序上使用ProGuard通常可以减少大约24％的大小 如果,在具有多个库依赖性的较大应用程序上使用ProGuard通常可以实现更大的尺寸缩小。...生成过程是首先使用Xamarin.Android链接器来优化应用程序中的托管（C＃）代码，然后使用ProGuard（如果启用）在Java字节码级别优化APK。...当启用ProGuard的检查，Xamarin.Android上运行所产生的APK ProGuard的工具。ProGuard配置文件在构建时由ProGuard生成和使用。

    3K80

    Duang~ Android堆栈慘遭毁容？精神哥揭露毁容真相！

    但被Proguard还原过的堆栈，应该有“方法返回类型”及“方法参数”。 那么这里有两个问题： 为什么堆栈会是Unknown Source？是Bugly崩溃克星没有上报吗？...下面是使用不同编译方法时保存源文件名及行号的解决方法示例。 命令行javac编译的解决方法 javac -g:{lines,source} XXX.java 使用Ant编译的解决方法 ?...使用Eclipse编译的解决方法 ?...保证二：Proguard混淆中保留原文件名及行号 【TODO】Proguard中keep住源文件及行号 -keepattributes SourceFile,LineNumberTable 为什么com.xx.a.a...精神哥总结 Proguard作为非常优秀的工具，让我们安装包体积变小了，代码混淆更安全了，代码裁剪优化速度更快了，但确实也埋下了一些坑，增加了我们定位崩溃时的成本。

    1.4K50

    Android插件化、热补丁中绕不开的ProGuard的坑

    背景 在我们实施插件化、热补丁修复时，为了让插件、补丁和原来的宿主兼容，必须依赖ProGuard的applymapping功能的进行增量混淆，但在使用ProGuard的applymapping时会遇到部分方法混淆错乱的问题...为了解决这个问题，我们决定探究一下ProGuard源码来看下为什么会出现这个问题，如何修复这个问题？ 从源码中寻找答案 先看一下ProGuard怎么表示一个方法： ?...使用-applymapping参数时的过程可简略的分为mapping复用、名称混淆、混淆后名称冲突处理三部分。...流程简化后如下图（左右两个大虚线框代表了对单个类的两次处理，分别是名称混淆和冲突处理）： ? 只有使用-applymapping参数时MappingKeeper才会执行，否则跳过该步骤。...内联 在代码优化过程中，对某一些方法进行内联（将被内联的方法体内容Copy到调用方调用被内联方法处，是一个代码展开的过程），修改了调用方的代码结构，所以被内联的方法Copy到调用方时需要考虑带来的副作用

    1.6K60

    Proguard 常用规则

    例如，在处理由JDK 1.2或更早版本编译的库时，您可能希望保留合成类$方法的名称。 所以当处理使用处理过的库的应用程序时，混淆器可以再次检测到它（尽管ProGuard本身不需要这个）。...如果添加了包含实现两个接口的类的补丁程序，则ProGuard必须在增量混淆步骤中为这两种方法强制执行相同的方法名称。 原始模糊代码已更改，以保持结果代码的一致性。...没有参数或者使用空字符串（’’），该软件包将被完全删除。 该选项将覆盖 -flattenpackagehierarchy 选项。 这是进一步模糊软件包名称的另一个例子。...它可以使处理后的代码更小，更难理解。 其不推荐使用的名称是-defaultpackage。 只有在混淆时才适用。 警告：如果在别处移动它们，则在其包目录中查找资源文件的类将不再正常工作。...处理库时它可能很有用。 一些IDE可以使用这些信息来帮助使用该库的开发人员， 例如工具提示或自动完成。 只有在混淆时才适用。

    1.8K20

    Android插件化基础3----Android的编译打包流程详解

    ()，处理的内容包括资源文件名的合法性检查，向资源表table添加条目等，处理完后调用compileResourceFile()函数编译res与asserts目录下的资源并生成resource.arsc...3、打包流程中最后一步，为什么要对齐？ 对齐是为了加快资源的访问速度。...proguardgui.jar：是Proguard提供的一个图形界面工具，通过proguardgui.jar可以方便的查看和编辑Proguard配置，以及调用proguard.jar来执行一次优化过程。...retrace.jar主要是在debug时使用。...，可以作为模板使用，具体如下： # 代码混淆压缩比，在0和7之间，默认为5，一般不需要改 -optimizationpasses 5 # 混淆时不使用大小写混合，混淆后的类名为小写 -dontusemixedcaseclassnames

    2.1K22

    读懂 Android 中的代码混淆

    keep使用,可以参考官方文档 -dontwarn dontwarn是一个和keep可以说是形影不离,尤其是处理引入的library时....引入的library可能存在一些无法找到的引用和其他问题,在build时可能会发出警告,如果我们不进行处理,通常会导致build中止.因此为了保证build继续,我们需要使用dontwarn处理这些我们无法解决的...为什么没有问题呢,因为默认的Proguard配置已经处理了枚举相关的keep操作. 1 2 3 4 5 # For enumeration classes, see http://proguard.sourceforge.net...方法调用Class.getEnumConstantsShared获取当前的枚举类型 Class.getEnumConstantsShared方法使用反射调用values来获取枚举类型的集合..../tools/proguard/bin/retrace.sh mapping映射表 Proguard进行混淆之后,会生成一个映射表,文件名为mapping.txt,我们可以使用find工具在Project

    1.6K20

    Android热更新方案Robust开源，新增自动化补丁工具

    在补丁的制作过程中大量的使用反射来调用出现bug类中的方法和字段，还可以在补丁类新增方法或者类，以期达到修复线上问题的目的。...为什么反射方法的方法名不是multiple？这里是反射混淆后的代码，自动化补丁支持ProGuard混淆，下文有进一步的描述。 originClass是出现bug class的对象。...，上文的样例中就是对ProGuard之后的代码进行反射（注意看反射字段和方法时的方法名和字段名）。...如果fun函数在代码version1时满足内联条件则编译时会做内联处理但是在生成补丁的version2代码时却不符合内联规则了，那么这次fun函数的处理就不能保证处理一致了。 2....补丁自动化的过程中使用注解来标注需要补丁的方法，所以当Java编译器针对泛型移动代码时，注解也会被移动，直接导致补丁上线后无法修复问题。

    1.8K50

    MUI、HBuilderX、H5+开发APP本地打包(Android)

    同款iOS的在这里： MUI、HBuilderX、H5+开发APP本地打包(iOS) 为什么本地打包 使用HBuilderX开发完项目后打包-发布， 通常情况下直接选择【app云打包】直接在线打包然后下载安装包...修改图标.png 6、修改配置文件 AndroidManifest.xml, build.gradle, 这一步至关重要，稍有不慎APP或无法运行或 闪退、或相关功能不起作用、无法获取相关权限。...'), 'proguard-rules.pro' } } lintOptions { disable 'GoogleAppIndexingWarning'...1、访问相册时没有返回按钮及导航栏相关，默认HB选择图片的样式很不友好。 解决： libs引入如下文件 ?...使用系统功能时如果不起作用，考虑是否需要申请用户权限 Android Studio 打包时注意gradle版本问题，由于网络问题可能会出现编译失败等问题，直接下载到本地使用更加方便。

    4K20

    【Android Gradle 插件】ProductFlavor 配置 ( consumerProguardFiles 配置 | dimension 配置 )

    com.android.build.gradle.internal.dsl.ProductFlavor.html 1、consumerProguardFiles 配置 consumerProguardFiles 配置 : 设置 发布的 AAR 依赖库 对应的混淆文件 ; 发布的AAR中包含的ProGuard...然后，使用AAR的任何应用程序项目都将使用这些proguard规则文件（如果启用了proguard）。 这允许AAR指定收缩或模糊排除规则。 这仅对库项目有效。这在应用程序项目中被忽略。...build.gradle 下的 android#defaultConfig 配置 , 此外还可以自定义配置 ProductFlavor ; 在 build.gradle 中 , 自定义 ProductFlavor 时..., 在 android 下使用 productFlavor 闭包配置 , 与 defaultConfig 平级 ; android{ defaultConfig{ } productFlavor{

    1.6K10

    【Android Gradle 插件】BuildType 编译类型配置 ② ( consumerProguardFiles 配置 | debuggable 配置 | embedMicroApp配置 )

    android-gradle-dsl/2.3/com.android.build.gradle.internal.dsl.JackOptions.html AnnotationProcessorOptions ( 注解处理器配置...然后，使用AAR的任何应用程序项目都将使用这些proguard规则文件（如果启用了proguard）。 这允许AAR指定收缩或模糊排除规则。 这仅对库项目有效。这在应用程序项目中被忽略。...These proguard rule files will then be used by any application project that consumes the AAR (if ProGuard...使用示例 : android { compileSdkVersion 30 buildToolsVersion "30.0.3" defaultConfig {..., 普通的手机应用不用处理该配置 ; 是否应使用此构建类型将链接的Android Wear应用嵌入变体中。

    1.6K20

    android混淆那些坑

    混淆(Obfuscate):使用a、b、c、d这样简短而无意义的名称，对类、字段和方法进行重命名。 预检(Preveirfy): 在java平台上对处理后的代码进行预检。...->Output >jars、Library jars Proguard使用library jars来辅助对input jars类之间的依赖关系进行解析， library jars自身不会被处理，也不会被包含到...Entry Point是在ProGuard过程中不会被处理的类或方法。再压缩的步骤中，ProGuard或从上述的EntryPoint开始递归遍历，搜索那些类和类成员在使用。...proguardgui.jar是Proguard提供的一个图形界面工具，通过proguardgui.jar可以方便的查看和编辑Proguard配置，以及调用proguard.jar来执行一次优化过程。...retrace.jar主要在debug时使用。

    3.3K60

    Android微信之简单文本分享(集成官方SDK-Android Studio)

    目前官方还没有Android Studio整合说明 一.前期准备 1.帐号申请 https://open.weixin.qq.com/ 首先登录微信开放平台，注册一个帐号 2.提交APP审核 为什么必须提交...WXMediaMessage对象 WXMediaMessage msg = new WXMediaMessage(); msg.mediaObject = textObj; // 发送文本类型的消息时，...title字段不起作用 // msg.title = "Will be ignored"; msg.description = "微信文本分享测试"; // 构造一个Req...WXSceneTimeline // 添加到微信收藏 —— WXSceneFavorite req.scene = SendMessageToWX.Req.WXSceneTimeline; // 调用...注意 如果需要混淆代码，为了保证sdk的正常使用，需要在proguard.cfg加上下面两行配置： -keep class com.tencent.mm.sdk.** { *; } 问题汇总1：

    1.9K20
    点击加载更多

    扫码

    添加站长 进交流群

    领取专属 10元无门槛券

    手把手带您无忧上云

    扫码加入开发者社群

    相关资讯

    热门标签

    更多标签

    活动推荐

      运营活动

      活动名称
      广告关闭

      腾讯云开发者

      扫码关注腾讯云开发者

      扫码关注腾讯云开发者

      领取腾讯云代金券

      热门产品

      热门推荐

      更多推荐

      Copyright © 2013 - 2025 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有

      深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 深公网安备号 44030502008569

      腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号 | 京公网安备号11010802020287

      领券