AppEngine“任务大小太大”
AppEngine是谷歌云计算平台提供的一项托管服务，用于构建和扩展应用程序。它支持多种编程语言，包括Java、Python、Go和Node.js，并提供了丰富的开发工具和服务。
关于"任务大小太大"的问题，这通常指的是在使用AppEngine时，应用程序尝试处理过大的任务或请求。AppEngine对于每个请求和任务都有一些限制，以确保平台的稳定性和性能。如果任务大小超过了这些限制，就会出现该错误。
为了解决这个问题，可以考虑以下几点：
- 任务拆分：将大型任务拆分成更小的子任务，以便能够在AppEngine的限制范围内处理。这样可以提高应用程序的可扩展性和性能。
- 异步处理：将任务转换为异步处理模式，使用AppEngine提供的任务队列服务，如Cloud Tasks。这样可以将任务放入队列中，由后台工作人员逐个处理，而不会阻塞主线程。
- 数据分片：如果任务涉及大量数据处理，可以考虑将数据分片存储在分布式数据库中，如Google Cloud Datastore或Google Cloud Bigtable。这样可以实现数据的并行处理，提高任务的处理速度。
- 资源优化：检查应用程序的代码和配置，确保使用了最佳的资源管理策略。例如，合理设置内存限制、CPU配额和并发请求数，以充分利用AppEngine的资源。
腾讯云提供了类似的云计算服务，可以参考腾讯云的云托管服务（https://cloud.tencent.com/product/tch）来构建和扩展应用程序。该服务支持多种编程语言和开发工具，并提供了丰富的功能和服务，以满足各种应用场景的需求。
相关·内容
我正在appengine上运行一个应用程序，并且正在创建任务。TaskOptions.Builder.withUrl("/worker").param("data", payload));appengine上的任务大小限制是多少？
浏览 9提问于2016-12-28得票数 4
回答已采纳
突然间，在过去的2-3天里，我开始在GAE上得到这个“任务大小太大”的异常。注意，任务只花费4秒，执行后会引发异常。在这种情况下，“任务大小太大”是什么意思？idEmpresa=748002 500 4140 06 0kb AppEngine-Google；(+)
我2014-09- 09:11:30.428 s~noxxonsat nxnet/v2400b(QueueImpl.java:380) W 2014-09-06 09:11:34.
浏览 1提问于2014-09-06得票数 1
回答已采纳
我目前正在使用Java和PrimeFaces在Google App Engine中开发一个web应用程序。我必须访问一个远程MySQL服务器，我的客户网站的数据库。此网站包含我的应用程序所需的所有数据。我在这里面临的问题是，尽管我可以设法在PHP中通过get获得HTTP请求
浏览 0提问于2012-02-03得票数 0
回答已采纳
3回答
我正在为java appengine使用新的实验性任务队列，并且我正在尝试创建在我的数据存储中聚合统计数据的任务。我正在尝试计算我的数据存储中所有实体(特定类型)中的唯一值的数量。我目前的方法是创建一个查询X类型的前10个实体的任务，创建一个哈希表来存储A的唯一值，然后将这个哈希表作为有效负载传递给下一个任务。下一个任务将计算接下来的10个实体，依此类推，直到我遍历了所有实体。在执行最后一个任务期间，我将计算哈希表(一直在任务之间传递)中的键的数量，以
浏览 3提问于2009-12-22得票数 8
回答已采纳
1回答
为了将任务大小分解成更小的块，我还应该传递其他的论点吗？
此外，这是否只是一个警告，在最坏的情况下，可以忽略？还是它妨碍了训练？
浏览 5提问于2016-11-29得票数 5
回答已采纳
在从 Javadoc中读取和AppEngine之后，当任务的有效负载超过100‘t时，我找不到抛出哪个异常。我在哪里能找到这些信息？
更新：提交了一个请求。
浏览 2提问于2011-09-16得票数 3
回答已采纳
1回答
我的问题是，在使用Spark将表还原为更大的表时，任务大小太大了。这里是情况：
我创建了一个scala对象，并在主体中从它们的CSV中填充了这10个表。当Spark连接在这10个表之间运行时，比如说，将结果表写到一个parquet文件中时，我会得到<
浏览 0提问于2017-03-06得票数 2
3回答
这是GAE内存泄漏的证据吗？
、、、、
我这样做的原因是，在生产中，我们的实例堆大小一直在增长(通常在10-20,000个请求之后变得太大)，最终导致响应缓慢和实例重启。我不知道这是否是原因，但这是到目前为止我能确定的第一次泄漏。// datanucleus.appengine.autoCreateDatastoreTxns=false泄漏
org.datanucleus.store.appengine.jdo.DatastoreJDOPersistenceManagerorg.datanucleus.store.appengine<
浏览 1提问于2012-09-08得票数 2
回答已采纳
我尝试在eclipse上部署我的appengine应用程序到服务器上(通过日本的ADSL )，上传大约40分钟后，它失败了，并出现错误: com.google.appengine.tools.admin.OAuth2ServerConnection$OAuthInvalidTokenException: Error posting to ： 401 URL OAuth token1)我的项目文件夹现在大概有500MB大小。是不是太大了？
2)如果我的项目在构建路径上引用了另一个项目，deploying to
浏览 1提问于2013-02-20得票数 1
我需要从第三方应用程序接口获取数据，并在谷歌BigQuery中摄取它。也许，我需要通过google服务实现这个过程的自动化，以便定期完成这个过程。另一个疑问是:我是否需要将数据加载到云存储中，或者是否可以直接将其加载到BigQuery？我应该使用数据流并进行任何配置吗？我希望得到关于架构(google服务)的建议，我应该使用它来创建这个管道。例如，使用云函数(从API获取数据)，然后使用
浏览 17提问于2019-08-24得票数 1
回答已采纳
我正在将获得的长值转换为文件大小(以KB/MB/Gb为单位)。private string[] SizeSuffixes = new[] { "B", "KB", "MB", "GB", "TB" };
浏览 5提问于2013-10-14得票数 0
回答已采纳
1回答
AppEngine对任务中的特定头做出了一些保证。具体来说，一组标头(如 )无法由用户设置。
这些标头是由App内部设置的:如果外部用户请求试图设置这些标头，它们将被删除。因此，如果请求处理程序在请求中发现任何这些标头，则该任务队列请求肯定是有效的。AppEngine是否保证用户无法以不区分大小写的方式提供这些请求头？换句话说，用户能否对请求设置一个X-AppEngine-Queuename头并让它通过(此时，webob将无法区分该标头和GAE提供的真正报头)？在webapp2框架中，
浏览 3提问于2017-03-07得票数 2
回答已采纳
我试图将库包含到我的AppEngine应用程序中，但是在上传时遇到了"JAR太大“错误：jarSplittingExcludes When --enable-
浏览 0提问于2014-06-04得票数 2
回答已采纳
我已经通过本地and来跟踪它，我可以一直到跟踪的最后一行，但是我的机器上根本不存在google/appengine/ext/vmruntime/，所以我不知道在vmstub.py中发生了什么。在实现这种批处理之前，我第一次看到了这个错误，并认为问题是因为我在任务处理程序中添加了太多的任务。在某些情况下，我可以在批处理大小为100的情况下成功地运行它，但在另一些情况下，它会在100处持续失败(取决于负载中的数据)，有时在批处理大小为50时会成功。任务
浏览 3提问于2015-12-04得票数 3
回答已采纳
有没有一种方法可以动态确定当前执行的任务是标准的http请求还是TaskQueue？
在我的请求处理程序的某些部分，我做了一些urlfetches。
浏览 0提问于2012-06-18得票数 4
回答已采纳
1回答
基本上，当n个任务队列在Google平台上运行时，我面临着一个问题。代码或服务器中没有错误，但由于实例不可用而终止了任务队列的执行，通过该实例，任务队列将一次又一次地触发任务队列。原因：我想知道X-AppEngine-TaskRetryReason头的其他可能值。': '75f4910a-b925-4945-92f0-b214a459f0be', 'X-A
浏览 6提问于2021-06-30得票数 1
我需要以编程方式从Blobstore中获取blob，而不需要事先知道大小。有人知道怎么做吗？picture = blobStoreService.fetchData(blobKey, 0, Integer.MAX_VALUE);at com.google.app
浏览 8提问于2013-04-12得票数 3
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
云直播活动推荐
腾讯云开发者
