日志存储输出s3文件名
日志存储输出S3文件名是指将日志数据存储到亚马逊S3（Simple Storage Service）中的文件名。S3是一种高度可扩展的对象存储服务，可以存储和检索任意数量的数据，适用于各种用例，包括备份和恢复、数据归档、大数据分析、静态网站托管等。
在日志存储输出中，S3文件名通常用于标识存储的日志数据，以便后续的检索和分析。S3文件名可以根据具体需求进行命名，通常包含有关日志内容、时间戳和其他相关信息的元数据。例如，可以使用日期和时间作为文件名的一部分，以便按时间顺序对日志进行排序和查找。
优势：
- 可扩展性：S3提供无限的存储容量，可以根据需求动态扩展存储空间，无需担心容量限制。
- 可靠性：S3具有高持久性和数据冗余，确保数据的安全性和可靠性。
- 安全性：S3提供多层次的数据安全控制，包括访问控制列表（ACL）、存储桶策略和加密等功能，保护数据的机密性和完整性。
- 灵活性：S3支持多种数据访问方式，包括RESTful API、命令行工具和各种SDK，方便开发人员进行数据操作和管理。
应用场景：
- 日志存储和分析：将应用程序、系统或网络的日志数据存储到S3中，以便后续的分析和故障排查。
- 数据备份和归档：将重要的数据备份到S3中，以防止数据丢失或损坏，并满足合规性要求。
- 静态网站托管：将静态网页、图片和其他静态资源存储到S3中，并通过S3提供的网站托管功能进行访问。
- 大数据分析：将大规模的数据集存储到S3中，以供后续的数据分析和挖掘。
推荐的腾讯云相关产品： 腾讯云提供了与S3类似的对象存储服务，称为腾讯云对象存储（COS）。COS具有与S3相似的优势和功能，并且可以与其他腾讯云服务集成，提供全面的云计算解决方案。
腾讯云对象存储（COS）产品介绍链接地址：https://cloud.tencent.com/product/cos
相关·内容
尝试使用以下方法将s3桶中的所有内容复制到本地硬盘：
aws s3 cp s3://mybucket . --recursive
但是桶的内容是一个具有如下对象名称的日志流：
logs/
├──2018-03-20/
│ ├──01:00+00/
│ │ └──01:10:06.521.csv.gz
│ ├──02:00+00/
│ │ └──02:22:09.306.csv.gz
etc
当我试图复制时，我只会得到一些空文件夹，比如logs/2018-03-20。我猜这是因为Windows不允许文件夹或文件名中的冒号，并且-递归命令不能自动更正(当我从浏览器下载时，冒
浏览 0提问于2018-03-20得票数 1
回答已采纳
我正在尝试创建2个桶与2个不同的策略。
一个存储桶VendorsWGLogs将作为日志输出的目的地。
另一个存储桶VendorsWG将授予GetObject、PutObject和DeleteObject对指定IAM组的访问权限。
这是我到目前为止所知道的：
"Resources": {
"VendorsWGLogs": {
"Type": "AWS::S3::Bucket",
"Properties": {},
},
"LogsBucketPolicy"
浏览 32提问于2017-03-17得票数 12
回答已采纳
我正在通过从多个名为rawpart1.json和rawpart2.json的S3存储桶中读取json文件来运行AWS Glue ETL作业。验证两个文件中的字段以及两个S3存储桶中的文件名。我可以读取和更改文件名吗？ETL job运行后，在S3存储桶中为ETL job的输出创建文件名。目前我得到的文件名是run-15902070851728-part-r-00000。让我知道我们是否可以在pyspark中做这件事？谢谢
浏览 19提问于2020-06-09得票数 1
2回答
我有大量来自服务的日志文件，我需要通过EMR/Hive定期对其进行分析。每天有数千个新文件，从技术上讲，这些文件相对于文件名来说是无序的(例如，一批文件在文件名的日期之后一周后出现)。
我通过斯诺球对文件进行了初始加载，然后使用'aws s3 sync‘cli命令设置一个脚本，每天同步整个目录树一次。这是足够好，目前，但我将需要一个更实时的解决方案在不久的将来。这种方法的问题是，它花了很长时间，每天大约30分钟。同时使用大量的带宽！我认为这是因为它需要扫描整个目录树以确定哪些文件是新的，然后立即全部发送。
实时解决方案在两个方面都是有益的。第一，我不用等一天就能得到我需要的分析。第二，
浏览 0提问于2018-01-22得票数 2
回答已采纳
我是个新手。我在AWS S3中存储了一些日志，并且能够将它们导入logstash。我的问题是:是否可以使用grok过滤器添加基于文件名的标记？我试着用：
grok {
match => {"path" => "%{GREEDYDATA}/%{GREEDYDATA:bitcoin}.err.log"}
add_tag => ["bitcoin_err"]
}
这不管用。我想原因是“路径”只处理文件输入。
下面是我的S3桶的结构：
my_buckets
----A
----2014-
浏览 5提问于2014-07-04得票数 2
回答已采纳
目前，我刚开始使用laravel在s3桶上存储多个文件。现在，我已经编写了一些函数来存储文件。我遇到的主要问题是每次返回文件时总是显示tmp文件。在我现在看的教程中，与我return.To理解的输出不同，我将展示一些图片。
问题：为什么输出返回tmp文件名？
My输出：
教程输出：
My函数：
$file_upload = $request->file('files');
foreach($file_upload as $file) {
$file->store('bucket&
浏览 6提问于2020-07-30得票数 1
回答已采纳
我有一个非常平的S3桶。下面是这个桶中的S3对象键的样子：
s3-access-logs/2017-11-03-00-22-36-05A50CD782AE8AE0s3-access-logs/2017-11-03-00-24-21-F14ED1FF6C315431
如您所见，我只有一个S3文件夹"s3-access-logs“，其中包含该文件夹下的所有对象。实际上，这个S3桶包含不同S3桶的S3访问日志。
我想对这些S3访问日志(使用雅典娜)进行一些分析。雅典娜允许我：
使用S3桶作为位置创建雅典娜表，或者创建分区打开的雅典娜表，我可以使用s3前缀添加分区。
我只关心某个日期的访问日志
浏览 0提问于2019-11-22得票数 5
我试图使用bash脚本将s3 cp命令输出保存到一个日志文件中。我的脚本从另一个名为output.tsv的文件中获取源和目标桶信息，该文件实际上是which循环的输入。就像下面。我使用&>>将输出重定向到带有时间戳的文件
while read SOURCE DESTINATION
do
aws s3 cp $SOURCE $DESTINATION &>> /shared_data/logs/logs-$(date +"%b-%d-%Y-%H-%M-%Z").log
done < output.tsv
应该将s3 cp日志重定
浏览 2提问于2021-10-28得票数 0
回答已采纳
2回答
我使用以下Scala代码在S3中创建一个文本文件，并在AWS EMR上使用Apache Spark。
def createS3OutputFile() {
val conf = new SparkConf().setAppName("Spark Pi")
val spark = new SparkContext(conf)
// use s3n !
val outputFileUri = s"s3n://$s3Bucket/emr-output/test-3.txt"
val arr = Array("hello&
浏览 0提问于2016-11-03得票数 3
我有.tsv文件，它包含s3桶的源信息和目标信息。我使用that循环从该文件读取源和目标路径，并执行s3 cp操作。请告知，该文件包含100 K行。
如何使用sed命令，使所有源路径和目标路径在文件(xx.tsv)中双引用。我需要双引号，因为aws s3不能处理包含空白的文件/文件夹名称，而不用""将它们括起来。
我想找的是下面3行会被更改的东西
s3://data01/repo01/image live01.png s3://Ata01/vol01/image live01.png
s3://data02/repo01/image live01.png s3://Ata02/
浏览 0提问于2021-11-02得票数 1
回答已采纳
我正在将我的多媒体内容(mp4和图像)辛迪加给几个客户。因此，我为每个mp4创建了一个S3对象，比如"my_content_that_pays_my_bills.mp4“，并让客户机访问这些对象的S3 mp4，并将其嵌入到他们想要的任何位置。
我想让客户端A以"A_my_content_that_pays_my_bills.mp4“的身份访问这个MP4
客户端B以"B_my_content_that_pays_my_bills.mp4“的身份访问它，依此类推。
我想按使用量对客户端进行计费:这样我就可以处理访问日志，计算对"B_my_content_that_p
浏览 1提问于2010-10-22得票数 1
1回答
我有一个S3存储桶，里面有几个压缩的CSV文件(利用率日志)。我想用Athena查询这个数据，但是输出完全是乱码。
看起来雅典娜试图在没有先解压的情况下解析zip文件。是否可以强制配置单元将我的文件识别为压缩数据？
浏览 1提问于2016-12-20得票数 14
回答已采纳
2回答
如何测试与Amazon的连接
、、、、
我的应用程序应该在亚马逊S3存储桶中创建新文件夹，并在那里放置一些日志。问题是:这种情况根本不会发生。S3存储桶存在(我之前创建的)，但在那里看不到新的文件夹。
我如何测试这个问题？有没有什么有用的工具？
我打开了亚马逊S3存储桶日志(请看这里：)，但日志每小时聚合一次...然后我在寻找其他方法/工具来测试这个问题。
浏览 0提问于2012-08-15得票数 0
每当我的AWS EC2实例启动时，我想运行一些代码。代码应该从Amazon上提取数据，对数据做一些工作，然后将数据复制回S3。我创建了一个makefile来完成这个任务，如果我在登录到实例时调用它，它就能正常工作。然后，我在/ect/rc.local中放置了一个调用makefile的脚本(该脚本每次实例启动时都会运行)。此脚本在实例启动时成功运行。我遇到的问题是，当从启动脚本调用makefile时，它不会从s3中提取数据或复制数据。我读过，设置您的访问键可以解决Windows的这个问题，但这对我不起作用。看起来，当它试图调用任何aws命令时，代码就会停止，因为在日志文件中，输出总是来自make
浏览 1提问于2016-08-29得票数 2
回答已采纳
1回答
我们使用AWS S3桶作为客户文件的放置点。机器包含访问S3桶、读取一些文件、编写日志和输出所需的例程。有什么问题吗？有人在python/java/JavaScript中这样做过吗？
我无法将文件复制到Google存储中，这既耗时太长，又打开了一个我只是不想处理的安全场景。大量的答案显示了迁移，但在我的例子中，我只是想让图像能够访问它。谢谢
浏览 1提问于2021-04-15得票数 1
回答已采纳
我是一个后端开发和python的初学者。我已经在RDS中插入了存储在S3存储桶中的图像的链接，现在我在lambda python函数中对该表运行了一个查询，它如预期的那样返回了一个字符串，我如何才能使该lambda函数使用该链接返回一个图像。下面是我的lambda函数 #!/usr/bin/python
import sys
import logging
import pymysql
import json
rds_host="host"
name="name"
password="passwdord"
db_name="DB
浏览 8提问于2019-02-19得票数 2
回答已采纳
1回答
我们目前正在开发Apache管道，用于从GCP Pub/Sub读取数据，并将接收到的数据写入AWS S3中的存储桶中。
我们正在使用TextIO.write在beam-sdks-java-io.amazon-web-services中写入S3。
TextIO.write()
.withWindowedWrites()
.withNumShards(options.getNumShards)
.withTempDirectory(FileBasedSink.convertToFileResourceIfPossible(options.getTem
浏览 6提问于2020-02-28得票数 1
我们使用Monolog来记录服务器端PHP worker脚本的输出，这些脚本在Amazon Elastic Beanstalk EC2服务器实例上执行。访问日志文件相当困难，特别是考虑到服务器随着扩展需求的变化而启动和关闭。
如何将Monolog配置为直接记录到亚马逊S3流/存储桶？
到目前为止，我在我的Pimple依赖注入定义中尝试了类似的东西：
$this->container['log'] = function ($c) {
$logger = new \Monolog\Logger('psd_worker');
$handler =
浏览 1提问于2014-06-18得票数 5
我已经建立了一个带有Cloudfront发行版的S3静态网站。在S3网站存储桶中，我为日志添加了一个文件夹，并使用logs/前缀启用了日志记录。在Cloudfront发行版中，我打开了日志记录，并将其映射到bucket和logs/前缀。
为了添加WAF，我遵循了下面的指南，启动了一个cloudformation堆栈。到目前为止一切顺利..。直到我到达日志记录参数。我真的不清楚是否需要为我的网站设置一个名为"AWSLogs“的新存储桶，或者将其映射到存储桶下的日志/文件夹？我是否需要更改以前的任何日志设置？
链接到亚马逊网络安全自动化指南：
从上面的链接：+应用程序访问日志存储桶名称+如
浏览 2提问于2019-07-07得票数 0
我在一个s3桶中每小时都有csv日志数据，我希望对它进行分区，以提高查询性能，并将其转换为parquet。
另外，如何为将要添加的新日志自动添加分区。
注意：
csv文件名遵循标准日期格式。
文件是从外部源编写的，不能编辑为在文件夹中写入，而只能在主桶中写入。
我想把csv文件分别转换成拼板。
浏览 3提问于2020-05-08得票数 0
所以我突然想到，一旦我把个人资料图片上传到S3，我就必须想出一个方法来跟踪这些文件。例如，如果"susan“上传了3张配置文件图片，我需要回忆这3张照片，如果有人查看她的页面，我需要将它显示在她的配置文件页面上。话虽如此，以下的工作会否奏效？
用户从表单保存文件信息(文件名、用户信息等)上传图片。从S3上传照片到S3
在显示图片时，我将查询DB中的信息，并相应地显示来自S3的图像。
浏览 3提问于2010-03-12得票数 0
回答已采纳
1回答
我正在尝试从托管在亚马逊网络服务上的s3存储桶中下载密钥。密钥只是一些.csv文件。但是这些文件存储在s3存储桶内的子目录中。当我尝试使用s3_client.list_objects-v2(Bucket_name)方法列出特定文件名时，返回的是s3存储桶中的键和文件夹的完整层次结构。就像，对于桶，bucket_1
file_name='my_file.csv'
resp=s2_client_conn.list_objects_v2(Bucket='bucket_1')
for obj in resp['Contents']:
if file
浏览 1提问于2018-05-31得票数 1
如何访问S3存储桶中的文件夹对象。如何使用python boto3访问S3存储桶内的文件夹。代码适用于S3存储桶中的文件夹，但适用于S3存储桶中的文件夹
浏览 7提问于2018-10-15得票数 0
从我的Lambda Python代码中，我尝试在我的存储桶( S3 :// my _S3/S3/)中创建一个日志，并抛出一个错误。当我在外部执行并生成日志时，它工作得很好。错误如下：
**[Errno 2] No such file or directory: '/var/task/s3:/my_bucket/logs/error.log':
FileNotFoundError.**
当在我的本地环境中遇到这行代码时，它正确地创建了日志：
`LOGFILE_PATH = "D:\logs\error.log"`
当我在更新Lambda后尝试使用它时：
LOGF
浏览 0提问于2019-08-22得票数 0
我有一个在AWS EMR上运行的map reduce作业，它处理数十亿行日志，并从mapper中进行一些计算来形成(key，value)对。这些计算非常耗时，我需要在其他map reduce作业中使用这些计算的一些中间步骤的输出。因此，我希望在不影响现有作业的情况下(即不更改当前的映射器或缩减程序)，利用计算的输出并上传到s3。在上传之前，我将首先将这些行收集到一个本地临时文件中，一旦文件变得足够大，我将把这个文件上传到s3。
问题是-与reducer不同，Mapper不能根据键对数据进行排序。如何为s3设计唯一的文件名，以便从不同的映射器上传数据，从而不会有任何文件名冲突？
我使用的是Jav
浏览 0提问于2012-11-20得票数 1
我在AWS EMR上运行以下代码：
from pyspark.sql import SparkSession
spark = SparkSession\
.builder\
.appName("PythonPi")\
.getOrCreate()
sc = spark.sparkContext
def f(_):
print("executor running") # <= I can not find this output
return 1
from operator import add
output =
浏览 0提问于2021-04-13得票数 1
1回答
场景：，我有一个简单的S3桶，多个用户将把文件上传到这个桶中。每个用户应该上传到一个特定的文件夹，并且只有该文件夹-没有子文件夹超过该。在那个文件夹里，他们可以上传他们想要的任何东西。我有一个IAM策略，目前限制在该用户文件夹，但允许他们指定子文件夹，我不想。
当前IAM ，它仅限于顶级文件夹：
{
"Version": "2012-10-17",
"Statement": [{
"Sid": "VisualEditor2",
"Effect": &#
浏览 2提问于2020-11-13得票数 0
1回答
我正在尝试将日志从Cloudwatch日志流写入跨帐户S3存储桶。在账号B中创建存储桶策略时，遇到以下错误。 {
"Version": "2012-10-17",
"Statement": [
{
"Action": [
"s3:PutBucketAcl",
"s3:PutObject",
"s3:getobject"
],
"Effect": "Allow&
浏览 28提问于2021-08-04得票数 0
回答已采纳
1回答
在亚马逊s3上上传图片
、、、
我正在开发一个mern堆栈应用程序。现在我想上传我的图像到亚马逊S3上，所以我需要指导，如果一个用户上传图像到s3上，那么我如何才能获得该特定用户的图像。如果用户上传了个人资料图片，那么我如何才能检索该用户的图片，因为我将图片存储在s3上，而不是mongodb上。我需要向导的东西。 const s3 = new aws.S3({
accessKeyId: "",
secretAccessKey: "",
region: "",
});
const upload = (bucketName, id) =>
浏览 12提问于2021-07-15得票数 0
2回答
我有一个EMR集群，它作为引导操作使用来自我的script.sh的s3。其中包括一些hadoop dfs -distcp和hadoop dfs -copyToLocal命令。如果我登录到构建好的EMR集群并运行命令，这是绝对好的，但如果我尝试作为引导操作的一部分，它将失败。这里的日志文件：
You are using pip version 6.1.1, however version 8.1.1 is available.
You should consider upgrading via the 'pip install --upgrade pip' command.
/m
浏览 6提问于2016-04-15得票数 1
回答已采纳
我想使用我自己的S3存储器并显示刚刚上传的图像。如何获得上传到S3的文件名？例如，我可以将jpg图像上传到UploadCare。这是我可以得到的输出: fileInfo.cdnUrl："“fileInfo.name："0 (3).jpg”
但是，如果我检查我的S3桶，这是实际上传到S3：的文件名
以下是我到目前为止拥有的javascript：
var widget = uploadcare.Widget('[role=uploadcare-uploader]');
widget.onChange(group => {
group.files().for
浏览 4提问于2020-09-09得票数 0
回答已采纳
我在AWS SageMaker中设置了一个批处理转换作业。目前，这使用了一些输入数据和预先培训的模型。作业的编排是在lambda中使用boto3 python库完成的。
我很难理解的是一个很好的方法来指定输出文件的名称，在我们的例子中是一个predictions.csv。理想情况下，我们希望在这个名称中添加时间戳。
第一件事是通过参数将文件名应用到pandas.to_csv()函数。但是，只进行此更改，SageMaker就会失败，并出现以下错误：
TypeError:视图函数没有返回有效的响应。函数要么返回None，要么在没有返回语句的情况下结束。
这是一个非常奇怪的错误，特别是考虑到
浏览 3提问于2019-11-05得票数 2
1回答
我正在运行一个映射约简作业，它接受一个小输入(~3MB，大小为z的整数列表)，具有大小为n的稀疏矩阵缓存，并且基本上输出维数的z稀疏向量(Nx1)。这里的输出相当大(~2TB)。我正在亚马逊EC2上运行20m1小节点，S3存储作为输入和输出。
但是，我得到了一个IOException:设备上没有空间了。似乎在Hadoop日志上写入了s3字节，但是没有创建任何文件。当我使用较小的输入(较小的z)时，在完成工作后，输出将正确地出现在那里。因此，我相信它在一个临时的仓库里用完了。
有没有办法检查一下这个临时仓库在哪里？另外，有趣的是，日志说所有的字节都写到s3，但是我没有看到任何文件，也不知道这些字
浏览 1提问于2012-01-02得票数 0
我们正在使用带有docker-compose的 docker镜像运行Airflow集群。Airflow的调度器容器将其日志输出到/usr/local/airflow/logs/scheduler。
问题是日志文件不会轮换，并且磁盘使用率会增加，直到磁盘满为止。可用，但未清理在工作节点上运行的DAG和计划程序容器上的日志目录。
我正在寻找将调度程序日志输出到标准输出或S3/GCS存储桶的方法，但找不到。是否可以将调度程序日志输出到标准输出或S3/GCS存储桶？
浏览 3提问于2021-01-10得票数 1
1回答
我有一个非常奇怪的问题上传超过6GB的大型文件。我的过程是这样的：
文件通过Ajax上传到php脚本。
PHP脚本将$_FILE以块形式复制，就像在中那样，复制到一个tmp位置。
文件的位置存储在db中。
cron脚本稍后会将文件上传到s3，再次使用fopen函数和缓冲区来保持低内存使用率。
我的PHP(HHVM)和NGINX配置都设置为允许最多16 8GB的文件，我的测试文件只有8GB。
这里是奇怪的部分，ajax将始终超时。但是文件被成功上传，它被复制到tmp位置，存储在db、s3等中的位置。但是AJAX运行了一个小时，甚至在所有执行完成后(这需要10-15分钟)，
浏览 7提问于2017-06-05得票数 19
2回答
我正在尝试编写一个bash脚本，以获得S3桶中子文件夹的总大小。
我的桶路径s3://path2 1/path2 2/子文件夹
在path2文件夹中，我有许多子文件夹，如
2019_06
2019_07
2019_08
2019_09
2019_10
2019_11
2019_12
我需要获取bash脚本中每个子文件夹的大小。
我写了一个剧本
**
#!/bin/bash
FILES=$(mktemp)
aws s3 ls "s3://path1/path2/" >> "$FILES"
cat $FILES
echo
浏览 0提问于2020-04-29得票数 3
目前，我使用Bash命令将输出重定向到日志文件，然后使用单独的命令行界面aws s3 cp调用将日志文件复制到S3。
我想知道是否有一种方法可以将输出直接重定向到S3，而不需要额外的命令/步骤。我尝试对https url执行aws s3 cp，但似乎不起作用，因为url是针对S3上当前存在的文件/对象的。
浏览 14提问于2017-07-19得票数 0
1回答
我是Sidekiq的用户，有一个需要非常繁重的日志记录和文件写入的用例。我有一些旧的工作者，他们直接写入文件系统。这并不好，因为它使我无法根据需要启动几个小的实用程序实例。有人建议我将文件写到S3中。
其中一些文件非常大，在某些报告的情况下可达数百万行。有没有办法将输出缓冲到S3上的文件中？
浏览 0提问于2018-06-15得票数 1
我正在编写一个powershell脚本，它将把一个由机器人脚本创建的文本文件中列出的文件名上传到一个S3桶中，而且我似乎无法获得写S3Object命令的语法。
这是我的代码，我希望您能帮助我调试它：
foreach($line in Get-Content C:\Scripts\ToS3\FileList1.txt) {
if($line -match $regex){
$key = $line -replace [regex]::Escape('\\server\e$\'), '/' -replace
"c:\\",
浏览 0提问于2018-11-01得票数 3
回答已采纳
如何：
将lambda函数( gateway?Forward )的输出链接到API presignedURL到用户浏览器，从而触发下载？。
用户通过API将csv文件上载到s3。在lambda函数转换数据之后，将向用户的浏览器发送一个pdf文件。
因此，我想在下面的app.js中包含一个下载功能，它可以方便API的上传功能。欢迎对如何包括下列功能的任何帮助：
发送lambda函数的输出(presignedURL，在可用时最大)。(30秒)到API gateway;Send presignedURL到用户的浏览器，从而触发下载。
// Upload function
const AWS
浏览 9提问于2022-09-22得票数 0
3回答
我想将jenkins日志移动到s3存储桶中。有人能建议如何移动日志文件吗？需要从aws实例中移动控制台日志。我是否需要写脚本或插件足以推送日志文件。对于最后5个作业，它应该将文件移动到s3。基于日期、时间、内部版本号。
浏览 0提问于2018-11-21得票数 0
1回答
我必须要gzip的CSS和JS文件，并将它们上传到AWS S3桶。问题是当我运行gzip并尝试上传它们时，它们最初的dir结构没有被保留。相反，它们都被复制到S3桶的根文件夹中。我意识到这是因为find命令返回输出的方式。
$ find . -type f \( -iname \*.js -o -iname \*.css \) -exec gzip -9 "{}" \; -exec mv "{}.gz" "{}" \; -exec aws s3 cp "{}" s3://somebucket/ --dryrun \;
(dryru
浏览 0提问于2018-08-22得票数 0
回答已采纳
1回答
我需要在亚马逊S3存储桶策略中添加一个新的行"arn:aws:sts::1262767:assumed-role/EC2-support-services“。 如下所示： 之前： {
"Version":"2012-10-17",
"Statement":[
{
"Sid":"AddCannedAcl",
"Effect":"Allow",
"Principal": {"AWS": ["
浏览 16提问于2020-10-30得票数 0
我对我的日志存储s3输入有异议。我在我的kibana界面上看到的最后一条消息是几天前的，实际上我有一个AWS，其中启用了日志。我已经从命令行中进行了测试，我可以看到logsstash一直在处理输入，而从来没有输出。在elb s3桶中，每天/每月/每年有一个文件夹，每个文件夹包含几个日志文件，总大小约为60 of。
刚开始的时候它工作得很好，但是随着原木的增长，它变慢了，现在我看到我的原木的尺寸太大了。Logstah一直在执行输入任务、筛选，并且从不输出日志。
我创建了一个用于测试的专用配置文件，仅以s3作为输入，并通过命令行在专用机器中进行测试：
/opt/logstash/bin/logst
浏览 2提问于2017-01-13得票数 3
1回答
我正在我的GAE web应用程序中创建XML文件，并且我想将它们托管在某个地方。链接必须是一致的HOST_URL +文件名。所以亚马逊S3看起来是可行的--我可以上传一个文件，URL直接指向该文件。现在我的问题是-如何将文件从GAE上传到S3？Amazon SDK在GAE上不起作用。GAE的上传限制是多少？是1MB还是32MB？你能提供一个直接上传数据到S3的样例吗？
使用Blobstore API会更容易吗？在GAE中创建的需要直接上传到Blobstore API的文件，上传的文件大小限制是多少？
谢谢。
浏览 0提问于2011-09-30得票数 1
回答已采纳
我目前正在使用S3下载AWSSDK.S3文件。我下载这些文件如下：
TransferUtility fileTransferUtility = new TransferUtility(new AmazonS3Client("xxxx", "xxxx"));
fileTransferUtility.Download("test/testdata.parquet", "test-bucket", "testdata.parquet");
我很好奇是否可以在不使用S3或AWSSDK.S3依赖项的情况下从AmazonS3
浏览 2提问于2022-01-21得票数 0
我配置了一个s3存储桶来自动备份来自uploadcare的所有文件。但是备份的文件没有相同的名称，并且名称中没有空格和特殊字符。
例如，通过uploadcare上传My Resume.pdf，在cdn中看到的是My Resume.pdf，在s3中看到的是MyResume.pdf。这种方式很难实现CDN和S3之间的文件映射。
有什么办法可以解决这个问题吗？
浏览 5提问于2014-08-08得票数 1
我们需要将文件从S3复制到ADLS。我们将使用orchestrator作业接收S3存储桶中的文件。当文件被放到S3存储桶中时，是否可以通知ADF，以便它可以复制到ADLS？
浏览 0提问于2021-03-09得票数 0
2回答
使用AWS密钥，可以看到S3上的存储桶，但不能获取文件。
S3 GET failed for '/'是错误消息。
有人能帮帮忙吗？
完整的错误信息如下：
2016/07/03 10:46:36 - cfgbuilder - Warning: The configuration parameter [org] is not supported by the default configuration builder for scheme: sftp
2016/07/03 21:32:19 - /Users/tcssig/Documents/01.ktr : 01 - Dispat
浏览 7提问于2016-07-03得票数 0
1回答
我使用在Sidekiq的后台进程中将图像上传到S3。
这是我的background_uploader.rb课..。
class BackgroundUploader < CarrierWave::Uploader::Base
include ::CarrierWave::Backgrounder::Delay
include CarrierWave::RMagick
include CarrierWave::MimeTypes
process :set_content_type
# Include the Sprockets helpers for Rails 3.
浏览 4提问于2013-09-21得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM活动推荐
腾讯云开发者
