我正在测试一个新的Redis集群(AWS大主/从节点)在AWS Elasticache中。
如何从Redis集群备份或导出数据?
其他托管的redis服务会自动创建Redis转储文件并将其存储在S3上。我想在ElastiCache上做一些类似的事情。
发布于 2013-09-18 15:32:19
编辑:自2014年4月24日起新的功能
Amazon has added internal backup support as of 4/24.允许您每天快照redis数据并将其还原到ElastiCache集群中。目前不允许导出/下载。如果您想要保存您自己的redis数据存档/备份,则仍然需要下面的解决方案。
大多数人应该能够使用现有的内置备份系统。
原始答案
这看起来是唯一的方法,这是做以下工作。
SAVE命令以生成本地转储dump.rdb在S3上的存档我想要一个更简单的解决方案或内置在ElastiCache中的东西。
编辑:精化
最后,我使用Ruby /实用工具"redis-backup“(https://github.com/josegonzalez/ruby-redis-backup)实际构建了这个程序,并运行了以下shell命令:
sudo -u redis /usr/bin/env S3_SAVE=true redis-backup -s /var/lib/redis/dump.rdb -B YOUR_S3_BUCKET_FOR_BACKUPS -A S3_ACCESS_KEY_ID -S S3_ACCESS_SECRET_KEY发布于 2016-03-17 19:31:17
看来这已经不可能了。根据AWS的文件,
“从Redis 2.8.22开始,ElastiCache不再支持外部读取副本。”
发布于 2020-01-27 19:59:32
ElastiCache可能禁用save或bgsave之类的命令。如需参考,请查看Restricted Redis Commands。
下面的bash脚本解决方案支持数据类型、字符串和哈希。如果您希望支持其他数据类型(例如,set、list、排序集、位图),则必须扩展脚本(如脚本中的注释)。
#!/bin/bash
# change KEY_PATTERN accordingly if you want a subset of the keys in redis cache
KEY_PATTERN="*"
# provide the default redis url here if you don't supply that from command line/environment:
if [[ -z $REDIS_SERVICE_URL ]]; then
REDIS_SERVICE_URL=redis://localhost:6379
fi
IFS=' '
iKey=0 # counter to iterate over the keys
echo {
# iterate through the keys in redis:
while read key; do
if [ $iKey -gt 0 ]; then
echo ","
fi
echo \"$key\":
# get the datatype for the current key
datatype=$(redis-cli -u "$REDIS_SERVICE_URL" type "$key")
# this script supports string/hash datatype.
# Extend if you want to support other data types.
if [ "$datatype" = 'string' ]; then
val=$(redis-cli -u "$REDIS_SERVICE_URL" get "$key")
echo -n \"${val//\"/\\\"}\"
elif [ "$datatype" = 'hash' ]; then
echo [
i=0
while read val; do
if [ $i -gt 0 ]; then
echo ","
fi
echo \"${val//\"/\\\"}\"
i=$((i+1))
done <<< $(redis-cli -u "$REDIS_SERVICE_URL" hgetall "$key")
echo ]
else
echo Unsupported type $datatype
exit -1
fi
iKey=$((iKey+1))
done <<< $(redis-cli -u "$REDIS_SERVICE_URL" keys "$KEY_PATTERN")
echo }
unset IFS使用上面的脚本格式化示例输出的JSON:
{
"vlaue-key-1": "value-1",
"hash-key-1": [
"key-a",
"value of key-a in hash-key-1",
"key-b",
"20"
],
"vlaue-key-2": "25.5",
"hash-key-2": [
"key-x",
"value-x of hash-key-2/key-x",
"key-b",
"9999"
]
}https://stackoverflow.com/questions/18876147
复制相似问题