我试图做的学习速率衰减挑战，建立您自己的联邦学习算法教程。我使用了以下代码
import nest_asyncio
nest_asyncio.apply()
import collections
import attr
import functools
import numpy as np
import tensorflow as tf
import tensorflow_federated as tff
np.random.seed(0)
emnist_train, emnist_test = tff.simulation.datasets.emnist.load_data()
NU
浏览 4提问于2021-07-17得票数 1
回答已采纳
2回答
问题是在执行堆栈的不同点期间，数据集从一种类型更改为另一种类型。例如，如果我添加一个新的dataset类，它具有更多感兴趣的成员属性(它继承自ops.data.dataset_ops中的一个类(如UnaryDataset) )，则结果在稍后的执行点(client_update函数)，dataset被转换为_VaraintDataset类型，因此任何添加的属性都会丢失。因此，问题是如何在执行过程中保留新定义的dataset类的成员属性。下面是类型从ParallelMapDataset更改为_VariantDataset的emnist示例。
在函数client_dataset的training_u
浏览 2提问于2020-07-20得票数 4
回答已采纳
1回答
我仔细阅读和研究了TFF的和页面。但我在一些细节上感到困惑。
例如，当我想包装/装饰一个TF/python函数时，请使用以下两个API：
1. tff.tf_computation()
2. tff.federated_computation()
我找不到它们之间的区别，也找不到什么时候允许我使用它们。特别是，如果我想使用除FedAvg或FedSgd以外的其他算法。我想知道你是否知道：
如何使用它们来操作输入？它们是在@CLIENT还是@SERVER上工作？
除了值将在服务器中的tff.federated_mean或tff.federated_sum的输出之外，我如何在另一种用法中使用
浏览 1提问于2019-06-10得票数 1
回答已采纳
我一直在尝试实现这个。基本上，我想做的是每个客户损失之和，并与前一个时代进行比较。然后，对于模型的每个组成层，比较服务器和客户端模型的权值之间的KL差异，得到层特定的参数更新，然后执行softmax，并决定是否需要自适应更新或正常的FedAvg方法。
算法如下-
我试图使用代码构建一个定制的联邦avg进程。我的基本理解是，其中涉及到一些tf.computations和一些tff.computations。我得到的结论是，我需要修改run_one_round函数中的编排逻辑，并基本上操纵客户端输出来进行自适应平均，而不是普通的联邦平均。 tf.computation函数基本上返回我需要的所有值
浏览 0提问于2020-12-07得票数 1
回答已采纳
1回答
如何使mariadb与ssh联合？
DROP SERVER IF EXISTS `any_server_name`;
CREATE SERVER ' any_server_name ' FOREIGN DATA WRAPPER 'mysql' OPTIONS
(HOST 'host.com',
DATABASE 'database_name',
USER 'user_name',
PASSWORD "password",
PORT 3306,
SOCKET '/var/lib/mysql/
浏览 0提问于2019-10-30得票数 0
2回答
你好，下面有我想要更新的字典
{
"Version":"2012-10-17",
"Statement":[
{
"Effect":"Allow",
"Principal":{
"Federated":"arn:aws:iam::111111111111:saml-provider/Test"
},
"Action":"sts
浏览 2提问于2022-02-10得票数 -1
回答已采纳
我安装了TensorFlow (2.8.0)，并在我的苹果硅M1 MacBook上运行。但是，在试图安装tensorflow时遇到了依赖错误，在终端中运行pip install tensorflow-federated时出现了以下错误：
ERROR: Cannot install tensorflow-federated==0.1.0, tensorflow-federated==0.10.0, tensorflow-federated==0.10.1, tensorflow-federated==0.11.0, tensorflow-federated==0.12.0, tensorflow
浏览 7提问于2022-04-29得票数 0
你能告诉我如何将这个补丁应用到google app engine上吗？谢谢
def _user_init(self, email=None, _auth_domain=None,
_user_id=None, federated_identity=None, federated_provider=None):
if not _auth_domain:
_auth_domain = os.environ.get('AUTH_DOMAIN')
assert _auth_domain
if email is None and feder
浏览 0提问于2011-05-06得票数 2
回答已采纳
我想把Tensorflow Federated安装在带有苹果硅M1的M1上。
我尝试过用pyenv安装Python3.9.1并创建一个虚拟环境。然后我安装了包裹。
pip install tensorflow-federated
安装Tensorflow Federated时由于依赖关系冲突而引发的一些错误。您可以在下面看到部分错误日志：
...
clang: error: the clang compiler does not support 'faltivec', please use -maltivec and include altivec.h explici
浏览 11提问于2021-03-19得票数 4
1回答
作为我们升级的一部分，我有两个ek集群。我想要处理假设策略，这样它就可以访问两个ek集群。在同一个AWS帐户中的两个集群。
我希望我的政策看起来像下面的政策。这样，我们就不会更新任何角色，而只是假设策略来处理两个集群。
locals.tf
eks_policy = <<EOF
{
"Version": "2012-10-17",
"Statement": [
{
"Effect": "Allow",
"Principal": {
浏览 4提问于2020-12-16得票数 1
回答已采纳
我使用的是联邦v2。我安装了联合控制平面，并将主机集群加入到联合中。当我使用下面的代码加入第二个集群时
kubefed2 join federated01 --cluster-context federated01 --host-cluster-context xxxx --add-to-registry --v=2
我得到了
I0420 22:05:19.420250 24789 join.go:184] Failed to get joining cluster config: context "federated01" does not exist
F0420 22:
浏览 21提问于2019-04-20得票数 0
我已经在我的单机上试用了TFF tutorial ( MNIST )，现在我正尝试使用MNIST数据执行多机过程。
显然，我不能使用create_tf_dataset_for_client，所以我使用GRPC来学习如何将数据从一台机器传递到另一台机器。
我的场景是，Server将初始模型(带零)分派给所有参与的客户端，在这些客户端上，模型将在本地数据上运行。每个客户端都会将新的权重分派到将执行federated_mean的服务器。
我正在考虑使用tff.learning.build_federated_averaging_process来定制next函数(第二个参数)，但我失败了……我甚至不确
浏览 1提问于2020-09-03得票数 3
我试图在tensorflow模型中获得所有客户的损失，但没有运气。post how to print local outputs in tensorflow federated?的答案建议从头开始创建我们的NN模型。然而，我已经有了我的keras NN模型。那么，有没有办法仍然访问本地客户端损失，而不必从头开始构建NN呢？ 我尝试使用tff.federated_collect()，但不确定这是如何实现的。 这部分是我的尝试： trainer_Itr_Process = tff.learning.build_federated_averaging_process(model_fn_Fe
浏览 14提问于2019-06-14得票数 1
我正在尝试创建一个tpl文件。因此我可以为我角色提供访问多个k8s群集的权限。但是我得到了一个元组错误。
当tpl文件有一些插值时，我们应该如何将变量传递给tpl文件？也请让我知道这个错误是什么意思，以及我哪里错了。
Terraform版本: 0.12.28
locals.tf
federated = [
"xxxxxxxxxxxxxxxx",
"yyyyyyyyyyyyyyyy"
]
federatedList1 = [for oidc in local.federated : "arn:aws:iam::11111111111
浏览 0提问于2020-12-18得票数 0
我正在尝试编写一个用于联合平均的自定义聚合函数。替换“federated_mean”似乎非常复杂，代码也很难破译。有没有关于这些“内部机制”的文档/例子？(在代码中以这种方式调用)
谢谢!
浏览 5提问于2019-07-11得票数 0
我们最近从WebLogic门户网站9.2.3升级到了10.3.5。我们有一个通过Day Software JSR-170VCR-JCR提供程序连接的JackRabbit存储库。这一切在9.2.3上都运行得很好，但在10.3.5上，当我们试图检索内容时，我们会得到一个IllegalMonitorStateException。我们在JackRabbit之上有了自己的外观，它实现了JCR-170。下面是服务器的调试结果：
[com.bea.content.federated.internal.delegate.RepositoryManagerDelegate.initializeSessionSt
浏览 2提问于2012-10-12得票数 1
回答已采纳
我正在尝试理解tensorflow联邦。我指的是网站。这里我不明白如何打印这个函数中每个客户端传递的值？
SERVER_FLOAT_TYPE = tff.FederatedType(tf.float32, tff.SERVER, all_equal=True)
@tff.federated_computation(
SERVER_MODEL_TYPE, SERVER_FLOAT_TYPE, CLIENT_DATA_TYPE)
def federated_train(model, learning_rate, data):
return tff.federated_mean(
浏览 2提问于2020-02-18得票数 0
1回答
为了在容器中预先填充数据库，我需要入口点中的federated engine。为了启用federated engine，我编写了一个bash脚本来手动将联邦命令插入到my.cnf中，但是下面出现了错误
注意: /usr/local/bin/docker-entrypoint.sh:运行/docker-entrypoint-initdb.d/_enable_federated.sh sed:无法打开临时文件/etc/mysql/ 16:14:22+00:00 /16:14:22+00:00:权限被拒绝
_enable_federated.sh
#!/bin/bash
sed -i &#
浏览 5提问于2021-07-20得票数 1
回答已采纳
我正在学习Tensorflow-Federated，而我不知道如何解释语法tff.to_type((tf.int64, [2]))。我认为tff.to_type可以创建一个tff数据类型，但我不知道2的含义。
浏览 4提问于2022-07-19得票数 2
回答已采纳
我按照github中的说明安装Tensorflow与Collab联邦，我们需要安装0.20.0版本，但是当我试图运行图图尔时会得到这个错误。
!pip install --quiet tensorflow-federated==0.20.0 # The latest version of tensorflow-federated is not working with the colab python version
!pip install --quiet --upgrade nest-asyncio
from __future__ import absolute_import, divis
浏览 10提问于2022-05-30得票数 0
我试图通过从这个中更改代码来使用TFF实现自定义聚合。我想重写next_fn，以便将所有客户端权重放在服务器上进行进一步的计算。由于federated_collect每晚从tff中删除，我正尝试使用federated_aggregate来实现这一点。
到目前为止，这就是我所拥有的：
def accumulate(x, y):
x.append(y)
return x
def merge(x, y):
x.extend(y)
return y
@tff.federated_computation(federated_server_type, federat
浏览 16提问于2022-02-08得票数 2
回答已采纳
I tried to print client updates as mentioned.
@tff.federated_computation
def aggregate_mnist_metrics_across_clients(metrics):
return
{'num_examples': tff.federated_sum(metrics.num_examples),'loss': tff.federated_mean(metrics.loss, metrics.num_examples),'accuracy': tff.feder
浏览 5提问于2022-03-24得票数 2
我是机器学习的新手，正在尝试Tensorflow (https://www.tensorflow.org/federated/tutorials/federated_learning_for_image_classification)的“图像分类的联合学习”代码。我在Google Colab上运行了代码，没有修改任何东西。 #@test {"skip": true}
# tensorflow_federated_nightly also bring in tf_nightly, which
# can causes a duplicate tensorboard insta
浏览 28提问于2021-08-07得票数 1
回答已采纳
1回答
我需要一个唯一的数据存储密钥，用于google apps引擎的python2.7运行时通过openid进行身份验证的用户。
我应该使用User.federated_identity()还是User.federated_provider() + User.federated_identity()？
换句话说，User.federated_identity()是对所有提供者都是唯一的，还是只对一个特定的提供者是唯一的？
浏览 2提问于2012-04-04得票数 2
回答已采纳
我试图在google中安装tensorflow_federated。我用过
pip install --quiet tensorflow-federated-nightly
import tensorflow-federated as tff
而且起作用了。但是现在，当我试图导入它时，会得到以下错误：
AttributeError: module 'keras.api._v2.keras.experimental' has no attribute 'PeepholeLSTMCell'
我不知道为什么会有这个错误，因为我以前没有任何问题。
我还使用了以下代码来安
浏览 7提问于2022-02-24得票数 3
1回答
如何在联邦学习中使用转移学习？
、、、、
我试着实施联邦学习。(使用TensorFlow联邦核心)
def create_keras_model():
model = Sequential()
model.add(Conv2D(16, kernel_size=(3,3), strides=(1,1), padding='same', activation='relu', input_shape=(226,232,1)))
model.add(MaxPooling2D((2,2), strides=(2,2), padding='same'))
m
浏览 20提问于2022-05-05得票数 0
我正在使用aws-amplify-react设置身份验证过程。在我的一个文件中，我导出了一个从withAuthenticator返回的组件，如下所示(稍后将在主呈现页面中使用)： import { ConfirmSignIn,ConfirmSignUp, ForgotPassword, SignIn, VerifyContact, withAuthenticator } from 'aws-amplify-react';
import Jobs from './job_page';
export default withAuthenticator(Jobs,
浏览 15提问于2019-01-12得票数 0
回答已采纳
我运行"bazel run tensorflow_federated/python/research/gans/experiments/emnist:run_experiments"，the me error“失败：”'run‘命令只在一个工作区内被支持(在有一个工作区文件的目录下)。“
<code>C0</code>
在我的“联合”git库中有一个工作空间空文件，我运行了"touch WORKSPACE“。<code>C1</code>
我的安装测试是通过运行"python -c "import
浏览 12提问于2020-08-01得票数 0
1回答
我有这样的run_one_round函数：
def run_one_round(server_state, federated_dataset):
"""Orchestration logic for one round of computation.
Args:
server_state: A `ServerState`.
federated_dataset: A federated `tf.data.Dataset` with placement
`tff.CLIENTS`.
Returns:
浏览 4提问于2021-10-18得票数 1
回答已采纳
我想要更新用户的用户配置文件(Federated_status)，我正在使用DocuSign管理APi，并从组织管理帐户生成临时令牌-但当我使用下面的Docusing admin api调用Docusing admin api时，它没有更新它，并抛出错误“未授权”。 '''try
{
HttpContent PostContent = new StringContent(JsonConvert.SerializeObject(ObjUser), Encoding.UTF8, "application/js
浏览 19提问于2020-04-22得票数 0
回答已采纳
2回答
我在联邦图像分类教程中实现了Resnet34模型。经过10轮训练，训练准确率可达90%以上，而上一轮state.model的评价精度始终在50%左右。
evaluation = tff.learning.build_federated_evaluation(model_fn)
federated_test_data = make_federated_data(emnist_test, sample_clients)
test_metrics = evaluation(state.model, federated_test_data)
str(test_metri
浏览 3提问于2020-02-12得票数 0
当我试图在服务器上加载Tensorflow联合库时，我得到了以下错误。我使用的是tensorflow_federated版本0.13.1 我在服务器上的Cuda版本是10.2。Cudnn库的版本高于7.6。 被询问的"libnvinfer.so.6"是什么？ 2020-03-28 17:26:18.357394: W tensorflow/stream_executor/platform/default/dso_loader.cc:55] Could not load dynamic library 'libnvinfer.so.6'; dlerror: li
浏览 133提问于2020-03-29得票数 1
回答已采纳
这是我的模型，我在TensorFlow中实现过一次。
def create_compiled_keras_model():
inputs = Input(shape=(7, 20, 1))
l0_c = Conv2D(32, kernel_size=(7, 7), padding='valid', activation='relu')(inputs)
l1_c = Conv2D(32, kernel_size=(1, 5), padding='same', activation='relu')(l0_c)
浏览 22提问于2020-02-29得票数 1
回答已采纳
1回答
我是联邦学习的新手，我试图实现FL的代码来进行图像分类，但我不能理解这一行 我在一些细节部分感到困惑。我正在尝试在Keras中构建一个顺序模型，但是当我训练模型时，我得到了这个错误，我如何修复它？ 请给我引路谢谢。 iterative_process = tff.learning.build_federated_averaging_process(model_fn)
TypeError Traceback (most recent call last)
<ipython-input-50-0fdb188570d0>
浏览 30提问于2021-06-17得票数 0
我正在使用来自Keras的预训练的MobileNet，并希望使用TensorFlows联邦学习来训练它，但我总是得到一个错误，即协议缓冲区无法序列化，因为超过了2 2GB的限制。我的输入是224x224RGB图像。 编辑:我有一个包含1000个图像(每个客户端500个图像)的数据集，每个数据集使用10个时期。 我创建和训练Keras模型的代码如下： def create_compiled_keras_model():
base_model = MobileNet(weights='imagenet', include_top=False)
x = base_m
浏览 13提问于2019-05-03得票数 2
我在BigQuery中有一个联邦源代码，它指向GCS中的一些CSV文件。
当我尝试将联邦BigQuery表作为Dataflow管道的源读取时，它会引发以下错误：
1226 [main] ERROR com.google.cloud.dataflow.sdk.util.BigQueryTableRowIterator - Error reading from BigQuery table Federated_test_dataflow of dataset CPT_7414_PLAYGROUND : 400 Bad Request
{
"code" : 400,
浏览 5提问于2016-03-24得票数 4
回答已采纳
基于此链接我正在尝试写一种新的FL算法。我训练所有客户端，并将所有客户端的模型参数发送到服务器，服务器将在聚合过程中仅对所有客户端的30%的模型参数进行加权平均。作为选择30%客户的模型参数的标准，我希望通过使用weights_delta30%的客户端loss_sum客户的数量。 下面的代码是为此修改的代码链接。 @tf.function
def client_update(model, dataset, server_message, client_optimizer):
model_weights = model.weights
initial_weights = server_mes
浏览 41提问于2021-02-23得票数 2
回答已采纳
我试图用我自己的基于CNN的模型和Keras重新实现the github tutorial。但我在计算时出错了。 from __future__ import absolute_import, division, print_function
import collections
from six.moves import range
import numpy as np
import tensorflow as tf
from tensorflow.python.keras.optimizer_v2 import gradient_descent
from tensorflow_fed
浏览 36提问于2019-04-04得票数 1
我试图在tff中运行一个分类模拟，但是我得到了这个错误： TypeError: Unable to interpret an argument of type tensorflow.python.data.ops.dataset_ops.PrefetchDataset as a TFF value. 下面是我使用的代码 client_lr = 1e-3
server_lr = 1e-1
NUM_ROUNDS = 200
NUM_EPOCHS = 5
BATCH_SIZE = 2048
EPOCHS = 400
TH = 0.5
def base_model():
return Sequ
浏览 32提问于2021-04-17得票数 1
回答已采纳
2回答
联合学习时张量型误差
、、、、
我试图使用tensorflow联邦学习工具来处理我的数据。我有两个数据集(dataset和dataset2)来自csv文件，其中前15列是特性，最后一列是标签。我把我的熊猫数据转换成了tensorflow数据集。但是，在迭代器中，存在一个奇怪的类型错误。我是新的紧张和发送代码:任何帮助将不胜感激。提前谢谢。
from __future__ import absolute_import, division, print_function
from sklearn.preprocessing import MinMaxScaler
from keras.models import Model
i
浏览 2提问于2019-10-21得票数 0
回答已采纳
我们都知道，评估步骤对于在测试基础上评估我们的模型非常重要。我想知道在做评估之前是否有必要经过一轮的步骤(培训)？这意味着我的代码可以是这样的吗？如下所示是正确的？？
emnist_train, emnist_test = tff.simulation.datasets.emnist.load_data()
...
def create_keras_model():
return tf.keras.models.Sequential([
tf.keras.layers.Input(shape=(784,)),
tf.keras.layers.Dense(10, ke
浏览 0提问于2020-03-19得票数 0
1回答
为了操作我的模型的度量标准，我想知道，我看到了federated_train_data上的损失还是federated_test_data上的损失？我读过这个：
培训损失看起来比评估损失要好得多:当使用联邦平均(联邦学习促进图像分类教程中使用的优化算法)时，需要仔细解释度量，因为它们与集中式模型培训有细微差别。特别是训练损失，这是在许多顺序步骤或批次上的平均。这意味着在一轮之后，每个客户端都可能很好地将模型与他们的本地数据相匹配(获得了很高的精度)，但是在将这些更新平均到全局模型之后，全局模型可能仍然远离“好”，因此测试精度很低。此外，10轮可能太少；联邦学习的原始学术论文之一显示了至少20轮，
浏览 4提问于2020-11-09得票数 0
1回答
我希望能够在Tivoli Federated Identity manager中捕获从IDP到SP的SAML断言。如何在Tivoli Federated Identity Manager中启用跟踪并捕获SAML断言？
谢谢
浏览 8提问于2016-02-20得票数 0
我需要一些函数或api，它属于Tensorflow Federated的最新版本。根据官方网站的教程，我输入下面的内容来安装最新版本。
pip install --upgrade pip
pip install --upgrade tensorflow-federated
不幸的是，安装完成后，版本为0.17.0，于2020年发布。因此，我只想知道如何在win10上安装Tensorflow-Federated0.28.0。
浏览 4提问于2022-07-07得票数 1
回答已采纳
我计划使用Tensorflow federated API开发一个分散的联邦学习模拟环境，这样节点就能够自我协调以获得数据，而不会受到服务器的干扰。tff API上是否有管理特定客户端之间的数据传输的功能？我只看到将数据从服务器移动到客户端(tff.federated_broadcast())和从客户端移动到服务器(tff.federated_collect())的函数。
浏览 46提问于2021-01-23得票数 2
回答已采纳
我有以下代码
def get(self):
user = users.get_current_user()
if user: # signed in already
self.response.out.write("User Id =" + user.user_id() + " - User federated identity = " + user.federated_identity() + " - User IdentityProvider = "+user.federated_provider() +
浏览 0提问于2012-10-10得票数 2
我用类似于的TFF实现了一个定制的联邦学习GAN训练循环。
使用以下代码片段查找特定培训轮的客户端数据：
def client_dataset_fn():
# Sample clients and data
sampled_clients = np.random.choice(train_data.client_ids, size=cfg.clients_per_round, replace=False)
datasets = [(next(client_gen_inputs_iterator),
train_data.create_t
浏览 3提问于2021-08-23得票数 1
回答已采纳
我试着在Tensorflow Federated中的“图像分类”教程中定制该模型。(它最初使用顺序模型)我使用Keras ResNet50，但是当它开始训练时，总是会出现“不兼容形状”的错误。
这是我的密码：
NUM_CLIENTS = 4
NUM_EPOCHS = 10
BATCH_SIZE = 2
SHUFFLE_BUFFER = 5
def create_compiled_keras_model():
model = tf.keras.applications.resnet.ResNet50(include_top=False, weights='imagenet'
浏览 0提问于2020-01-07得票数 1
我试图在google上安装Tensorflow，但是与版本有冲突，如果我安装以前的版本或者类似的错误，我要么会得到这个错误。
module tensorflow_federated.python has no attribute federated_computation
如果我想安装新版本，它会在安装过程中给出“这需要这个版本，但您有这个版本”。我很困惑。有没有一种简单的方法来使用Tensorflow联合学习？我试着在本地安装它，但也不起作用。为什么用起来这么难？
如果我卸载所有软件包并再次安装它们，它将给出上述错误。
如果我试图导入它，忽略图片中的错误，它会给我一个新版
浏览 2提问于2022-05-30得票数 0
回答已采纳
目前，tensorflow的federated_learn似乎只包括像federated_averaging这样对模型的可训练变量起作用的东西。我该如何在服务器上实现需要梯度聚合的算法呢？
谢谢
浏览 0提问于2019-05-20得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
腾讯会议活动推荐
腾讯云开发者
