如何在Protobuf字节字段中保存数据`None`？

在Protobuf字节字段中保存数据None的方法是使用Protobuf的oneof关键字。oneof关键字允许在一个消息中定义多个字段，但只能有一个字段被设置为非空值。

具体步骤如下：

在Protobuf消息定义中，使用oneof关键字定义一个none_value字段，该字段可以保存None值。

message MyMessage {
  oneof data {
    int32 integer_value = 1;
    string string_value = 2;
    bool boolean_value = 3;
    bytes bytes_value = 4;
    // 添加以下字段
    google.protobuf.NullValue none_value = 5;
  }
}

在使用Protobuf编码时，如果要将字段设置为None，则将none_value字段设置为google.protobuf.NullValue.NULL_VALUE。

from google.protobuf import null_value_pb2

my_message = MyMessage()
my_message.none_value = null_value_pb2.NULL_VALUE

在使用Protobuf解码时，可以通过检查none_value字段是否设置为google.protobuf.NullValue.NULL_VALUE来判断字段是否为None。

if my_message.none_value == null_value_pb2.NULL_VALUE:
  # 字段为None
else:
  # 字段有值

这样，就可以在Protobuf字节字段中保存数据None了。

相关·内容

转载：【AI系统】推理文件格式

) 函数将模型字节串反序列化为模型对象并保存到变量 model 中joblib：专为大规模数据和数值数组设计的序列化库，在处理包含大量 NumPy 数组的模型时性能优异。...tag 和 value 部分类似于字典的 key 和 value，tag 标识字段的类型和唯一性，它是一个整数，表示字段号和数据类型。Protobuf 中，Tag 是通过字段号和数据类型组合编码的。...length 表示 value 的长度，对于定长数据类型（如整数、浮点数），Length 可以省略，因为值的长度是已知的。对于可变长数据类型（如字符串、字节数组），Length 表示值的字节数。...在 Protobuf 中，Tag 的编码结合了字段号和数据类型，具体采用 Varint 编码方式：字段号（Field Number）唯一标识消息中的字段，值为正整数。...线类型（Wire Type）表示字段的数据类型，如整数、浮点数、长度前缀的字符串等。Protobuf 使用 3 位来表示线类型（Wire Type），其余部分表示字段号（Field Number）。

981 0

【AI系统】推理文件格式

（模型字节串）并保存到变量 s 中 model = pickle.loads(s) # 使用 pickle.loads() 函数将模型字节串反序列化为模型对象并保存到变量 model 中joblib...tag 和 value 部分类似于字典的 key 和 value，tag 标识字段的类型和唯一性，它是一个整数，表示字段号和数据类型。Protobuf 中，Tag 是通过字段号和数据类型组合编码的。...length 表示 value 的长度，对于定长数据类型（如整数、浮点数），Length 可以省略，因为值的长度是已知的。对于可变长数据类型（如字符串、字节数组），Length 表示值的字节数。...在 Protobuf 中，Tag 的编码结合了字段号和数据类型，具体采用 Varint 编码方式：字段号（Field Number）唯一标识消息中的字段，值为正整数。...线类型（Wire Type）表示字段的数据类型，如整数、浮点数、长度前缀的字符串等。Protobuf 使用 3 位来表示线类型（Wire Type），其余部分表示字段号（Field Number）。

971 0

如何使用Protobuf进行数据交换【Programming（Go）】

1.5K0 0

IM通讯协议专题学习(十)：初识 Thrift 序列化协议

2、系列文章本文是系列文章中的第 10 篇，本系列总目录如下：《IM通讯协议专题学习(一)：Protobuf从入门到精通，一篇就够！》...《IM通讯协议专题学习(六)：手把手教你如何在Android上从零使用Protobuf》《IM通讯协议专题学习(七)：手把手教你如何在NodeJS中从零使用Protobuf》《IM通讯协议专题学习(...具体是： 1）field_type：字段类型，包括 String、I64、Struct、Stop 等； 2）fied_id：字段序号，解码时通过序号确定字段； 3）len：字段长度，用于变长类型，如 String...1 代表后面的字节还是属于当前数据，0 代表这是当前数据的最后一个字节。...[2] 如何选择即时通讯应用的数据传输格式 [3] 强列建议将Protobuf作为你的即时通讯应用数据传输格式 [4] APP与后台通信数据格式的演进：从文本协议到二进制协议 [5] 面试必考，史上最通俗大小端字节序详解

2110 0

IM通讯协议专题学习(六)：手把手教你如何在Android上从零使用Protobuf

《IM通讯协议专题学习(六)：手把手教你如何在Android上从零使用Protobuf》（* 本文）《IM通讯协议专题学习(七)：手把手教你如何在NodeJS中从零使用Protobuf》《IM通讯协议专题学习...基本数据类型默认值：图片6.3消息类型定义----在上面创建的 Protobuf 文件中，定义一个学生，学生有姓名，年龄，邮箱和课程。...）1-15 的字段编号只占一个字节进行编码，16-2047 的字段编号占两个字节，包括字段编号和字段类型，因此建议更多的使用 1-15 的字段编号；4）可以指定最小字段编号为 1，最大字段编号为 2^29...7、Protobuf 转 Java 文件----首先我们要明白一点：Protobuf 是一种与平台，语言无关的数据存储格式，因此我们要在其它语言如：Java，Kotlin，Dart 等语言中使用它，则必须将...[4] 如何选择即时通讯应用的数据传输格式[5] 强列建议将Protobuf作为你的即时通讯应用数据传输格式[6] APP与后台通信数据格式的演进：从文本协议到二进制协议[7] 面试必考，史上最通俗大小端字节序详解

3K6 0

IM通讯协议专题学习(八)：金蝶随手记团队的Protobuf应用实践(原理篇)

1、引言跟移动端IM中追求数据传输效率、网络流量消耗等需求一样，随手记客户端与服务端交互的过程中，对部分数据的传输大小和效率也有较高的要求，普通的数据格式如 JSON 或者 XML 已经不能满足，因此决定采用...《IM通讯协议专题学习(六)：手把手教你如何在Android上从零使用Protobuf》（稍后发布..）...《IM通讯协议专题学习(七)：手把手教你如何在NodeJS中从零使用Protobuf》《IM通讯协议专题学习(八)：金蝶随手记团队的Protobuf应用实践(原理篇)》（* 本文）《IM通讯协议专题学习...进行编码，得到的二进制数据仅有20个字节：0a046a6f 6a6f1001 1a0a3132 33407171 2e636f6d4、编码原理相对于基于纯文本的数据结构如 JSON、XML等，Protobuf...每种类型的序号可以从这张表得到:需要注意，对于string类型的数据（在上表中第三行），由于其长度是不定的，所以 T-V的消息结构是不能满足的，需要增加一个标识长度的Length字段，即T-L-V结构。

6342 0

IM通讯协议专题学习(三)：由浅入深，从根上理解Protobuf的编解码原理

本篇文章我们不讨论IM系统中的那些高端技术话题，我们回归到通讯的本质——也就是数据在网络中交互时的编解码原理，并由浅入深从底层理解Protobuf的编解码技术实现。...《IM通讯协议专题学习(六)：手把手教你如何在Android上从零使用Protobuf》（稍后发布..）...《IM通讯协议专题学习(七)：手把手教你如何在NodeJS中从零使用Protobuf》（稍后发布..）...但对于后端服务之间的交互（或者具体如IM里Client和Server之间的交互）来说就不一样了，后端服务之间的RPC调用可能会传输大量数据，如果全部用纯文本的形式来表示数据那么不管是网络带宽还是性能可能都会差强人意...10、Protobuf的嵌套数据与JSON和XML类似，Protobuf中也支持嵌套消息.

4984 0

嵌入式linux之go语言开发（七）protobuf的使用

我下载的是protoc-3.4.0-win32.zip protobuf的简单使用：先编写*.proto定义文件如test.proto：在这个文件中可以定义需要的结构, 例如枚举型, 结构体等等....source=drh》 [Protobuf序列化原理] 1、Protobuf序列化 Protobuf对于数据存储的三大原则：（1）Protocol Buffer将消息中的每个字段进行编码后，利用T...（2）ProtoBuf对于不同数据类型采用不同的序列化方式（数据编码方式与数据存储方式） Protobuf对于不同的字段类型采用不同的编码和数据存储方式对消息字段进行序列化，以确保得到高效紧凑的数据压缩...不同类型的数据采用的编码方式和存储方式如下：对于Varint编码数据的存储，不需要存储字节长度Length，使用T-V存储方式进行存储；对于采用其它编码方式（如LENGTH_DELIMITED）的数据...或 repeated 字段没有被设置字段值，那么该字段在序列化时的数据中是完全不存在的，即不需要进行编码，但相应的字段在解码时会被设置为默认值。

1.1K2 0

Python Protobuf入门

Protobuf独立于语言、平台，同时也易于阅读和理解。这里将以一个例子介绍如何在Python中使用Protobuf。1.安装protobuf首先，需要安装了protobuf库。...在这个例子中，定义了一个名为Person的消息，它有三个字段：name、age和email。...protobuf_data.ClearField("field_name")HasField(field_name)检查 Protobuf 对象中的指定字段是否已设置protobuf_data.HasField...这样保存下来的文件大概是这样：图片但是Protobuf 序列化后的数据是二进制格式，通常无法直接以文本形式展示（或者看起来很奇怪）。...因此将二进制数据转换为 Base64 编码的字符串是一种常见的做法， Base64 编码后的字符串可以在文本协议（如电子邮件、JSON、XML等）中传输和存储。

2.9K13 2

数据序列化工具Protobuf编码&避坑指南

缺乏一些数据类型：例如没有内建的日期、时间类型，对于这些类型的数据，需要手动转换成可以支持的类型，如 string 或 int。...：对于 tag 来说，它保存了 message 字段的编号以及类型信息，我们可以做个实验，把 name 这个 tag 编码后的二进制打印出来： func main() { student := student.Student...最佳实践字段编号需要注意的是范围 1 到 15 中的字段编号需要一个字节进行编码，包括字段编号和字段类型；范围 16 至 2047 中的字段编号需要两个字节。...因为使用了 VarInts，所以单字节的最高位是零，而最低三位表示类型，所以只剩下 4 位可用了。也就是说，当你的字段数量超过 16 时，就需要用两个以上的字节表示了。...如果在序列化或者反序列化的过程中，该字段没有被设置，那么 protobuf 库就会抛出一个错误。

1.1K2 0

配图清新的Protobuf 编码&避坑指南

我们现在所有的协议、配置、数据库的表达都是以 protobuf 来进行承载的，所以我想深入总结一下 protobuf 这个协议，以免踩坑。...缺乏一些数据类型：例如没有内建的日期、时间类型，对于这些类型的数据，需要手动转换成可以支持的类型，如string或int。...：图片对于 tag 来说，它保存了message 字段的编号以及类型信息，我们可以做个实验，把 name 这个tag编码后的二进制打印出来： func main() { student := student.Student...最佳实践字段编号需要注意的是范围 1 到 15 中的字段编号需要一个字节进行编码，包括字段编号和字段类型；范围 16 至 2047 中的字段编号需要两个字节。...如果在序列化或者反序列化的过程中，该字段没有被设置，那么protobuf库就会抛出一个错误。

1.3K0 0

使用Wireshark分析gRPC消息

6.6K1 0

ProtoBuf 入门详解

1.定义数据结构：首先，开发者使用.proto文件来定义数据结构。这个文件是一种领域特定语言（DSL），用来描述数据消息的结构，包括字段名称、类型（如整数、字符串、布尔值等）、字段标识号等等。...相比之下，Protobuf 序列化后的数据是二进制字节流，它并不适合人类阅读，且必须通过特定的反序列化函数才能正确解读数据。...在使用 JSON 序列化数据时，其结果中往往包含人类刻度的字段名称，例如 { "id": "123456" } ，但是在 protobuf 中，序列化后的结果中只会包含字段编号而非字段名称，例如在本例中...这三个字节分别对应了 protobuf 编码的三个内容：（在 protobuf 中每个字节的首位都是控制位，用于表示随后的字节是否需要和自己属于同一个字段) Tag 标签由字段编号与字段类型组成，其编码格式为...参考资料 Protobuf 语言指南（proto3）｜掘金如何在前端中使用protobuf（node篇）｜掘金深入理解 ProtoBuf 原理与工程实践（概述）｜掘金 Protobuf:

1.4K7 4

protobuf、flatbuffer、msgpack 针对小数据包的简单对比

flatbuffers 官方也是说假设你不删除字段，只会把字段设为 desperated ，而且字段ID必须从0开始，然后递增。这个是和 flatbuffers 的打包数据组织结构相关的。...毕竟在实际使用的过程中，大部分字段都不会只读一次。...\000(\001 protobuf 会对整数类型使用varint来压缩空数据来减少长度。效果也比较好，打包后数据块只占用了57字节。...这个arena其实就是一个不断增长的内存块链表，可以用于保存protobuf的对象和对象数据，没有回收功能。非常简单但也很适合 libatbus 这种动态结构少而且结构简单的协议。...protobuf 是57字节，减去数据内容的13字节后是44字节。这个差距就比较大了。在我们的实际应用场景总，往往还有一层业务层面的包头，也差不多40-50字节。

8.4K2 0

Go 开发者必备：Protocol Buffers 入门指南

前言在现代软件开发中，系统之间的高效通信至关重要，尤其是在微服务架构和分布式系统中。为了高效地传输数据并保证跨语言的兼容性，Protocol Buffers（简称 Protobuf）应运而生。...字段类型标量类型（Scalar Types）这些类型表示常见的数据类型，如整数、浮点数、布尔值、字符串等。...消息类型（Message Types）message 是 Protobuf 中的复合类型，用来表示一组相关的数据字段。每个字段可以是不同的类型，包括标量类型、枚举类型、其他消息类型等。...避免使用文本格式消息进行交换文本格式（如 JSON 和文本格式）的序列化方法并不适合用于数据交换。它们将字段和枚举值表示为字符串，因此在字段或枚举值重命名或新增字段时，旧代码会导致反序列化失败。...小结本文介绍了如何在 Go 中使用 Protobuf，涵盖了环境配置、语法、集成步骤、风格指南和最佳实践等内容。

26514 6

GRPC: Protocol Buffers 3 语法与使用探讨

与XML和JSON相比，Protobuf更加紧凑和高效，特别适合用于需要高性能和小数据量的场景，如网络通信和数据存储。 2....字段类型：如string、int32。字段标识符：每个字段都有一个唯一的标识符，如1、2、3。...字节类型：bytes。 3.3 枚举类型枚举用于定义一组命名常量。...Protocol Buffers的优势高效性：Protobuf的数据格式比XML和JSON更紧凑，解析速度更快。可扩展性：可以在不破坏现有数据的情况下，添加新的字段。...多语言支持：支持多种编程语言，如C++、Java、Python等。结论 Protocol Buffers 3是一种强大且高效的数据序列化工具，适用于多种应用场景。

2231 0

Java程序员必须知道的常用序列化技术及选型，Protobuf 原理详解

但在现实应用中，就可能要求在 JVM 停止运行之后能够保存(持久化)指定的对象，并在将来重新读取被保存的对象。 Java 对象序列化就能够帮助我们实现该功能。...所以，由于没有显指定 serialVersionUID，编译器又为我们生成了一个 UID，当然和前面保存在文件中的那个不会一样了，于是就出现了 2 个序列化版本号不一致的错误。...Transient 关键字 Transient 关键字的作用是控制变量的序列化，在变量声明前加上该关键字，可以阻止该变量被序列化到文件中，在被反序列化后， transient 变量的值被设为初始值，如...Java 序列化的一些简单总结 Java 序列化只是针对对象的状态进行保存，至于对象中的方法，序列化不关心当一个父类实现了序列化，那么子类会自动实现序列化，不需要显示实现序列化接口当一个对象的实例变量引用了其他对象...采用了独特的编码方式，如 Varint、 Zigzag 编码方式等等 b.

1.1K1 0

轻松搞定 Protobuf：高效数据序列化的神器

紧凑：Protobuf 用可变长度编码，压缩数据无压力，节省带宽和存储空间。跨平台：Protobuf 支持多种编程语言，如 Java、C++、Python 等，跨平台数据交换轻松搞定。...合理设置字段编号：字段编号在 1 到 15 的范围内使用一个字节进行编码，而 16 到 2047 之间的编号需要两个字节。...为实现向前兼容，新版本中不要删除或更改旧版本中已有的字段编号和类型。可以添加新的字段，但要为新字段设置新的编号。向后兼容：旧版本可以解析新版本的数据。...为实现向后兼容，新版本中不要删除旧版本中已有的字段。可以将不再使用的字段标记为 deprecated，但不要复用其编号。...，而旧版本中没有该字段时，旧版本会使用该字段的默认值。

7751 0

【ProtoBuf】文件编写及序列化

再⽐如将数据持久化存储到数据库时，会将⼀系列元数据统一用对象组织起来，再进行存储。所以 ProtoBuf 就是以 message 的⽅式来⽀持我们定制协议字段，后期帮助我们形成类和⽅法来使⽤。...字段类型分为：标量数据类型和特殊类型（包括枚举、其他消息类型等）。字段唯⼀编号：⽤来标识字段，⼀旦开始使⽤就不能够再改变。...以下表格展⽰了定义于消息体中的标量数据类型，以及编译 .proto ⽂件之后⾃动⽣成的类中与之对应的字段类型。...值得⼀提的是，范围为 1 ~ 15 的字段编号需要⼀个字节进⾏编码， 16 ~ 2047 内的数字需要两个字节进⾏编码。编码后的字节不仅只包含了编号，还包含了字段类型。...序列化的 API 函数均为const成员函数，因为序列化不会改变类对象的内容，而是将序列化的结果保存到函数入参指定的地址中。

1251 0

客户端和服务器的通信，protobuf和协议格式

编码负数时不够高效——如果你的字段可能含有负数，那么请使用sint32。 int64 long 使用可变长编码方式。编码负数时不够高效——如果你的字段可能含有负数，那么请使用sint64。...unit32 int[1] 总是4个字节。如果数值总是比总是比228大的话，这个类型会比uint32高效。 unit64 long[1] 总是8个字节。...bytes ByteString 可能包含任意顺序的字节数据特殊字段英文中文备注 enum 枚举(数字从零开始) 作用是为字段指定某”预定义值序列” enum Type {MAN = 0;WOMAN...builder.setUid(1); builder.addAllCostUid(costUidList); builder.setUserExp(1000) builder.build() 4、如何在游戏项目中使用...，不重要客户端解析出根据长度读出数据长度进行解析。

1.7K1 0

点击加载更多

扫码

添加站长进交流群

领取专属 10元无门槛券

手把手带您无忧上云