前往小程序，Get更优阅读体验！
立即前往
文档建议反馈控制台
首页
学习
活动
专区
圈层
工具
MCP广场
文章/答案/技术大牛
发布
首页
学习
活动
专区
圈层
工具
MCP广场
返回腾讯云官网
社区首页 >专栏 >Go操作MongoDB

Go操作MongoDB

原创
作者头像
iginkgo18
修改于 2021-09-13 10:00:41
修改于 2021-09-13 10:00:41
2.4K00
代码可运行
举报
文章被收录于专栏：devops_k8sdevops_k8s
运行总次数：0
代码可运行
关联问题
换一批

1 . 简介

mongoDB是目前比较流行的一个基于分布式文件存储的数据库，它是一个介于关系数据库和非关系数据库(NoSQL)之间的产品，是非关系数据库当中功能最丰富，最像关系数据库的。

2 . MongoDB介绍和部署

mongoDB是目前比较流行的一个基于分布式文件存储的数据库，它是一个介于关系数据库和非关系数据库(NoSQL)之间的产品，是非关系数据库当中功能最丰富，最像关系数据库的。

mongoDB中将一条数据存储为一个文档（document），数据结构由键值（key-value）对组成。 其中文档类似于我们平常编程中用到的JSON对象。 文档中的字段值可以包含其他文档，数组及文档数组。

2.1 MongoDB相关概念

mongoDB中相关概念与我们熟悉的SQL概念对比如下:

MongoDB术语/概念

说明

对比SQL术语/概念

database

数据库

database

collection

集合

table

document

文档

row

field

字段

column

index

index

索引

primary key

主键 MongoDB自动将_id字段设置为主键

primary key

2.2 MongoDB安装

我们这里下载和安装社区版，官网下载地址。 打开上述连接后，选择对应的版本、操作系统平台（常见的平台均支持）和包类型，点击Download按钮下载即可。

这里补充说明下，Windows平台有ZIP和MSI两种包类型: * ZIP：压缩文件版本 * MSI：可执行文件版本，点击”下一步”安装即可。

macOS平台除了在该网页下载TGZ文件外，还可以使用Homebrew安装。

更多安装细节可以参考官方安装教程，里面有Linux、macOS和Windows三大主流平台的安装教程。

安装

代码语言：javascript
代码运行次数：0
运行
AI代码解释
复制
# 创建mongo用户
useradd mongod
echo 123 |passwd --stdin mongod

# 创建目录结构
mkdir -p /mongodb/{conf,log,data,bin}

# 解压软件到指定位置
tar xf mongodb-linux-x86_64-rhel70-3.4.24.tgz -C /mongodb/
cp -a /mongodb/mongodb-linux-x86_64-rhel70-3.4.24/bin/* /mongodb/bin/

# 修改目录权限
chown -R mongod:mongod /mongodb

# 设置用户环境变量
su - mongod
tail -2 .bash_profile
export PATH
export PATH=/mongodb/bin:$PATH
source .bash_profile

启动

代码语言：javascript
代码运行次数：0
运行
AI代码解释
复制
mongod --dbpath=/opt/data/apps/mongodb/data --logpath=/opt/data/apps/mongodb/log/mongo.log --port=27017 --logappend --fork

// 有警告就处理下
cat >> /etc/security/limits.conf <<EOF
* soft nproc 65530
* hard nproc 65530
* soft nofile 65530
* hard nofile 65530
EOF
ulimit -n 65535
ulimit -u 20480

// 链接mongo
mongo	  // 默认连接本机test数据库

配置文件启动

代码语言：javascript
代码运行次数：0
运行
AI代码解释
复制
[mongod@client-1 mongodb]$ cat /opt/data/apps/mongodb/conf/mongo.conf
dbpath=/opt/data/apps/mongodb/data
logpath=/opt/data/apps/mongodb/log/mongo.log
logappend = true
port=27017 
fork=true 
auth=true
#bind_ip = 127.0.0.1 
journal=true 
quiet=true

// 启动
$ mongod -f /opt/data/apps/mongodb/conf/mongo.conf 

// 关闭
mongod -f /opt/data/apps/mongodb/conf/mongo.conf --shutdown

// 加入systemd
cat > /etc/systemd/system/mongod.service <<EOF
[Unit]
Description=mongodb 
After=network.target remote-fs.target nss-lookup.target
[Service]
User=mongod
Type=forking
ExecStart=/opt/data/apps/mongodb/bin/mongod --config /opt/data/apps/mongodb/conf/mongo.conf
ExecReload=/bin/kill -s HUP $MAINPID
ExecStop=/opt/data/apps/mongodb/bin/mongod --config /opt/data/apps/mongodb/conf/mongo.conf --shutdown
PrivateTmp=true  
[Install]
WantedBy=multi-user.target
EOF

systemctl start mongod
systemctl stop mongod
systemctl restart mongod

3 . MongoDB基本使用

3.1 启动MongoDB数据库

3.2 数据库常用命令

代码语言：javascript
代码运行次数：0
运行
AI代码解释
复制
show dbs;：查看数据库
> show dbs;
admin   0.000GB
config  0.000GB
local   0.000GB

> use youmen	# 切换到指定数据库，如果不存在该数据库就创建。
switched to db youmen

> db # 显示当前所在数据库。
youmen

> db.dropDatabase() # 删除当前数据库
{ "ok" : 1 }

3.3 数据集常用命令

代码语言：javascript
代码运行次数：0
运行
AI代码解释
复制
db.createCollection(name,options)：创建数据集

name：数据集名称
options：可选参数，指定内存大小和索引。
> db.createCollection("student");
{ "ok" : 1 }

show collections;：查看当前数据库中所有集合。

> show collections;
student
db.student.drop()：删除指定数据集

> db.student.drop()
true

3.4 文档常用命令

插入一条文档

代码语言：javascript
代码运行次数：0
运行
AI代码解释
复制
{
	"acknowledged" : true,
	"insertedId" : ObjectId("613ee40f9462ebfb9de4f671")
}

插入多条文档

代码语言：javascript
代码运行次数：0
运行
AI代码解释
复制
> db.student.insertMany([
... {name:"张三",age:20},
... {name:"李四",age:25}
... ]);
{
	"acknowledged" : true,
	"insertedIds" : [
		ObjectId("613ee4349462ebfb9de4f672"),
		ObjectId("613ee4349462ebfb9de4f673")
	]
}

查询所有文档

代码语言：javascript
代码运行次数：0
运行
AI代码解释
复制
> db.student.find();
{ "_id" : ObjectId("613ee40f9462ebfb9de4f671"), "name" : "youmen", "age" : 18 }
{ "_id" : ObjectId("613ee4349462ebfb9de4f672"), "name" : "张三", "age" : 20 }
{ "_id" : ObjectId("613ee4349462ebfb9de4f673"), "name" : "李四", "age" : 25 }

查询age>20岁的文档

代码语言：javascript
代码运行次数：0
运行
AI代码解释
复制
> db.student.find(
... {age:{$gt:20}}
... )
{ "_id" : ObjectId("613ee4349462ebfb9de4f673"), "name" : "李四", "age" : 25 }

更新文档

代码语言：javascript
代码运行次数：0
运行
AI代码解释
复制
> db.student.update(
... {name:"youmen"},
... {name:"wunai",age:21}
... );
WriteResult({ "nMatched" : 1, "nUpserted" : 0, "nModified" : 1 })
> db.student.find()
{ "_id" : ObjectId("613ee40f9462ebfb9de4f671"), "name" : "wunai", "age" : 21 }
{ "_id" : ObjectId("613ee4349462ebfb9de4f672"), "name" : "张三", "age" : 20 }
{ "_id" : ObjectId("613ee4349462ebfb9de4f673"), "name" : "李四", "age" : 25 }

删除文档

代码语言：javascript
代码运行次数：0
运行
AI代码解释
复制
> db.student.deleteOne({name:"李四"});
{ "acknowledged" : true, "deletedCount" : 1 }
> db.student.find()
{ "_id" : ObjectId("613ee40f9462ebfb9de4f671"), "name" : "wunai", "age" : 21 }
{ "_id" : ObjectId("613ee4349462ebfb9de4f672"), "name" : "张三", "age" : 20 }

命令实在太多，更多命令请参阅官方文档：shell命令和官方文档：CRUD操作。

4 Go操作MongoDB

4.1 通过Golang连接MongoDB

代码语言：javascript
代码运行次数：0
运行
AI代码解释
复制
package main

import (
	"context"
	"fmt"
	"log"

	"go.mongodb.org/mongo-driver/mongo"
	"go.mongodb.org/mongo-driver/mongo/options"
)

func main() {
	// 设置客户端连接配置
	clientOptions := options.Client().ApplyURI("mongodb://1.1.1.1:27017")

	// 连接到MongoDB
	client, err := mongo.Connect(context.TODO(), clientOptions)
	if err != nil {
		log.Fatal(err)
	}

	// 检查连接
	err = client.Ping(context.TODO(), nil)
	if err != nil {
		log.Fatal(err)
	}
	fmt.Println("Connected to MongoDB!")
}

连接上MongoDB之后，可以通过下面的语句处理我们上面的youmen数据库中的student数据集了:

代码语言：javascript
代码运行次数：0
运行
AI代码解释
复制
package main

import (
	"context"
	"fmt"
	"go.mongodb.org/mongo-driver/mongo"
	"go.mongodb.org/mongo-driver/mongo/options"
	"log"
)

func main() {
	clientOptions := options.Client().ApplyURI("mongodb://1.1.1.1:27017")

	client, err := mongo.Connect(context.TODO(), clientOptions)
	if err != nil {
		log.Fatal(err)
	}

	err = client.Ping(context.TODO(), nil)
	if err != nil {
		log.Fatal(err)
	}
	fmt.Println("Connected to MongoDB!")

	// 指定获取要操作数据集a
	connection := client.Database("youmen").Collection("student")
	fmt.Println(connection)

	// 断开连接
	err = client.Disconnect(context.TODO())
	if err != nil {
		log.Fatal(err)
	}
	fmt.Println("Connection to MongoDB closed.")
}

4.2 连接池模式

代码语言：javascript
代码运行次数：0
运行
AI代码解释
复制
package main

import (
	"context"
	"fmt"
	"go.mongodb.org/mongo-driver/mongo"
	"go.mongodb.org/mongo-driver/mongo/options"
	"log"
	"time"
)

func ConnectToDB(uri string,name string,timeout time.Duration,num uint64) (*mongo.Database,error)  {
	ctx,cancel := context.WithTimeout(context.Background(),timeout)
	defer cancel()

	o := options.Client().ApplyURI(uri)
	o.SetMaxPoolSize(num)
	client,err := mongo.Connect(ctx,o)
	if err != nil {
		return nil,err
	}
	return client.Database(name),nil
}

var num uint64

func main() {
	//clientOptions := options.Client().ApplyURI()
	num=20
	clientOptions,err := ConnectToDB("mongodb://1.1.1.1:27017","youmen", time.Duration(num),20)
	fmt.Println(clientOptions)
	if err != nil {
		log.Fatal(err)
	}

	err = clientOptions.Client().Ping(context.TODO(), nil)
	if err != nil {
		log.Fatal(err)
	}
	fmt.Println("Connected to MongoDB!")

	// 指定获取要操作数据集a
	connection := clientOptions.Client().Database("youmen").Collection("student")
	fmt.Println(connection)

	// 断开连接
	err = clientOptions.Client().Disconnect(context.TODO())
	if err != nil {
		log.Fatal(err)
	}
	fmt.Println("Connection to MongoDB closed.")
}

5 BSON

MongoDB中的JSON文档存储在名为BSON(二进制编码的JSON)的二进制表示中。与其他将JSON数据存储为简单字符串和数字的数据库不同，BSON编码扩展了JSON表示，使其包含额外的类型，如int、long、date、浮点数和decimal128。这使得应用程序更容易可靠地处理、排序和比较数据。

连接MongoDB的Go驱动程序中有两大类型表示BSON数据：D和Raw。

类型D家族被用来简洁地构建使用本地Go类型的BSON对象。这对于构造传递给MongoDB的命令特别有用。D家族包括四类:

D: 一个BSON文档。这种类型应该在顺序重要的情况下使用，比如MongoDB命令。

M: 一张无序的map。它和D是一样的，只是它不保持顺序。

A: 一个BSON数组。

E: D里面的一个元素。

要使用BSON，需要先导入下面包:

代码语言：javascript
代码运行次数：0
运行
AI代码解释
复制
import "go.mongodb.org/mongo-driver/bson"

下面是一个使用D类型构建的过滤器文档的例子，它可以用来查找name字段与’张三’或’李四’匹配的文档:

代码语言：javascript
代码运行次数：0
运行
AI代码解释
复制
bson.D{{
	"name",
	bson.D{{
		"$in",
		bson.A{"张三", "李四"},
	}},
}}

Raw类型家族用于验证字节切片。你还可以使用Lookup()从原始类型检索单个元素。如果你不想要将BSON反序列化成另一种类型的开销，那么这是非常有用的。这个教程我们将只使用D类型。

5.1 CURD

我们先在Go代码定义一个Student类型如下:

代码语言：javascript
代码运行次数：0
运行
AI代码解释
复制
type Student struct {
	Name string
	Age int
}

接下来，创建一些Student类型值，准备插入到数据库中:

代码语言：javascript
代码运行次数：0
运行
AI代码解释
复制
s1 := Student{"小红", 12}
s2 := Student{"小兰", 10}
s3 := Student{"小黄", 11}

插入文档

使用collection.InsertOne()方法插入一条文档记录:

代码语言：javascript
代码运行次数：0
运行
AI代码解释
复制
insertResult, err := collection.InsertOne(context.TODO(), s1)
if err != nil {
	log.Fatal(err)
}

fmt.Println("Inserted a single document: ", insertResult.InsertedID)

使用collection.InsertMany()方法插入多条文档记录:

代码语言：javascript
代码运行次数：0
运行
AI代码解释
复制
students := []interface{}{s2, s3}
insertManyResult, err := collection.InsertMany(context.TODO(), students)
if err != nil {
	log.Fatal(err)
}
fmt.Println("Inserted multiple documents: ", insertManyResult.InsertedIDs)

更新文档

updateone()方法允许你更新单个文档。它需要一个筛选器文档来匹配数据库中的文档，并需要一个更新文档来描述更新操作。你可以使用bson.D类型来构建筛选文档和更新文档:

代码语言：javascript
代码运行次数：0
运行
AI代码解释
复制
filter := bson.D{{"name", "小兰"}}

update := bson.D{
	{"$inc", bson.D{
		{"age", 1},
	}},
}

接下来，就可以通过下面语句找到小兰，给他增加一岁了;

代码语言：javascript
代码运行次数：0
运行
AI代码解释
复制
updateResult, err := collection.UpdateOne(context.TODO(), filter, update)
if err != nil {
	log.Fatal(err)
}
fmt.Printf("Matched %v documents and updated %v documents.\n", updateResult.MatchedCount, updateResult.ModifiedCount)

查找文档

要找到一个文档，你需要一个filter文档，以及一个指向可以将结果解码为其值的指针。要查找单个文档，使用collection.FindOne()。这个方法返回一个可以解码为值的结果。

我们使用上面定义过的那个filter来查找姓名为’小兰’的文档。

代码语言：javascript
代码运行次数：0
运行
AI代码解释
复制
// 创建一个Student变量用来接收查询的结果
var result Student
err = collection.FindOne(context.TODO(), filter).Decode(&result)
if err != nil {
	log.Fatal(err)
}
fmt.Printf("Found a single document: %+v\n", result)

要查找多个文档，请使用collection.Find()。此方法返回一个游标。游标提供了一个文档流，你可以通过它一次迭代和解码一个文档。当游标用完之后，应该关闭游标。下面的示例将使用options包设置一个限制以便只返回两个文档。

代码语言：javascript
代码运行次数：0
运行
AI代码解释
复制
// 查询多个
// 将选项传递给Find()
findOptions := options.Find()
findOptions.SetLimit(2)

// 定义一个切片用来存储查询结果
var results []*Student

// 把bson.D{{}}作为一个filter来匹配所有文档
cur, err := collection.Find(context.TODO(), bson.D{{}}, findOptions)
if err != nil {
	log.Fatal(err)
}

// 查找多个文档返回一个光标
// 遍历游标允许我们一次解码一个文档
for cur.Next(context.TODO()) {
	// 创建一个值，将单个文档解码为该值
	var elem Student
	err := cur.Decode(&elem)
	if err != nil {
		log.Fatal(err)
	}
	results = append(results, &elem)
}

if err := cur.Err(); err != nil {
	log.Fatal(err)
}

// 完成后关闭游标
cur.Close(context.TODO())
fmt.Printf("Found multiple documents (array of pointers): %#v\n", results)

删除文档

最后，可以使用collection.DeleteOne()或collection.DeleteMany()删除文档。如果你传递bson.D{{}}作为过滤器参数，它将匹配数据集中的所有文档。还可以使用collection. drop()删除整个数据集。

代码语言：javascript
代码运行次数：0
运行
AI代码解释
复制
// 删除名字是小黄的那个
deleteResult1, err := collection.DeleteOne(context.TODO(), bson.D{{"name","小黄"}})
if err != nil {
	log.Fatal(err)
}
fmt.Printf("Deleted %v documents in the trainers collection\n", deleteResult1.DeletedCount)
// 删除所有
deleteResult2, err := collection.DeleteMany(context.TODO(), bson.D{{}})
if err != nil {
	log.Fatal(err)
}
fmt.Printf("Deleted %v documents in the trainers collection\n", deleteResult2.DeletedCount)


package main
import (
    "fmt"
    "reflect"
)
type person struct {
    name string
    age  int
}
func main() {
    v := reflect.ValueOf(person{"steve", 30})
    count := v.NumField()
    for i := 0; i < count; i++ {
        f := v.Field(i)
        switch f.Kind() {
        case reflect.String:
            fmt.Println(f.String())
        case reflect.Int:
            fmt.Println(f.Int())
        }
    }
}

5.2 获取Mongo服务状态

代码语言：javascript
代码运行次数：0
运行
AI代码解释
复制
ctx, _ = context.WithTimeout(context.Background(), 30*time.Second)
serverStatus, err := client.Database("admin").RunCommand(
 ctx,
 bsonx.Doc{{"serverStatus", bsonx.Int32(1)}},
).DecodeBytes()
if err != nil {
 fmt.Println(err)
}
fmt.Println(serverStatus)
fmt.Println(reflect.TypeOf(serverStatus))
version, err := serverStatus.LookupErr("version")
fmt.Println(version.StringValue())
if err != nil {
 fmt.Println(err)
}

原创声明：本文系作者授权腾讯云开发者社区发表，未经许可，不得转载。

如有侵权，请联系 cloudcommunity@tencent.com 删除。

go
mongodb

原创声明：本文系作者授权腾讯云开发者社区发表，未经许可，不得转载。

如有侵权，请联系 cloudcommunity@tencent.com 删除。

go
mongodb
评论
登录后参与评论
暂无评论
登录 后参与评论
推荐阅读
编辑精选文章
换一批
万字详解高可用架构设计
2175
Go 开发者必备：Protocol Buffers 入门指南
1237
10分钟带你彻底搞懂分布式链路跟踪
781
多租户的 4 种常用方案
1591
亿级月活的社交 APP，陌陌如何做到 3 分钟定位故障？
1172
60页PPT全解：DeepSeek系列论文技术要点整理
2137
《手把手带你学爬虫──初级篇》第2课 Requests库讲解
爬虫
Requests是一常用的http请求库，它使用python语言编写，可以方便地发送http请求，以及方便地处理响应结果。
GitOPEN
2019/01/29
8930
《手把手带你学爬虫──初级篇》第2课 Requests库讲解
Python爬虫之requests库入门requests库的get方法理解requests库的异常爬去网页通用的代码框架resquests库主要方法的解析
python爬虫
网络爬虫就是提取网页的信息。 网络爬虫的原则就是谨记“the website is API”,就是我们所面对的对象和信息来源都是各个website。现在python由于其特性已经越来越被广泛的用于网络爬虫领域。
desperate633
2018/08/22
8140
Python爬虫之requests库入门requests库的get方法理解requests库的异常爬去网页通用的代码框架resquests库主要方法的解析
技术学习：Python（14）｜爬虫篇｜爬虫requests库
python爬虫requests对象连接
headers接收字典类型的参数作为请求头，请求头部字段作为key，字段对应的值作为value。具体的实验代码如下：
艾特
2023/10/10
3880
技术学习：Python（14）｜爬虫篇｜爬虫requests库
requests库的基本用法
其他
Requests 是使用Python语言编写，基于urllib,采用Apache2 Licensed开源协议的HTTP库。 它比urllib库更加方便，可以节约我们大量的工作，完全满足HTTP测试需求。 一句话—Python实现的简单易用的HTTP库。
爱吃西瓜的番茄酱
2018/07/25
4400
【Python】【爬虫】Requests库详解
phphttp
Requests是用Python语言编写的第三方库,使用前需要另外安装。它基于urllib，采用Apache2 Licensed开源协议的HTTP库。它比urllib更加方便，完全满足HTTP测试需求，可以节约我们很多的工作。
阿黎逸阳
2020/09/08
1.4K0
【Python】【爬虫】Requests库详解
Python Requests库安装和使用
pythonrequests编码对象字符串
Python 提供了多个用来编写爬虫程序的库，除了前面已经介绍的 urllib 库之外，还有一个很重的 Requests 库，这个库的宗旨是“让 HTTP 服务于人类”。
用户10002156
2023/08/07
1.1K0
Python Requests库安装和使用
二次封装requests，构造通用的请求函数
http爬虫pythontcp/ip
本章将告诉你该如何去对request模块进行二次封装，暂时并不会告诉你HTTP协议及原理、URL等相关。当然你会使用然后在来阅读此文章一定会另有所获。我已经迫不及待要告诉你这个小秘密，以及想与你交流了。没时间解释了，快来一起和我一起探讨相关的内容吧
PayneWu
2020/12/18
8740
二次封装requests，构造通用的请求函数
Python爬虫requests库详解
代理对象python爬虫requests
上一节中，我们了解了 urllib 的基本用法，但是其中确实有不方便的地方，比如处理网页验证和 Cookies 时，需要写 Opener 和 Handler 来处理。为了更加方便地实现这些操作，就有了更为强大的库 requests，有了它，Cookies、登录验证、代理设置等操作都不是事儿。
仲君Johnny
2024/02/05
8920
Python爬虫requests库详解
Python爬虫技术系列-03requests库案例
网络安全pythonhttpphp
Requests官方文档中关于Requests的介绍是：Requests是一个优雅而简单的Python HTTP库，是为人类构建的。 Requests可以完成，Keep-Alive，带Cookie的持久化session，SSL认证，文件上传下载等诸多功能，本小节主要介绍Requests库的安装与基本使用，尽管如此，也力求通过合适的案例，帮助读者完成对Requests的使用，更多高阶操作可以查看官网。
用户2225445
2022/11/12
3320
Python爬虫技术系列-03requests库案例
Python爬虫基础系列：初识Requests库
phppython爬虫http
"if something is important enough, even if the odds are against you, you should still do it." 如果一件事情对你很重要，即使成功的概率很小，你也应该去做。
小Bob来啦
2021/02/12
4470
Python爬虫基础系列：初识Requests库
python_爬虫基础学习
正则表达式htmlhtml5爬虫http
Beautiful Soup库：解析HTML页面（pycharm中安装bs4即可）
Mirror王宇阳
2020/11/13
1.9K0
python_爬虫基础学习
python requests
网络安全python爬虫http
Request支持HTTP连接保持和连接池，支持使用cookie保持会话，支持文件上传，支持自动响应内容的编码，支持国际化的URL和POST数据自动编码。
forxtz
2022/05/10
1.7K0
网络爬虫 | requests请求模块
tcp/iphttpphp爬虫
Cookies信息像很多网页中自动登录一样，在用户第二次登录时，不需要再次属于用户名和密码即可实现登陆操作。
数据STUDIO
2021/06/24
7270
python requests模块
phpjsonhttps网络安全http
使用requests可以模拟浏览器的请求，比起之前用到的urllib，requests模块的api更加便捷（本质就是封装了urllib3）
用户5760343
2019/07/27
1.4K0
Python爬虫利器：Requests库的使用
python爬虫安全
写了一些爬虫，从urllib库转到requests库，到目前为止，个人感觉requests库是最简单易用的HTTP库，以下这段话来自requests官网：
王强
2018/08/09
9290
三、Requests库的使用
python安全开源httpsgithub
requests 的底层实现其实就是 urllib3  Requests 唯一的一个非转基因的 Python HTTP 库，人类可以安全享用。 学过关于urllib库的使用，你会发现它是很不方便的。而Requests工作起来会比urllib方便，Requests是Python实现的最简单易用的HTTP库，需要通过pip单独安装 开源地址：https://github.com/kennethreitz/requests 中文文档 API： http://docs.python-requests.org/zh_
酱紫安
2018/04/16
1K0
python 爬虫基础知识(继续补充)
htmlphphttphttps网络安全
HTTP协议（HyperText Transfer Protocol，超文本传输协议）：是一种发布和接收 HTML页面的方法。
py3study
2020/01/19
8710
Requests库详解
爬虫python
requests(爬虫系列之一) 由于最近工作中，与同事对接模拟手机浏览器进行广告模拟跳转。又一次接触用到爬虫的知识，以前用过urllib + bs4 + selenium定向爬取网易一元夺宝的商品信息保存在数据库中，当时，还是太年轻，对爬虫不是很了解，对爬虫的robots协议也不知道。现在重新梳理一下爬虫的知识。争取写一个系列，大致内容顺序是requests, bs4,re, scrapy, selenium等。 在介绍requests库之前，先介绍以下基本的http概念, 下面内容是在上嵩天教授课程
若与
2018/04/25
2K1
Requests库详解
[331]python之requests的基本使用
网络安全httphtmlhttpspython
Requests是用python语言基于urllib编写的，采用的是Apache2 Licensed开源协议的HTTP库，Requests它会比urllib更加方便，可以节约我们大量的工作。
周小董
2022/04/12
5740
[331]python之requests的基本使用
Python3网络爬虫实战-24、req
爬虫http
在前面一节我们了解了 Urllib 的基本用法，但是其中确实有不方便的地方。比如处理网页验证、处理 Cookies 等等，需要写 Opener、Handler 来进行处理。为了更加方便地实现这些操作，在这里就有了更为强大的库 Requests，有了它，Cookies、登录验证、代理设置等等的操作都不是事儿。
py3study
2020/01/06
8680
推荐阅读
编辑精选文章
万字详解高可用架构设计Go 开发者必备：Protocol Buffers 入门指南10分钟带你彻底搞懂分布式链路跟踪多租户的 4 种常用方案亿级月活的社交 APP，陌陌如何做到 3 分钟定位故障？60页PPT全解：DeepSeek系列论文技术要点整理
相关讨论
Go 语言的 ORM 框架是否支持动态表结构操作？使用go语言怎么操作cloudbase的云开发数据库？函数服务go1运行环境里没有go？
相关课程
腾讯云向量数据库-RAG七天入门训练营AI驱动的TDSQL-Cserverless实战营腾讯云向量数据库快速上手训练营
《手把手带你学爬虫──初级篇》第2课 Requests库讲解
8930
Python爬虫之requests库入门requests库的get方法理解requests库的异常爬去网页通用的代码框架resquests库主要方法的解析
8140
技术学习：Python（14）｜爬虫篇｜爬虫requests库
3880
requests库的基本用法
4400
【Python】【爬虫】Requests库详解
1.4K0
Python Requests库安装和使用
1.1K0
二次封装requests，构造通用的请求函数
8740
Python爬虫requests库详解
8920
Python爬虫技术系列-03requests库案例
3320
Python爬虫基础系列：初识Requests库
4470
python_爬虫基础学习
1.9K0
python requests
1.7K0
网络爬虫 | requests请求模块
7270
python requests模块
1.4K0
Python爬虫利器：Requests库的使用
9290
三、Requests库的使用
1K0
python 爬虫基础知识(继续补充)
8710
Requests库详解
2K1
[331]python之requests的基本使用
5740
Python3网络爬虫实战-24、req
8680
相关推荐
《手把手带你学爬虫──初级篇》第2课 Requests库讲解
更多 >
GitOPEN0
LV.0
这个人很懒，什么都没有留下～
文章
78
获赞
247
专栏
1
作者相关精选
换一批
加入讨论
的问答专区 >
码事漫谈0
1高级后端开发工程师擅长3个领域
相关课程
一站式学习中心 >
腾讯云向量数据库-RAG七天入门训练营
2138人在学
向量数据库
腾讯云安灯
AI驱动的TDSQL-Cserverless实战营
1418人在学
云原生数据库 TDSQL-C
腾讯云向量数据库快速上手训练营
1069人在学
向量数据库
领券

腾讯云开发者

扫码关注腾讯云开发者

扫码关注腾讯云开发者

领取腾讯云代金券

热门产品

热门推荐

更多推荐

Copyright © 2013 - 2025 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有 

深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 深公网安备号 44030502008569

腾讯云计算（北京）有限责任公司 京ICP证150476号 |  京ICP备11018762号 | 京公网安备号11010802020287

问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档

Copyright © 2013 - 2025 Tencent Cloud.

All Rights Reserved. 腾讯云 版权所有

登录 后参与评论
6