待你如初见-腾讯云开发者社区

开发者社区

文档建议反馈控制台

腾讯云架构师技术同盟

文章/答案/技术大牛

发布

待你如初见

专栏成员

20

文章

29742

阅读量

22

订阅数

Centos7安装Airflow2.x redis

数据库 sql python

——————————————————————————————————————————————

待你如初见

2021-04-27

1.8K0

Centos7安装部署Airflow详解

python 数据库 centos

——————————————————————————————————————————————

待你如初见

2019-10-31

6.2K0

scrapy数据入库PGsql

pipelines.py 在pipelines中有一个类如下图 [image.png] 在类中创建方法open_spider def open_spider(self, spider): hostname = '192.168.12.130' username = 'postgres' password = 'postgres' database = 'weibo' # 创建连接 self.connection = psycopg2.connect(h

待你如初见

2019-04-08

2.3K0

Scrapy 持续自动翻页爬取数据

概述方案一：根据URL寻找规律适用于没有下一页button的网页，或者button不是url的网页 [uhhxjjlim2.png] 方案二：根据下一页button获取button内容 [pjnmr582t3.png] 修改代码这里使用方案二通过F12 得到下一页buton的Xpath [图片.png] # -*- coding: utf-8 -*- import scrapy from scrapy import Request from urllib.parse import urljoi

待你如初见

2019-03-21

5.3K0

爬虫 scrapy http

当页面被爬虫解析所需的数据存入Item后，将被发送到项目管道(Pipeline)，并经过几个特定的次序处理数据，最后存入本地文件或存入数据库

待你如初见

2019-03-20

6860

solrCloud相关的管理命令及solrj使用

solrCloud 如何创建新集群(创建一个索引库) http://替换为IP/地址:8080/solr/admin/collections?action=CREATE&name=collection

待你如初见

2018-09-29

1.3K0

Zookeeper与Solr 概述部署 Solr Cloud

lucene/solr tomcat zookeeper node.js 全文检索

solr 环境 CentOS 6.9 JDK 1.8 solr 4.10.2 Zookepper 3.4.9 Tomcat 7.0.82 IKAnalyzer2012FF_u1 solr 概述是一个独立的企业级搜索应用服务器, 用户可以通过http请求访问这个服务器, 获取或者写入对应的内容, 其底层是Lucene Lucene 是一个开放源代码的全文检索引擎工具包，但它不是一个完整的全文检索引擎，而是一个全文检索引擎的架构，提供了完整的查询引擎和索引引擎，部分文本分析引擎（英文与德文两种西方语言）单机

待你如初见

2018-09-29

2.8K0

Java爬虫及分布式部署

编程算法 html https javascript 网络安全

基于HttpClient爬虫环境 IDEA 2017.2 JDK 1.8 httpclient 4.5.4 maven 3.5.0 基本步骤 1.在maven中导入httpClient依赖 <dependency> <groupId>org.apache.httpcomponents</groupId> <artifactId>httpclient</artifactId> <version>4.5.4</version> </de

待你如初见

2018-09-29

1.3K2

Mysql数据库2

数据库云数据库 SQL Server oracle

数据库约束约束的作用: 保证数据的完整性. 单表约束: 主键约束: primary key //一般后边还会写上auto_increment 唯一约束: unique 非空约束: not null* 多表约束:* 外键约束: foreign key多表的分析和设计关系分类:一对多的关系:一个部门可以有多个员工, 一个员工只能属于某一个部门. 一个分类下有多个商品, 一个商品只能属于某一个分类.一个用户产生多个订单, 一个订单只能属于某一个用户.多对多的关系:一个学生可以选择多门课程, 一个课程也

待你如初见

2018-08-03

6520

Mysql数据库1

数据库SQL概述SQL语句分类数据定义语言：简称DDL(Data Definition Language)，用来定义数据库对象：数据库，表，列等。关键字：create，alter，drop等数据操作语言：简称DML(Data Manipulation Language)，用来对数据库中表的记录进行更新。关键字：insert，delete，update等数据控制语言：简称DCL(Data Control Language)，用来定义数据库的访问权限和安全级别，及创建用户。数据查询语言：简称DQL(Data

待你如初见

2018-08-02

8730

什么是中间件关注于数据的发送和接受，利用高效可靠的异步消息传递机制集成分布式系统 JMS与AMQP Java消息服务(Java Message Service)即JMS，是一个Java平台中关于面向消息中间件的API，用于两个应用程序之间，或分布式系统中发送消息，进行异步通信 AMQP(advanced meswsage queuing protocol) 是一个提供统一消息服务的应用层标准协议，基于此协议的客户端与消息中间件可传递消息，并不受客户端/中间件不同产品，不同开发语言的限制

待你如初见

2018-08-02

9160

JavaIO流File类

JavaIO流File类 File类常用操作 $ exists()常用于判断文件或目录是否存在 $ delete() 删除文件/文件夹。 $ separator 设置分隔符。（\\或/） $ isFile() 判断是否为文件。（若文件不存在，也返回false） $ createNewFile() 创建文件(注意文件与文件夹的区别)。 $ getAbsolutePath() 返回绝对路径。 $ getName() 返回文件/目录的名字。 $ getParent() 返回父目录路径。 $

待你如初见

2018-08-02

2670

Java多线程基础概念程序是指令、数据及其组织形式的描述，进程是程序的实体。进程：程序（任务）的执行过程，具有动态性；持有资源（共享内存，共享文件）和线程，是系统进行资源分配和调度的基本单位。线程：有时被称为轻量级进程，是程序执行流的最小单元，线程共享进程的所有资源进程和线程的关系：一对多，同一进程可以拥有多个线程线程之间的关系（交互）：互斥、同步线程的实现方法 1、继承java.lang包下的Thread类，覆写Thread的run()方法 2、实现java.lang.Runnable

待你如初见

2018-08-02

4870

JavaSocket应用

InetAdress类 InetAdress类：没有构造方法，不能new一个对象 InetAddress类用于标示网络上的硬件资源，表示互联网协议（IP)地址获取本机的InetAddress实例 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 public static void main(String[] args) throws UnknownHostException { InetAddress ia = InetAddress.getLoc

待你如初见

2018-08-02

8520

Java反射Class类与类动态载

Class c = 基类.class （int,String,double,void等）

待你如初见

2018-08-01

8190

对象序列化与反序列化

对象的序列化，反序列化对象序列化，就是将Object转换成byte序列，反之叫对象的反序列化序列化流(ObjectOutputStream),是过滤流—-writeObject 反序列化流(ObjectInputStream)—readObject 序列化接口(Serializable) 对象必须实现序列化接口，才能进行序列化，否则将出现异常这个接口，没有任何方法，只是一个标准 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17public static void

待你如初见

2018-08-01

8320

JavaIO流输入输出流-字符流

字节字符转换流认识文本和文本文件 123 java的文本(char)是16位无符号整数，是字符的unicode编码（双字节编码)文件是byte byte byte ...的数据序列文本文件是文本(char)序列按照某种编码方案(utf-8,utf-16be,gbk)序列化为byte的存储结果字符流(Reader Writer)—->操作的是文本文本文件 123456 字符的处理，一次处理一个字符字符的底层任然是基本的字节序列字符流的基本实现 InputStreamReader 完成byte流解

待你如初见

2018-08-01

7380

JavaIO流输入输出流-字节流

FileInputStream fis = new FileInputStream(fileName);

待你如初见

2018-08-01

6540

JavaIO流RandomAccessFile

RandomAccessFile java提供的对文件内容的访问，即可以读文件，也可以写文件支持随机访问文件可以访问文件任意位置 java的文件模型在硬盘上的文件时 byte byte byte存储的，是数据的集合打开文件两种模式：“rw”（读写），“r”（只读） RandomAccessFile raf = new RandomAccessFile(File,"rw") 文件指针，打开文件时指针在开头 pointer = 0 写方法： raf.write(int)--->只写一个字节（后8

待你如初见

2018-08-01

4570

JAVA反射机制

反射机制Class类，类类型的概念在面向对象的世界中，万事万物皆对象。Java语言中，静态的成员，类是对象，类是Java.lang.class的实例对象如何表示三种表示方式//1.实例在告诉我们任何一个类都有一个隐含的静态成员变量classClass c1 = new Foo();//2.已知该类的对象通过getClass方法Class c2 = Foo.getClass();//官方 c1，c2表示了Foo类的类类型（Class Type）//万事万物皆对象，类也是对象，是Class的对象这个对象我们称

待你如初见

2018-07-11

4650

点击加载更多

社区活动

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·干货材料·成员作品最新动态