首页
学习
活动
专区
圈层
工具
发布
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    Python数据挖掘——应用toad包中的detect函数进行描述性统计

    本文和你一起探索数据挖掘常用的函数toad.detector.detect。...一、安装toad包 首先打开cmd,安装toad包,安装语句如下: pip install toad 若安装成功,会显示结果如下: 二、导入数据 背景:现需分析53万客户的基本信息和购物信息,用于构建客户的购物画像...库下的detect函数,进行数据描述性统计分析,语句如下: #计算描述性统计值 describe = toad.detector.detect(date) describe 得到结果如下: 其中index...为了更清晰地展示变量对应的统计值,把结果导出到csv文档中,具体语句如下: describe.to_csv('describe.csv', encoding='gbk') 得到结果如下: 至此,在Python...中应用toad.detector.detect进行数据挖掘已经讲解完毕,感兴趣的同学可以自己实现一遍。

    1.3K10

    【Python数据挖掘】应用toad包中的KS_bucket函数统计好坏样本率、KS值

    一、安装toad包 首先打开cmd,安装toad包,安装语句如下: pip install toad 若安装成功,会显示结果如下: 二、导入数据 背景:现需分析7252个客户的多头、关联风险、法院执行...具体语句如下: help(toad.metrics.KS_bucket) 得到结果如下: Help on function KS_bucket in module toad.metrics: KS_bucket...四、应用KS_bucket函数计算变量的KS值 1 等频分割 接着,调用toad库下的KS_bucket函数,设置10等分等频分箱,进行数据统计分析,语句如下: d1=toad.metrics.KS_bucket...第二个数据具体展示如下: 为了看得更清晰,我们把第一个数据的结果导出到csv中,具体代码如下: d1[0].to_csv('d1.csv', encoding='gbk') 得到结果: 常用指标详解...2 等距分割 为了对比,调用toad库下的KS_bucket函数,设置10等分等距分箱,进行数据统计分析,语句如下: d1=toad.metrics.KS_bucket(date['7天内申请人在多个平台申请借款

    3.6K10

    Oracle-使用切片删除的方式清理非分区表中的超巨数据

    lob columns in it or CTAS/copy the data over db links. -- This can also be used to simulate parallel insert...通常可以在SELECT INTO、FETCH INTO以及RETURNING INTO子句中使用BULK COLLECT 更多请参考 Oracle数据库之FORALL与BULK COLLECT语句...试想当一些要更新或者删除的历史数据集中分布在segment的某些位置时(例如所要删除的数据均存放在一张表的前200个Extents中),因为脚本是根据大小均匀分割区域的,所以某些区域是根本没有我们所要处理的数据的,由这些区域构造出来的...DML语句都是无意义的....几点注意事项: 请将该脚本放到Pl/SQL Developer或Toad之类的工具中运行,在sqlplus中运行可能出现ORA-00933 不要忘记替换标注中的条件 自行控制commit

    2K20

    如何将Bitcoin比特币区块链数据导入关系数据库

    最后终于找到了一个好办法,那就是直接导出为文本文件(比如CSV格式),然后用SQL Server的Bulk Insert命令来实现批量导入,这是我已知的最快的写入数据库的方法。...四、将CSV导入SQL Server 在完成了CSV文件的导出后,接下来就是怎么将CSV文件导入到SQL Server中。这个很简单,只需要执行BULK INSERT命令。...比如这是我在测试的时候用到的SQL语句: bulk insert [Block] from 'F:\temp\blk205867.csv'; bulk insert Trans from 'F:\temp...\trans205867.csv'; bulk insert TxInput from 'F:\temp\input205867.csv'; bulk insert TxOutput from 'F...我是每1000个Block就生成4个csv文件,然后使用C#连接到数据库,执行bulk insert命令。执行完成后再把这生成的4个csv文件删除,然后再循环继续导出下一批1000个Block。

    99540

    MySQL自增锁的探究

    2.5.1 表的插入数据方式 我们之前在表中插入数据都是用最基本的insert,但insert语句的用法用很多,另外MySQL还提供replace语句,允许对表中的数据进行替换; insert用法: drop...;对于Bulk Inserts无法确定插入的行数时采用表级别自增锁来保证insert的连续插入; 2:interleaved(交叉模式):不采用表锁,来一个insert处理一个,并发能力最高,但可能会造成...1)traditional(传统模式) 在传统模式下,不管是在执行Simple inserts还是Bulk inserts时每个insert获取自增锁时都会触发表锁,在某个insert没有释放表锁之前其他线程...无法预知要插入的行,触发表级别自增锁 【Simple Inserts】 【Bulk Inserts】 3)interleaved(交叉模式) 在交叉模式下,所有的insert语句都不会使用自增锁(悲观锁...auto_increment alter table t3 auto_increment=20; 自增幅度由以下两个参数进行控制: -- 自增的步长 set auto_increment_increment

    1.1K96

    【DB笔试面试465】如何使用批量动态SQL(FORALL及BULK子句的使用)?

    如果一个循环内执行了INSERT、DELETE或UPDATE等语句引用了集合元素,那么可以将其移动到一个FORALL子句中。...常用的三种语句支持BULK子句,分别为EXECUTE IMMEDIATE,FETCH和FORALL。...2、使用EXECUTE IMMEDIATE结合BULK子句处理DML语句返回子句 下面的例子,首先定义了两个索引表类型以及其变量,接下来使用动态SQL语句来更新T_20170104_LHR的薪水,使用EXECUTE...子句处理多行查询 在下面示例中,与前一个示例相同,只不过其动态SQL由查询语句组成,且返回多个结果集,同样使用了BULK COLLECT INTO来传递结果。...输入变量,但FORALL子句仅支持DML(INSERT、DELETE、UPDATE)语句,不支持动态的SELECT语句。

    2.4K30

    【DB应用】SQL执行计划简述

    SQL查询语句的性能从一定程度上影响整个数据库的性能。很多情况下,数据库性能的低下差不多都是不良SQL语句所引起。...而SQL语句的执行 计划则决定了SQL语句将会采用何种方式从数据库提取数据并返回给客户端,本文描述的将是如何通过EXPLAIN PLAN 获取SQL语句执行计划来获 取SQL语句的执行计划。...Workload Repository)或查询Statspack,即从资料库中获取执行计划 启用执行计划跟踪功能,即autotrace功能 使用PL/SQL Developer提供的获取执行计划方法 使用Toad...工作实质 将SQL语句预估的执行计划加载到表plan_table,是对表plan_table 执行了DML操作,故不会执行隐式提交 可以对select,insert,update,merge,delete.../rdbms/admin/utlxplan 对当前的SQL语句有执行权限以及对依赖的对象有相应操作的权限 3.

    67170

    深入浅出表锁(Table Lock)

    同理,某个事务 中对某个表执行SELECT、INSERT、DELETE、UPDATE语句时,在其他会话中对这个表执行 DDL 语句也会 发生阻塞。...FOR UPDATE; 即:意向锁是由存储引擎 自己维护的 ,用户无法手动操作意向锁,在为数据行加共享 / 排他锁之前,InooDB 会先获取该数据行 所在数据表的对应意向锁 。...“Bulk inserts” (批量插入) 事先不知道要插入的行数 (和所需自动递增值的数量)的语句。比如 INSERT ... SELECT , REPLACE ......在这个模式下,“bulk inserts”仍然使用AUTO-INC表级锁,并保持到语句结束。这适用于所有INSERT ... SELECT,REPLACE ......不使用 表级AUTO-INC锁,除非AUTO-INC锁由另一个事务保持。

    1.3K40

    MySQL 亿级数据导入导出数据迁移笔记

    navicat等工具导出,我这里本次导出三个字段,都是11位数字以内的值,用navicat导出每分钟大约250万数据, 2、MySQL自带的导出语句:select into outfile语句; 这里...原文上说的用load data能速度极快的导入数据到数据库中,但是如果要使用fields和lines参数,则必须要带一个参数值且fields必须在lines参数之前; 本次我使用的语句是: 插入是很简单的语句...如果用了myisam,注意一下两点: •用了myisam,可以调整几个session值扩大读取内存,提高读取数据,语句如下: •SET SESSION BULK_INSERT_BUFFER_SIZE =...,否则语句不一定在正常执行。...注意:load和insert最大的区别是:load只操作语法一次,之后就是一直是数据批量插入,而insert 是每一个数据操作一次,也遍历一次字段索引,所以insert本身对于大数据来说是极慢的。

    2.4K20

    PLSQL的使用「建议收藏」

    PLSQL这个工具专门为oracle开发的(它只能连接oracle数据库) 很多工具都可以连接oracle数据库(常用的有navicat、toad、plsql等) 1.1 初次登录PLSQL:...1.3 进入PLSQL后切换数据库连接: 1.4 PLSQL中编写SQL语句并执行 注意:选中要执行的语句,再执行,否则将执行所有SQL语句。...便可显示表结构,如下图: 1.6PLSQL中SQL语句的注释 或者按照如下方法: 1.7 对查询结果进行修改、插入行、删除行并保存 修改 在SELECT语句后加FOR UPDATE,再执行,结果如下...然后选中一行后,点击 ,删除该行; 新版本SQLSERVER图标如下: 排序 1.8导出表格数据、导入表格数据 导出表格数据 查询出结果后,点击结果左上角,进行全选; 然后,点击右键,选择Copy...to Excel进行导出。

    24.4K12

    PLSQL Developer几个可能的隐患

    语句自动提交 我们知道,常用的SQL语句,分为DDL和DML两种,DDL是数据定义语言(Data Definition Language),例如create、alter、drop操作,都是DDL语句,官方定义如下...DML是数据控制语言(Data Manipulation Language),例如insert、delete、update操作,都是DML语句,官方定义如下, Data manipulation language...,3的DDL会隐式提交,此时会将1和2的insert和delete连带提交,当4需要rollback时,只可以回滚4的操作,1和2已经提交,无法再执行回滚, 1. insert into a values...至少应该设置为Ask,关闭软件时,如果窗口存在未提交事务,弹出窗口,由执行者选择, ? 3....2.关注管理工具的登录脚本,存在异常,立即报警, SQL*Plus: glogin.sql / login.sql TOAD : toad.ini PLSQLdeveloper: login.sql

    2.9K10
    领券