社区首页 >专栏 >PostgreSQL插件HypoPG：支持虚拟索引

PostgreSQL插件HypoPG：支持虚拟索引

yzsDBA

发布于 2023-09-07 01:27:03

32900

代码可运行

文章被收录于专栏：PostgreSQL研究与原理解析PostgreSQL研究与原理解析

运行总次数：0

代码可运行

通过索引可以加速查询。但是执行SQL时，并不是所有索引都会使用。如果花费很长时间创建一个索引，最后却用不到，岂不是又浪费时间又浪费磁盘空间。那有没有啥方法，可以即不浪费时间又不浪费空间，提前知道这个索引能否可用？HypoPG插件可以帮助创建一个虚拟索引，即不耗费CPU也不耗费磁盘。

轻量级实现：HypoPG

HypoPG作为扩展插件，可拔插，支持PG9.2及其以上版本，无需重新启动服务即可使用。每个后端都有自己的一组虚拟索引，并不会干扰其他连接。另外，虚拟索引存储在内存中，添加/删除大量索引并不会使系统目录膨胀。该插件实现的限制：必须通过用户自定义函数来完成。

使用方法

使用时，需要CREATE EXTENSION hypopg;来加载插件。

虚拟索引属于独立后台进程，因此并发时，不同进程的虚拟索引并不会彼此影响。下面是也给例子：

rjuju=# CREATE TABLE hypo AS SELECT id, 'line ' || id AS val FROM generate_series(1,10000) id;
rjuju=# EXPLAIN SELECT * FROM hypo WHERE id = 1;
                      QUERY PLAN
-------------------------------------------------------
 Seq Scan on hypo  (cost=0.00..180.00 rows=1 width=13)
   Filter: (id = 1)
(2 rows)

创建虚拟索引最简单的方法：使用hypopg_create_index带有CREATE INDEX语句作为参数的函数：

rjuju=# SELECT * FROM hypopg_create_index('CREATE INDEX ON hypo (id)');

注意，CREATE INDEX语句中某些信息会被忽略，例如索引名。一些被忽略的信息会在未来版本中处理。

也可以在自己的后端查看可用的虚拟索引：

rjuju=# SELECT * FROM hypopg_list_indexes ;
indexrelid |                 indexname                 | nspname | relname | amname
-----------+-------------------------------------------+---------+---------+--------
205101     | <41072>btree_hypo_id                      | public  | hypo    | btree

如果需要有关虚拟索引更多信息，hypopg()函数将以类似于pg_index系统目录的方式返回虚拟索引。限制看下之前的EXPLAIN语句是否会使用这样的索引：

rjuju=# EXPLAIN SELECT * FROM hypo WHERE id = 1;
                                     QUERY PLAN
------------------------------------------------------------------------------------
 Index Scan using <41072>hypo_btree_hypo_id on hypo  (cost=0.29..8.30 rows=1 width=13)
   Index Cond: (id = 1)
(2 rows)

当然，加上ANALYZE后就不会使用了：

rjuju=# EXPLAIN ANALYZE SELECT * FROM hypo WHERE id = 1;
                                           QUERY PLAN
-------------------------------------------------------------------------------------------------
 Seq Scan on hypo  (cost=0.00..180.00 rows=1 width=13) (actual time=0.036..6.072 rows=1 loops=1)
   Filter: (id = 1)
   Rows Removed by Filter: 9999
 Planning time: 0.109 ms
 Execution time: 6.113 ms
(5 rows)

使用hypopg_drop_index(indexrelid)函数将虚拟索引删除，或者关闭当前连接。

该插件还提供了隐藏和恢复某个索引的功能：

1）先用hypopg_reset()清除其他索引之前的影响：SELECT hypopg_reset();

2）创建2个虚拟索引，并执行EXPLAIN

rjuju=# CREATE INDEX ON hypo(id);
rjuju=# CREATE INDEX ON hypo(id, val);
rjuju=# EXPLAIN SELECT * FROM hypo WHERE id = 1;
                                    QUERY PLAN
----------------------------------------------------------------------------------
Index Only Scan using hypo_id_val_idx on hypo  (cost=0.29..8.30 rows=1 width=13)
  Index Cond: (id = 1)
(2 rows)

3）查询计划使用hypo_id_val_idx索引，使用hypopg_hide_index(oid)隐藏其中一个索引：

rjuju=# SELECT hypopg_hide_index('hypo_id_val_idx'::REGCLASS);
rjuju=# EXPLAIN SELECT * FROM hypo WHERE id = 1;
QUERY PLAN
-------------------------------------------------------------------------
Index Scan using hypo_id_idx on hypo (cost=0.29..8.30 rows=1 width=13)
  Index Cond: (id = 1)
(2 rows)

4）查询计划使用了另一个索引hypo_id_idx。使用hypopg_hide_index(oid)再把它隐藏掉：

rjuju=# SELECT hypopg_hide_index('hypo_id_idx'::REGCLASS);
rjuju=# EXPLAIN SELECT * FROM hypo WHERE id = 1;
QUERY PLAN
-------------------------------------------------------
Seq Scan on hypo (cost=0.00..180.00 rows=1 width=13)
  Filter: (id = 1)
(2 rows)

查询计划又退回使用SeqScan了。

5）使用hypopg_unhide_index(oid)恢复索引：

rjuju=# SELECT hypopg_unhide_index('hypo_id_idx'::regclass);
rjuju=# EXPLAIN SELECT * FROM hypo WHERE id = 1;
QUERY PLAN
-------------------------------------------------------------------------
Index Scan using hypo_id_idx on hypo (cost=0.29..8.30 rows=1 width=13)
  Index Cond: (id = 1)
(2 rows)

6）可以使用函数hypopg_hidden_indexes()或者视图hypopg_hidden_indexes查看隐藏了哪些索引：

rjuju=# SELECT * FROM hypopg_hidden_indexes();
indexid
---------
526604
526603
12659
(3 rows)

rjuju=# SELECT * FROM hypopg_hidden_indexes;
 indexrelid |      index_name      | schema_name | table_name | am_name | is_hypo
------------+----------------------+-------------+------------+---------+---------
      12659 | <12659>btree_hypo_id | public      | hypo       | btree   | t
     526603 | hypo_id_idx          | public      | hypo       | btree   | f
     526604 | hypo_id_val_idx      | public      | hypo       | btree   | f
(3 rows)