Postgres的`gin_trgm_ops`指数没有被使用(Postgres `gin_trgm_

2019-10-28 12:36发布

我试图加快在Postgres的一些文本匹配,使用pg_trgm扩展:

CREATE TABLE test3 (id bigint, key text, value text);

insert into test3 values (1, 'first 1', 'second 3');
insert into test3 values (2, 'first 1', 'second 2');
insert into test3 values (2, 'first 2', 'second 3');
insert into test3 values (3, 'first 1', 'second 2');
insert into test3 values (3, 'first 1', 'second 3');
insert into test3 values (4, 'first 2', 'second 3');
insert into test3 values (4, 'first 2', 'second 3');
insert into test3 values (4, 'first 1', 'second 2');
insert into test3 values (4, 'first 1', 'second 2');

-- repeat the above 1,000,000x times, to have more rows for benchmarking
insert into test3(id, key, value) select id, key, value from test3 cross join generate_series(1, 1000000);

现在,我查询这个表ILIKE

select count(*) from test3 where key = 'first 1' and value ilike '%nd 3%';
Time: 918.265 ms

要查看是否索引会加快这,我加pg_trgm两个keyvalue列:

CREATE extension if not exists pg_trgm;
CREATE INDEX test3_key_trgm_idx ON test3 USING gin (key gin_trgm_ops);
CREATE INDEX test3_value_trgm_idx ON test3 USING gin (value gin_trgm_ops);

但查询仍然需要的同时,和EXPLAIN ANALYZE显示的索引并不是在所有的使用:

explain analyze select count(*) from test3 where key = 'first 1' and value ilike '%nd 3%';
                                                                 QUERY PLAN
--------------------------------------------------------------------------------------------------------------------------------------------
 Finalize Aggregate  (cost=126905.14..126905.15 rows=1 width=8) (actual time=1017.666..1017.667 rows=1 loops=1)
   ->  Gather  (cost=126904.93..126905.14 rows=2 width=8) (actual time=1017.505..1018.778 rows=3 loops=1)
         Workers Planned: 2
         Workers Launched: 2
         ->  Partial Aggregate  (cost=125904.93..125904.94 rows=1 width=8) (actual time=1010.862..1010.862 rows=1 loops=3)
               ->  Parallel Seq Scan on test3  (cost=0.00..122427.06 rows=1391148 width=0) (actual time=0.041..973.550 rows=666667 loops=3)
                     Filter: ((value ~~* '%nd 3%'::text) AND (key = 'first 1'::text))
                     Rows Removed by Filter: 2333336
 Planning Time: 0.266 ms
 Execution Time: 1018.814 ms

Time: 1049.413 ms (00:01.049)

注意顺序扫描。 是什么赋予了?

Answer 1:

没关系,我发现这个问题。

查询规划是不是我的玩具测试集聪明; 看到大多数行符合查询条件,它去了顺序扫描。

如果我尝试ilike '%nd 0%'代替,没有相匹配的行和EXPLAIN ANALYZE报告Bitmap Index Scan on test3_value_trgm_idx正常。

因此,在这种方法标准化原始JSONB工作。 但我也将设法寻找和比较的另一种方式,使用正则表达式在TEXT ,以避免创建和维护另一个表。



文章来源: Postgres `gin_trgm_ops` index not being used