如何有效地在mysql数据库中搜索json数据?
我从labs.mysql.com安装了extract_json udf,并试用了一个包含2.750.000个条目的测试表。
CREATE TABLE `testdb`.`JSON_TEST_TABLE` (
`AUTO_ID` INT UNSIGNED NOT NULL AUTO_INCREMENT,
`OP_ID` INT NULL,
`JSON` LONGTEXT NULL,
PRIMARY KEY (`AUTO_ID`)) $$
示例JSON字段如下所示:
{"ts": "2014-10-30 15:08:56 (9400.223725848107) ", "operation": "1846922"}
我发现将json_extract放入select语句实际上对性能没有影响。也就是说,以下选择(几乎)具有相同的性能:
SELECT * FROM JSON_TEST_TABLE where OP_ID=2000000 LIMIT 10;
SELECT OP_ID, json_extract(JSON, "ts") ts, json_extract(JSON, "operation") operation FROM JSON_TEST_TABLE where OP_ID=2000000 LIMIT 10;
然而,一旦我将一个json_extract表达式放入where子句中,执行时间就增加了10倍或更多(我从2,5秒增加到30秒):
SELECT OP_ID, json_extract(JSON, "ts") ts, json_extract(JSON, "operation") operation FROM JSON_TEST_TABLE where json_extract(JSON, "operation")=2000000 LIMIT 10;
在这一点上,我认为我需要提取在插入时要搜索的所有信息到单独的列中,并且如果我真的必须在json数据中搜索,我需要首先缩小要通过其他条件搜索的行数,但我希望确保我没有遗漏任何明显的东西。例如,我能以某种方式索引json字段吗?或者是我的select语句写得很低效?
发布于 2017-06-29 03:31:23
事实上,在执行
SELECT * FROM JSON_TEST_TABLE where OP_ID=2000000 LIMIT 10;
json_extract()最多执行10次。
在这个过程中
SELECT OP_ID, json_extract(JSON, "ts") ts, json_extract(JSON, "operation") operation FROM JSON_TEST_TABLE where json_extract(JSON, "operation")=2000000 LIMIT 10;
将对每一行执行json_extract(),结果限制为10条记录,因此速度会有所降低。索引也不会有什么帮助,因为处理时间被外部代码消耗,而不是MySQL的.imho,在这种情况下最好的选择是优化的UDF。
发布于 2015-03-02 17:05:01
你可以试试这个:http://www.percona.com/blog/2015/02/17/indexing-json-documents-for-efficient-mysql-queries-over-json-data/
MySQL的Flexviews物化视图用于使用JSON_EXTRACT将数据从JSON提取到另一个表中,该表可以被索引。
https://stackoverflow.com/questions/26670022
复制相似问题