mysql大数据怎么分页 mysql如何做大数据分析

mysql 数据量大的表如何做分页查询

直接用limit start, count分页语句， 也是我程序中用的方法：

成都创新互联公司自2013年起，公司以网站制作、做网站、系统开发、网络推广、文化传媒、企业宣传、平面广告设计等为主要业务，适用行业近百种。服务企业客户超过千家，涉及国内多个省份客户。拥有多年网站建设开发经验。为企业提供专业的网站建设、创意设计、宣传推广等服务。 通过专业的设计、独特的风格，为不同客户提供各种风格的特色服务。

select * from product limit start, count

当起始页较小时，查询没有性能问题，我们分别看下从10， 100， 1000， 10000开始分页的执行时间（每页取20条）， 如下：

select * from product limit 10, 20 0.016秒

select * from product limit 100, 20 0.016秒

select * from product limit 1000, 20 0.047秒

select * from product limit 10000, 20 0.094秒

我们已经看出随着起始记录的增加，时间也随着增大， 这说明分页语句limit跟起始页码是有很大关系的，那么我们把起始记录改为40w看下（也就是记录的一般左右） select * from product limit 400000, 20 3.229秒

再看我们取最后一页记录的时间

select * from product limit 866613, 20 37.44秒

难怪搜索引擎抓取我们页面的时候经常会报超时，像这种分页最大的页码页显然这种时

间是无法忍受的。

从中我们也能总结出两件事情：

1）limit语句的查询时间与起始记录的位置成正比

2）mysql的limit语句是很方便，但是对记录很多的表并不适合直接使用。

求教，MYSQL大数据量分页哪些好办法

分页查询一般 DBA 想到的办法是在某个（如ID，create_time)字段上加组合索引。这样条件排序都能有效的利用到索引，性能迅速提升。

因为如果当 LIMIT 子句变成 “LIMIT 1000000,10” 时，你会抱怨：我只取10条记录为什么还是慢？

要知道数据库也并不知道第1000000条记录从什么地方开始，即使有索引也需要从头计算一次。出现这种性能问题，多数情形下是程序员偷懒了。在前端数据浏览翻页，或者大数据分批导出等场景下，是可以将上一页的最大值当成参数作为查询条件的。SQL 重新设计如下：

SELECT *

FROM 表

WHERE create_time '2017-07-04 09:00:00'

ORDER BY create_time limit 10;

这样查询时间基本固定，不会随着数据量的增长而发生变化。

MySQL百万级数据量分页查询方法及其优化建议

offset+limit方式的分页查询，当数据表超过100w条记录，性能会很差。

主要原因是offset limit的分页方式是从头开始查询，然后舍弃前offset个记录，所以offset偏移量越大，查询速度越慢。

比如: 读第10000到10019行元素(pk是主键/唯一键).

使用order by id可以在查询时使用主键索引。

但是这种方式在id为uuid的时候就会出现问题。可以使用where in的方式解决：

带条件的查询：

如果在分页查询中添加了where条件例如 type = 'a’这样的条件，sql变成 ：

这种情况因为type没有使用索引也会导致查询速度变慢。但是只添加type为索引查询速度还是很慢,是因为查询的数据量太多了。这个时候考虑添加组合索引，组合索引的顺序要where条件字段在前，id在后，如 (type,id)，因为组合索引查询时用到了type索引，而type跟id是组合索引的关系，如果只select id ，那么直接就可以按组合索引返回id，而不需要再进行一次查询去返回id

使用uuid作为主键不仅会带来性能上的问题，在查询时也会遇到问题。

因为在使用select id from table limit 10000,10 查询id数据时，默认是对id进行排序，返回的是排序后的id结果，如果我们想按插入顺序查询结果，这样查询出来的结果就与我们的需求不相符。

聚集索引跟非聚集索引：聚集索引类似与新华字典的拼音，根据拼音搜索到的信息都是连续的，可以很快获取到它前后的信息。非聚集索引类似于部首查询，信息存放的位置可能不在一个区域。对经常使用范围查询的字段考虑使用聚集索引。

InnoDB中索引分为聚簇索引（主键索引）和非聚簇索引（非主键索引），聚簇索引的叶子节点中保存的是整行记录，而非聚簇索引的叶子节点中保存的是该行记录的主键的值。

如果您的表上定义有主键，该主键索引是聚集索引。

如果你不定义为您的表的主键时，MySQL取第一个唯一索引（unique）而且只含非空列（NOT NULL）作为主键，InnoDB使用它作为聚集索引。

如果没有这样的列，InnoDB就自己产生一个这样的ID值，

优先选index key_len小的索引进行count(*),尽量不使用聚簇索引

在没有where条件的情况下，count(*)和count(常量)，如果有非聚簇索引，mysql会自动选择非聚簇索引，因为非聚簇索引所占的空间小，如果没有非聚簇索引会使用聚集索引。count(primary key)主键id为聚集索引，使用聚集索引。有where条件的情况下，是否使用索引会根据where条件判断。

MySQL分页的sql语言怎么写？

1、首先我们建立一个表表的数据，这个表里有25条数据，id从1到25。（下图是部分截图）

2、要分页数据，首先我们假设一页有10条数据，我们可以用mysql的limit关键字来限定返回多少条数据。并且用orderby来排序数据，这里用id来排序。所以第一页的sql可以如图这样写。

3、执行后得到的数据如图，就是id从1到10的前10条数据，因为我们是按id升序来排序的。

4、上面第一页的sql是简化的写法，完整的写法如图，得到的结果和上图的一模一样。代码里limit0,10的意思是从第一条数据开始，取10条数据。（注意的是第一条数据是从0开始的）

5、那么第二页的数据，关键是要知道是从哪一条数据开始，可以用这个公式得到：(页码-1) *每页显示多少条，即（2-1)*10=10,所以sql语句如图,limit10,10。

6、执行后，结果正确，得到id从11到20的10条数据。

7、同理第三页数据的sql如图，br/就是limit20,10。

8、查询的结果如图，因为这页只剩下5条数据了，所以只显示5条数据。如果你有更多页的数据，后面的数据只需要按上面的公式，得到从哪行开始，就可以写对应的sql语句了。