mysql数据增量怎么办,mysql增量更新数据

每天数据增量很大时，mysql应该怎么搞

1.优化数据结构，每张数据表字段4-5个，加上索引。还可以将不同的种类的数据存入不同的数据库。减少单个数据库的压力。 2.写入数据只是存的问题，问题在于读取数据会变慢。建议使用缓存memcache，redis在向你招收哦。

我们提供的服务有：网站制作、做网站、微信公众号开发、网站优化、网站认证、黄岛ssl等。为上1000+企事业单位解决了网站和推广的问题。提供周到的售前咨询和贴心的售后服务，是有科学管理、有技术的黄岛网站制作公司

mysql数据增量同步到hive

同步业务库的数据到ODS层，之前一直是全量同步数据，主要考虑IO太大，耗时太长，重复拉取同样的数据，现在考虑增量同步的方式实现，同时对库表数据做分区。

增量同步主要分为两步，第一步，存量数据一次性同步；第二步，在存量数据的基础之上，做增量；后期的每一次同步都是增量同步。以下是具体同步方案：

用Sqoop同步表中全部数据到Hive表中；

a．根据hive中最大更新时间，用Sqoop提取更新时间为这个时间之后的增量数据；

1）获取表的所有列，把datetime和timestamp类型，统一在java中映射成TIMESTAMP类型，脚本如下：

2） 用sqoop import拉取数据，脚本如下：

1）创建增量同步的sqoop job，脚本如下：

a、从hive中获取表的最大更新时间

b、以上面获取的最大更新时间，作为起点，创建sqoop job，脚本如下：

c、创建sqoop job之后，就是执行job了，脚本如下：

具体参数详解，参考：

如何实现mysql增量更

Ø 首先，我们需要开启MySQL服务器的二进制日志功能，其实现方法有很多种，最常用的是在MySQL的配置文件的mysqld项中加入log-bin=[filepath]项；也可以使用mysqld –log-bin=[filepath]重新启动MySQL服务器。

Ø 其次，使用mysqldump对数据库进行完全备份，它可以实现对数据据的联机，非阻塞的热备份，不会影响其他进程对数据库的读写操作。（参考指令：mysqldump -uroot --password=123 --single-transaction --flush-logs --master-data=2 --all-databases --delete-master-logs d:/mysql5.0/full_%date:~0,10%_1500_PM.sql）

Ø 第三，使用flush logs指令刷新创建新的二进制日志。可以通过mysqladmin flush logs或者flush logs语句实现。最方便有效的方法是将它做成批处理文件，然后让操作系统定期执行。

Ø 使用mysql *.sql进行完全备份的恢复。