nosql负载均衡,mysql负载均衡配置

【软件架构篇】互联网架构模板

架构图如下图所示。这张图基本涵盖了互联网技术公司的大部分技术点，不同公司只是在具体的技术实现上稍有差异，但不会跳出这个框架的范畴。

创新互联主要业务有网站营销策划、成都网站制作、网站设计、微信公众号开发、微信小程序定制开发、H5高端网站建设、程序开发等业务。一次合作终身朋友，是我们奉行的宗旨；我们不仅仅把客户当客户，还把客户视为我们的合作伙伴，在开展业务的过程中，公司还积累了丰富的行业经验、成都全网营销推广资源和合作伙伴关系资源，并逐渐建立起规范的客户服务和保障体系。 

SQL： 常用的有mysql，用于存储业务数据。互联网发展初期，各个业务一般都会独立运营mysql集群，但随着业务越来越多，mysql集群规模越来越大，那就有必要做成SQL平台。

NoSQL: 翻译为Not Only SQL，作为mysql的一种补充。Nosql一般本身就提供集群，且使用起来很方便，公司业务发展初期没有必要。一般Nosql集群的数量越来越多，那就有必要做成Nosql平台。

小文件： 互联网中有很多小文件，比如商品图片，Facebook的图片。这类小文件具有数据小、数量巨大、访问大的特点。如果每个业务都去考虑小文件存储的话，就会出现重复造轮子现象，那就有必要做成小文件平台了。

大文件： 互联网的大文件主要分为两类：一类是业务上的大数据，例如Youtube的视频、电影网站的电影；另一类是海量的日志数据，例如各种访问日志。实力雄厚的一些大公司会基于开源方案做成大数据平台。

开发框架： 比如常见的Spring框架。

Web服务器： 常见的有tomcat、jetty等。

容器： Docker可以极大降低运维成本，以及在实现动态扩容上非常方便。

配置中心： 故名思义，配置中心就是集中管理各个系统的配置。

服务中心： 解决跨系统依赖的配置和调度问题。比如有10个系统依赖A系统的x接口，此时A系统实现了一个y接口可以更好地支持x接口，那么如果直接更新10个系统依赖的配置将会很麻烦。

消息队列： 支持系统解耦。

负载均衡： 充当任务分配器的职责。

CDN： 可以对一些常用文件进行就近缓存，来提高访问速度。

多机房： 多机房的主要目的是备灾，当机房故障时可以快速地将业务切换到另外一个机房，这种切换操作允许一定时间的中断，比如10分钟，1个小时。

多中心： 多中心的要求就更高了，要求同时对外提供服务，且业务能够自动在多中心之间切换，故障后不需人工干预或者很少的人工干预就能自动恢复。

用户管理： 对各个系统的用户进行统一管理。

消息推送： 根据不同途径分为短信、邮件、站内信、App推送。

存储云： 实现是CDN+小文件存储。

图片云： 实现也是CDN+小文件存储。为何不与存储云统一一套系统呢？这是因为图片业务的复杂性导致的。图片涉及的业务会更多，包括裁剪、压缩、美化、审核、水印等。

业务千差万别，各个互联网业务面对的主要问题是复杂度越来越高。此时就要用到拆和合的技术。拆即将一个大系统拆分为多个子系统，降低复杂度。当子系统越来越多，有可能就需要采用合的技术。

测试平台的核心目的是提升测试效率。

运维平台的核心职责分为四大块：配置、部署、监控、应急。

数据平台的核心职责主要包含三部分：数据管理、数据分析和数据应用。

管理平台的核心职责就是权限管理。

网站响应时间过长是怎么回事？

网站响应时间过长是怎么回事？花了太长时间进行响应;无法访问此网站 响应时间过长 ERR_CONNECTION_TIMED_OUT,无法访问此网站 服务器响应时间过长; 遇到过类似问题，我认为有以下几个原因：



无法访问此网站 (图) 服务器响应时间过长

1、网站服务器故障维修（这种情况只能等段时间重新登录试试）

2、网络连接不通（查看网线接口处是否插好）

3、网站地址被和谐了（用代理）

4、本身网站程序卡死了(程序问题)

服务器网站响应时间过长的问题解决方法如下：

1、机器的配置。包括服务器端与客户机端的硬件配置程度，同样的网络环境下，双核的服务器的运算能力肯定要强一些，毫无疑问的，同样的网络环境下，用一台赛扬的机器和奔四双核处理器的电脑，打开同样的网页，速度，也肯定不一样。

2、服务器软件。软件多少、稳定和软件的正确配置，都会影响到服务器环境，以致影响到网络速度。服务器安装软件防火墙，会牺牲一些网络速度，所以VPS、或独立服务器用户装一个防火墙足矣。

3、DNS解析时间。DNS解析包括往返解析的次数及每次解析所花费的时间，两者的积就是DNS解析所消耗的时间，因此，很多人忽视了DNS的问题。

4、网络最小带宽。这是最主要的因素，在慢的网站放在好的带宽下访问速度一样快（就是多花钱），网络的带宽包括对网站所在服务器带宽和用户端两个位置，对接点指的是出口端与入口端（如电信对网通的对接点），另一个就是用户本身的最小带宽，如果用户办的是512K宽带咱就爱莫能助了。

5、网页内容的大小（重要）。网页文件的大小是网站是

否能快速打开最重要一个因素，如果说服务器等硬件方面决定不了，强烈建议从这里下手，不管是表格还是DIV+CSS，适当的优化代码，都能减少网页大小。尽量优化代码，用最少的代码。同时大量错误、冗余代码也是拖慢网站速度之一。

6、大量数据库操作。小网站在执行大量数据库操作时，也会影响网站打开速度，这里使asp+access结构的网站尤为明显，尤其是同时有大量用户提交评论时，就操作数据库锁死，导致网站打不开。

7、用很多javascript。网站上使用大量JS是大忌，不仅搜索引擎无法收录，同时会不断提交请求增加服务器负担，例如鼠标特效、栏目的特效、状态栏的特效等等。这些特效的原理是先由服务器下载到本地的机器，然后在本地机器上运行产生，然后才能看到的。

8、页面上用大图片和FLASH。图片是拖慢网速最重要一个因素，图片经过处理，可以使图片空间变小，否则很多的图片一开始都会占用很多空间又使网站打开速度变得很慢，同样FLASH也是一个道理。

9、过多引用了别的网站的内容。包括引用其他网站的图片、视频文件等，如果直接在页面引用别的网站的东西，而那个网站的速度又慢，或者那个网站的该页面已经不存在了，那么打开的速度就会非常慢。

用PHP 编写支持高并发的网站，需要做什么处理

优化自己的代码，精简代码。多用nosql配合PHP做缓存。

支持高并发，PHP自身是能力很有限。

一般服务器架构、负载均衡、数据库优化等来需要配合。

hadoop适合解决web 的高并发吗？

hadoop适合处理分布式集群系统，本身是支持高速并发海量数据的写入和读取的。解决大量用户并发访问的方案有很多，给你个千万pv的参考方案：

1）架构中直接引入软件名称的模块，是个人推荐使用的，如Haproxy、Hadoop等；

2）关于全局负载均衡，看成本投入情况，可以使用商业的产品，如F5-GTM，开源方案便是自搭智能DNS；

3）本地负载均衡方案，可以考虑F5-LTM或成熟的开源解决方案LVS；

4）代理层为什么推荐大家使用Haproxy？Haproxy是一个非常优秀的反向代理软件，十分高效、稳定。国内top 10的互联网公司都有在使用；

5）缓存层可以使用Squid或Varnish，个人更倾向Varnish。配置灵活、运行稳定，提供非常便利的管理接口。为啥在缓存层前面加一层代理？优点非常多，列举如下：

根据应用配置URI路由规则，集中热点来提高后端缓存的命中率；

轻松划分网站频道、版块，更好对应用进步组织、规划；

对URI进行一般性安全过滤，抵御注入攻击；

弹性调配硬件资源，应对突发事件产生大流量；

可回收宝贵的公网IP资源；

6）应用层开源技术方案非常多且成熟，在此不详细描述；

7）数据库层主流开源解决方案Mysql是首选，主从复制（一主对多从）是目前比较靠谱的模式；

8）关于Nosql，应用场景不多说，可参考“给部门做的Mongodb技术交流PPT”文章，redis、memcached等作为热点数据存储、数据库缓存都非常理想；

9）内网DNS扮演的角色非常重要，一定要消灭code中出现的内网IP地址，很大程度减少因IP变更、服务器故障而修改源码的情况，同时也便于维护；

10）内网LB适用在内部WEB接口、多台数据库Slave、多台Nosql Slave、公共服务等应用的负载均衡，可以使用LVS、Haproxy来实现，可用性要求不高的应用可行直接使用Localhost DNS轮询；

11）hadoop适合海量数据的存储与处理，如做网站日志分析、用户数据挖掘等；

12）管理集群，平台的核心，运维的阵地；