MongoDB之分片集群

一、 部署环境

五台主机：

CentOS 6.5系统:

mongodb-linux-x86_64-rhel62-3.0.2.tgz


二、 部署方案

方案目标是搭建两个shard（shard1和shard2）实现数据分片，每个shard分别由一个副本集（一主两从一仲裁）组成。

Amongoshard01主机开启27017和30000端口作为shard11和mongos实例端口；

Amongoshard02开启27017、27018、27019和30000端口作为shard12、shard13、config和mongos实例端口；

Amongoshard03主机开启27017和30000端口作为shard21和mongos实例端口；

Amongoshard04开启27017、27018、27019和30000端口作为shard22、shard23、config和mongos实例端口；

Amongoshard05开启端口27017、27018、27019作为shard14、shard24和config实例端口。

Shard11（主写操作：priority为2）

shard12（从读操作：priority为1）

shard13（仲裁）和shard14（从备份：priority为0）组成一个副本集shard1作为一个分片shard1；

shard21（主写操作：priority为2）、shard22（从读操作：priority为1）

shard23（仲裁）和shard24（从备份：priority为0）组成另一个副本集shard2作为另一个分片shard2。

实例部署如下：

1)Amongoshard01上：
　　Shard11:10.212.74.43:27017
Mongos :10.212.74.43:30000
2)Amongoshard02上：
Shard12: 10.212.84.4:27017
Shard13: 10.212.84.4:27018
Config: 10.212.84.4:27019
Mongos: 10.212.84.4:30000
3)Amongoshard03上：
　　Shard21:10.212.98.23:27017
　　Mongos :10.212.98.23:30000
4)Amongoshard04上：
Shard22:10.212.46.5:27017
Shard23: 10.212.46.5:27018
Config: 10.212.46.5:27019
Mongos: 10.212.46.5:30000
5)Amongoshard05上：
Shard14:10.212.70.21:27017
Shard24:10.212.70.21:27018
Config:10.212.70.21:27019


总概况如下图所示：

该部署方案可实现数据的读写分离和备份容灾。Config放在不同主机上或者独立，仲裁机和从机放在一起或独立，无论哪台主机当机均能提供服务。

三、 部署实现

mongodb的安装：

Amongoshard01(10.212.74.43 )：

--

Amongoshard02(10.212.84.4 )：

--

Amongoshard03(10.212.98.23 )：

--

Amongoshard04(10.212.46.5 )：

--

Amongoshard05(10.212.70.21 )：

--

2.mongodb的配置：

Amongoshard01(10.212.74.43 )：

--$vi shard11.conf
shardsvr = true
replSet = shard1
port = 27017
dbpath = /data/mongodb/data/shard11
oplogSize = 100
logpath = /data/mongodb/data/shard11.log
logappend = true
maxConns = 10000
pidfilepath = /data/mongodb/data/shard11.pid
bind_ip = 10.212.74.43
rest = true
fork = true
noprealloc = true
directoryperdb = true


Amongoshard02(10.212.84.4 )：

--$vi shard12.conf
shardsvr = true
replSet = shard1
port = 27017
dbpath = /data/mongodb/data/shard12
oplogSize = 100
logpath = /data/mongodb/data/shard12.log
logappend = true
maxConns = 10000
pidfilepath = /data/mongodb/data/shard12.pid
bind_ip = 10.212.84.4
rest = true
fork = true
noprealloc = true
directoryperdb = true

–$vi shard13.conf
shardsvr = true
replSet = shard1
port = 27018
dbpath = /data/mongodb/data/shard13
oplogSize = 100
logpath = /data/mongodb/data/shard13.log
logappend = true
maxConns = 10000
pidfilepath = /data/mongodb/data/shard13.pid
bind_ip = 10.212.84.4
rest = true
fork = true
noprealloc = true
directoryperdb = true
–$vi configsvr.conf
dbpath = /data/mongodb/data/config
logpath = /data/mongodb/data/config.log
logappend = true
bind_ip = 10.212.84.4
port = 27019
fork = true

Amongoshard03(10.212.98.23 )：

--$vi shard21.conf
shardsvr = true
replSet = shard2
port = 27017
dbpath = /data/mongodb/data/shard21
oplogSize = 100
logpath = /data/mongodb/data/shard21.log
logappend = true
maxConns = 10000
pidfilepath = /data/mongodb/data/shard21.pid
bind_ip = 10.212.98.23
rest = true
fork = true
noprealloc = true
directoryperdb = true


Amongoshard04(10.212.46.5 )：

--$vi shard22.conf
shardsvr = true
replSet = shard2
port = 27017
dbpath = /data/mongodb/data/shard22
oplogSize = 100
logpath = /data/mongodb/data/shard22.log
logappend = true
maxConns = 10000
pidfilepath = /data/mongodb/data/shard22.pid
bind_ip = 10.212.46.5
rest = true
fork = true
noprealloc = true
directoryperdb = true

–$vi shard23.conf
shardsvr = true
replSet = shard2
port = 27018
dbpath = /data/mongodb/data/shard23
oplogSize = 100
logpath = /data/mongodb/data/shard23.log
logappend = true
maxConns = 10000
pidfilepath = /data/mongodb/data/shard23.pid
bind_ip = 10.212.46.5
rest = true
fork = true
noprealloc = true
directoryperdb = true

–$vi configsvr.conf
dbpath = /data/mongodb/data/config
logpath = /data/mongodb/data/config.log
logappend = true
bind_ip = 10.212.46.5
port = 27019
fork = true

Amongoshard05(10.212.70.21 )：

--$vi shard14.conf
shardsvr = true
replSet = shard1
port = 27017
dbpath = /data/mongodb/data/shard14
oplogSize = 100
logpath = /data/mongodb/data/shard14.log
logappend = true
maxConns = 10000
pidfilepath = /data/mongodb/data/shard14.pid
bind_ip = 10.212.70.21
rest = true
fork = true
noprealloc = true
directoryperdb = true

–$vi shard24.conf
shardsvr = true
replSet = shard2
port = 27018
dbpath = /data/mongodb/data/shard24
oplogSize = 100
logpath = /data/mongodb/data/shard24.log
logappend = true
maxConns = 10000
pidfilepath = /data/mongodb/data/shard24.pid
bind_ip = 10.212.70.21
rest = true
fork = true
noprealloc = true
directoryperdb = true

–$vi configsvr.conf
dbpath = /data/mongodb/data/config
logpath = /data/mongodb/data/config.log
logappend = true
bind_ip = 10.212.70.21
port = 27019
fork = true

3.mongodb的启动：

Amongoshard01(10.212.74.43 )：

--$cd /data/mongodb/bin
--./mongod -shardsvr -f /data/mongodb/data/shard11.conf
--./mongos -configdb 10.212.84.4:27019,10.212.46.5:27019,10.212.70.21:27019 -port 30000 -chunkSize 5 -logpath /data/mongodb/data/mongos.log -logappend -fork


Amongoshard02(10.212.84.4 )：

--$cd /data/mongodb/bin
--./mongod -shardsvr -f /data/mongodb/data/shard12.conf
--./mongod -shardsvr -f /data/mongodb/data/shard13.conf
--./mongod -configsvr -f /data/mongodb/data/config.conf
--./mongos -configdb 10.212.84.4:27019,10.212.46.5:27019,10.212.70.21:27019 -port 30000 -chunkSize 5 -logpath /data/mongodb/data/mongos.log -logappend -fork


Amongoshard03(10.212.98.23 )：

--$cd /data/mongodb/bin
--./mongod -shardsvr -f /data/mongodb/data/shard21.conf
--./mongos -configdb 10.212.84.4:27019,10.212.46.5:27019,10.212.70.21:27019 -port 30000 -chunkSize 5 -logpath /data/mongodb/data/mongos.log -logappend -fork


Amongoshard04(10.212.46.5 )：

--$cd /data/mongodb/bin
--./mongod -shardsvr -f /data/mongodb/data/shard22.conf
--./mongod -shardsvr -f /data/mongodb/data/shard23.conf
--./mongod -configsvr -f /data/mongodb/data/config.conf
--./mongos -configdb 10.212.84.4:27019,10.212.46.5:27019,10.212.70.21:27019 -port 30000 -chunkSize 5 -logpath /data/mongodb/data/mongos.log -logappend -fork


Amongoshard05(10.212.70.21 )：

--$cd /data/mongodb/bin
--./mongod -shardsvr -f /data/mongodb/data/shard14.conf
--./mongod -shardsvr -f /data/mongodb/data/shard24.conf
--./mongod -configsvr -f /data/mongodb/data/config.conf


4.初始化副本集：

第一个副本集：

--

第二个副本集：

--

5.配置sharding：

Login到任意一台mongos机器上：

--

6．数据库分片以及Collection分片：

--

四、 测试与总结

使用for(i=1;i<=100000;i++){db.test.insert({_id:i})}语句对环境进行测试并查看分片情况。部署时遇到的问题及解决方法：

问题1：如果在从机上查看数据时出现不能查看错误时，则在从机上执行命令：db.getMongo().setSlave0k()。再查询就可以了。Mongodb3.0以上版本的使用db.getMongo().setSlave0k()或rs.slaveOk()之后退出再次登录时还是会出现此错误，需要编辑文件：

问题2：配置sharding后需注意maxSize值得指定，若发现数据开始可以分片后来不行则可能是数据储存超出maxSize的大小，调整之后即可。maxSize值(单位是M)表示一个shard可使用的磁盘大小，超出的数据不会分片但会存储在primary sharding上。使用一下语句指定或更改其大小：

第一种：db.runCommand({addshard:”shardIP:port”,maxSize:20480})

第二种：use config db.shards.update({_id:”[shardname]”},{$set:{maxSize:20480}})