————————————– 预先配置 ————————————–
安装EPEL源
sudo yum install -y epel-release yum-plugin-priorities python2-pip
安装ceph源，其中mimic是当前ceph版本，如有更新的可以改为更新的版本名
cat << EOF > /etc/yum.repos.d/ceph.repo [ceph-noarch] name=Ceph noarch packages baseurl=https://download.ceph.com/rpm-mimic/el7/noarch enabled=1 priority=2 gpgcheck=1 gpgkey=https://download.ceph.com/keys/release.asc EOF
更新系统并安装ceph-deploy工具
sudo yum update -y sudo yum install -y ceph-deploy
安装配置时间服务
yum install chrony systemctl enable chronyd systemctl start chronyd
添加ceph用户并设置密码
sudo useradd -d /home/ceph -m ceph sudo passwd ceph echo "ceph ALL = (root) NOPASSWD:ALL" | sudo tee /etc/sudoers.d/ceph sudo chmod 0440 /etc/sudoers.d/ceph
配置ssh免密登录
ssh-keygen -t rsa -N '' -f /root/.ssh/id_rsa ssh-copy-id ceph@ceph-node1 ssh-copy-id ceph@ceph-node2 ssh-copy-id ceph@ceph-node3
开启防火墙端口
monitor节点开启ceph-mon sudo firewall-cmd --zone=public --add-service=ceph-mon --permanent OSD和MDS节点开启ceph sudo firewall-cmd --zone=public --add-service=ceph --permanent 重新载入防火墙配置 sudo firewall-cmd --reload
关闭SELinux
sudo setenforce 0 sed -i s/SELINUX=enforcing/SELINUX=disabled/g /etc/selinux/config
————————————– 部署集群 ————————————–
本示例节点的信息如下：
+------------+---------------+---------+ | Hostname | IP Address | Role | +------------+---------------+---------+ | ceph-node1 | 192.168.1.101 | mon,osd | +------------+---------------+---------+ | ceph-node2 | 192.168.1.102 | osd | +------------+---------------+---------+ | ceph-node3 | 192.168.1.103 | osd | +------------+---------------+---------+
创建目录以供ceph-deploy工具输出用
mkdir my-cluster && cd my-cluster
若配置中间发生错误，可使用以下命令清空配置后重来
ceph-deploy purge ceph-node1 ceph-node2 ceph-node3 ceph-deploy purgedata ceph-node1 ceph-node2 ceph-node3 ceph-deploy forgetkeys rm ceph.*
创建集群，该命令执行完后会生成ceph.conf文件
ceph-deploy new ceph-node1
如果node有多个IP需在ceph.conf中指定对外IP
在[global]区域中加入如下信息，如： public network = 192.168.1.0/24
安装ceph软件
ceph-deploy install ceph-node1 ceph-node2 ceph-node3
初始化monitor以及生成key
ceph-deploy mon create-initial
复制配置文件和密码到其他管理节点，这里将复制到所有节点以便操作
ceph-deploy admin ceph-node1 ceph-node2 ceph-node3
创建manager守护进程
ceph-deploy mgr create ceph-node1
添加OSD，命令为ceph-deploy osd create –data {device} {ceph-node}，示例中/dev/sdb每个节点可用的磁盘
如果主机提供的不是块设备而是LVM，则需要改为vg_name/lv_name
ceph-deploy osd create --data /dev/sdb ceph-node1 ceph-deploy osd create --data /dev/sdb ceph-node2 ceph-deploy osd create --data /dev/sdb ceph-node3
检查集群健康状态
ssh ceph-node1 sudo ceph health ssh ceph-node1 sudo ceph -s
————————————– 扩展集群 ————————————–
在前面初始化集群里，我们使用了node1作为monitor节点，但如果node1挂了的话整个集群就不可用了。
所以一般高可用部署中monitor至少会部署三个节点（必须是奇数个），因此我们调整了整个集群的架构如下：
+------------+---------------+-----------------+ | Hostname | IP Address | Role | +------------+---------------+-----------------+ | ceph-node1 | 192.168.1.101 | mon,osd,mgr,mds | +------------+---------------+-----------------+ | ceph-node2 | 192.168.1.102 | mon,osd | +------------+---------------+-----------------+ | ceph-node3 | 192.168.1.103 | mon,osd | +------------+---------------+-----------------+
为了能使用CephFS，至少需要一台metadata服务器，这里将node1设置为metadata服务器
ceph-deploy mds create ceph-node1
增加monitor
ceph-deploy mon add ceph-node2 ceph-node3
确认monitor仲裁同步状态
ceph quorum_status --format json-pretty
增加ceph manager。manager使用主/备状态工作，当主节点故障时，备用节点会接管主节点
ceph-deploy mgr create ceph-node2 ceph-node3
确认备用manager状态
ssh ceph-node1 sudo ceph -s