利用NFS搭建网络共享存储

基础知识梳理

存储网络分类

直连存储DAS(Direct Attached Storage)

存储设备与主机紧密相连,有以下特点

  • 管理成本低,实施简单
  • 存储时依附在服务器上,因此存储共享受到限制
  • CPU必须同时完成磁盘存取和应用运行的双重任务,所以不利于CPU的指令周期的优化,增加系统负担。

网络连接存储NAS(Network Attached Storage)

通过局域网在多个文件服务器之间实现了互联,基于文件的协议(FTP,NFS,SMB/CIFS),实现文件共享,有以下特点

  • 集中管理数据,从而释放带宽、提高性能
  • 可提供夸平台文件共享功能
  • 可靠性较差,适用于局域网或较小的网络

存储区域网络SAN(Storage Area Networks)

利用高速的光纤网络连接服务器与存储设备,基于SCSI,IP,ATM等多种高级协议,实现共享存储,有以下特点

  • 服务器与存储装置两者各司其职
  • 利用光纤信道来传输数据,以达到一个服务器以存储装置之间多对多的高效能、高稳定度的存储环境
  • 实施复杂,管理成本高

NFS基础知识

NFS:Network File System,即网络文件系统,基于内核的文件系统,时NAS的一种实现,由SUN公司研发,通过使用NFS,用户和程序可以向访问本地文件一样访问远端系统上的文件,基于RPC(Remote Procedure Call Protocol远程过程调用)实现。

RPC采用C/S模式。客户机请求程序调用进程发送一个有进程参数的调用信息到服务进程,然后等待应答信息。在服务器端,进程保持睡眠状态直到调用信息到达为止。当一个调用信息到达,服务器获得进程参数,计算结果,发送答复信息,然后等待下一个调用信息,最后,客户端调用进程接收答复信息,获得进程结果,然后调用执行继续进行

NFS优势:节省本地存储空间,将常用的数据,如home目录,存放在NFS服务器上且可以通过网络访问,本地终端将可减少自身存储空间的使用

NFS的访问授权是靠uid进行识别的,即如果服务器端授权uid为2000的用户的有写权限,客户端只要使用uid为2000的用户登录就有写权限,而不管用户名。

软件包:nfs-utils
kernel支持:nfs.ko
端口:2049(nfsd),其他端口由portmap(111)分配
配置文件:/etc/exports,/etc/exports.d/*.exports
centos7不支持同一目录同时使用nfs和Samba共享,因为使用锁机制不同
相关软件包:rpcbind(必须),tcp_wrappers
centos6开始portmap进程由rpcbind代替
NFS服务的主要进程

  • rpc.nsfd 最主要的NFS进程,核心服务进程,管理客户端是否可以登录
  • rpc.mountd 挂载和卸载NFS文件系统,包括权限管理
  • rpc.lockd 非必要,管理文件锁,避免同时写出错
  • rpc.statd 非必要,检查文件一致性,可修复文件

日志:/var/lib/nfs/

配置NFS服务

配置服务器端

在服务器和客户端分别安装nfs-utils包

1
$ yum -y install nfs-utils

如果操作系统为centos6,则还需要配置防火墙规则,开放NFS服务
配置NFS使用固定端口

vim /etc/sysconfig/nfs
RQUOTAD_PORT=875
LOCKD_TCPPORT=32803
LOCKD_UDPPORT=32769
MOUNTD_PORT=892
STATD_PORT=662
STATD_OUTGOING_PORT=2020

防火墙除了要开房上述端口,还需要开放TCP和UDP的111和2049共四个端口。

修改配置文件
对于要共享的目录的配置可以写在/etc/exports文件内,也可以在/etc/exports.d/目录下新建一个以.exports结尾的文件写入配置
配置文件格式
/dir 主机1(opt1,opt2…) 主机2(opt1,opt2…)…
主机的格式

  • 单个主机:ipv4,ipv6,FQDN

  • IP networks:两种掩码格式均支持

    172.18.0.0/255.255.0.0
    172.18.0.0/16

  • wildcards:主机名通配,例如*.magedu.com,IP不可以

  • netgroups:NIS域的主机组,@group_name

  • anonymous:表示使用*通配所有客户端

每个条目指定目录导出到的哪些主机,及相关的权限和选项

  • 默认选项:(ro,sync,root_squash,no_all_squash)
  • ro,rw 只读和读写
  • async 异步,数据变化后不立即写磁盘,性能高
  • sync(1.0.0后为默认)同步,数据在请求时立即写入共享
  • no_all_squash (默认)保留共享文件的UID和GID
  • all_squash 所有远程用户(包括root)都变成nfsnobody
  • root_squash (默认)远程root映射为nfsnobody,UID为65534,早期版本是4294967294 (nfsnobody)
  • no_root_squash 远程root映射成root用户
  • anonuid和anongid 指明匿名用户映射为特定用户UID和组GID,而非nfsnobody,可配合all_squash使用

以共享服务器/data/目录为例

1
2
$ vi /etc/exports.d/data.exports
/data/ 192.168.34.0/24(rw,all_squash)

修改服务器配置之后,可以使用exportfs -r重新加配置文件使其生效,exports -v可以查看分享目录的详细分享选项。exportfs命令介绍

-v 查看本机所有的NFS共享
-r 重读配置文件,并共享目录
-a 输出本机所有共享
-au 停止本机所有共享

rpcinfo工具

rpcinfo -p hostname
rpcinfo -s hostname 查看rpc注册程序

启动服务

1
$ systemctl start nfs

配置客户端

客户端也需要安装nfs-utils,安装好之后使用如下命令查看nfs服务器共享出来的目录

1
2
3
[root@ansible ~]#showmount -e 192.168.34.108
Export list for 192.168.34.108:
/data 172.18.0.0/16

说明nfs服务器已经成功共享了data目录

客户端可以使用mount.nfs4命令进行挂载操作,mount.nfs4命令介绍

1
2
3
4
5
6
7
8
9
10
11
12
[root@ansible ~]#mount.nfs4 --help
usage: mount.nfs4 remotetarget dir [-rvVwfnsh] [-o nfsoptions]
options:
-r Mount file system readonly #以只读方式挂载
-v Verbose #显示详细信息
-V Print version #显示版本
-w Mount file system read-write #以可读可写的方式挂载
-f Fake mount, do not actually mount #干跑,测试是否可以挂载而不真正挂载
-n Do not update /etc/mtab #挂在完不更新/etc/fstab
-s Tolerate sloppy mount options rather than fail
-h Print this help
nfsoptions Refer to mount.nfs(8) or nfs(5)

在客户端挂载nfs共享目录,NFSv4支持通过挂载NFS服务器的共享根,从而浏览NFS服务器上的共享目录列表
mount nfsserver:/ /mnt/nfs
基于安全考虑,建议使用nosuid,nodev,noexec挂载选项
NFS相关的挂载选项

fg(默认)前台挂载,bg后台挂载
hard(默认)持续请求,soft 非持续请求
intr 和hard配合,请求可中断
rsize和wsize 一次读和写数据最大字节数,rsize=32768
_netdev 无网络不挂载
1
$ mount -o rw,nosuid,fg,hard,intr 192.168.34.108:/data/ /mnt/

实现nfs自动挂载

通过autofs包提供的功能可以实现NFS在需要时自动挂载,不需要时自动卸载的功能。
安装autofs

1
$ yum -y install autofs

配置autofs自动挂载nfs共享目录,计划挂载到/mnt/nfs目录下

1
2
3
4
$ vi /etc/auto.master
/mnt/ /etc/auto.mnt
$ vi /etc/auto.mnt
nfs -fstype=nfs,rw,nosuid,nodev 192.168.34.108:/data/