使用步骤

  1. 用户通过快递方式将硬盘寄送给对接的支持专员
  2. 支持专员检查硬件安全后,将硬盘插入硬盘柜
  3. 系统管理将硬盘挂载到系统某数据拷贝节点,并返回一个挂载目录
  4. 支持专员将挂载目录提供给用户进行拷贝
  5. 用户拷贝完成后告知支持专员
  6. 支持专员联系系统管理员卸载硬盘,然后从硬盘柜取出硬盘寄回给用户

拷贝方法

登陆到数据拷贝节点

用户登录到支持专员提供的数据拷贝节点,确认挂载路径可用。

  • 对于 TH-1A 系统,我们常用的登陆节点为 ln3 (ip 为 192.168.2.5)。先登录 ln3 登陆节点,然后使用 ssh ns1 命令,跳转到数据拷贝节点 ns1

  • 对于 TH-HPC1/TH-HPC2 系统,我们常用的登陆节点为 th-hpc1-ln0 (ip 为 192.168.2.101) 和 th-hpc2-ln0 (ip 为 192.168.2.103)。先登录到对应的登陆节点,然后使用 ssh ns3 命令,跳转到数据拷贝节点 ns3

以下数据拷贝方法相同,以 TH-1A 系统为例。

检查拷贝路径

用户执行 df -h 可看到挂载路径。该路径只有用户有权限读写,用户可以直接用 cd 命令进入该路径查看自己硬盘内的数据文件,然后用 cprsync 命令进行数据的拷贝。

如下,可以看到硬盘挂载路径为 /mnt/zhenggang

# 登陆ln3, 切换到数据拷贝节点
[zhenggang@ln3%tianhe ~]$ ssh ns1

# 查看挂载目录
[zhenggang@ns1%tianhe ~]$ df -h
Filesystem                      Size  Used Avail Use% Mounted on
/dev/sda2                       487G  375G   88G  82% /
tmpfs                            16G   72K   16G   1% /dev/shm
mds0-gn0@tcp1:/HOME             430T  345T   64T  85% /vol-th
mds1-gn0@tcp1:/WORK             419T  321T   78T  81% /WORK
mds2-gn0@tcp1:/THFS             1.4P  1.2P  165T  88% /vol6
mds3-gn0@tcp1:/THL4             688T  583T   71T  90% /THL4
192.103.5.21:/TH_backup         1.3P  1.1P  170T  87% /TH_backup
192.168.2.21:/mnt/zhenggang     2.0T  1.0T  1.0T  50% /mnt/zhenggang

# 尝试进入硬盘挂载目录
[zhenggang@ns1%tianhe ~]$ cd /mnt/zhenggang
[zhenggang@ns1%tianhe ~]$ ls

我们可以看看这个盘是否正常挂载,以及能否快到硬盘的文件。

进入用户共享存储目录

[zhenggang@ns1%tianhe ~]$ cd ~

因为如果我们使用下面介绍的 rsync 等命令并将log文件定向到硬盘,对硬盘压力比较高,所以建议从账号跟目录进行操作。

拷贝方法1:使用cp命令进行拷贝(少量数据推荐)

[zhenggang@ns1%tianhe ~]$ cp  $源路径  $目标路径

该命令非常常用,不在赘述。

拷贝方法2:使用rsync命令进行拷贝(强烈推荐)

同步命令

[zhenggang@ns1%tianhe ~]$ nohup  rsync  -avP  $源路径  $目标路径  >log 2>log.err  &

说明:

  • nohup ... & : 提交到后台,这样能够提供可靠性,避免由于前端网页断开导致任务终止;
  • rsync -avp : 同步命令+同步参数,无需更改
  • $源路径 $目标路径 : 从哪里同步到哪里
  • >log : 将标准输出定向到名为log的文件,方便查看进度
  • 2>log.err : 将标准错误输出定向到名为log.err的文件,方便查看报错

举例1:从我的根目录同步文件 1.txt到硬盘

[zhenggang@ns1%tianhe ~]$ nohup  rsync  -avP  ~/1.txt  /mnt/zhenggang/  >log 2>log.err  &

举例2:从我的根目录同步文件夹 data1 到硬盘

[zhenggang@ns1%tianhe ~]$ nohup  rsync  -avP  ~/data1  /mnt/zhenggang/  >log 2>log.err  &

举例3:从我的挂载硬盘同步文件 2.txt 到我的用户跟目录~/tmp

[zhenggang@ns1%tianhe ~]$ nohup  rsync  -avP  /mnt/zhenggang/2.txt  ~/tmp/  >log 2>log.err  &

举例4:从我的挂载硬盘同步文件夹 data2 到我的用户跟目录~/tmp

[zhenggang@ns1%tianhe ~]$ nohup  rsync  -avP  /mnt/zhenggang/data2  ~/tmp/  >log 2>log.err  &

需要注意的是:如果是文件夹同步,请注意”/“的使用,可以源目录最后不加”/” 目标目录最后加”/”

同步进度

通过查看 log 文件,可以看到数据拷贝的情况。

# 查看当前进度
[zhenggang@ns1%tianhe ~]$ tail -f log

同步报错

通过查看 log.err 文件,可以看到数据拷贝的报错(如无报错,此文件为空)。

# 查看报错
[zhenggang@ns1%tianhe ~]$ tail -f log.err

如果log.err里有报错信息,熟悉linux的用户应该能自己处理,不熟悉的可以反馈给技术支持专员

取消同步

# 1. 获得进程号
[zhenggang@ns1%tianhe ~]$ ps aux | grep 自己用户名 | grep rsync 

# 2. kill掉任务
[zhenggang@ns1%tianhe ~]$ kill -9 $进程号