跳转至

Lustre 并行文件系统极简速查表（HPC/EDA 生产全量可复制）

前言：对标前述 Slurm、LSF 速查表统一结构，只保留生产高频、调试刚需、性能调优、故障排查命令，覆盖普通用户、运维日常 99% Lustre 使用场景，全部模板可直接复制运行。

Lustre 核心架构极简认知（必懂）

  • MGS：管理服务，统一存储文件系统元数据配置

  • MDT/MDS：元数据节点，存目录、文件名、权限、大小

  • OST/OSS：对象存储节点，真正存文件数据，多盘并行吞吐

  • 条带化(Stripe)：大文件打散到多OST并行读写，是 Lustre 高速核心

一、全局状态与空间查询（日常最常用）

1. lfs df 查看全局容量/使用率

区别于系统 df：可分别看 MDT、OST 空间，精准定位磁盘满故障

```Plain Text lfs df -h # 全局可视化容量、使用率、剩余空间 lfs df -i # 查看 inode 用量（inode爆满常见报错）


### 2\. lfs osts 查看OST节点状态

查看所有存储节点在线、空闲、负载状态，排查卡顿、节点离线

```Plain Text
lfs osts                   # 列出所有OST、使用率、状态、服务节点
lfs mds                    # 查看MDT元数据节点状态

3. lfs check 快速巡检

文件系统轻量巡检，排查文件丢失、条带异常、损坏文件

```Plain Text lfs check /mnt/lustre


## 二、条带化 Stripe 核心命令（Lustre性能关键）

**核心原理**：小文件单条带，大文件多条带，充分压榨并行吞吐

**参数释义**

- `-c` stripe\_count：打散OST数量（\-1=全OST）

- `-s` stripe\_size：单条带块大小（默认1M，大文件可设4M/8M）

- `-o` stripe\_offset：起始OST偏移，默认\-1自动轮询

### 1\. lfs getstripe 查询文件/目录条带规则

```Plain Text
lfs getstripe filename      # 查看单个文件条带分布
lfs getstripe dir/          # 查看目录默认条带（新建文件继承该规则）
lfs getstripe -d dir/       # 仅查看目录属性

2. lfs setstripe 设置目录默认条带（生产万能模板）

重点：对目录设置后，目录内所有新建文件自动继承，无需逐个设置

```Plain Text

场景1：小文件/代码/日志（单OST，避免资源浪费）

lfs setstripe -c 1 -s 1M ./small_data

场景2：常规仿真/中等文件（4路并行，均衡通用）

lfs setstripe -c 4 -s 4M ./work

场景3：超大文件/AI数据集/并行读写（全OST拉满极致吞吐）

lfs setstripe -c -1 -s 8M ./big_data


### 3\. 已有文件修改条带

注意：仅新建文件生效，老文件需重写迁移

```Plain Text
lfs setstripe -c 8 new_file.dat

三、配额管理（用户/组容量限制）

1. lfs quota 查看个人配额

```Plain Text lfs quota -hu $USER /mnt/lustre # 查看个人容量配额 lfs quota -hg group /mnt/lustre # 查看用户组配额 lfs quota -i $USER /mnt/lustre # 查看inode配额（文件数量上限）


### 2\. 管理员配额设置（运维常用）

```Plain Text
lfs setquota -u user 0 100G 0 0 /mnt/lustre  # 设置软/硬容量配额
lfs setquota -g group 0 500G 0 0 /mnt/lustre

四、文件权限与ACL高级控制

1. lustre ACL 权限（高于系统默认权限）

```Plain Text lfs getacl file # 查看精细ACL权限 lfs setacl -u user:rw file # 给指定用户读写权限


## 五、文件系统挂载与基础运维

### 1\. 客户端挂载 Lustre

```Plain Text
mount -t lustre MGS_NID:/fsname /mnt/lustre

2. 卸载文件系统

```Plain Text umount /mnt/lustre


### 3\. lnet 网络诊断（Lustre专属网络）

挂载卡顿、连不上、节点超时优先排查LNET网络

```Plain Text
lnetctl net show        # 查看LNET网络状态
lnetctl ping nid        # 测试节点连通性

六、高级运维与故障处理（运维专属）

1. lctl 全局参数调试

```Plain Text lctl list_param # 列出所有可调优参数 lctl get_param osc.* # 查看OST客户端参数 lctl set_param osc.xxx.active=0 # 临时下线故障OST


### 2\. OST/MDT 上下线维护

```Plain Text
# 临时禁用故障OST（客户端）
lctl set_param osc.fs-OSTxxx.active=0

# 永久禁用OST（MGS端配置）
lctl conf_param fs-OSTxxx.osc.active=0

3. 回收站恢复文件（Lustre trash）

支持误删文件恢复，HPC集群高频救急工具

```Plain Text lfs trash find /mnt/lustre # 查找回收站文件 lfs trash restore file # 恢复误删文件


## 七、性能调优万能模板（直接套用）

### 1\. 并行仿真/大数据目录最优配置

```Plain Text
# 通用高性能目录（8条带、4M块，适配绝大多数EDA/HPC任务）
lfs setstripe -c 8 -s 4M ./perf_workspace

2. 小文件密集任务专属配置

```Plain Text

单条带，减少元数据开销

lfs setstripe -c 1 -s 1M ./log_smallfile


### 3\. 超大IO吞吐任务专属配置

```Plain Text
# 全盘OST并行，极致吞吐
lfs setstripe -c -1 -s 8M ./big_io_data

八、Lustre 高频报错与避坑清单（生产必看）

  • 空间充足但写入报错：大概率 inode 耗尽，用 lfs df -i 排查

  • 大文件读写慢：目录默认单条带，未开启多OST并行，重新 setstripe

  • 小文件超多卡顿：禁止多条带，单条带最优，减少元数据寻址开销

  • 任务偶尔卡死：LNET网络超时、OST节点离线，用 lfs osts、lnetctl 排查

  • 配额超限：区分容量配额、inode配额，分别通过 lfs quota 查看

  • 条带设置不生效：setstripe 仅对新建文件生效，老文件需重建

  • 不要手动拷系统隐藏文件：避免破坏 Lustre 条带布局导致读写异常

九、Slurm/LSF/Lustre 集群三件套配合逻辑

  • Slurm/LSF：管算力、调度、排队、CPU/GPU/任务生命周期

  • Lustre：管存储、读写吞吐、文件布局、配额、IO性能

  • 生产最优组合：调度工具控任务 + Lustre条带化控IO，实现HPC全链路高性能

（注：部分内容可能由 AI 生成）