跳转至

HANDOFF — LSF 集群项目交接快照

本文件是交接快照，会话开始时被自动注入；只描述现在。 档位标注：【已确认】=有实测证据；【未验证】=说法未经证实；【待决策】=尚未定论。 环境事实、命令速查、文档地图，以及「已定不做」的历史项见 BASELINE.md。

1. 现在什么状态

一句话：LSF Suite CE 10.2.0.12 集群 6 台（3 执行节点 + 2 管理 master + 1 submit 节点）运行正常； 幂等验收、主备 failover、root 命令行权限、submit 节点接入、master 排除计算、作业级 TMPDIR 注入本地 scratch 六项已闭环。仍有两项受外部/版本限制未达成（FP15 升级、LSF 未启用 cgroup），二者均不再跟进， 详见 BASELINE.md 第 4 节。

  • 集群：192.168.31.23~27（master-01/02 + work-01~03）+ 192.168.31.28 hpc-submit，主 master = .23； bhosts 3 台 work ok + master-01/02 与 hpc-submit 均 closed_Full/MAX=0【已确认】 （2026-10-06 起两台 master 亦不接作业，已部署器化：lsf.noexec_hosts + 阶段7-8 判据与登记， --drift 退出码 0、主流程零变更，见 ../master_noexec/SOP.md）
  • submit 节点形态：lsf.cluster.lsfce 中 server=1（集群成员）+ lsb.hosts 中 MXJ=0 → 可 bsub/bjobs，不接收作业执行；本机运行 lim/res/sbatchd【已确认】
  • 部署器：deploy/lsf/（13 阶段 + cgroup/failover/submit/local-scratch 四个独立阶段； precheck/drift/rollback CLI），复跑退出码 0、全阶段 drift 无漂移【已确认】
  • 部署器只读探测已批量化（2026-10-07，四轮）：工程侧（precheck / 阶段0 prepare / 阶段1 nfs / 阶段2 node-env / 阶段3-6 install / 阶段14 submit）+ 共享库 precheck_module 逐节点检查 → 「每主机 一条 shell + 主机间并发 + 进程内缓存」；--precheck 命令 84 → 6、墙钟 32.5 → 1.6 s， --drift 327 → 52 条、131.8 → 20.4 s；模块级输出逐行不变、公开 API 无签名变更【已确认】 （SOP 见 BASELINE.md 文档地图）
  • 三层存储（.25–.27 执行节点）已补齐：Tier1 /projects（NFS，2026-10-07 纳入阶段1 受管）、 本地层 /local_scratch（宿主 KVM 50G 虚盘 + xfs，2026-10-07 纳入阶段15 受管）； Tier0 /mnt/lustre 归 lustre 项目【已确认】
  • 作业级 TMPDIR 已注入本地 scratch（2026-10-08）：lsf.conf 增 LSB_JOB_TMPDIR=/local_scratch/users
  • LSB_SET_TMPDIR=Y，作业内 TMPDIR=/local_scratch/users/<jobID>.tmpdir（0700、属执行用户）， LSF 自动创建、作业结束自动删除（实测）；部署器已纳管（阶段3-6 幂等追加），复跑零变更、--drift rc=0【已确认】 （../tmpdir_inject_20261008/SOP.md）
  • 作业链路：管理员/LDAP 用户/root 提交→DONE；从 hpc-submit 提交→DONE 且执行位在 lsf-work-0x【已确认】
  • 能力就位：NFS 共享 LSF_TOP + /projects（宿主机 .249，覆盖 .25–.28）、sssd LDAP、 lsf-health.timer 与 lsf-user-sync.timer 均 active【已确认】

2. 未完成事项

# 事项 下一步 在哪拾起
1 【待决策】license/ELIM 资源调度 用户明确为后续动作，当前未做 方案阶段11（已砍）

其余历史待办（FP15 升级、cgroup 资源限制、lsf_ins git 纳管、derive_system_disks() 批量化、 其它工程探测批量化）已定为不再跟进 / 仅供了解，见 BASELINE.md 第 4 节。

3. 本项目特有红线

① 勿用 lsfstartup（本环境交互空转）；② 停启 LSF / 重启节点 / 跑 failover 前必须 bjobs -u all 确认无 RUN 作业；③ 改共享配置先 cp -a 备份再生效——lsf.cluster.* 用 lsadmin reconfig、 lsb.* 用 badmin mbdrestart；④ authselect 变更前必须 getent 已通，异常立即 authselect select minimal --force；⑤ 凭据不入 git/文档/命令行；⑥ 动宿主机 /etc/exports 会同时影响 Slurm 集群；⑦ 挂 /home 前确认本地为空目录；⑧ 5 台现运行 cgroup v1（无收益，升级 FP15 时一并移除）， 重启节点属高危动作；⑨ /etc/lsf.sudoers 权限必须 600（644 时 LSF 不使用 eauth key，提交报 User permission denied）；⑩ hpc-submit 靠 lsb.hosts 的 MXJ=0 保持「不接作业」，不要给它非 0 值； ⑪ 本地 scratch 由 --stage local-scratch 管理——勿手工 virsh attach-disk / mkfs / 改 fstab， 否则 --drift 漏检、复跑不收敛。

4. 指针

  • BASELINE.md：环境事实 / 命令速查 / 文档地图 / 已定不做项
  • PROJECT-MAP.md：工程身份 / 任务路由表 / 分层依赖
  • SOP.md：变更档案（首轮八章 + 第九~十四章）
  • RUNBOOK.md：日常运维（启停 / failover 演练 / 配置 / 监控 / 故障处置 / 凭据轮换）
  • INCIDENT-20260924-部署期故障排障台账.md：事故与排障台账
  • ../deploy/lsf/：部署器实现体与配置
  • 参照项目：Slurm 同套规范 /home/rain/Documents/slurm_ins/deploy/slurm/docs/
  • 全局技能 lsf-simulation-env：LSF 侧仿真契约（~/.trae-cn/skills/lsf-simulation-env/）

来源：/home/rain/Documents/LSF/lsf_ins/docs/HANDOFF.md ｜ 最后更新：2026-10-09 02:37（由 build/sync.py 同步，请勿在站点侧修改）