跳转至

BASELINE — LSF 集群项目稳定层

本文件是 HANDOFF.md 的稳定层:只放不随轮次变化的内容(环境事实、命令速查、文档地图、 已定不做的历史项)。HANDOFF 只描述「现在」;本文件不被会话注入,按需读取(HANDOFF 第 4 节留指针)。

1. 环境事实

  • 集群:192.168.31.23~27(master-01/02 + work-01~03)+ 192.168.31.28 hpc-submit(submit 节点); 主 master = .23。
  • NFS 宿主机 = 操作机 dell-R620 .250(导出 /data/nfs/lsf、/data/nfs/home);本机 .249。
  • LDAP:ldap://192.168.31.10:389;bind 凭据见 deploy/lsf/config/credentials.yaml(600,不入 git / 文档 / 命令行)。
  • 存储三层:Tier1 /projects(NFS,宿主机 .249);节点本地 /local_scratch;Tier0 /mnt/lustre 归 lustre 项目。
  • 关键基线:bhosts 3/3 work ok(+ master-01/02 与 hpc-submit 均 closed_Full/MAX=0)、 lsf-health.timer 与 lsf-user-sync.timer 双 active、作业 DONE 链路通、 作业 TMPDIR 落 /local_scratch/users/<jobID>.tmpdir(作业结束自动清理)、 failover 通过(备接管约 120 s)、root 与 ldapadmin 的 b* 均可用、 部署器复跑全阶段「零变更跳过」、--drift 全阶段无漂移。

2. 命令速查

# 状态速查(root 与 ldapadmin 现均可直接执行 b*)
ssh root@192.168.31.23 "source /data/nfs/lsf/lsf/conf/profile.lsf; bhosts -w; bqueues | head -3"
ssh root@192.168.31.23 "systemctl is-active lsfd lsf-health.timer lsf-user-sync.timer"
# 部署器
cd /home/rain/Documents/LSF/lsf_ins/deploy/lsf
.venv/bin/python main.py -c config/lsf_deploy.yaml --precheck    # 只读预检
.venv/bin/python main.py -c config/lsf_deploy.yaml --drift       # 只读漂移(0=无漂移)
.venv/bin/python main.py -c config/lsf_deploy.yaml               # 部署/幂等复跑
# 独立阶段(均须显式触发)
.venv/bin/python main.py -c config/lsf_deploy.yaml --stage submit        # 接入 submit 节点
.venv/bin/python main.py -c config/lsf_deploy.yaml --failover-test       # 主备演练
.venv/bin/python main.py -c config/lsf_deploy.yaml --stage cgroup        # cgroup 切换(含重启)
.venv/bin/python main.py -c config/lsf_deploy.yaml --stage local-scratch # 宿主加盘 + 挂载 /local_scratch(高危)
.venv/bin/python main.py -c config/lsf_deploy.yaml --stage local-scratch --rollback  # 卸载清理 + detach
# 共享配置生效(两条均交互,须按提示应答;reconfig 只答第一问=仅重启 master LIM)
ssh root@192.168.31.23 "su - ldapadmin -s /bin/bash -c \"bash -lc \\\"printf 'y\\\\n' | lsadmin reconfig\\\"\""
ssh root@192.168.31.23 "su - ldapadmin -s /bin/bash -c \"bash -lc 'yes | badmin mbdrestart'\""
# 作业级 TMPDIR(lsf.conf 的 LSB_JOB_TMPDIR/LSB_SET_TMPDIR)生效:须重启 sbatchd(reconfig/mbdrestart 均无效)
ssh root@192.168.31.23 "su - ldapadmin -s /bin/bash -c 'bash -lc \"yes | bctrld restart sbd all\"'"

3. 文档地图

文件 管什么
HANDOFF.md 当前状态 / 未完成事项 / 红线 / 指针(会话注入)
SOP.md 变更档案:首轮八章 + 第九~十四章(failover / root 权限 / cgroup v1 / submit / projects / local-scratch);附录A 已压成指针
INCIDENT-20260924-部署期故障排障台账.md 事故与排障台账(25 条根因 + 跨轮索引 + 行动项;原 SOP 附录A 单列)
RUNBOOK.md 日常运维:速查表、启停、failover 演练、配置、监控、5 类故障处置、凭据轮换
backup/README.md 本目录文档的备份台账
../tmpdir_inject_20261008/SOP.md 作业级 TMPDIR 注入本地 scratch(lsf.conf 两参数 + 部署器纳管 + 端到端验收)
../probe_batch4_20261008/SOP.md 部署器可观测性(建连数自报)+ 交付文档复核 + disks 批量化判不做
../submit_node/SOP.md submit 节点接入完整八章档案 + 踩坑根因(eauth/keyscan)+ 备份台账
../lsf_probe_batch_20261007/SOP.md 部署器只读探测批量化:主机内拼 shell + 主机间并发、前后对照数字、推广模板
../shared_precheck_batch_20261007/SOP.md 共享库 precheck_module 批量化(8 个挂载工程自动受益)、API 兼容回归与回滚
../lsf_probe_batch2_20261007/SOP.md 残余收尾:precheck 域名检查并入批量、阶段0 去 N² 公钥采集
../lsf_probe_batch3_20261007/SOP.md 阶段2 node-env / 阶段3-6 install 批量化(drift 62.3 → 20.4 s)
../master_noexec/SOP.md 两台 master 排除计算:变更档案 + 第九章部署器化(noexec_hosts / 阶段7-8 判据)
../cgroup_v1/SOP.md cgroup v1 切换的完整方案、执行结果与根因结论
../projects_mount/SOP.md /projects 纳管:阶段1 受管挂载扩展、验收与回滚
../local_scratch/SOP.md 本地 scratch 纳管:阶段15(宿主 KVM 加虚盘 + 节点 xfs 挂载)、安全判据与回滚
../fp15_upgrade/SOP.md FP15 升级方案(已就绪待介质;含 install.config/平台目录改造、回滚与备份台账)
../deploy/lsf/ 部署器实现体与配置(config/lsf_deploy.yaml、credentials.yaml 600)
参照项目 Slurm 集群同套规范:/home/rain/Documents/slurm_ins/deploy/slurm/docs/
全局技能 lsf-simulation-env LSF 侧仿真契约(队列/提交/存储边界):~/.trae-cn/skills/lsf-simulation-env/(事实源 references/lsf-simulation-env.yaml)

4. 已定不做 / 外部受限(仅供了解,不再跟进)

2026-10-09 经用户裁定:以下事项不再作为待办跟进,仅留档备查。原 HANDOFF 第 3 节中的对应行已删除。

项 结论 原因 / 依据
FP15/FP16 升级 外部阻塞,已挂起 介质被 IBM 两道关卡拦住:early-access 返 US Export Validation is Under Review;Fix Central 的 FP16 SPK 返 IBMAVS5548 无支持协议。实现体与 SOP 已就位(../fp15_upgrade/SOP.md),介质到位后一条命令可跑
LSF 作业级 cgroup cpu/mem 限制 做不了(受版本限制) 唯一解法=FP15+ 二进制(原生支持 cgroup v2);FP12 在 Rocky 9 下见 cgroup2 即放弃 cgroup 功能。cgroup v1 兜底已实测无效(../cgroup_v1/SOP.md 第九章)
移除 5 台 cgroup v1 内核参数 暂不做 5 台现带 systemd.unified_cgroup_hierarchy=0 运行(/sys/fs/cgroup=tmpfs,无收益);原定「升级 FP15 时一并移除」,随 FP15 一起搁置
derive_system_disks() 批量化 判不做 属「受保护目标判定」红线路径 + 改共享库影响 8 个挂载工程 + 收益 < 0.5 s(../probe_batch4_20261008/SOP.md §5.2)
其它工程「只读探测批量化」推广 samba_ins / kvm 判不做 6 个候选里 harbor / eda_tools_ins / lustre_ins / vnc-server-deploy 已于 2026-10-08 完成;余 samba_ins / kvm 均为单主机工程,不再跟进
lsf_ins git 纳管(推送至 GitLab) 判不做 2026-10-09 实测:GitLab(gitlab.rainchen.top,129.226.138.204)可达,但本机无可用凭据——环境凭据(PROD_GITLAB_ROOT_*)API 返 401,本机 SSH 公钥未被 GitLab 接受 → 无法免交互推送。若日后提供 PAT / 注册公钥,可再启

来源:/home/rain/Documents/LSF/lsf_ins/docs/BASELINE.md | 最后更新:2026-10-09 02:31(由 build/sync.py 同步,请勿在站点侧修改)