BASELINE — LSF 集群项目稳定层¶
本文件是 HANDOFF.md 的稳定层:只放不随轮次变化的内容(环境事实、命令速查、文档地图、 已定不做的历史项)。HANDOFF 只描述「现在」;本文件不被会话注入,按需读取(HANDOFF 第 4 节留指针)。
1. 环境事实¶
- 集群:192.168.31.23~27(master-01/02 + work-01~03)+ 192.168.31.28
hpc-submit(submit 节点); 主 master =.23。 - NFS 宿主机 = 操作机 dell-R620
.250(导出/data/nfs/lsf、/data/nfs/home);本机.249。 - LDAP:
ldap://192.168.31.10:389;bind 凭据见deploy/lsf/config/credentials.yaml(600,不入 git / 文档 / 命令行)。 - 存储三层:Tier1
/projects(NFS,宿主机.249);节点本地/local_scratch;Tier0/mnt/lustre归 lustre 项目。 - 关键基线:
bhosts3/3 workok(+ master-01/02 与 hpc-submit 均closed_Full/MAX=0)、lsf-health.timer与lsf-user-sync.timer双 active、作业 DONE 链路通、 作业TMPDIR落/local_scratch/users/<jobID>.tmpdir(作业结束自动清理)、 failover 通过(备接管约 120 s)、root 与 ldapadmin 的 b* 均可用、 部署器复跑全阶段「零变更跳过」、--drift全阶段无漂移。
2. 命令速查¶
# 状态速查(root 与 ldapadmin 现均可直接执行 b*)
ssh root@192.168.31.23 "source /data/nfs/lsf/lsf/conf/profile.lsf; bhosts -w; bqueues | head -3"
ssh root@192.168.31.23 "systemctl is-active lsfd lsf-health.timer lsf-user-sync.timer"
# 部署器
cd /home/rain/Documents/LSF/lsf_ins/deploy/lsf
.venv/bin/python main.py -c config/lsf_deploy.yaml --precheck # 只读预检
.venv/bin/python main.py -c config/lsf_deploy.yaml --drift # 只读漂移(0=无漂移)
.venv/bin/python main.py -c config/lsf_deploy.yaml # 部署/幂等复跑
# 独立阶段(均须显式触发)
.venv/bin/python main.py -c config/lsf_deploy.yaml --stage submit # 接入 submit 节点
.venv/bin/python main.py -c config/lsf_deploy.yaml --failover-test # 主备演练
.venv/bin/python main.py -c config/lsf_deploy.yaml --stage cgroup # cgroup 切换(含重启)
.venv/bin/python main.py -c config/lsf_deploy.yaml --stage local-scratch # 宿主加盘 + 挂载 /local_scratch(高危)
.venv/bin/python main.py -c config/lsf_deploy.yaml --stage local-scratch --rollback # 卸载清理 + detach
# 共享配置生效(两条均交互,须按提示应答;reconfig 只答第一问=仅重启 master LIM)
ssh root@192.168.31.23 "su - ldapadmin -s /bin/bash -c \"bash -lc \\\"printf 'y\\\\n' | lsadmin reconfig\\\"\""
ssh root@192.168.31.23 "su - ldapadmin -s /bin/bash -c \"bash -lc 'yes | badmin mbdrestart'\""
# 作业级 TMPDIR(lsf.conf 的 LSB_JOB_TMPDIR/LSB_SET_TMPDIR)生效:须重启 sbatchd(reconfig/mbdrestart 均无效)
ssh root@192.168.31.23 "su - ldapadmin -s /bin/bash -c 'bash -lc \"yes | bctrld restart sbd all\"'"
3. 文档地图¶
| 文件 | 管什么 |
|---|---|
| HANDOFF.md | 当前状态 / 未完成事项 / 红线 / 指针(会话注入) |
| SOP.md | 变更档案:首轮八章 + 第九~十四章(failover / root 权限 / cgroup v1 / submit / projects / local-scratch);附录A 已压成指针 |
| INCIDENT-20260924-部署期故障排障台账.md | 事故与排障台账(25 条根因 + 跨轮索引 + 行动项;原 SOP 附录A 单列) |
| RUNBOOK.md | 日常运维:速查表、启停、failover 演练、配置、监控、5 类故障处置、凭据轮换 |
| backup/README.md | 本目录文档的备份台账 |
| ../tmpdir_inject_20261008/SOP.md | 作业级 TMPDIR 注入本地 scratch(lsf.conf 两参数 + 部署器纳管 + 端到端验收) |
| ../probe_batch4_20261008/SOP.md | 部署器可观测性(建连数自报)+ 交付文档复核 + disks 批量化判不做 |
| ../submit_node/SOP.md | submit 节点接入完整八章档案 + 踩坑根因(eauth/keyscan)+ 备份台账 |
| ../lsf_probe_batch_20261007/SOP.md | 部署器只读探测批量化:主机内拼 shell + 主机间并发、前后对照数字、推广模板 |
| ../shared_precheck_batch_20261007/SOP.md | 共享库 precheck_module 批量化(8 个挂载工程自动受益)、API 兼容回归与回滚 |
| ../lsf_probe_batch2_20261007/SOP.md | 残余收尾:precheck 域名检查并入批量、阶段0 去 N² 公钥采集 |
| ../lsf_probe_batch3_20261007/SOP.md | 阶段2 node-env / 阶段3-6 install 批量化(drift 62.3 → 20.4 s) |
| ../master_noexec/SOP.md | 两台 master 排除计算:变更档案 + 第九章部署器化(noexec_hosts / 阶段7-8 判据) |
| ../cgroup_v1/SOP.md | cgroup v1 切换的完整方案、执行结果与根因结论 |
| ../projects_mount/SOP.md | /projects 纳管:阶段1 受管挂载扩展、验收与回滚 |
| ../local_scratch/SOP.md | 本地 scratch 纳管:阶段15(宿主 KVM 加虚盘 + 节点 xfs 挂载)、安全判据与回滚 |
| ../fp15_upgrade/SOP.md | FP15 升级方案(已就绪待介质;含 install.config/平台目录改造、回滚与备份台账) |
| ../deploy/lsf/ | 部署器实现体与配置(config/lsf_deploy.yaml、credentials.yaml 600) |
| 参照项目 | Slurm 集群同套规范:/home/rain/Documents/slurm_ins/deploy/slurm/docs/ |
全局技能 lsf-simulation-env |
LSF 侧仿真契约(队列/提交/存储边界):~/.trae-cn/skills/lsf-simulation-env/(事实源 references/lsf-simulation-env.yaml) |
4. 已定不做 / 外部受限(仅供了解,不再跟进)¶
2026-10-09 经用户裁定:以下事项不再作为待办跟进,仅留档备查。原 HANDOFF 第 3 节中的对应行已删除。
| 项 | 结论 | 原因 / 依据 |
|---|---|---|
| FP15/FP16 升级 | 外部阻塞,已挂起 | 介质被 IBM 两道关卡拦住:early-access 返 US Export Validation is Under Review;Fix Central 的 FP16 SPK 返 IBMAVS5548 无支持协议。实现体与 SOP 已就位(../fp15_upgrade/SOP.md),介质到位后一条命令可跑 |
| LSF 作业级 cgroup cpu/mem 限制 | 做不了(受版本限制) | 唯一解法=FP15+ 二进制(原生支持 cgroup v2);FP12 在 Rocky 9 下见 cgroup2 即放弃 cgroup 功能。cgroup v1 兜底已实测无效(../cgroup_v1/SOP.md 第九章) |
| 移除 5 台 cgroup v1 内核参数 | 暂不做 | 5 台现带 systemd.unified_cgroup_hierarchy=0 运行(/sys/fs/cgroup=tmpfs,无收益);原定「升级 FP15 时一并移除」,随 FP15 一起搁置 |
derive_system_disks() 批量化 |
判不做 | 属「受保护目标判定」红线路径 + 改共享库影响 8 个挂载工程 + 收益 < 0.5 s(../probe_batch4_20261008/SOP.md §5.2) |
| 其它工程「只读探测批量化」推广 | samba_ins / kvm 判不做 | 6 个候选里 harbor / eda_tools_ins / lustre_ins / vnc-server-deploy 已于 2026-10-08 完成;余 samba_ins / kvm 均为单主机工程,不再跟进 |
lsf_ins git 纳管(推送至 GitLab) |
判不做 | 2026-10-09 实测:GitLab(gitlab.rainchen.top,129.226.138.204)可达,但本机无可用凭据——环境凭据(PROD_GITLAB_ROOT_*)API 返 401,本机 SSH 公钥未被 GitLab 接受 → 无法免交互推送。若日后提供 PAT / 注册公钥,可再启 |
来源:
/home/rain/Documents/LSF/lsf_ins/docs/BASELINE.md| 最后更新:2026-10-09 02:31(由build/sync.py同步,请勿在站点侧修改)