HANDOFF — 当前状态交接快照¶
整体重写 2026-10-02(第 7 次)|归档落点重构:§2 改指针表、明细归各主题 SOP,§4 机制条目归
BASELINE.md|硬限 10240|稳定层BASELINE.md|距整体重写第 7 轮 / 当前 8.4 KB
1. 这份文件怎么用¶
SessionStartHook 在会话开始时注入一次;只写当前,历史归各主题SOP.md。- 档位:【已确认】有实测 / 【未验证】未经证实 / 【待决策】未定论;未验证不得写成已确认。
- 环境事实 / 机制陷阱 / 命令速查 →
BASELINE.md;任务路由 →PROJECT-MAP.md。
2. 当前状态与在做什么¶
一句话:当前无进行中变更。最近一次:2026-10-13 IK 中文分词插件安装结案(monitoring/elasticsearch 装 analysis-ik,插件与词典落 data PVC、重启不丢,A1~A6 全通过)。此前:2026-10-03 K8s 控制面指标接入 + 容量水位告警补齐(etcd/scheduler/controller-manager/kube-proxy 四类 target 全 up、四个孤儿 ServiceMonitor 收编入 helm release、capacity-watermark-alerts 落地);同日 19 台 SELinux 统一 permissive、firewalld 全停;组三 5 项结案;P2 降采样不做;prometheus_deploy/values.yaml 漂移结案(13 项回写现场基线)。
明细见对应 SOP。
| 主题 | 结论(一行) | SOP 路径 |
|---|---|---|
| 环境监控(P0/P1 + 四领域大盘) | 【已确认】FlexLM 两 vendor UP、denied 0;Slurm Pending 接入;Watchdog 每日一报;Slurm 27|LSF 30|Lustre 35|FlexLM 30 面板(FlexLM「占用与持有者」组【未验证】) |
env-monitor-deploy/docs/SOP.md 附录 G.2–G.8 |
| 日志平台(EFK)与分域视图 | 【已确认】EFK 8.19.0(无 Logstash)、ILM 14 天、blackbox 全绿;LOGGING-GAP #1/#2/#5/#15 闭环(LSF 侧【未验证】);分域大盘 + p13 Discover 入口 |
monitoring-p2-20261001/docs/SOP.md(§5 步骤 9.6–9.10)、SOP-kibana-domain-view.md |
| 可观测语义关联(互跳 / 一张页 / 标签) | 【已确认】四阶段交付并结案;Grafana env-service-map 覆盖 19 台;19 台均有 hostname,新增主机须补 relabel(红线见 §4) |
log-metrics-crosslink-20261002/SOP.md §9–§11 |
| 纳管扩面 1b | 【已确认】dell-R620 + OpenWrt,16 台 0 失败、幂等零变更 | monitoring-p2-20261001/docs/SOP-onboard-deb-network.md |
| 只读探测批量化(2026-10-08) | 【已确认】monitoring-p2-20261001 只读探测改「同主机拼 shell + 主机间并发 + 进程内缓存」:converge_one 往返 48→16、precheck 墙钟 7.70→2.74 s;其余工程处置见 SOP |
monitoring-p2-20261001/docs/SOP-parallel-probe.md |
| IK 中文分词(ES 插件) | 【已确认】analysis-ik 落 data PVC、重启不丢;安装器不落包内 config/ 词典,缺则集群 red |
monitoring-p2-20261001/docs/IK-INSTALL-RESULT.md、docs/SOP.md §9.11 |
| 主机安全基线(SELinux / firewalld) | 【已确认】19 台 SELinux→permissive、firewalld 停用并禁用;业务侧复验通过、幂等零变更 |
selinux-firewall-20261003/docs/SOP.md |
| 监控 values 基线 | 【已确认】values.yaml 回写现场 13 项(授权码不入库、运行时注入);双渲染逐字节一致 |
prometheus-baseline-align-20261003/docs/SOP.md |
| 控制面监控与容量水位 | 【已确认】etcd/scheduler/ccm/kube-proxy 四类 target 全 up(变更前 7 条全 down);四个孤儿 ServiceMonitor 收编入 release;新增 capacity-watermark-alerts(宿主 NFS 后端盘 + TSDB);实测 nfs-csi 的 PVC 容量指标失真、不可用 |
control-plane-metrics-20261003/docs/SOP.md |
| Harbor | 【已确认】harbor-01 v2.15.2,4 节点接入生效 |
ghcr-slow-20261001/SOP.md |
| 资产清单(inventory) | 【已确认】21 台:增补 .2 OpenWrt、.31 harbor-01(原缺),纳入本机 dell-R620(.249/.250 同机双网口) |
env-inventory/inventory.yaml |
| HPC / EDA 仿真环境契约 | 【已确认】Slurm 4 分区与上限、Lmod 家族门面模块、存储挂载、LDAP 身份、提交模板;Slurm 未接 license 调度;3 节点 24 核 KVM 虚拟、无 IB | env-inventory/hpc-simulation-env.yaml(经 rainchen-env skill 取用) |
| 效率与计费体系 | 【已确认】仅首次计未命中、最大头是输出(52%~55%);#8 集群外只读取数入口、#1 --hosts-only(端到端待验);webfetch-guard Hook【未验证】须开新会话生效 |
agent-efficiency-rule-fix-20260930/SOP.md、optimization-backlog-20261002/SOP.md、项目外 token_proxy/webfetch-guard/SOP.md |
| 已结案件(一次性交付) | 日志 ↔ 指标互跳四阶段结案|日志解析增强 #3/#4|日志级别解析|组三 5 项小尾巴(#10/#12–#15) | log-parse-20261002/SOP.md、SOP-log-level-parsing.md、group3-tails-20261003/SOP.md |
托管主机清单与登录方式见
BASELINE.md。
3. 未完成事项¶
3.1 日志可观测「可做」¶
组二 · 采集与告警
| # | 事项 | 下一步 | 在哪能拾起 |
|---|---|---|---|
| 5 | LSF 作业字段复核(代码就绪、缺作业样本) | 与 #6 同一时机:等真实业务跑起来(当前仅环境就绪、未跑业务)→ 二者同时挂起 | monitoring-p2-20261001/docs/SOP.md §5 步骤 9.7 |
| 6 | EDA 作业日志立项【待决策】 | 同 #5 时机(等真实业务跑起来);立项时先定采集范围 + 脱敏策略。记录已于 2026-10-03 随漂移项一并更新 | LOGGING-GAP.md #19 |
| 7 | 告警分级 / 路由 / 抑制细化 | 细化 inhibit_rules |
LOGGING-GAP.md #16 |
已决策不做(安全/审计、可靠性、成本、香港、rsyslog、杂项)与已结项(A/B 规则对照验证、 监控 G2/G8)的条目与理由,2026-10-03 起统一落
control-plane-metrics-20261003/docs/SOP.md附录 C 与docs/LOGGING-GAP.md§2,本文件不再保留清单。
4. 红线¶
- 拓扑(IP/主机名/角色/端口/版本)可明文入库;密码、私钥、token、License 一律不入清单、不入 skill、不入本文。
- 凭据只存
~/.secrets/(600):prod.env(15 个PROD_*,含 GLM 嵌入与 DSK 生成 key)、dell-r620-monitor.env、efk.env;禁止Read/cat内容,只在命令内source用"$VAR";禁止echo/env/set类输出。 - helm
upgrade的 values 基线:prometheus_deploy/values.yaml已于 2026-10-03 回写为现场基线(13 项,授权码除外),单文件升级安全;SMTP 授权码不入库,升级须注入--set alertmanager.config.global.smtp_auth_password=<从 ~/.secrets 取>。历史:文件非基线时单文件升级曾丢配置(P1);改动该文件后须按prometheus-baseline-align-20261003/docs/SOP.md§6 做双渲染复核。 - 新增监控对象必须同步补
hostname/clusterrelabel(集群外→env-monitor-deploy的nodes;K8s 节点→prometheus_deploy/values.yaml的 node-exporterrelabelings;宿主→dell-r620),否则入口盘与"服务"维度会静默漏掉它。 - 改共享库
~/py_public_modules必须先备份登记、改后跑全部挂载工程回归(机制见BASELINE.md§3);close()池内=归还、池外=真关。 - 采集与安装脚本必须校验返回码:不得把报错文本当数据解析(LSF 教训 G.6);安装命令不得接管道(rc 陷阱见
BASELINE.md§3)。 - 验收取硬证据,别把"写进文件"当"已生效":Grafana 盘查 API(
/api/dashboards/uid/<uid>200,凭据在 secretgrafana-admin);改了采集配置要查指标标签(relabel 生效延迟见BASELINE.md§3)。 - nfs-csi 的
kubelet_volume_stats_*不可用于 PVC 水位判据【已确认 2026-10-03】:同一 NFS 后端上所有 PVC 报同一个used、capacity报后端卷总量(100Gi 的 PVC 报成 491GiB)→ NFS 卷水位看宿主node_filesystem_*,本地 PV(local-ssd)的 used/capacity 准确。 - 改
user_rules/或hooks.json后当轮即提醒开新会话;改 skill 正文与项目档案不需要。 k8s_136_cluster_deploy/config/deploy.yaml含口令明文,备份不得外传。(sshpass用法见BASELINE.md§3)- 防火墙不得一刀切:香港 frps(公网入口
129.226.138.204)与 OpenWrt 旁路由(.2,NAT 网关)不在selinux-firewall-20261003的 19 台范围内,禁止关闭其防火墙;SELinux 只降到permissive,不得改disabled(回改需全盘 relabel)。新主机纳管后补跑该工程drift复核。
5. 文档地图¶
BASELINE.md(环境事实 / 机制陷阱 / 命令速查)|PROJECT-MAP.md(任务路由 / 依赖图 / 卡片)|MONITORING-ROADMAP.md(监控蓝图)|DISK-IO-METRICS.md(磁盘 IO 指标自查手册 / 阈值速查 / 基线读数)|backup/README.md(根级备份台账)。
主题 SOP 索引:见第 2 节指针表。
来源:
/home/rain/Documents/k8s_ins/docs/HANDOFF.md| 最后更新:2026-10-13 19:51(由build/sync.py同步,请勿在站点侧修改)