跳转至

HANDOFF — 当前状态交接快照

整体重写 2026-10-02(第 7 次)|归档落点重构:§2 改指针表、明细归各主题 SOP,§4 机制条目归 BASELINE.md|硬限 10240|稳定层 BASELINE.md|距整体重写第 7 轮 / 当前 8.4 KB

1. 这份文件怎么用

  • SessionStart Hook 在会话开始时注入一次;只写当前,历史归各主题 SOP.md。
  • 档位:【已确认】有实测 / 【未验证】未经证实 / 【待决策】未定论;未验证不得写成已确认。
  • 环境事实 / 机制陷阱 / 命令速查 → BASELINE.md;任务路由 → PROJECT-MAP.md。

2. 当前状态与在做什么

一句话:当前无进行中变更。最近一次:2026-10-13 IK 中文分词插件安装结案(monitoring/elasticsearch 装 analysis-ik,插件与词典落 data PVC、重启不丢,A1~A6 全通过)。此前:2026-10-03 K8s 控制面指标接入 + 容量水位告警补齐(etcd/scheduler/controller-manager/kube-proxy 四类 target 全 up、四个孤儿 ServiceMonitor 收编入 helm release、capacity-watermark-alerts 落地);同日 19 台 SELinux 统一 permissive、firewalld 全停;组三 5 项结案;P2 降采样不做;prometheus_deploy/values.yaml 漂移结案(13 项回写现场基线)。

明细见对应 SOP。

主题 结论(一行) SOP 路径
环境监控(P0/P1 + 四领域大盘) 【已确认】FlexLM 两 vendor UP、denied 0;Slurm Pending 接入;Watchdog 每日一报;Slurm 27|LSF 30|Lustre 35|FlexLM 30 面板(FlexLM「占用与持有者」组【未验证】) env-monitor-deploy/docs/SOP.md 附录 G.2–G.8
日志平台(EFK)与分域视图 【已确认】EFK 8.19.0(无 Logstash)、ILM 14 天、blackbox 全绿;LOGGING-GAP #1/#2/#5/#15 闭环(LSF 侧【未验证】);分域大盘 + p13 Discover 入口 monitoring-p2-20261001/docs/SOP.md(§5 步骤 9.6–9.10)、SOP-kibana-domain-view.md
可观测语义关联(互跳 / 一张页 / 标签) 【已确认】四阶段交付并结案;Grafana env-service-map 覆盖 19 台;19 台均有 hostname,新增主机须补 relabel(红线见 §4) log-metrics-crosslink-20261002/SOP.md §9–§11
纳管扩面 1b 【已确认】dell-R620 + OpenWrt,16 台 0 失败、幂等零变更 monitoring-p2-20261001/docs/SOP-onboard-deb-network.md
只读探测批量化(2026-10-08) 【已确认】monitoring-p2-20261001 只读探测改「同主机拼 shell + 主机间并发 + 进程内缓存」:converge_one 往返 48→16、precheck 墙钟 7.70→2.74 s;其余工程处置见 SOP monitoring-p2-20261001/docs/SOP-parallel-probe.md
IK 中文分词(ES 插件) 【已确认】analysis-ik 落 data PVC、重启不丢;安装器不落包内 config/ 词典,缺则集群 red monitoring-p2-20261001/docs/IK-INSTALL-RESULT.md、docs/SOP.md §9.11
主机安全基线(SELinux / firewalld) 【已确认】19 台 SELinux→permissive、firewalld 停用并禁用;业务侧复验通过、幂等零变更 selinux-firewall-20261003/docs/SOP.md
监控 values 基线 【已确认】values.yaml 回写现场 13 项(授权码不入库、运行时注入);双渲染逐字节一致 prometheus-baseline-align-20261003/docs/SOP.md
控制面监控与容量水位 【已确认】etcd/scheduler/ccm/kube-proxy 四类 target 全 up(变更前 7 条全 down);四个孤儿 ServiceMonitor 收编入 release;新增 capacity-watermark-alerts(宿主 NFS 后端盘 + TSDB);实测 nfs-csi 的 PVC 容量指标失真、不可用 control-plane-metrics-20261003/docs/SOP.md
Harbor 【已确认】harbor-01 v2.15.2,4 节点接入生效 ghcr-slow-20261001/SOP.md
资产清单(inventory) 【已确认】21 台:增补 .2 OpenWrt、.31 harbor-01(原缺),纳入本机 dell-R620(.249/.250 同机双网口) env-inventory/inventory.yaml
HPC / EDA 仿真环境契约 【已确认】Slurm 4 分区与上限、Lmod 家族门面模块、存储挂载、LDAP 身份、提交模板;Slurm 未接 license 调度;3 节点 24 核 KVM 虚拟、无 IB env-inventory/hpc-simulation-env.yaml(经 rainchen-env skill 取用)
效率与计费体系 【已确认】仅首次计未命中、最大头是输出(52%~55%);#8 集群外只读取数入口、#1 --hosts-only(端到端待验);webfetch-guard Hook【未验证】须开新会话生效 agent-efficiency-rule-fix-20260930/SOP.md、optimization-backlog-20261002/SOP.md、项目外 token_proxy/webfetch-guard/SOP.md
已结案件(一次性交付) 日志 ↔ 指标互跳四阶段结案|日志解析增强 #3/#4|日志级别解析|组三 5 项小尾巴(#10/#12–#15) log-parse-20261002/SOP.md、SOP-log-level-parsing.md、group3-tails-20261003/SOP.md

托管主机清单与登录方式见 BASELINE.md。

3. 未完成事项

3.1 日志可观测「可做」

组二 · 采集与告警

# 事项 下一步 在哪能拾起
5 LSF 作业字段复核(代码就绪、缺作业样本) 与 #6 同一时机:等真实业务跑起来(当前仅环境就绪、未跑业务)→ 二者同时挂起 monitoring-p2-20261001/docs/SOP.md §5 步骤 9.7
6 EDA 作业日志立项【待决策】 同 #5 时机(等真实业务跑起来);立项时先定采集范围 + 脱敏策略。记录已于 2026-10-03 随漂移项一并更新 LOGGING-GAP.md #19
7 告警分级 / 路由 / 抑制细化 细化 inhibit_rules LOGGING-GAP.md #16

已决策不做(安全/审计、可靠性、成本、香港、rsyslog、杂项)与已结项(A/B 规则对照验证、 监控 G2/G8)的条目与理由,2026-10-03 起统一落 control-plane-metrics-20261003/docs/SOP.md 附录 C 与 docs/LOGGING-GAP.md §2,本文件不再保留清单。

4. 红线

  • 拓扑(IP/主机名/角色/端口/版本)可明文入库;密码、私钥、token、License 一律不入清单、不入 skill、不入本文。
  • 凭据只存 ~/.secrets/(600):prod.env(15 个 PROD_*,含 GLM 嵌入与 DSK 生成 key)、dell-r620-monitor.env、efk.env;禁止 Read/cat 内容,只在命令内 source 用 "$VAR";禁止 echo/env/set 类输出。
  • helm upgrade 的 values 基线:prometheus_deploy/values.yaml 已于 2026-10-03 回写为现场基线(13 项,授权码除外),单文件升级安全;SMTP 授权码不入库,升级须注入 --set alertmanager.config.global.smtp_auth_password=<从 ~/.secrets 取>。历史:文件非基线时单文件升级曾丢配置(P1);改动该文件后须按 prometheus-baseline-align-20261003/docs/SOP.md §6 做双渲染复核。
  • 新增监控对象必须同步补 hostname/cluster relabel(集群外→env-monitor-deploy 的 nodes;K8s 节点→prometheus_deploy/values.yaml 的 node-exporter relabelings;宿主→dell-r620),否则入口盘与"服务"维度会静默漏掉它。
  • 改共享库 ~/py_public_modules 必须先备份登记、改后跑全部挂载工程回归(机制见 BASELINE.md §3);close() 池内=归还、池外=真关。
  • 采集与安装脚本必须校验返回码:不得把报错文本当数据解析(LSF 教训 G.6);安装命令不得接管道(rc 陷阱见 BASELINE.md §3)。
  • 验收取硬证据,别把"写进文件"当"已生效":Grafana 盘查 API(/api/dashboards/uid/<uid> 200,凭据在 secret grafana-admin);改了采集配置要查指标标签(relabel 生效延迟见 BASELINE.md §3)。
  • nfs-csi 的 kubelet_volume_stats_* 不可用于 PVC 水位判据【已确认 2026-10-03】:同一 NFS 后端上所有 PVC 报同一个 used、capacity 报后端卷总量(100Gi 的 PVC 报成 491GiB)→ NFS 卷水位看宿主 node_filesystem_*,本地 PV(local-ssd)的 used/capacity 准确。
  • 改 user_rules/ 或 hooks.json 后当轮即提醒开新会话;改 skill 正文与项目档案不需要。
  • k8s_136_cluster_deploy/config/deploy.yaml 含口令明文,备份不得外传。(sshpass 用法见 BASELINE.md §3)
  • 防火墙不得一刀切:香港 frps(公网入口 129.226.138.204)与 OpenWrt 旁路由(.2,NAT 网关)不在 selinux-firewall-20261003 的 19 台范围内,禁止关闭其防火墙;SELinux 只降到 permissive,不得改 disabled(回改需全盘 relabel)。新主机纳管后补跑该工程 drift 复核。

5. 文档地图

BASELINE.md(环境事实 / 机制陷阱 / 命令速查)|PROJECT-MAP.md(任务路由 / 依赖图 / 卡片)|MONITORING-ROADMAP.md(监控蓝图)|DISK-IO-METRICS.md(磁盘 IO 指标自查手册 / 阈值速查 / 基线读数)|backup/README.md(根级备份台账)。

主题 SOP 索引:见第 2 节指针表。


来源:/home/rain/Documents/k8s_ins/docs/HANDOFF.md | 最后更新:2026-10-13 19:51(由 build/sync.py 同步,请勿在站点侧修改)