HaluCatch 捕幻
AI 为你创建的 Skill 执行起来靠谱吗? 五维审查——稳地基 · 查代码 · 明规则 · 设护栏 · 控复杂度
AI 为你创建的 Skill 执行起来靠谱吗? 五维审查——稳地基 · 查代码 · 明规则 · 设护栏 · 控复杂度
AI 帮你做的 Skill 只认你这台电脑,换台机器就废了——它把你电脑上的地址记进去了
AI 给的结果,你分不清哪些是来自你的数据、哪些是它自己编的
即使是同一个模型、用同个 Skill,每次执行输出的格式、内容、质量都不同,没法放心用
让它分析文件,它顺手把文件改了,你都不知道
塞太多功能,AI 能不能调对全靠运气——每次都得额外解释,心累
执行过程中遇到状况,AI 悄悄跳过不报错,你完全不知道
跑了一个东西不知道要等多久,想中断又怕搞坏了,只能干着急
跑了好久突然断了,让 AI 继续做,结果它从头开始全跑偏了,之前的全白费
还有别的坑? 来 GitHub 提 Issue ↗
同一份 Skill,三份视角 — 以下是 HaluCatch 审计自身的真实报告
以下是 HaluCatch 审计自身的真实报告(五维评估 v1.8.6)
🔴 3 严重 · ⚠️ 3 注意 · 💡 5 可优化
| 🏗️ 地基 | 💻 代码 | 📝 规则/方法论 | 🛡️ 护栏 | 📐 复杂度 |
|---|---|---|---|---|
| 🟢 6/6 | 🟢 15/15 | 🟢 6/6 | 🟢 11/11 | 🟡 2.7/10 |
✅ 无发现问题。
本报告是标准版本。如需技术细节,见专业版报告。
以下是 HaluCatch 审计自身的真实报告(五维评估 v1.8.6)
🔴 3 严重 · ⚠️ 3 注意 · 💡 5 可优化
| 维度 | 评级 | 分数 |
|---|---|---|
| 🏗️ 地基 | 🟢 稳固 | 6/6 |
| 💻 代码 | 🟢 低风险 | 15/15 |
| 📝 规则/方法论 | 🟢 明确 | 6/6 |
| 🛡️ 护栏 | 🟢 到位 | 11/11 |
| 📐 复杂度 | 🟡 注意 | 2.7/10 |
| 代码文件类型 | 审查规则数量 | 全通过 | 部分问题 | 全不通过 |
|---|---|---|---|---|
| Python | 9 | 15 | 0 | 0 |
— 未发现代码风险
以上为脚本基线检查,AI 应在此基础上补充语义分析
以上为脚本基线检查,AI 应在此基础上补充语义分析
| 指标 | 权重 | 得分 | 详情 |
|---|---|---|---|
| 章节深度 | 5% | 🟡 5.0 | 5 分 |
| 章节复杂度 | 5% | 🔴 10.0 | 10.0 |
| 文档引用链深度 | 10% | 🟢 0.0 | 0 层 |
| 文档引用链广度 | 10% | 🟢 0.0 | 0 个 |
| 脚本引用链深度 | 3% | 🟡 5.0 | 1 层 |
| 脚本引用链广度 | 2% | 🟡 3.5 | 7 个 |
| 重复冗余 | 5% | 🟢 0.8 | 0.8 |
| 表格复杂度 | 10% | 🟢 3.0 | 3.0 |
| 脚本覆盖比 | 10% | 🟠 6.8 | 10% (2/20 步有脚本, 18 步无) — 🟠 覆盖薄弱 |
| 代码/文档比 | 15% | 🟢 0.0 | 文档 19% — 🟢 代码充裕 |
| 指令密度 | 25% | 🔴 7.8 | 7.8 |
| 名称 | 数值 | 计算公式 |
|---|---|---|
| 加权总得分 | 3.9 | 11 项指标加权平均 |
| 脚本覆盖率折扣 | ×0.68(覆盖率 10%) | $1 - \sqrt{\text{脚本覆盖率}}$ |
| 最终复杂度 | 2.7 / 10 | $\text{加权总得分} \times \text{脚本覆盖率折扣}$ |
本报告由 HaluCatch 生成。✅ 检查进度: 全部执行完毕
以下是 HaluCatch 审计自身的真实报告(五维评估 v1.8.6)
--validate 通过halucatch_core.py --skill-dir <路径> 验证复制下方提示词发给 AI,即可安装 HaluCatch
🇨🇳 国内用户方案
为国内用户提供 SkillHub 安装提示词
国际用户方案
为国际用户提供 ClawHub 安装提示词
告诉 AI 你要审查哪个 Skill 或者你的 Skill 所在的文件夹路径
接下来 AI 会做:
三份报告分别面向不同角色,选择适合你的阅读
用人话解释每个问题是什么、为什么重要、怎么改
结构化检查清单,每个维度打分,精确到文件和行号
修复清单 + 验证检查点,AI 按步骤执行即可
💡 如果决定修复:告知 AI 读取行动版报告并执行,它会按清单逐项修复。修复后重新审查,确认问题清零。
git clone https://github.com/CoderMoray/HaluCatch.git cd HaluCatch
#自动检测语言(中文/英文) python3 halucatch_core.py --skill-dir /path/to/your-skill #或强制英文输出 python3 halucatch_core.py --skill-dir /path/to/your-skill --lang en #或使用包方式 python3 -m halucatch --skill-dir /path/to/your-skill
# 三份报告自动生成在 reports/ 目录 reports/HaluCatch-report-YYYY-MM-DD.md # 专业版 reports/HaluCatch-report-YYYY-MM-DD-标准版.md # 标准版 reports/HaluCatch-report-YYYY-MM-DD-行动版.md # AI 行动版
不需要。全程离线运行,仅扫描本地文件夹中的 SKILL.md 和 .py 文件,不会发起任何网络请求。
对 AI 说「请用 HaluCatch 审查 /path/to/skill」即可。AI 自动扫描、评估、生成三份报告到 reports/ 目录:
1. 跑一次审查 → 看通俗版报告了解问题
2. 打开 -行动版.md → 从第一条开始逐项修复
3. 修复后重新跑 → 对比分数是否改善
可以。HaluCatch 会自动分类为「纯方法论型」并跳过地基/代码检查,只评估方法论结构和护栏完整度。
看同目录下的 HaluCatch-report-日期-行动版.md,它逐条列出了修复方案。按清单逐项改,改完后重新审查验证。
当前 7 条通用规则:裸 except: pass / 浮点比较 (== 0.0) / 除零风险 / 硬编码阈值 / 路径拼接 / 静默覆盖 / 超时缺失。
当前版本暂不支持批量模式。你可以逐个运行。批量功能已在 roadmap 中。