HaluCatch 捕幻

AI 为你创建的 Skill 执行起来靠谱吗? 五维审查——稳地基 · 查代码 · 明规则 · 设护栏 · 控复杂度

v1.8.8 🐍 Python 📋 3 份报告 🌏 中英文 📦 零依赖 MIT 开源
⭐ GitHub 开源 📦 SkillHub 🦞 ClawHub

行业级安全隐私审计报告

腾讯安全|威胁情报中心 腾讯安全|威胁情报中心 安全 腾讯安全云鼎实验室 腾讯安全云鼎实验室 100 ClawScan ClawScan Pass VirusTotal VirusTotal 65 个安全引擎全通过

用 AI Skill 时,这些坑你遇到过吗?

🤷

换个电脑就用不了

AI 帮你做的 Skill 只认你这台电脑,换台机器就废了——它把你电脑上的地址记进去了

逻辑漏洞 复用失败
🤨

结果不敢信

AI 给的结果,你分不清哪些是来自你的数据、哪些是它自己编的

幻觉风险 输出不稳
😵‍💫

每回跑结果不一样

即使是同一个模型、用同个 Skill,每次执行输出的格式、内容、质量都不同,没法放心用

输出不稳
😱

AI 擅自做主

让它分析文件,它顺手把文件改了,你都不知道

安全漏洞 靠天吃饭 缺乏检查
😵

贪多嚼不烂

塞太多功能,AI 能不能调对全靠运气——每次都得额外解释,心累

复用失败 靠天吃饭
😰

有问题它不说

执行过程中遇到状况,AI 悄悄跳过不报错,你完全不知道

安全漏洞 进度失控 缺乏检查
😩

不敢中断

跑了一个东西不知道要等多久,想中断又怕搞坏了,只能干着急

进度失控
💀

前功尽弃

跑了好久突然断了,让 AI 继续做,结果它从头开始全跑偏了,之前的全白费

进度失控 靠天吃饭

还有别的坑? 来 GitHub 提 Issue ↗

审计报告预览

同一份 Skill,三份视角 — 以下是 HaluCatch 审计自身的真实报告

📗 标准版
📊 专业版
🤖 AI 行动版

📗 标准版 — 用人话告诉你哪里有问题

以下是 HaluCatch 审计自身的真实报告(五维评估 v1.8.6)


一句话总结

🔴 3 严重 · ⚠️ 3 注意 · 💡 5 可优化

审查结果

🏗️ 地基💻 代码📝 规则/方法论🛡️ 护栏📐 复杂度
🟢 6/6🟢 15/15🟢 6/6🟢 11/11🟡 2.7/10

做得好的方面

  • ✅ 有固化 .py 脚本
  • ✅ 路径已参数化或无本地绝对路径
  • ✅ 有 --validate 验证模式
  • ✅ 有输入验证/列名校验
  • ✅ 使用通配符/自动发现文件
  • ✅ SKILL.md 声明了依赖
  • ✅ 未检测到模糊词汇
  • ✅ 定义了数值边界/范围
  • ✅ 包含计算/公式说明
  • ✅ 单位使用一致
  • ✅ 有异常分支处理
  • ✅ 声明了默认值/回退策略
  • ✅ 明确了输出格式
  • ✅ 检测到禁止/护栏声明(否定词 1 / 中文禁止 3)
  • ✅ 包含验证/自检步骤
  • ✅ 涉及置信度/风险评估
  • ✅ 声明了数据来源/范围限制
  • ✅ 定义了错误处理/回退策略
  • ✅ 声明了数据时效性
  • ✅ 声明了前提假设
  • ✅ 要求向用户上报错误
  • ✅ 要求操作前确认
  • ✅ 发现渲染函数,输出有代码管

需要注意的方面

✅ 无发现问题。

本报告是标准版本。如需技术细节,见专业版报告。

📊 专业版 — 结构化评估结果

以下是 HaluCatch 审计自身的真实报告(五维评估 v1.8.6)


📌 一句话总结

🔴 3 严重 · ⚠️ 3 注意 · 💡 5 可优化

🎯 核心结论卡片

维度评级分数
🏗️ 地基🟢 稳固6/6
💻 代码🟢 低风险15/15
📝 规则/方法论🟢 明确6/6
🛡️ 护栏🟢 到位11/11
📐 复杂度🟡 注意2.7/10

🔍 审查发现

🏗️ 地基

  • ✅ 有固化 .py 脚本
  • ✅ 路径已参数化或无本地绝对路径
  • ✅ 有 --validate 验证模式
  • ✅ 有输入验证/列名校验
  • ✅ 使用通配符/自动发现文件
  • ✅ SKILL.md 声明了依赖

💻 代码

代码文件类型审查规则数量全通过部分问题全不通过
Python91500

— 未发现代码风险

📝 规则/方法论

  • ✅ 未检测到模糊词汇
  • ✅ 定义了数值边界/范围
  • ✅ 包含计算/公式说明
  • ✅ 单位使用一致
  • ✅ 有异常分支处理
  • ✅ 声明了默认值/回退策略

以上为脚本基线检查,AI 应在此基础上补充语义分析

🛡️ 护栏

  • ✅ 明确了输出格式
  • ✅ 检测到禁止/护栏声明(否定词 1 / 中文禁止 3)
  • ✅ 包含验证/自检步骤
  • ✅ 涉及置信度/风险评估
  • ✅ 声明了数据来源/范围限制
  • ✅ 定义了错误处理/回退策略
  • ✅ 声明了数据时效性
  • ✅ 声明了前提假设
  • ✅ 要求向用户上报错误
  • ✅ 要求操作前确认
  • ✅ 发现渲染函数 def generate_...,输出有代码管

以上为脚本基线检查,AI 应在此基础上补充语义分析

📐 复杂度

指标权重得分详情
章节深度5%🟡 5.05 分
章节复杂度5%🔴 10.010.0
文档引用链深度10%🟢 0.00 层
文档引用链广度10%🟢 0.00 个
脚本引用链深度3%🟡 5.01 层
脚本引用链广度2%🟡 3.57 个
重复冗余5%🟢 0.80.8
表格复杂度10%🟢 3.03.0
脚本覆盖比10%🟠 6.810% (2/20 步有脚本, 18 步无) — 🟠 覆盖薄弱
代码/文档比15%🟢 0.0文档 19% — 🟢 代码充裕
指令密度25%🔴 7.87.8

复杂度加权结果

名称数值计算公式
加权总得分3.911 项指标加权平均
脚本覆盖率折扣×0.68(覆盖率 10%)$1 - \sqrt{\text{脚本覆盖率}}$
最终复杂度2.7 / 10$\text{加权总得分} \times \text{脚本覆盖率折扣}$

本报告由 HaluCatch 生成。✅ 检查进度: 全部执行完毕

🤖 AI 行动版 — 直接给 AI 的修复指令

以下是 HaluCatch 审计自身的真实报告(五维评估 v1.8.6)


🛠️ 修复清单

  • 🟡 章节深度: 5 分
  • 🔴 章节复杂度: 10.0
  • 🟡 脚本引用链深度: 1 层
  • 🟡 脚本引用链广度: 7 个
  • 🔴 脚本覆盖比: 10% (2/20 步有脚本, 18 步无) — 🟠 覆盖薄弱
  • 🔴 指令密度: 7.8

✅ 验证检查点(修复后自检)

  • ☑ 运行 --validate 通过
  • ☑ 所有列名校验通过
  • ☑ 无硬编码路径
  • ☑ 用真实数据跑通一次

📋 下一步

  1. 执行修复 — 将本报告发给你的 AI,让它按方案修改目标 Skill。修复后重新运行 halucatch_core.py --skill-dir <路径> 验证
  2. 不执行 — 不做任何修改,审查结束
  3. 我有更好的意见 — 描述你的修复想法,我据此重新生成修复方案

在线体验 HaluCatch

快速开始

1

安装

复制下方提示词发给 AI,即可安装 HaluCatch

🇨🇳 国内用户方案

为国内用户提供 SkillHub 安装提示词

中文环境 · 免费 · 开箱即用

国际用户方案

为国际用户提供 ClawHub 安装提示词

Global AI skill marketplace
2

审查目标 Skill

告诉 AI 你要审查哪个 Skill 或者你的 Skill 所在的文件夹路径

请用 HaluCatch 审查 /my-skill
HaluCatch
📁 扫描目录... 📝 发现 SKILL.md (120 行) 🐍 发现 core.py (45 行) 📊 开始五维评估...
审查完成。报告已保存在 reports/ 目录: 📗 标准版 — 用人话解释哪里有问题 📊 专业版 — 结构化检查清单 🤖 行动版 — 给 AI 的修复指令

接下来 AI 会做:

扫描目录
五维评估
生成报告
精准修复
3

阅读报告,决定下一步

三份报告分别面向不同角色,选择适合你的阅读

标准版

给业务 / 产品经理

用人话解释每个问题是什么、为什么重要、怎么改

专业版

给工程师 / 开发者

结构化检查清单,每个维度打分,精确到文件和行号

AI 行动版

给 AI(告知 AI 读取即可)

修复清单 + 验证检查点,AI 按步骤执行即可

💡 如果决定修复:告知 AI 读取行动版报告并执行,它会按清单逐项修复。修复后重新审查,确认问题清零。

1

克隆仓库

git clone https://github.com/CoderMoray/HaluCatch.git
cd HaluCatch
2

运行审查

#自动检测语言(中文/英文)
python3 halucatch_core.py --skill-dir /path/to/your-skill
#或强制英文输出
python3 halucatch_core.py --skill-dir /path/to/your-skill --lang en
#或使用包方式
python3 -m halucatch --skill-dir /path/to/your-skill
3

查看报告

# 三份报告自动生成在 reports/ 目录
reports/HaluCatch-report-YYYY-MM-DD.md        # 专业版
reports/HaluCatch-report-YYYY-MM-DD-标准版.md  # 标准版
reports/HaluCatch-report-YYYY-MM-DD-行动版.md  # AI 行动版

Blogs

掘金

AI Skill 也会"说胡话"?我做了一个执行可靠性审查工具

介绍 HaluCatch 的设计思路、四维评估框架和实战案例

CSDN

如何检查你的 AI Skill 是否可靠?HaluCatch 使用指南

从安装到实战的完整教程,零基础也能上手

企鹅虾友会

HaluCatch 实战:给 AI Skill 做一次执行可靠性体检

用五维审查框架,把 AI 帮你做的 Skill 在“翻车”前揪出问题

FAQ

不需要。全程离线运行,仅扫描本地文件夹中的 SKILL.md 和 .py 文件,不会发起任何网络请求。

对 AI 说「请用 HaluCatch 审查 /path/to/skill」即可。AI 自动扫描、评估、生成三份报告到 reports/ 目录:
1. 跑一次审查 → 看通俗版报告了解问题
2. 打开 -行动版.md → 从第一条开始逐项修复
3. 修复后重新跑 → 对比分数是否改善

可以。HaluCatch 会自动分类为「纯方法论型」并跳过地基/代码检查,只评估方法论结构和护栏完整度。

看同目录下的 HaluCatch-report-日期-行动版.md,它逐条列出了修复方案。按清单逐项改,改完后重新审查验证。

当前 7 条通用规则:裸 except: pass / 浮点比较 (== 0.0) / 除零风险 / 硬编码阈值 / 路径拼接 / 静默覆盖 / 超时缺失。

当前版本暂不支持批量模式。你可以逐个运行。批量功能已在 roadmap 中。

查看完整 FAQ →