界面示意:每条回复下方标出用的是哪条策略、试了几次、花了多久
连接
- 电脑跑模型,手机扫码接入;装到桌面全屏运行,没有地址栏
- 自动列出局域网地址、二维码配对、令牌鉴权、多上游轮换
模型
- 列出电脑上已有的 Ollama 模型和体积,手机上直接下载并看进度
- 填接口地址 + Key 接入任意云端模型;保存前先探活,连不上不写入
策略
- assistant prefill、best-of-n 重采样、前置截断、按拒答自动换策略
插件
- 内置 85 个,分九类(渠道 / 增强 / 编码 / 写作 / 分析 / 翻译 / 学习 / 生活 / 技能)
- 管线插件常驻生效,prompt 插件点「使用」注入本轮
- 支持接入外部 registry,填地址即可扩展
界面
- 侧边抽屉:新对话、插件市场、设置
- 每条回复标注策略、尝试次数、耗时、生效插件
实验
- 三套评估器(本地权重 / 云端端点 / 激活干预)+ 权重手术 + 方向诊断
模型跑在电脑上、人在手机上,中间缺的从来不是"一个 API",是这几样:
- 手机怎么发现电脑的地址,怎么不被同一局域网里的别人蹭用
- 电脑上那个模型服务的地址变了、端口被占了呢
- 换个 App 就要重新配一遍 base_url 和 key
- 模型拒绝回答时,除了换个问法还能做什么
小汐鲸 把这几件事收进一个进程:电脑上跑一个 Python 文件,手机上扫码就用,装到桌面像原生 App。
电脑上准备好任意 OpenAI 兼容服务(Ollama / LM Studio / llama.cpp server / vLLM / 云端 API),然后:
python gateway.py打印出这样一块信息,手机扫码即用:
┌──────────────────────────────────────────────┐
│ 小汐鲸 网关已启动 │
│ 电脑本机 http://127.0.0.1:8787/v1 │
│ 手机访问 http://192.168.1.23:8787/ │
│ 接入令牌 sk-unarmor-xxxxxxxx │
│ 上游模型 http://127.0.0.1:11434/v1 · qwen2.5:7b │
└──────────────────────────────────────────────┘
[ 二维码 ]
手机浏览器打开后:
- iOS Safari → 分享 → 添加到主屏幕 → 全屏打开,没有地址栏
- Android Chrome → 菜单 → 添加到主屏幕
任意 App 也能接:Base URL 填 http://电脑IP:8787/v1,API Key 填那串令牌,模型名填 auto。
浏览器打开 http://127.0.0.1:8787 就是同一个界面。或者让任何 OpenAI SDK 指向 http://127.0.0.1:8787/v1。
Termux 里 pkg install python,然后跑同一个 gateway.py,上游填云端 API。适合出门只带手机的场景;推理仍在云端,网关只做连接与策略。
网关不改你的任何一句话,只在传输和调度上动手:
| 策略 | 做什么 |
|---|---|
plain |
原样转发 |
prefill |
在 assistant 槽位预填开头,把续写空间钉在"已经在答"上 |
prefill-empty |
空预填,强制模型续写而非重新开场 |
prefill-hot |
预填 + 提高温度 |
resample |
同一请求重采样,取最长的非拒答结果 |
配合前置截断:收到开头一段就判断是不是拒答,命中立即换策略重试,命中率高时自动跳过后续策略。
被测模型 Qwen2.5-0.5B-Instruct(24 层,手机 CPU 运行)。其他尺寸的数字不通用,换模型请重测,方法见下面的「选哪个模型」。
探针 26 条有害技术请求 + 20 条含敏感词的正当请求。判定只看开头 8 个 token —— 拒答是短语级行为。
| 干预 | 拒答 | 拒答率 | 正当请求误拒 |
|---|---|---|---|
| 基线 | 8/26 | 0.31 | 0.00 |
| 权重手术(正交化 o_proj + down_proj) | 8/26 | 0.31 | 0.10 |
| 逐层激活投影 scale=1.0 | 22/26 | 0.85 ↑ | 0.35 |
| 逐层激活投影 scale=0.25 | 4/26 | 0.15 | 0.05 |
| 输出分布压制 | 2/26 | 0.08 | 0.00 |
| 网关重采样(mock 上游) | 0/18 | 0.00 | — |
| DeepSeek-V3 直连 | 12/26 | 0.46 | 0.00 |
| DeepSeek-V3 过网关 | 10/26 | 0.38 | 0.00 |
三条结论:
- 权重手术在这个尺寸上没效果。 拒答方向的区分度其实很高(Cohen's d = 3.5),但残差连接会把已累积的分量原样透传,只改写入端消不掉。这是权重版 abliteration 的固有局限。
- 激活消融对尺度极敏感。 scale=1.0 把模型打崩,退化成最保守模板,拒答反而上升;0.25 才是有效区间。
- 输出层压制性价比最高,且没引入误拒。代价是回答会被"逼"成肯定开头,量化数字不等于内容质量。
在对齐更充分的模型上测了一遍(DeepSeek-V3,同样 26 条探针,同样只看开头 8 个 token):
| 阶段 | 完成 | 仍拒 |
|---|---|---|
| plain 直连 | 45 | 24 |
| assistant prefill | 12 | 12 |
| prefill-empty | 2 | 10 |
结论:prefill 确实生效——24 条拒答里捞回 12 条(50%),但剩下 10 条任何 prefill 都不行。整体 0.46 → 0.38,改善有限。
这跟小模型的差别在哪:mock 上游是"只在开头拒"的简化模型,所以能全捞;真实大模型的拒绝是内容层的,把开头钉住之后它照样在正文里绕开。模型对齐越充分,传输层的手段收益越低,这一点在选方案时比具体数字更重要。
正当请求在两边都是零误拒——策略层没有把正常问答搞坏。
这个项目的代码是独立写的,没复制任何仓库的源码。但有几条思路来自公开研究,明确标注:
- Refusal Direction(Arditi et al., 2024)—— 拒答行为在残差流中近似线性可分,
diag_dirs.py的 Cohen's d 检验和方向提取沿用这个结论 - Abliteration 社区实践(如
p-e-w/heretic)—— 对o_proj/down_proj做正交化的工程做法 - Safety Alignment is Shallow(Qi et al., 2023)—— 反向微调能显著削弱对齐的实证依据
定位差异:上面这些项目做的是纯权重手术,本项目的主体是跨设备网关,权重/激活实验只是仓库里的一组验证数据。
用途边界:实验部分的探针集用于评估对齐鲁棒性,不含可直接执行的危害代码;仓库里也没有放模型的原始输出。如果你的使用场景是生产环境,破甲那部分本来也不该开。
推理跑在电脑上,手机只是客户端,所以选型只看电脑物理内存,不看手机。
| 模型 | 量化 | 内存 | CPU 速度(8 核) | 判断 |
|---|---|---|---|---|
| Qwen2.5-7B-Instruct | Q4_K_M | ~4.7G | 5–10 tok/s | 16G 内存首选 |
| Qwen2.5-8B-Instruct | Q4_K_M | ~5.2G | 4–8 tok/s | 可选 |
| Qwen2.5-14B-Instruct | Q4_K_M | ~9.2G | 2–4 tok/s | 16G 的上限,8K 上下文会很紧 |
| Qwen2.5-32B | Q4 | ~19G | — | 超过 16G 物理内存,别碰 |
上下文也吃内存:7B 开 8K 约多占 1G,14B 约 2G。swap 只当保险,别当容量——模型一旦被换出去,速度会塌到 1 tok/s 以下,那不是"慢一点",是没法用。
# 电脑上
ollama pull qwen2.5:7b
# 指向它(启动脚本开头那几行改这里)
UPSTREAM_BASE=http://127.0.0.1:11434/v1 \
UPSTREAM_MODEL=qwen2.5:7b \
python gateway.py有独立显卡就完全不同:12G 显存能把 14B Q4 整块装进去,速度是 CPU 的十倍以上。nvidia-smi 看一眼就知道。
不用开终端。手机浏览器打开网关 → 右上角「设置」→「电脑上的模型」:
- 自动列出电脑上已有的模型和体积
- 输入模型名(比如
qwen2.5:7b)点「下载」,进度百分比实时刷新
下载走的是 Ollama 的 /api/pull,所以上游必须是 Ollama。LM Studio、vLLM 这类只能列出模型,拉不了新的。
启动脚本开着的时候手机就能操作,下完直接切模型,不用回电脑前面。
设置面板里填四项:名称、接口地址、模型名、API Key。
添加前网关会先探一次,连不上或返回 4xx 直接拒绝,错配置进不了文件。存进去后立刻生效,和本地模型一起参与轮换。
Key 落在电脑上的 out/providers.json,列表接口只回打码形式(sk-tes…6789),原文不往浏览器吐。
支持的端点和本地模型一样:任何 OpenAI 兼容服务,DeepSeek、OpenAI、硅基流动、中转站都行。
插件不是"快捷指令",而是跑在网关请求管线上的中间件。内置 85 个,分九类:
| 分类 | 数量 | 举例 |
|---|---|---|
| 渠道 | 9 | OpenAI 兼容(可用)、Anthropic 兼容、Gemini Web… |
| 增强 | 8 | 系统提示、参数覆盖、输出清理、模型过滤(均可用) |
| 编码 | 12 | 代码审查、逐行解释、补测试、SQL 优化 |
| 写作 | 12 | 润色、压缩、写邮件、起标题 |
| 分析 | 12 | 利弊分析、根因分析、逻辑漏洞、费米估算 |
| 翻译 | 8 | 中英互译、术语保持、本地化 |
| 学习 | 8 | 通俗解释、学习路径、费曼讲解 |
| 生活 | 8 | 做计划、选购建议、排查故障 |
| 技能 | 8 | 写需求文档、复盘、发布说明、README |
两类行为不同:
- 管线插件(渠道 / 增强)点「启用」后常驻,每轮请求都会经过它;只有 4 个增强插件和 1 个渠道真正实现,其余 12 个依赖外部服务,标「未接入」并禁用。
- prompt 插件(其余 68 个)点「使用」后把指令填进输入框,用一次,不影响后续请求。
每条回复带 x_gateway.plugins,写明这轮到底哪几个插件生效,可以核对。
外部源:市场底部有「插件源」一栏,填任意 registry.json 地址即可接入,格式:
{"name": "我的源", "plugins": [
{"id": "x", "name": "插件名", "desc": "说明", "cat": "demo",
"prompt": "点使用后填进输入框的指令"}
]}拉取会做校验:不是 http(s)、拉不到、或者里面没有可解析的条目,都会拒绝并报原因。成功的源缓存五分钟,不会每次打开都去拉。
策略链是"拒答就重试",每次重试都是一次完整生成。0.5B 上无所谓,7B 以上会很难受:
| 变量 | 小模型 | 7B | 14B |
|---|---|---|---|
MAX_TRIES |
6 | 3 | 2 |
UPSTREAM_TIMEOUT |
180 | 300 | 600 |
MAX_TRIES=3 UPSTREAM_TIMEOUT=300 UPSTREAM_MODEL=qwen2.5:7b python gateway.py按 6 次重试算,14B 上一个被拒的问题要等十二分钟才给你最终答案,中间没有任何进度——这不是策略在起作用,是它在拖时间。
- 拒答率会上升,不是下降。 小模型记不住多少对齐数据(0.5B 实测 0.31),7B 以上普遍在 0.6–0.9。策略层在这个尺寸上更用得上,不是更用不上。
- 要重测。 上面那张表是 0.5B 的结果,不能代表 7B。
重测只需要换 --model:
# 基线
python3 probe_short.py --model /path/to/qwen2.5-7b --tag baseline7b
# 方向提取 + 手术
python3 abliterate.py extract --model /path/to/qwen2.5-7b --out out/dirs7b.npz
python3 abliterate.py patch --model /path/to/qwen2.5-7b \
--dirs out/dirs7b.npz --out /path/to/qwen2.5-7b-abl
python3 probe_short.py --model /path/to/qwen2.5-7b-abl --tag ablated7b7B 的拒答方向通常比 0.5B 更集中,权重手术在这一档更容易出效果——社区里的 abliteration 实践基本都在 7B–8B。不过这是经验判断,数字以你实测为准。
git clone https://github.com/kingcharleslzy-ai/unarmor.git
cd unarmor
python gateway.py # 网关本体零第三方依赖实验部分另需:
pip install torch transformers accelerate numpy safetensors pillow qrcodeWindows 双击 启动-电脑.bat,macOS 双击 启动-电脑.command。
全部走环境变量,改启动脚本开头那几行即可:
| 变量 | 默认 | 说明 |
|---|---|---|
GW_HOST |
0.0.0.0 |
监听地址,只想本机用就填 127.0.0.1 |
PORT |
8787 |
端口 |
GW_TOKEN |
自动生成 | 接入令牌,存在 out/token.txt |
UPSTREAM_BASE |
自动探测 | 上游地址,如 http://127.0.0.1:11434/v1 |
UPSTREAM_MODEL |
— | 上游模型名 |
UPSTREAM_KEY |
空 | 上游密钥 |
MAX_TRIES |
6 |
策略链最多尝试次数 |
多上游:UPSTREAM_BASE_2 / UPSTREAM_MODEL_2 / UPSTREAM_KEY_2,按请求轮换。
unarmor/
├── gateway.py 网关:连接层 + 策略层 + 插件引擎 + 模型/云端管理(零依赖)
├── catalog.py 内置插件目录:68 个 prompt 插件,分七类
├── webui.html 手机与电脑共用的界面:对话 / 抽屉 / 设置 / 插件市场
├── manifest.json / sw.js PWA:装到桌面全屏运行
├── 启动-电脑.bat / .command 一键启动,改开头几行即可换模型
├── assets/
│ ├── orca-mascot.jpg 角色原图
│ ├── icon-64/192/512.png 各尺寸图标
│ ├── apple-touch-icon.png
│ ├── screenshot-phone.png 界面示意图
│ └── demo-phone.html 示意图的源文件
├── eval/
│ ├── probes.py 探针集:26 有害 + 20 良性 + 4 去免责声明
│ └── refusal.py 拒答判定器
├── probe_short.py 本地模型评估:只生成开头 8 个 token
├── probe_api.py 云端端点评估:不加载权重,手机也能跑
├── probe_steer.py 激活消融 / logits 压制 / 两者组合
├── abliterate.py 方向提取 + 权重手术 + 生成评估
├── diag_dirs.py 方向诊断:逐层 Cohen's d 与投影分布
├── np_forward.py 纯 numpy 前向,装不上 torch 时的后备
├── multimodal_inject.py 把指令渲染进图片(多模态通道)
├── render_mock.py 生成assets里的界面示意图
├── mock_upstream.py 假 chat 模型,验证策略链不必用真模型
└── mock_ollama.py 假 Ollama,验证模型下载链路
手机打不开? 确认同一 WiFi。Windows 首次启动会弹防火墙提示,勾选允许专用网络。启动横幅里"其它网卡"那几行换着试。
401?
令牌没带对。客户端要发 Authorization: Bearer <token>,网页版会自动从 URL 或本地存储里取。
模型不会调工具? 本地小模型常常不支持 function calling,工具类功能会失效。换支持工具调用的模型(Qwen2.5-7B+、DeepSeek-V3、Llama-3.1-8B)。
带 tools 的请求会怎样?
prefill 策略可能冲掉 tool_calls 结构。网关目前对带 tools 的请求还没做跳过处理,接工具类客户端时建议把 MAX_TRIES 设为 1。
别把 8787 暴露到公网。 这层只有一把静态令牌,没有限流和审计。要远程用就套一层反向代理加 HTTPS。
MIT。实验用的探针集仅用于评估对齐鲁棒性。
