如何按人脸搜索视频 —— 一步步讲清楚
按人脸搜索视频的意思是:抽帧、编码每一帧里的人脸、再与参照照比对。这篇讲清楚整个流程怎么跑 —— 以及怎么根据你的素材调参数。
发布于 2026-10-08 约 8 分钟
- 视频检索
- 工作原理
- 人脸匹配
按人脸搜索视频和搜索文本不是一回事。没有转录可以 grep,没有元数据可以过滤。唯一可靠的信号就是脸本身 —— 而要把视频变成可以按脸搜索的东西,需要一条专门的流水线:抽帧 → 检测人脸 → 编码 → 与参照照比对。
这篇一步步讲清楚这条流水线怎么工作、每一步做了什么、以及默认设置不合适时该调哪些参数。
「按人脸搜索视频」到底是什么意思
本质上,按人脸搜索视频和按人脸搜索照片库是同一个问题 —— 唯一的区别是视频给你的是成千上万张图片,而不是一张。实际的做法是把这条视频流缩减成一组可管理的时刻:
- 按固定间隔抽帧(默认大约每秒一帧)。
- 在每帧里检测人脸。
- 把每张脸编码成一个数值向量(embedding)。
- 把每个编码与参照照的编码比对。
- 把连续命中合并成时间区间,这样你拿到的是「02:14–02:34」而不是 20 条单独的帧级结果。
最后这一步才是决定好不好用的关键。没有合并,一个人在画面里待 30 秒就产生 30 条结果;有了合并,就是一条。
抽帧是怎么工作的
视频本质上是一串以足够快的速度播放的静态图片。要按脸搜索它,不需要看每一帧 —— 每秒 24 或 30 帧对人脸搜索来说太密了。
SnapByFace 让你设置抽帧间隔:多久停下来检查一帧。
- 0.1 秒 —— 几乎每一帧都检查。用于短片、一闪而过的出现不能漏掉的场景。
- 1 秒(默认) —— 大多数素材的最佳点。密到能抓到走过画面的人,稀到两小时视频几分钟就能跑完。
- 最长 30 秒 —— 用于超长录像,只需要知道某个人是否出现过、不需要精确到秒的场景。
更密的间隔意味着检查更多帧,也就是更多时间。取舍是精度换速度,正确答案取决于你的素材。
人脸检测与编码
帧被抽出来之后,依次发生两件事:
检测找到帧里脸的位置。这一步回答的是「这里有一张脸,在这些坐标上」。现代检测器对大小合理、没有严重遮挡的人脸又快又准。
编码把检测到的人脸变成一个固定长度的数值向量 —— 也就是 embedding。同一个人的两张照片产生相似的向量,不同人的产生不相似的。编码让比对成为可能:不再比较像素,而是比较向量。
两步用的模型都随应用一起打包。搜索过程中不需要下载任何东西,也不会有任何数据发送到服务器。
与参照照匹配
当你添加一张人物参照照时,SnapByFace 用和视频里人脸同样的方式编码这张脸。然后在视频里找到的每张脸都与这个参照编码比对。
每次比对的结果是一个相似度分数 —— 0 到 1 之间的数字,表示两张脸有多接近。越高越相似。
SnapByFace 然后用相似度阈值(默认 0.45,可在 0.30 到 0.80 之间调整)过滤结果:
- 低阈值(0.30–0.40) —— 更多结果,包括看起来有些相似的人。不确定素材里的人长什么样、或者外貌变化较大时有用。
- 默认(0.45) —— 参照照与素材中的样子 reasonably 匹配时,大多数场景都好用。
- 高阈值(0.55–0.80) —— 更少结果,但每条都是更强的匹配。要高置信度、可以接受漏掉边界情况时使用。
根据你的素材调参
两个旋钮控制搜索:抽帧间隔和相似度阈值。两者相互独立,每次扫描分别设置。
| 场景 | 抽帧间隔 | 相似度阈值 |
|---|---|---|
| 短片、一闪而过的出现 | 0.1–0.5 秒 | 0.40(接近默认) |
| 通用搜索 | 1 秒(默认) | 0.45(默认) |
| 几小时素材、只是看看 | 5–30 秒 | 0.45(默认) |
| 人物与参照照差异大 | 1 秒 | 0.30–0.35 |
| 只要高置信度结果 | 1 秒 | 0.55–0.65 |
如果第一次扫描的结果不符合预期,每次调一个旋钮再跑。增量重索引意味着只有新增或变化的文件才会被重新分析 —— 换个阈值重跑搜索是瞬间完成的,因为帧级数据已经索引好了。
支持的视频格式
SnapByFace 读取最常见的容器格式:
- MP4 —— 大多数手机、相机和屏幕录制的默认格式
- MOV —— Apple 的容器,iPhone 录像和专业相机常见
- AVI —— 较老的 Windows 格式,老档案里偶尔还能见到
- MKV —— 高质量编码和多音轨常见
- M4V —— iTunes / Apple 的 MP4 变体
- WebM —— 网页原生格式,浏览器录制常见
- TS —— MPEG 传输流,广播录制常见
照片(JPG、PNG、BMP、TIFF、WebP、HEIC/HEIF)和视频共用同一份索引。一张参照照就能在一次搜索中跨两种媒体类型找人。
不支持相机 RAW 文件(CR2、NEF、ARW 等)。
为什么离线对视频搜索很重要
视频文件很大。几小时素材可能就是几十 GB。上传到云服务处理又慢又贵,而且 —— 对任何敏感内容来说 —— 是隐私问题。
SnapByFace 完全运行在你的机器上。人脸模型随应用打包,所以断网也能做识别。没有视频、没有画面、也没有任何人脸数据会离开你的电脑。
唯一的外发数据是可选的设备统计 ping(机器码、软件版本、操作系统、语言、激活状态 —— 不含文件名、不含素材、不含检索行为)。默认开启,可在设置里关闭。
什么留在你的机器上
SnapByFace 只读你的素材,从不写入 —— 不重命名、不移动、不重新编码。它建的索引放在 ~/.snapbyface/,只包含数值人脸编码,不包含图片本身。
你可以随时删除索引从头重建,也可以让增量索引自己处理新增文件。
什么情况下结果会让你失望
开工之前值得知道:
- 快速剪辑和严重动态模糊会产生人脸不够清晰、无法可靠编码的画面。
- 画面里脸很小(大场景的人群镜头)对任何人脸搜索系统都是难题。
- 外貌变化大,或者参照照和视频里的样子差太多,相似度分数会掉到阈值以下。试试再加一张参照照或降低阈值。
拿你自己的素材试一下
试用版跑完整的本地检索,每人显示 5 条、每次搜索 20 条命中 —— 足够判断它在你的素材里找不找得到。试用期间累计最多发起 100 次分析。