超声波干扰声泄漏防护技术研究_张海鱼.pdf

1 引言随 着 科 学 技 术 的 发 展，录 音 设 备快 速 呈 现 小 型 化 和 多 样 化，智 能 手机、录 音 笔、摄 像 头（具 有 录 音 功能）等 设 备 以 体 积 小、易 携 带 等 优 点【摘 要】智能手机等便携式录音设备的广泛应用使得信息被窃听或偷录的风险进一步增大，有效防范窃听或偷录等导致的语音信息泄露行为成为当前亟需解决的问题。超声波干扰技术作为一种主动干扰声防护技术，主要是利用人耳对超声波无法感知但是窃听或录音设备麦克风却可以感知的特点，通过让干扰设备发射超声波，实现对窃听或录音设备进行干扰的目的。由于干扰信号频率高于人耳可听频率范围，超声波干扰器工作时不会对周边人群的正常交流产生影响，因此，超声波干扰技术在声泄漏防护方面具有巨大的应用潜力。本文主要对超声波干扰技术工作原理及其优缺点进行介绍。【关键词】超声波干扰 声泄漏防护技术 非线性特性【中图分类号】TN912.26 【文献标识码】A被 广 泛 用 于 记 录 生 活 或 工 作 内 容。这些 录 音 设 备 的 广 泛 使 用 在 给 人 们 带 来便 利 的 同 时，也 为 各 类 窃 听、偷 录 行为 提 供 了 可 乘 之 机，给 国 家 秘 密、商业 秘 密 和 个 人 隐 私 等 信 息 安 全 带 来 极大 隐 患。近 年 来，国 内 外 频 繁 出 现 各超声波干扰声泄漏防护技术研究 张海鱼 谢明哲 /国家保密科技测评中心26|保密科学技术|2023 年 3 月特别策划种 语 音 信 息 泄 露 事 件，比 如 黑 客 利 用远 程 摄 像 头 中 的 麦 克 风 监 听 人 们 日 常的 对 话 内 容 等。因 此，语 音 信 息 安 全受 到 越 来 越 多 的 重 视 与 关 注。超 声 波干 扰 技 术 作 为 一 种 主 动 干 扰 声 防 护 技术，主 要 是 利 用 人 耳 对 超 声 波 无 法 感知 但 是 窃 听 或 录 音 设 备 麦 克 风 却 可 以感 知 的 特 点，通 过 让 干 扰 设 备 发 射 超声 波，实 现 对 窃 听 或 录 音 设 备 进 行 干扰 的 目 的。由 于 干 扰 信 号 频 率 高 于 人耳 可 听 频 率 范 围，超 声 波 干 扰 器 工 作时 不 会 对 周 边 人 群 的 正 常 交 流 产 生 影响，因 此，超 声 波 干 扰 技 术 在 声 泄 漏防 护 方 面 具 有 巨 大 的 应 用 潜 力。2 声泄漏防护技术声 泄 漏 防 护 的 目 的 是 保 证 声 音 不 被非 授 权 听 到 或 者 理 解，防 护 措 施 可 以分 为 被 动 物 理 防 护 和 主 动 干 扰 防 护。被 动 物 理 防 护 是 指 通 过 物 理 手 段 把 声音 封 闭 在 特 定 的 范 围 内，降 低 泄 漏 到不 可 控 区 域 的 声 音 强 度 或 信 号 质 量，如 采 用 吸 声 性 能 良 好 的 材 料 作 为 玻 璃或 墙 壁 的 一 部 分，在 玻 璃 表 面 涂 装 吸收 光 波 的 特 殊 涂 层 或 贴 漫 反 射 防 护 膜等 防 护 措 施。主 动 干 扰 防 护 需 要 主 动发 射 干 扰 信 号，通 过 掩 盖 目 标 语 音 信号 或 者 阻 塞、干 扰 窃 听 或 录 音 设 备 正常 工 作，来 达 到 防 止 声 泄 漏 的 目 的。主 动 干 扰 防 护 技 术 可 以 分 为 电 磁 波干 扰 技 术、声 掩 蔽 技 术 和 超 声 波 干 扰技 术 等1。电 磁 波 干 扰 技 术 是 通 过 干 扰器 发 射 大 功 率 电 磁 波 而 导 致 录 音 设 备产 生 信 号 干 扰，以 破 坏 其 录 音 功 能，但 现 在 大 多 数 录 音 设 备 都 设 计 有 抗 电磁 波 干 扰 电 路，其 内 部 线 路 很 难 感 应电 磁 波 干 扰 信 号，因 此 电 磁 波 干 扰 技术 通 常 效 果 有 限。声 掩 蔽 技 术 发 射 的干 扰 信 号 为 人 耳 可 听 声，主 要 是 利 用声 掩 蔽 效 应 来 掩 蔽 目 标 语 音 信 号，使得 窃 听 者 或 窃 听 设 备 获 取 的 目 标 语 音可 懂 度 降 低2，但 是 高 强 度 的 声 掩 蔽 信号 会 对 正 常 交 流 产 生 影 响。超 声 波 干扰 技 术 发 射 的 干 扰 信 号 为 人 耳 不 可 听的 超 声 波，主 要 利 用 录 音 设 备 滤 波 模块 的 性 能 限 制 及 放 大 器 或 麦 克 风 传 感器 等 电 子 器 件 的 非 线 性 特 性 或 非 线 性缺 陷，阻 塞、干 扰 窃 听 或 录 音 设 备 正常 工 作，进 而 影 响 窃 听 或 录 音 设 备 录取 的 目 标 语 音 信 号 质 量3,4。3 超声波干扰技术3.1 干扰原理人 耳 可 听 声 的 频 率 范 围 在2 0H z 20kHz之 间，频 率 高 于2 0k H z的 声 波为 超 声 波。麦 克 风 是 手 机 等 录 音 设备 用 于 拾 取 声 音 信 号 的 器 件，麦 克风 传 感 器 能 够 接 收 声 波 的 频 率 上 限远 大 于 人 类 听 觉 的 频 率 上 限，可 达 到超 声 波 频 段。超 声 波 干 扰 技 术 就 是 利用 人 耳 对 超 声 波 无 法 感 知 但 是 窃 听 或录 音 设 备 的 麦 克 风 传 感 器 却 可 以 接 收并 感 知 超 声 波 的 特 点，通 过 让 干 扰 设备 发 出 超 声 波，在 不 影 响 周 边 人 群 正常 交 流 的 情 况 下 实 现 对 录 音 设 备 进行 干 扰 的 目 的。录 音 设 备 的 硬 件 系统 一 般 包 括 麦 克 风 传 感 器、一 个 或 多个 放 大 器、滤 波 器 和 模 数 转 换 器 等，如 图1所 示。针 对 性 能 不 同 的 录 音 设备，超 声 波 干 扰 可 以 通 过 以 下2种2023 年 3 月|保密科学技术|27特别策划路 径 实 现。第 一 种 是 利 用 录 音 设 备 滤 波 模 块 的性 能 限 制 导 致 滤 波 模 块 无 法 完 全 滤 除超 声 频 段 的 干 扰 信 号，录 音 设 备 记 录的 超 声 频 段 干 扰 信 号 幅 度 过 大，使 得录 音 设 备 记 录 信 号 幅 度 失 真。这 种 往往 是 由 于 窃 听 或 录 音 设 备 滤 波 器 的 上限 频 率 设 置 较 高，即 滤 波 器 的 上 限 频率 高 于2 0k H z（为 了 保 持 语 音 信 号 的完 整 性，一 些 录 音 设 备 对 信 号 过 滤 的频 段 宽 于 人 耳 可 听 频 段），或 者 录 音设 备 滤 波 器 性 能 不 理 想，即 尽 管 频 率上 限 设 置 为2 0k H z或 者 低 于2 0k H z，但 是 滤 波 器 性 能 限 制 导 致 其 无 法 实 现对 高 于2 0k H z信 号 的 完 全 滤 除。这 也就 意 味 着 超 声 波 干 扰 信 号 没 有 被 滤 波器 完 全 滤 除，录 音 设 备 存 储 的 信 号 中不 仅 包 含 人 耳 可 听 声 频 段 的 目 标 语 音信 号，也 包 含 超 声 频 段 的 超 声 波 干 扰信 号。当 超 声 波 干 扰 信 号 幅 度 超 过 录音 设 备 的 有 效 量 程 时，就 可 以 实 现 对窃 听 或 者 录 音 设 备 的 饱 和（阻 塞）干扰。这 种 途 径 的 劣 势 在 于，能 否 有 效防 止 录 音 设 备 非 法 录 音 主 要 由 录 音 设备 内 部 滤 波 器 的 上 限 频 率 及 其 滤 波 性能 决 定，当 录 音 设 备 滤 波 模 块 性 能 较好 或 滤 波 器 频 带 上 限 设 置 较 低 时，超声 波 频 段 的 干 扰 信 号 很 容 易 被 滤 波 器完 全 滤 除。因 此，对 于 当 前 具 有 优 质滤 波 性 能 的 录 音 设 备，这 种 干 扰 路 径不 再 适 用，应 用 场 景 比 较 有 限，本 文不 予 详 细 介 绍。另 外 一 种 干 扰 路 径 是 利 用 窃 听 或录 音 设 备 中 麦 克 风 传 感 器 或 放 大 器 电子 器 件 非 线 性 失 真 的 存 在，超 声 波 干扰 信 号 在 经 过 低 通 滤 波 器 之 前，部 分高 强 度 的 超 声 频 段 干 扰 信 号 的 能 量 泄漏 到 可 听 声 频 段。即 使 滤 波 器 能 有 效滤 除 未 泄 漏 的 超 声 频 段 干 扰 信 号，但泄 漏 到 可 听 声 频 段 的 干 扰 信 号 会 与 说话 人 的 语 音 混 杂，影 响 录 音 信 号 的 质量，甚 至 可 以 掩 盖 目 标 语 音 信 号，进而 有 效 阻 止 录 音 设 备 对 目 标 语 音 的 窃听、偷 录4。基 于 录 音 设 备 电 子 器 件非 线 性 特 性 的 超 声 波 干 扰 器，由 于 不受 录 音 设 备 滤 波 模 块 上 限 频 率 及 滤 波器 性 能 的 限 制，具 有 更 广 泛 的 应 用 场景。本 文 将 详 细 介 绍 其 干 扰 过 程 及 干扰 效 果。3.2 干扰信号分类根 据 干 扰 信 号 的 形 式，超 声 波 干 扰技 术 可 以 分 为 能 量 干 扰 和 信 息 干 扰。能 量 干 扰 发 射 的 干 扰 信 号 为 无 语 音 意义 的、频 段 集 中 在 超 声 频 段 的 白 噪 声或 者 粉 红 噪 声 等。信 息 干 扰 是 将 人 耳可 听 声 调 制 到 超 声 频 段 上 作 为 干 扰 信号，超 声 作 为 载 波 将 可 听 声 传 送 到 窃听 或 录 音 设 备 内 部，也 就 是 说 信 息 干扰 发 射 的 信 号 为 具 有 语 音 意 义 的、调制 到 超 声 频 段 的 干 扰 信 号。经 过 麦 克风 的 非 线 性 特 性 再 将 超 声 调 制 到 人 耳可 听 声，在 麦 克 风 记 录 信 号 中 形 成 可听 声 信 息 干 扰。与 能 量 干 扰 相 比，信图1 录音设备硬件系统主要构成ADC声波麦克风放大器低通滤波器模数转换28|保密科学技术|2023 年 3 月特别策划CMYCMMYCYCMYK其 中，A是 一 次 项的 幅 度，B是二 次 项的 幅 度。对 于 一 个 线 性 方程，B=0，若 输 入 信 号 为 频 率的 正 弦波，则 输 出 信 号 也 是 频 率 为的 正 弦信 号。而 对 于 非 线 性 方 程，不 失 一 般性，假 设 输 入 信 号 包 含2个 频 率 成 分，即 (2)则 输 出 信 号可 以 表 示 为 (3)进 一 步 通 过 三 角 函 数 展 开 可 以 看 出，输 出 信 号 除 了 原 有 的 输 入 信 号 的 频 率和，还 包 含 这 些 频 率 的 谐 波 和 交叉 积，例 如2、2和等。总 之，非 线 性 方 程 中 的 二 次 方 项会 产 生 输 入 信 号 的 谐 波 和 交 叉 积，使得 输 出 信 号 中 包 含 新 的 频 率 成 分。因此，当 输 入 信 号 为 超声波频段的频率差小 于2 0k H z的2个 线 谱 信 号 时（即和均 大 于20kHz，且20kHz），其 输 出 信 号 会 包 含 频 率 为的 人 耳可 听 声 信 号。对 于 宽 带 的 超 声 波 输 入信 号，其 输 出 信 号 中 同 样 会 包 含 频 段为 人 耳 可 听 声 频 段 的 宽 带 信 号。放 大 器 等 电 子 器 件 的 非 线 性 特 性 现在 已 经 被 广 泛 认 识 并 得 以 利 用5。闫琛 等 人 通 过 实 验 证 明 了 微 型 机 电 系 统（M E M S）和 驻 极 体（E C M）等 麦 克风 传 感 器 也 具 有 这 种 非 线 性 特 性6。实 验 结 果 如 图2所 示，第 一 行 图 为 超息 干 扰 可 以 进 一 步 提 高 干 扰 效 果。3.3 录音设备电子器件的非线性特性电 子 器 件 的 线 性 度 是 指 其 产 生 与 输入 信 号 振 幅 成 线 性 比 例 的 输 出 信 号 的能 力。虽 然 传 感 器、放 大 器 等 电 子 元器 件 经 过 精 心 设 计，能 在 尽 可 能 宽 的频 率 范 围 内 保 持 线 性，但 实 际 上 并 不存 在 完 美 的 线 性 记 录 设 备，任 何 设 备都 会 在 某 些 频 段 表 现 出 非 线 性，录 音设 备 中 电 子 器 件 同 样 存 在 这 种 非 线 性特 性。如 图1所 示，录 音 设 备 麦 克 风 传感 器 主 要 是 用 于 感 知 空 气 中 传 播 的 声音 信 号 并 将 其 转 化 为 电 信 号，电 信 号经 过 放 大 器 放 大 后，由 低 通 滤 波 器 将电 信 号 中 的 超 声 波 频 段 噪 音 滤 除，最后 经 过 模 数 转 换 变 为 可 存 储 的 数 字 信号。理 想 情 况 下，这 些 电 子 器 件 都 是为 了 接 收 和 处 理 人 耳 可 听 声 音 频 率 范围（即2 0H z 2 0k H z）的 信 号 而 设 计的。同 时，放 大 器 等 电 子 元 件 在 设 计时 也 通 常 采 用 线 性 的 输 入 输 出 关 系。但 是 由 于 成 本 及 性 能 限 制，实 际 器 件会 表 现 出 非 线 性 的 特 性。由 于 这 种 非线 性 特 性，电 子 器 件 可 能 发 生 交 调 失真，导 致 输 出 信 号 中 出 现 输 入 信 号 里不 存 在 的 频 率 分 量。文 献5将 麦 克 风 的 非 线 性 特 性 简单 地 描 述 为 输 入 输 出 信 号 的 传 递 函 数方 程 具 有 非 线 性 的 二 次 平 方 项。假 设输 入 信 号 为，输 出 信 号可 以表 示 为 (1)2023 年 3 月|保密科学技术|29特别策划声 波 换 能 器 发 射 的 超 声 波 信 号 时 域 波形 及 其 频 谱，第 二 行 和 第 三 行 图 分 别为M E M S麦 克 风 和E C M麦 克 风 传 感 器输 出 信 号 的 时 域 波 形 及 其 频 谱。可 以看 出，2类 麦 克 风 的 输 出 信 号 除 了 包 含2 0k H z以 上 超 声 波 频 段 的 信 号 分 量，在2k H z附 近 也 存 在 明 显 的 信 号 分 量。这 就 意 味 着 在 超 声 波 干 扰 器 发 出 的 超 声波 到 达 语 音 采 集 系 统 的 低 通 滤 波 器 之前，由 于 麦 克 风 传 感 器 的 非 线 性 特 性，其 部 分 能 量 已 被 变 换 到 人 耳 可 听 的 频段。这 部 分 能 量 作 为 目 标 语 音 信 号 的 干扰 或 者 噪 音，会 影 响 语 音 信 号 的 质 量，进 而 实 现 对 目 标 语 音 信 号 的 防 护。3.4 超声波干扰器工作过程目 前，主 流 超 声 波 干 扰 器 正 是 利用 了录音设备电子器件的非线性特性，主要 工 作 过 程 如 下：超 声 波 干 扰 器 的 信 号发 生 模 块 产 生 超 声 波 干 扰 电 信 号 并 传递 到 放 大 模 块，经 放 大 模 块 放 大 后 再传 递 到 超 声 波 换 能 器，超 声 波 换 能 器将 电 信 号 转 换 为 声 信 号，发 射 超 声 波干 扰 信 号。当 超 声 波 干 扰 信 号 被 附 近的 麦 克 风 捕 捉 到 时，由 于 麦 克 风 电 子器 件 的 非 线 性 特 性，超 声 干 扰 信 号 被变 换 或 泄 漏 到 人 耳 可 听 频 段，进 而 对麦 克 风 记 录 的 信 号 特 别 是 目 标 语 音 信号 造 成 干 扰。图3（a）给 出 了 超 声 波干 扰 源 发 射 干 扰 信 号 的 频 谱，干 扰 信号 是 以2 5k H z为 中 心 的 白 噪 声，其频 段 为2 2k 2 8k H z。图3（b）为 在没 有 人 说 话 的 情 况 下，麦 克 风 记 录 的干 扰 信 号 的 频 谱。可 以 看 出，麦 克 风记 录 信 号 频 段 集 中 在1 6k H z以 下，与 超 声 干 扰 源 发 射 信 号 的 频 段 完 全 不同。这 是 因 为 由 于 麦 克 风 电 子 器 件 的非 线 性 特 性，导 致 部 分 超 声 干 扰 信 号的 能 量 被 变 换 或 泄 漏 到 人 耳 可 听 的2 0H z 1 6k H z频 段，而 另 一 部 分 未 变换 的 超 声 干 扰 信 号 能 量 已 由 麦 克 风 电路 系 统 中 的 滤 波 器 滤 除。图3（c）给图2 微型机电系统（MEMS）和驻极体（ECM）麦克风传感器的非线性效应实验测量结果6增益（dB）时间（MS）频率（HZ）增益（V）30|保密科学技术|2023 年 3 月特别策划出 了 有 人 说 话 的 情 况 下，麦 克 风 记 录信 号 的 频 谱，将 图3（c）与图3（b）对比 可 以 看 出，说 话 人 发 出 的 语 音 信 号 已被完全干扰7。3.5 超声波干扰器干扰效果测试分析图4给 出 了 某 超 声 波 干 扰 器 工 作 前后 手 机 录 音 系 统 记 录 的 信 号 波 形 及 信号 经 过 短 时 傅 里 叶 变 换 后 获 得 的 语 谱图。在 第1 5秒 之 前，超 声 波 干 扰 器 处于 关 机 状 态，手 机 录 音 系 统 记 录 的 信号 为 目 标 语 音 信 号 和 背 景 环 境 噪 声。在 第1 5秒，超 声 波 干 扰 器 开 始 发 射 干扰 信 号。由 于 手 机 录 音 器 的 非 线 性 特性，导 致 部 分 超 声 干 扰 信 号 的 能 量 被变 换 到 人 耳 可 听 频 段。从 波 形 图 和 语谱 图 上 均 可 以 看 出 目 标 语 音 信 号 被 干扰 信 号 掩 盖。需 要 注 意 的 是，超 声 干 扰 器 能 否实 现 对 目 标 语 音 信 号 的 掩 盖 与 干 扰 信号 发 射 强 度、干 扰 器 与 录 音 设 备 的 距离、录 音 设 备 相 对 干 扰 器 的 方 位、被 干 扰 语 音 源 声 强 度 及 录 音 设 备 性 能（音 频 处 理 软 件 和 硬 件，如 拾 音 算法、麦 克 风 传 感 器 和 放 大 器）等 相关。当 超 声 波 干 扰 器 发 射 干 扰 信 号 强度 不 足、干 扰 器 与 录 音 设 备 距 离 较远、录 音 设 备 背 对 干 扰 器 或 者 录 音 设备 非 线 性 特 性 较 弱 而 线 性 性 能 较 好时，超 声 波 干 扰 器 对 录 音 设 备 的 干 扰性 能 下 降，干 扰 信 号 并 不 能 完 全 掩 盖目 标 语 音 信 号。图5给 出 了 某 超 声 波干 扰 器 未 能 有 效 掩 盖 目 标 语 音 信 号 的结 果 示 例 图。尽 管 超 声 波 干 扰 器 发 射了 一 定 强 度 的 干 扰 信 号，且 录 音 设 备具 有 非 线 性 特 性，但 录 音 设 备 记 录 的图3（a）超声波干扰信号的频谱（b）超声波干扰信号被麦克风捕获后的频谱（c）超声波干扰信号和目标语音信号同时被麦克风捕捉后的频谱7 图4 超声波干扰器工作前后录音器记录的语音信号波形（上图）及语谱图（下图）频率（kHZ）幅度时间（S）2023 年 3 月|保密科学技术|31特别策划由 超 声 波 频 段 泄 漏 到 人 耳 可 听 频 段 内的 干 扰 信 号 能 量 主 要 集 中 在2k H z以下，而 泄 漏 到2H z1 5k H z的 干 扰 信号 能 量 较 弱，并 不 能 有 效 掩 盖 目 标 语音信号。因 此，为 了 进 一 步 提 高 超 声 干 扰 器的 干 扰 效 果，后 续 研 究 中 除 了 加 大 超 声干 扰 器 的 发 射 强 度 外，还 需 要 加 强 对 电子 器 件 非 线 性 特 性 的 认 识，优 化 干 扰 器发 射 信 号 形 式 及 发 射 频 段，力 图 实 现 对目标语音信号的全频带干扰。4 结语超 声 波 干 扰 声 泄 漏 防 护 技 术 通 过 超声 波 干 扰 器 向 空 气 中 发 射 超 声 波 频 段的 干 扰 信 号，该 干 扰 信 号 被 录 音 设 备捕 捉 后，录 音 设 备 中 麦 克 风 传 感 器 或放 大 器 等 电 子 器 件 的 非 线 性 特 性 会 将部 分 超 声 波 频 段 干 扰 信 号 能 量 变 换 到人 耳 可 听 声 频 段。变 换 后 的 干 扰 信 号与 目 标 语 音 信 号 混 杂 在 一 起，会 影 响图5 超声波干扰器未能完全掩盖目标语音信号的示例结果（上图为录音器记录的语音信号波形，下图为其语谱图）录 音 设 备 录 取 的 目 标 语 音 信 号 质 量，导 致 目 标 语 音 信 号 模 糊 甚 至 是 被 掩 盖而 无 法 被 识 别 或 理 解。由 于 人 耳 对 超声 波 无 法 感 知，超 声 波 干 扰 技 术 不 会对 周 边 人 群 的 正 常 语 音 交 流 产 生 影响。但 是 超 声 波 在 空 气 中 衰 减 很 快、穿 透 效 果 差，且 超 声 干 扰 器 发 射 的 波 束宽 度 较 窄，因 此 超 声 波 干 扰 器 作 用 距 离较 小，有 效 干 扰 角 度 范 围 也 相 对 较 小。另 外，超 声 波 干 扰 技 术 的 干 扰 效 果 与 录音 设 备 非 线 性 特 性 的 强 弱 直 接 相 关，具有 一 定 的 不 可 控 性，面 对 高 性 能 的 录 音设备会存在干扰失败的风险。参考文献1 吴燕静.基于电磁干扰麦克风的防窃听技术研究D.杭州:浙江大学,2016.2 蒋斌.基于目标语音的掩蔽信号研究D.北京:中国科学院研究生院,2012.3 刘琳.声频干扰技术的研究与实现D.北京:中国科学院研究生院,2005.4 宋宇波,马小松,等.基于声学参量阵理论的超声波防录音屏蔽研究与实现J.北京理工大学学报,2020(12):1282-1288.5 Nirupam Roy,Haitham Hassanieh,Romit Roy Choudhury.Backdoor:Making Microphones Hear Inaudible SoundsC.In Proceedings of ACM MobiSys,2017.6 闫琛.声音感知安全机理与攻击和防护关键技术研究D.杭州:浙江大学,2021.7 Yuxin Chen,Huiying Li,Steven Nagels,and etc.Understanding the Effectiveness of Ultrasonic Microphone JammerJarXiv:1904.08490,2019 （4）:17.频率（kHZ）幅度时间（S）32|保密科学技术|2023 年 3 月特别策划