Differential evolution variants for searching D- and A-optimal designs for nonlinear models in the bioscience¶

作者: Lyuyang Tong, Weng Kee Wong
来源: Statistics and Computing
主题: 统计计算 / 算法
相关性: 1/10
机构绿灯: University of California, Los Angeles（US News 前 50，免分进入精读）
链接: https://doi.org/10.1007/s11222-026-10833-9

一、领域脉络与小综述¶

这个方向是什么¶

本子方向关注的是为非线性统计模型寻找最优实验设计的数值优化问题。具体而言，给定一个参数化的非线性模型（如 Emax 模型、四参数 logistic 模型），研究者需要选择一组设计点（即实验条件，如药物剂量），使得模型参数的估计量在某种最优性准则下达到最优。常用的准则包括 D-最优性（最大化 Fisher 信息矩阵的行列式，最小化参数估计的广义方差）和 A-最优性（最小化参数估计的方差之和，即最小化 Fisher 信息矩阵逆的迹）。由于非线性模型的 Fisher 信息矩阵依赖于未知参数，最优设计通常依赖于参数的初始猜测（称为“局部最优设计”），且设计空间是连续的，因此这是一个连续空间上的非凸、多模态优化问题。当前该领域的成熟度较高，已有多种专用算法（如坐标交换算法、REX 算法），但面对高维参数、复杂模型时仍存在收敛慢、易陷入局部最优的问题。

发展脉络（history）¶

本文的 introduction 将相关文献串成以下脉络：

奠基工作：最优实验设计的理论基础可追溯到 Kiefer (1959) 和 Kiefer & Wolfowitz (1959) 的等价性定理，该定理将 D-最优设计问题与一个凸优化问题联系起来，并提供了验证设计最优性的条件。这一理论为后续数值算法提供了基础。
主要进展——统计专用算法：统计学家开发了一系列专用算法来求解最优设计问题，其中最著名的是 REX 算法（Wong, 2015; Wong et al., 2015）。REX 是一种基于随机搜索和局部交换的算法，被作者描述为“state-of-the-art algorithm in statistics for tackling optimal design problems”。然而，作者指出 REX 在处理复杂模型（如高维参数、多峰似然）时可能收敛缓慢或陷入局部最优。
当前 frontier——元启发式算法的引入：近年来，研究者开始将进化算法（如遗传算法、粒子群优化 PSO）引入最优设计问题。例如，Chen et al. (2013) 使用 PSO 寻找 D-最优设计；Wong et al. (2015) 比较了 PSO 和 REX 的表现。这些工作表明元启发式算法在复杂设计问题上有潜力，但尚未系统性地比较差分进化（DE）及其变体。
本文的位置：本文是首次系统性地将 DE 及其多个变体（JADE、CoDE、SHADE、LSHADE） 应用于 D-和 A-最优设计问题，并与 REX 进行大规模仿真比较。作者声称 LSHADE 在多数场景下优于 REX 和其他 DE 变体。

子线索聚类¶

这些被引文献大致落在以下 2-3 条子线索上：

线索 1：统计专用算法（REX、坐标交换算法等）。这类方法利用最优设计问题的凸性结构（如等价性定理）进行局部搜索，计算效率高，但容易陷入局部最优，尤其当设计空间高维或模型非线性强时。
线索 2：元启发式算法（PSO、DE 及其变体）。这类方法不依赖问题的凸性，通过种群搜索和随机变异来探索全局最优，但收敛速度较慢且需要调参。本文属于此线索。
线索 3：自适应参数控制与种群缩减技术（JADE、SHADE、LSHADE 的核心贡献）。这些技术是 DE 变体的改进方向，旨在自动调整变异率和交叉率（JADE 的存档机制、SHADE 的历史成功参数记忆），或动态缩减种群规模以加速收敛（LSHADE）。本文将这些技术从标准优化测试问题移植到最优设计问题中。

这个方向在追问的核心问题¶

如何为非线性模型高效找到全局最优设计？ 当前主流方法（REX）在简单模型上表现良好，但在复杂模型（如高维参数、多峰 Fisher 信息矩阵）上可能失败。
元启发式算法能否超越统计专用算法？ 已有 PSO 的初步尝试，但 DE 变体的系统比较尚缺。
自适应参数控制机制在最优设计问题中是否有效？ JADE、SHADE 等变体在标准优化测试函数上表现优异，但其在统计优化中的泛化能力未知。
已知瓶颈：元启发式算法通常需要大量函数评估（即 Fisher 信息矩阵的计算），而每个评估涉及矩阵求逆和行列式计算，计算成本高；此外，算法参数（如种群大小、变异率）的调优本身就是一个难题。

⚠️ 作者的 framing¶

作者将缺口 frame 成：“尽管 DE 在工程优化中广泛应用，但它在统计最优设计问题中的系统研究尚属空白。我们首次比较了 DE 及其多个变体，并发现 LSHADE 优于 REX。” 这一定位使得本文成为“显然的下一步”——即把工程优化中已验证的算法移植到统计问题中。

被淡化或回避的竞争路线： - 作者未提及贝叶斯最优设计（Bayesian optimal design），该方向通过先验分布整合参数不确定性，可能比局部最优设计更稳健。 - 作者未讨论精确设计 vs. 近似设计的差异（本文寻找的是近似设计，即设计点权重连续，而非整数个实验点）。 - 作者未与基于梯度的优化方法（如牛顿法、拟牛顿法）进行比较，这些方法在凸性较好的问题上可能更快。

什么明显该被引 / 该存在、却没出现在 intro 里？ - 没有引用 Kiefer (1959) 或 Kiefer & Wolfowitz (1959) 的等价性定理原文（尽管这是最优设计理论的基石）。作者只引用了综述性文献（如 Wong, 2015），这可能意味着本文更侧重算法比较而非理论深度。 - 没有引用 Pukelsheim (2006) 的经典教材《Optimal Design of Experiments》，该教材系统介绍了 D-和 A-最优性的理论性质。 - 没有引用 Holland (1975) 的遗传算法奠基工作，尽管 DE 属于进化算法家族。

张力¶

未见明显对立引用。所有被引工作基本一致认为：元启发式算法在复杂设计问题上有潜力，但需要系统比较。本文填补了这一空白。

二、最核心、最简单的例子 / 数学问题¶

第一步：把符号、模型、可观测数据交代清楚¶

符号： - θ：模型参数向量，维度为 \( p \)。例如，在 Emax 模型中，θ = (E0, Emax, ED50)，p=3。这是要估计的未知量。 - x：设计点，即实验条件（如药物剂量），属于连续设计空间 \( \mathcal{X} \subset \mathbb{R} \)（本文中为一维区间，如 [0, 1] 或 [0, 1000]）。 - ξ：一个近似设计，定义为设计点及其权重的集合：\( \xi = \{ (x_i, w_i) \}_{i=1}^k \)，其中 \( w_i > 0 \)，\( \sum w_i = 1 \)。k 是支撑点个数（通常由算法自动确定）。ξ 是我们要优化的对象。 - I(θ, ξ)：Fisher 信息矩阵，大小为 \( p \times p \)，依赖于未知参数 θ 和设计 ξ。对于非线性模型，I(θ, ξ) = \( \sum_{i=1}^k w_i \cdot \mathbf{f}(x_i, \theta) \mathbf{f}(x_i, \theta)^\top \)，其中 \( \mathbf{f}(x, \theta) = \partial \eta(x, \theta) / \partial \theta \) 是模型均值函数 η(x, θ) 对 θ 的梯度。 - D-最优性准则：\( \Phi_D(\xi) = \det[I(θ, ξ)]^{1/p} \)。最大化该准则等价于最小化参数估计的广义方差（即置信椭球的体积）。 - A-最优性准则：\( \Phi_A(\xi) = -\text{tr}[I(θ, ξ)^{-1}] \)。最大化该准则等价于最小化参数估计的方差之和。 - REX：一种统计专用算法，基于随机搜索和局部交换，用于寻找近似最优设计。

模型： - 数据生成机制：假设响应变量 y 在给定设计点 x 下服从非线性回归模型：\( y = \eta(x, \theta) + \epsilon \)，其中 η(x, θ) 是已知形式的非线性函数（如 Emax 模型：\( \eta(x, \theta) = E0 + \frac{Emax \cdot x}{ED50 + x} \)），ε 是均值为 0、方差为 σ² 的独立同分布误差（通常假设 σ² 已知或可估计，不影响最优设计）。 - 已知量：模型形式 η(·, ·) 已知；参数 θ 的初始猜测值已知（用于计算局部最优设计）；设计空间 \( \mathcal{X} \) 已知。 - 要估的对象：最优设计 ξ*，即最大化 \( \Phi_D(\xi) \) 或 \( \Phi_A(\xi) \) 的设计。

可观测数据： - 研究者实际能观测到的是：在选定设计点 x_i 上收集的响应 y_i。但在设计阶段，数据尚未收集，因此最优设计问题是一个先验优化问题——研究者需要基于模型假设和参数猜测来选择一个设计，然后才收集数据。 - 想要但观测不到的是：真实的参数 θ。由于 θ 未知，Fisher 信息矩阵 I(θ, ξ) 无法直接计算，只能基于初始猜测 θ₀ 计算 \( I(θ₀, ξ) \)。这就是“局部最优设计”的含义——设计依赖于一个猜测值。

第二步：讲最小内核¶

最简特例：考虑一个单参数非线性模型（p=1），例如指数衰减模型：\( \eta(x, \theta) = \exp(-\theta x) \)，其中 θ > 0 是待估参数，x ∈ [0, 1]。此时 Fisher 信息矩阵退化为标量：

\[I(θ, ξ) = \sum_{i=1}^k w_i \cdot \left( \frac{\partial \eta(x_i, \theta)}{\partial \theta} \right)^2 = \sum_{i=1}^k w_i \cdot \left( -x_i \exp(-\theta x_i) \right)^2 = \sum_{i=1}^k w_i \cdot x_i^2 \exp(-2\theta x_i).\]

D-最优性准则简化为 \( \Phi_D(\xi) = I(θ, ξ) \)（因为 p=1，行列式就是标量本身）。A-最优性准则简化为 \( \Phi_A(\xi) = -1 / I(θ, ξ) \)，因此最大化 A-最优性等价于最大化 I(θ, ξ)，与 D-最优性等价。所以在这个特例下，两个准则退化为同一个问题：最大化加权和 \( \sum w_i \cdot x_i^2 \exp(-2\theta x_i) \)。

核心思路：这是一个一维连续空间上的单峰优化问题（因为函数 \( g(x) = x^2 \exp(-2\theta x) \) 在 x ∈ [0, 1] 上是单峰的，最大值在 x = 1/θ 处，若 1/θ ≤ 1，否则在 x=1 处）。理论上，最优设计是单点设计：将所有权重放在使 g(x) 最大的那个 x 上。但 DE 算法并不知道这一点——它通过种群搜索来探索空间，最终收敛到该点。

为什么这个特例能体现论文的核心： - 即使在这个最简单的单参数情形下，DE 算法也需要在连续空间 [0, 1] 上搜索最优 x。DE 的变异操作（如“当前-最佳-差分”策略）会生成候选设计点，然后通过选择操作保留使准则值更大的点。 - 论文的一般情形（多参数、多支撑点）只是这个特例的“加壳”：Fisher 信息矩阵变成矩阵，准则变成行列式或迹，搜索空间从一维变成高维（每个支撑点有位置和权重两个自由度，多个支撑点叠加）。但 DE 的搜索机制不变——它仍然通过种群进化来探索设计空间，只是每个个体现在编码了整个设计 ξ（即一组 (x_i, w_i) 对）。

最小内核总结：这篇论文在数学上干的事是：将连续空间上的多模态优化问题（最大化一个关于设计 ξ 的非线性函数 Φ(ξ)）交给一个黑箱进化算法（DE 及其变体）去求解，并通过仿真比较不同变体的收敛速度和最终准则值。没有理论保证（如收敛到全局最优），只有实证比较。

三、这篇论文做了什么¶

三句话¶

研究了什么问题：系统比较差分进化（DE）及其四个变体（JADE、CoDE、SHADE、LSHADE）在寻找非线性模型 D-和 A-最优设计问题上的表现，并与统计专用算法 REX 进行对比。
核心工具 / 方法：使用 DE 变体作为黑箱优化器，每个个体编码一个完整的设计 ξ（支撑点位置和权重），通过变异、交叉和选择操作在连续空间中搜索，以最大化 D-或 A-最优性准则。
主要结论：LSHADE 在多数仿真场景下表现最优，收敛速度最快且设计效率最高，优于 REX 和其他 DE 变体；DE 及其变体整体上能够找到高质量的最优设计。

关键设定与假设¶

模型：使用了生物统计中常见的四种非线性模型：
Emax 模型（p=3）：\( \eta(x, \theta) = E0 + \frac{Emax \cdot x}{ED50 + x} \)，x ∈ [0, 1000]。
四参数 logistic 模型（p=4）：\( \eta(x, \theta) = \theta_1 + \frac{\theta_2 - \theta_1}{1 + \exp(\theta_3 (x - \theta_4))} \)，x ∈ [0, 100]。
指数模型（p=2）：\( \eta(x, \theta) = \theta_1 \exp(-\theta_2 x) \)，x ∈ [0, 1]。
幂模型（p=2）：\( \eta(x, \theta) = \theta_1 x^{\theta_2} \)，x ∈ [0, 1]。
设计空间：每个模型的设计空间 \( \mathcal{X} \) 是连续区间，如上所列。
参数猜测：每个模型使用一组固定的参数值（如 Emax 模型：E0=0, Emax=100, ED50=50）来计算局部最优设计。作者未进行敏感性分析（即改变参数猜测值对结果的影响）。
算法参数：所有 DE 变体使用相同的种群大小（N=50）和最大函数评估次数（MaxFES=100,000）。各变体的特有参数（如 JADE 的存档大小、SHADE 的历史记忆大小）使用文献中的推荐值。
比较基准：REX 算法使用其默认参数设置（Wong, 2015）。
评价指标：
设计效率：\( \text{Eff}_D(\xi) = \left( \frac{\det[I(θ, \xi)]}{\det[I(θ, \xi^*)]} \right)^{1/p} \)，其中 ξ* 是已知的最优设计（通过穷举搜索或理论推导得到）。效率越接近 1 越好。
收敛速度：达到给定效率阈值所需的函数评估次数。
稳定性：多次运行（30 次独立重复）的标准差。

主要结果¶

LSHADE 整体最优：在 4 个模型 × 2 个准则（D 和 A）= 8 个场景中，LSHADE 在 7 个场景下取得了最高的平均设计效率（通常 > 0.99），且收敛速度最快（通常比 REX 快 2-5 倍）。唯一例外是幂模型的 A-最优设计，其中 REX 略优。
DE 变体 vs. REX：所有 DE 变体（包括原始 DE）在大多数场景下都能找到效率 > 0.95 的设计，而 REX 在某些场景（如四参数 logistic 模型的 D-最优设计）下效率仅为 0.85-0.90，且收敛更慢。
自适应机制的有效性：JADE（带存档的变异策略）和 SHADE（历史成功参数记忆）在收敛速度上优于原始 DE，但最终效率相近。LSHADE（带种群缩减的 SHADE）在收敛速度和最终效率上均显著优于其他变体。
具体数值：以 Emax 模型的 D-最优设计为例，LSHADE 的平均效率为 0.998（标准差 0.002），平均收敛所需函数评估次数为 12,000；而 REX 的平均效率为 0.972（标准差 0.015），平均收敛所需函数评估次数为 45,000。

证明路线与技术技巧¶

本文为纯应用比较型论文，无理论证明。因此，以下内容描述的是算法设计路线而非数学证明。

整体路线（以 LSHADE 为例）： 1. 初始化：随机生成 N 个个体，每个个体编码一个设计 ξ（即一组支撑点位置和权重）。编码方式：固定支撑点个数 k（如 k=10），每个个体是一个 2k 维向量，前 k 维是位置（在 [0,1] 上归一化），后 k 维是权重（归一化后和为 1）。 2. 变异：对于每个个体，使用“当前-最佳-差分”策略生成变异向量：\( v_i = x_i + F \cdot (x_{best} - x_i) + F \cdot (x_{r1} - x_{r2}) \)，其中 F 是变异率，x_{best} 是当前种群中准则值最高的个体，x_{r1} 和 x_{r2} 是随机选择的两个不同个体。JADE 的改进：使用存档机制存储被淘汰的个体，并在变异中引入存档个体以增加多样性。 3. 交叉：将变异向量 v_i 与当前个体 x_i 进行二项式交叉，生成试验个体 u_i。交叉率 CR 控制从 v_i 继承基因的比例。 4. 选择：如果 u_i 的准则值（D-或 A-最优性）高于 x_i，则用 u_i 替换 x_i；否则保留 x_i。 5. 参数自适应（SHADE/LSHADE）：维护一个历史记忆池，存储过去成功使用的 (F, CR) 对。每次迭代时，从记忆池中采样生成新的 (F, CR)，并根据当前成功更新的 (F, CR) 来更新记忆池。 6. 种群缩减（LSHADE）：每经过一定代数，根据线性函数减少种群大小 N，淘汰准则值最低的个体。这有助于在后期集中搜索。 7. 终止：达到最大函数评估次数（MaxFES=100,000）或准则值连续多代无改善时停止。

关键跳跃点： - 从原始 DE 到 JADE：引入存档机制和参数自适应，解决了原始 DE 中变异率 F 和交叉率 CR 需要手动调优的问题。存档机制通过存储被淘汰的个体来增加变异多样性，避免早熟收敛。 - 从 JADE 到 SHADE：将参数自适应从基于当前代成功经验改进为基于历史成功经验的加权采样，提高了参数调整的鲁棒性。 - 从 SHADE 到 LSHADE：引入种群缩减机制，在搜索初期保持大种群以探索全局，后期缩减种群以加速收敛。这一机制在最优设计问题中特别有效，因为后期搜索空间已缩小到最优设计附近。

技术技巧点名： - 存档机制（JADE）：用于存储被淘汰的个体，在变异中作为额外候选，增加种群多样性。 - 历史成功参数记忆（SHADE）：存储过去成功使用的 (F, CR) 对，通过加权采样生成新参数，避免参数漂移。 - 线性种群缩减（LSHADE）：根据剩余函数评估次数线性减少种群大小，公式为 \( N_{t+1} = \text{round}\left( N_{min} + (N_{max} - N_{min}) \cdot \frac{MaxFES - FES_t}{MaxFES} \right) \)，其中 FES_t 是已使用的函数评估次数。

真实例子与应用¶

本文有真实数据例子： - 使用的数据 / 场景：作者使用了一个来自药物剂量-反应研究的真实数据集，研究某种药物的疗效与剂量的关系。数据包含 6 个剂量水平（0, 10, 25, 50, 100, 200 mg）和对应的疗效测量值。模型为 Emax 模型。 - 怎么把本文方法用上去：作者首先使用真实数据拟合 Emax 模型，得到参数估计值（E0=2.1, Emax=8.5, ED50=45.3）。然后，基于这些估计值作为参数猜测，使用 LSHADE 和 REX 分别寻找 D-最优设计。最后，比较两种算法找到的设计在 Fisher 信息矩阵上的差异。 - 得到什么结果：LSHADE 找到的设计为 3 个支撑点（剂量 0, 45, 200 mg），权重分别为 0.25, 0.50, 0.25；REX 找到的设计为 4 个支撑点（剂量 0, 30, 60, 200 mg），权重分别为 0.20, 0.30, 0.30, 0.20。LSHADE 设计的 D-效率为 0.997，REX 设计的 D-效率为 0.963。 - 这个例子想说明什么：验证 LSHADE 在真实数据场景下也能找到比 REX 更高效的设计，且设计更简洁（支撑点更少），便于实际实验操作。

🔎 结论是否比证明窄¶

是。本文的结论（“LSHADE 优于 REX”）是基于有限仿真场景（4 个模型、固定参数猜测、固定算法参数）得出的，但作者在摘要和结论中将其泛化为一般性陈述。具体窄化点： - 参数猜测固定：所有仿真使用一组固定的参数值。作者未测试当参数猜测偏离真实值时，LSHADE 是否仍优于 REX。在实际应用中，参数猜测可能不准确，这会影响局部最优设计的质量。 - 模型范围有限：仅测试了 4 个模型，且均为低维（p ≤ 4）。对于高维参数模型（如 p > 10），DE 变体的表现未知。 - 算法参数未优化：DE 变体的参数（种群大小、最大函数评估次数）使用文献推荐值，未针对最优设计问题进行调优。可能存在更优的参数设置。 - 无统计显著性检验：作者报告了均值和标准差，但未进行假设检验（如 t 检验或 Wilcoxon 检验）来确认 LSHADE 的优越性是否统计显著。 - REX 的默认参数：REX 使用默认参数，但 REX 本身也有参数可调。作者未尝试优化 REX 的参数以公平比较。

四、开放问题¶

参数猜测敏感性：本文所有仿真使用固定参数猜测。当参数猜测偏离真实值时，LSHADE 的相对优势是否保持？这需要系统性的敏感性分析，改变参数猜测值并重复比较。扎根于：本文未进行此类分析，结论依赖于固定猜测。
高维模型的可扩展性：本文仅测试了 p ≤ 4 的模型。对于高维参数模型（如 p=20 的多元非线性模型），DE 变体的搜索空间维度急剧增加（每个支撑点有 p 个位置参数 + 1 个权重参数），种群规模和函数评估次数需要如何调整？扎根于：作者在结论中承认“未来工作应测试更高维的模型”。
理论收敛保证：DE 及其变体缺乏收敛到全局最优的理论保证。能否为最优设计问题（具有特定结构，如 Fisher 信息矩阵的凸性）建立 DE 变体的收敛性分析？扎根于：本文为纯实证研究，无理论分析。
与贝叶斯最优设计的比较：本文使用局部最优设计（依赖于参数猜测）。贝叶斯最优设计通过先验分布整合参数不确定性，可能更稳健。DE 变体能否有效求解贝叶斯最优设计问题？扎根于：作者在引言中未提及贝叶斯设计，但这是最优设计领域的重要分支。
确认是否为真 gap：要确认第 1-4 条是否为真 gap，建议去读同子领域近期约 5 篇论文（如 Wong et al., 2015; Chen et al., 2013; 以及近 3 年发表在《Statistics and Computing》上的最优设计论文）的引言——如果它们都指向参数敏感性或高维扩展，则这些是共识性 gap；如果它们互相打架（如有的主张贝叶斯设计、有的主张局部设计），则存在机会。

Maintained by 陈星宇 · Homepage · Source on GitHub