企业官网建设流程全解析

使用帝国备份王搬迁织梦网站,专业网站建设费用怎么算,网站建立计划书,制作ppt的软件电脑原文点此 1.intro PBT是一种简单的异步优化算法#xff0c;它能够有效利用固定的计算预算#xff0c;通过联合优化一组模型和其超参数以最大化性能。 2.methodology 目标是优化模型fff的参数θ\thetaθ以最大化目标函数Q^\hat {\mathcal{Q}}Q^​, 实际性能指标Q\mathcal{…原文点此1.introPBT是一种简单的异步优化算法它能够有效利用固定的计算预算通过联合优化一组模型和其超参数以最大化性能。2.methodology目标是优化模型f ff的参数θ \thetaθ以最大化目标函数Q ^ \hat {\mathcal{Q}}Q^​, 实际性能指标Q \mathcal{Q}Q通常有别于Q ^ \hat{\mathcal{Q}}Q^​。PBT的目的是在Q \mathcal{Q}Q上联合优化参数θ \thetaθ和超参数h hh, 寻找最优参数集的过程可以表述为:θ ∗ argmax θ ∈ Θ eval ( θ ) \theta^*\text{argmax}_{\theta\in\Theta}\text{eval}(\theta)θ∗argmaxθ∈Θ​eval(θ)具体来说,θ ← step ( θ ∣ h ) \theta\leftarrow \text{step}(\theta|h)θ←step(θ∣h),θ ∗ optimize ( θ ∣ h ) optimize ( θ ∣ ( h t ) t 1 T ) step ( step ( … step ( θ ∣ h 1 ) … ∣ h T − 1 ) ∣ h T ) \theta^*\text{optimize}(\theta|h)\text{optimize}(\theta|(h_t)^T_{t1})\text{step}(\text{step}(\dots\text{step}(\theta|h_1)\dots|h_{T-1})|h_T)θ∗optimize(θ∣h)optimize(θ∣(ht​)t1T​)step(step(…step(θ∣h1​)…∣hT−1​)∣hT​), 这样的迭代过程计算成本很高且算得慢受超参数h hh的影响也很大, 需要有关h hh的先验知识。一个省事而且快的算式是θ ∗ optimize ( θ ∣ h ∗ ) \theta^*\text{optimize}(\theta|h^*)θ∗optimize(θ∣h∗),h ∗ argmax h ∈ H T eval ( optimize ( θ ∣ H ) ) h^*\text{argmax}_{h\in\mathcal{H}^T}\text{eval}(\text{optimize}(\theta|H))h∗argmaxh∈HT​eval(optimize(θ∣H))用这个算式训练N NN个模型{ θ i } i 1 N \{\theta^i\}^N_{i1}{θi}i1N​组成种群P \mathcal{P}P, 每个个体用不同的超参数{ h i } i 1 N \{h^i\}^N_{i1}{hi}i1N​优化, 目标是找到整个种群中的最优模型。instead of采用并行搜索(每个个体各自独立地找最优解), PBT使用部分已有的解进行额外的meta-optimization, 即根据整个种群的表现调整超参数h hh和权重θ \thetaθ。实现方式:(1) exploit, 根据种群的表现决定worker是否放弃当前解并专注于更promising的(2) explore, 在给定当前解和超参数的条件下提出新解以更好地搜索解空间种群中的每个个体并行训练, 当其被认为准备就绪(如优化步数达标或达到特定性能阈值)时, 其权重和超参数由exploit和explore更新(比如exploit把当前权重替换成种群中表现最优者的权重, explore用噪声随机扰动超参数)。在exploit和explore之后, 继续迭代更新。重复这样的过程直到模型收敛。