电脑之心时评电脑之心杂志社神经互联网构架搜寻(NAS) 自 2016 年明确提出以来就倍受关注，很多工作透过设计搜寻内部空间，提高搜寻演算法等提高 NAS 的精确度今天这首诗主要就科学研究怎样将 NAS 用于统计数据缺位的情况，该文明确提出 data-free NAS，该构架仅须要两个预体能训练数学模型，就可以自动展开互联网搜寻。
<p style="font-size: 18px; line-height: 40px; text-align: left; margin-bottom: 30px;">目前该形式主要就科学研究相片领域</p><img src="http://x0.ifengimg.com/res/2022/98248F2B5AADE3392E8A3F6A400145205219D421_size156_w1080_h449.png" style="width: 100%;"> <p style="font-size: 18px; line-height: 40px; text-align: left; margin-bottom: 30px;">打开金沙新闻，查阅更多高画质相片Data-free NAS 的构架比较简单，分为三步，第二步用预体能训练互联网数学模型聚合统计数据，第三步用聚合的统计数据和预估的条码（label）来体能训练 NAS。</p><img src="//d.ifengimg.com/w1080_h470_q90_webp/x0.ifengimg.com/res/2022/DA172CC75872C13C57FD89918C61184BFEBD346C_size296_w1080_h470.png" style="width: 100%;"> <p style="font-size: 18px; line-height: 40px; text-align: left; margin-bottom: 30px;">而挑战在于 NAS 须要借助聚合的统计数据体能训练和评估结果搜寻内部空间中数以千计的互联网构架的好坏，对他们展开次序如果聚合的统计数据不够多样化，互联网就很难过插值，所有互联网都表现较好，就很难由此甄选出最优化互联网结构因而，怎样提高聚合统计数据的多元性，使其能支持互联网搜寻的重责，就依赖于聚合演算法的好坏了。</p> <p style="font-size: 18px; line-height: 40px; text-align: left; margin-bottom: 30px;">1. 相片聚合演算法这首诗不仅借助了经济损失表达式次序微分来指导相片聚合，还明确提出了循环式聚合语法更多样化的条码（recursive label calibration）和区域预览形式（regional update）来提高聚合统计数据的多样化度。</p> <p style="font-size: 18px; line-height: 40px; text-align: left; margin-bottom: 30px;">1.1 Loss function最基础的统计数据聚合形式透过输入两张尽是白噪音的相片到预体能训练互联网中，透过次序输入的 logits 和最终目标条码的经济损失表达式来次序微分，预览相片，因而加进二阶化约束。</p><img src="//d.ifengimg.com/w1080_h201_q90_webp/x0.ifengimg.com/res/2022/9F2E3474415A343D51BCF3DAF6D485FD30D67014_size46_w1080_h201.png" style="width: 100%;"> <p style="font-size: 18px; line-height: 40px; text-align: left; margin-bottom: 30px;">但这种形式聚合的相片难模式近似于，多元性足以支撑 NAS1.2 recursivelabel calibration因而作者明确提出循环式条码聚合（recursive label calibration），主要就基于的两个观察：大自然影像作为预体能训练数学模型的输入时，数学模型输入的预估是两个分布，最小值是最终目标类，因而有其他几个最大值落到与之近似于的类上。</p> <p style="font-size: 18px; line-height: 40px; text-align: left; margin-bottom: 30px;">如右图右图，两张大自然影像 “托盘” 的预估包含 “托盘” 和相关类“玻璃杯”</p><img src="//d.ifengimg.com/w1080_h577_q90_webp/x0.ifengimg.com/res/2022/B1848B880C95BA8901278F9D524143AA2B3572AB_size301_w1080_h577.png" style="width: 100%;"> <p style="font-size: 18px; line-height: 40px; text-align: left; margin-bottom: 30px;">然而特别针对某两个条码聚合的相片往往难过插值，从而有极大的预估值在该条码上，但无法挖掘语法近似于的条码之间的联系，比如右图的 (b) 中，特别针对“托盘” 类制备的影像，预体能训练数学模型仅预估该影像为“托盘”，使得相片过份强化托盘的特征，且不像真实相片。</p><img src="//d.ifengimg.com/w1080_h600_q90_webp/x0.ifengimg.com/res/2022/49E35E6E8FA352A632FB723461BB48FE10B3EB2A_size337_w1080_h600.png" style="width: 100%;"> <p style="font-size: 18px; line-height: 40px; text-align: left; margin-bottom: 30px;">人们希望聚合相片与真实相片尽可能接近，为了做到这点，可以先让聚合相片和真实相片经过预体能训练互联网后的预估（logits）尽可能相近但是真实的体能训练统计数据与其 logits 无法获得，因而，作者明确提出 Recursive Label Calibration，借助循环式放大预体能训练数学模型对聚合影像在语法近似于类上的预估值，聚合 soft label，再用 soft label 来指导相片聚合。</p> <p style="font-size: 18px; line-height: 40px; text-align: left; margin-bottom: 30px;">从图（c）中可以看出，使用 Recursive Label Calibration 制备的影像。它会自动将 “玻璃杯” 标识为特别针对 “托盘” 制备的影像的相关类，因而聚合影像看起来也更大自然。</p><img src="//d.ifengimg.com/w1080_h607_q90_webp/x0.ifengimg.com/res/2022/DE3A01946CEDEE60242E63C314559F9E55A9DB4C_size405_w1080_h607.png" style="width: 100%;"> <p style="font-size: 18px; line-height: 40px; text-align: left; margin-bottom: 30px;">1.3 regional update此外，作者明确提出的区域预览（regional update），即在聚合相片过程中，每次仅用微分预览相片的两个区域，比如特别针对于 ImageNet 统计数据集的聚合统计数据仅预览 256×256 的相片范围中大小为 224×224 的随机范围。</p> <p style="font-size: 18px; line-height: 40px; text-align: left; margin-bottom: 30px;">这样保证每两个 224×224 的范围都可以独立成为一幅聚合相片，从而配合后续互联网体能训练中用到的随机裁剪（random crop）统计数据增强演算法</p><img src="//d.ifengimg.com/w1080_h598_q90_webp/x0.ifengimg.com/res/2022/44B881A78644EE088CE9590537C69ADBD03A72CA_size253_w1080_h598.png" style="width: 100%;"> <p style="font-size: 18px; line-height: 40px; text-align: left; margin-bottom: 30px;">整体的聚合演算法如上图右图：输入两张白噪音相片，在聚合过程的每次迭代中，两个 224×224 区域是从 256×256 输入中随机裁剪的，借助透过 loss 次序的微分预览所选区域，直到白噪音收敛成制备相片。</p> <p style="font-size: 18px; line-height: 40px; text-align: left; margin-bottom: 30px;">然后使用预体能训练数学模型对制备影像的预估作为软条码（soft label）来指导下一批从白噪音到相片的聚合，从而循环式聚合 soft-label 和与之对应的相片2. 可视化和对照实验这样，聚合的相片相比于仅仅用经济损失表达式聚合的相片来得更佳多样化化，也更接近真实相片：</p><img src="//d.ifengimg.com/w1080_h663_q90_webp/x0.ifengimg.com/res/2022/CB1E563F8FA98CFBD877FBC5DB3D723783143ACA_size1008_w1080_h663.png" style="width: 100%;"> <p style="font-size: 18px; line-height: 40px; text-align: left; margin-bottom: 30px;">同时，作者做了多组对比实验，来分析聚合相片对于 NAS 标定不同互联网结构好坏的准确性的影响透过次序用聚合相片体能训练互联网的精确度和用真实统计数据体能训练的互联网精确度之间的一致性，作者分析得出，使用所明确提出的 recursive label calibration 和 regional update 可以大大提高一致性，使得 NAS 更难搜寻得到最优化互联网：。</p><img src="//d.ifengimg.com/w1080_h758_q90_webp/x0.ifengimg.com/res/2022/A466516A6317ADEF889FDFEE5C425AEEF1B1CC6A_size366_w1080_h758.png" style="width: 100%;"> <p style="font-size: 18px; line-height: 40px; text-align: left; margin-bottom: 30px;">3. Data-free NAS 实验结果最后，作者用聚合相片和聚合相片对应的预体能训练互联网预估值来指导 NAS 体能训练，结合三种常见的 NAS 形式，得到 data-free NAS，包括用基于微分的搜寻演算法 DSRTS [1]，基于遗传演算法的 SPOS[2]，和基于强化学习演算法的 ProxylessNAS[3]。</p><img src="//d.ifengimg.com/w1080_h878_q90_webp/x0.ifengimg.com/res/2022/1B15CEF91EFE0AF3A3CD8D16946024D06E7FD653_size242_w1080_h878.png" style="width: 100%;"> <p style="font-size: 18px; line-height: 40px; text-align: left; margin-bottom: 30px;">实验结果表明，结合不同的搜寻演算法，data-free NAS 都能搜寻出和用真实相片搜寻得到的结构效果相近甚至更好的互联网结构，表明了 data-free NAS 的可行性Data-free DARTS ：。</p><img src="//d.ifengimg.com/w1080_h456_q90_webp/x0.ifengimg.com/res/2022/F7590675D7AA70A9DB624FB135E6042E8AB69099_size167_w1080_h456.png" style="width: 100%;"> <p style="font-size: 18px; line-height: 40px; text-align: left; margin-bottom: 30px;">Data-free SPOS ：</p><img src="//d.ifengimg.com/w1080_h585_q90_webp/x0.ifengimg.com/res/2022/E84A4464BE989D4F177E37C0CC48289AC0C4A9EE_size244_w1080_h585.png" style="width: 100%;"> <p style="font-size: 18px; line-height: 40px; text-align: left; margin-bottom: 30px;">Data-free ProxylessNAS ：</p><img src="//d.ifengimg.com/w1080_h267_q90_webp/x0.ifengimg.com/res/2022/5A21B90482EFC0EDFA10EB322AD1469BC07FEE7A_size112_w1080_h267.png" style="width: 100%;">原文链接：https://www.dyfan.vip/12561.html，请用户仔细辨认内容的真实性，避免上当受骗!
