最近研究人员开发了一个新的框架,通过语法引导的网络生成器构建深层神经网络。 在实验测试中,在视觉识别任务中,新的网络——称为 AOGNets ——已经超越了现有的最先进的框架,包括广泛使用的 ResNet 和 DenseNet 系统。
北卡罗来纳州立大学电子与计算机工程助理吴教授说:"AOGNets 的预测精度比我们所比较的任何一个网络都要高。"吴是这项工作的作者。 "AOGNets 也更易于解释,这意味着用户可以看到系统是如何得出结论的。"
新框架对系统体系结构采用组合语法方法,借鉴以前网络系统的最佳实践,从原始数据中更有效地提取有用信息。
"我们发现,层次化和组合语法为我们提供了一种简单、优雅的方式来统一以前系统架构采用的方法,而且据我们所知,这是第一部利用语法来生成网络的作品,"吴说。
为了测试他们的新框架,研究人员开发了 aognet,并对照三个图像分类基准进行了测试: CIFAR-10、 CIFAR-100和 ImageNet-1K。
"在公平的比较中,AOGNets 的性能明显优于所有最先进的网络,包括 ResNets、 DenseNets、 ResNeXts 和 DualPathNets, AOGNets 还使用 imageet 中的网络剖分度量获得了最佳模型可解释性评分。 Aognets 在对抗性防御和与平台无关的部署(移动 vs 云)方面进一步展示了巨大的潜力。"
研究人员还使用 vanilla Mask R-CNN 系统,在微软 COCO 基准上测试了 AOGNets 在目标检测和实例语义分割方面的性能。AOGNets 获得了比 ResNet 和 ResNeXt 更好的结果,它们的模型尺寸更小,推断时间相似或稍微更长。研究结果表明,AOGNets 在目标检测和分割任务中学习更好的特征是有效的。
这些测试是相关的,因为图像分类是视觉识别的核心基本任务之一,而 ImageNet 是标准的大规模分类基准。 类似地,目标检测和分割是两个核心的高级视觉任务,而 MS-COCO 是最广泛使用的基准之一。
"在视觉识别中评估新的深度学习网络架构,他们是黄金试验台,"吴说。 "aognet 是在一个有原则的语法框架下开发的,在 ImageNet 和 MS-COCO 两个方面都取得了显著的改进,从而显示出在众多实际应用中对表示学习的潜在广泛和深刻的影响。
"我们对以语法为导向的 AOGNet 框架感到兴奋,并且正在探索它在其他深度学习应用中的性能,如深度自然语言理解、深度生成学习和深度强化学习学习," 该作者提到。
这篇题为"AOGNets: 深度学习的组合语法架构"的论文将在6月16-20日在加州长滩举行的 IEEE 计算机视觉和模式识别会议上发表。这项工作是在美国陆军研究办公室的资助下完成的,资助方是 W911NF1810295和 W911NF1810209。