麻省理工学院发现更小更容易训练的神经网络,或有望推动技术改革

神经网络技术起源于上世纪五、六十年代,当时叫感知机,拥有输入层、输出层和一个隐含层。输入的特征向量通过隐含层变换达到输出层,在输出层得到分类结果。MYN每天发布大量与生活相关的资讯平台

尽管人工智能取得了很大的进步,但现在大多数基于人工智能的产品仍然依赖于“深度神经网络”。这种网络通常非常大,而且训练成本高得令人望而却步。MYN每天发布大量与生活相关的资讯平台

麻省理工学院的研究人员希望改变这一现状。在今天发表的一篇论文中,研究人员揭示了神经网络中包含的“子网络”,比之前的网络小10倍,而且可以更便宜、更快地进行训练。MYN每天发布大量与生活相关的资讯平台

为了训练大多数神经网络,工程师给它们提供大量的数据集,但这可能需要几天的时间和昂贵的GPUs。MYN每天发布大量与生活相关的资讯平台

MYN每天发布大量与生活相关的资讯平台

来自麻省理工学院计算机科学和人工智能实验室(CSAIL)的研究人员发现,在这些训练有素的网络中,有更小的子网络,可以做出同样准确的预测。MYN每天发布大量与生活相关的资讯平台

CSAIL所谓的“彩票假说”就是基于这样一种观点,即训练大多数神经网络就像买所有的彩票,以确保中奖。相比之下,训练子网就像只买有奖的那张彩票一样。MYN每天发布大量与生活相关的资讯平台

问题在于,研究人员还没有想出如何在不构建完整神经网络的情况下找到这些子网,然后修剪掉不必要的位。研究人员目前还没有找到这些子网络的方法。MYN每天发布大量与生活相关的资讯平台

如果他们能找到一种方法跳过这一步,直接进入子网络,那么这一过程可以节省数小时的工作。并使训练神经网络不仅仅对大公司开发而且对单个程序员开放。MYN每天发布大量与生活相关的资讯平台

但是,如何有效地找到子网络,并明确为什么有些子网在训练上比其他子网表现地更好,可能会让研究人员忙上几年。MYN每天发布大量与生活相关的资讯平台

也许你还喜欢

steam账号能改吗怎么改 steam找不

steam账号能改吗 steam账号不能改。但用户可以更改账号的昵称,即加好友时显示的账号

steam自我锁定解锁代码在哪 steam

steam自我锁定解锁代码在哪 1、打开Steam客户端,并登录您的账户。 2、点击右上角的

steam怎么离线登录图文详解 steam

steam怎么离线登录图文详解,steam怎么关闭离线状态,steam离线登录能玩游戏吗,steam离线模

电脑有网但steam进不去图文教程 有

电脑有网但steam进不去图文教程,有网steam打不开怎么办,怎么解决steam无法打开的问题,ste

steam账号被盗人工客服解决方法图

steam账号被盗人工客服解决方法图文详解,steam账号被盗了如何找回,steam账号怎么找回,ste

steam导入本地游戏图文详解 怎么添

steam导入本地游戏图文详解,怎么添加非steam的本地游戏,steam怎么备份和恢复游戏,steam打

steam无法下载游戏解决方法步骤详

steam无法下载游戏解决方法步骤详解,steam下载游戏为什么会失败,为什么我的steam下载不

steam老是错误代码解决方法图文教

steam老是错误代码解决方法图文教程,steam错误代码102怎么解决,Steam错误代码118最新解

steam钱包充值自定义金额图文介绍

steam钱包充值自定义金额图文介绍,steam钱包怎么充值,steam钱包充值码怎么获得,steam钱包

怎么提高steam磁盘使用量图文教程

怎么提高steam磁盘使用量图文教程,steam磁盘使用量低怎么办,steam下载游戏时出现磁盘写