很快查理斯看到论文的第三部分。
在这个部分,论文展示了在一台本地计算机上,通过代码构建的虚拟环境,模拟100个计算节点、一万次迭代周期的分布式深度学习训练过程。
在极端异步环境中,每一个计算节点都加入了不同程度的网络延迟。
最终却达成了一个很不错的结果。
查理斯盯着最终收敛的曲线图看了好一会儿。
在曲线图上,那条代表误差率的红线,并没有像传统的异步模型那样,在模拟到几千次迭代之后就出现各种误差甚至于直接崩溃。
相反,那条红线呈现出一种极其平稳的向下趋势。最终的误差率被控制在了一个合理区间内,整个模型也没有崩溃。
很稳定!
查理斯深吸了一口气,眼神之中露出兴奋。
“上帝啊……”
查理斯靠在椅背上,口中喃喃自语。
作为NIPS大会的资深审稿人兼编辑,他在加州大学圣地亚哥分校也拥有自己的计算机实验室,他有着很高的专业素养。
正因为专业,他一眼就看出了这个全新架构背后隐藏的巨大价值。
这不仅仅是一篇停留在纸面上的理论推导论文。作者还无可辩驳的实验数据。
这种数据是不可能造假的,因为太容易被复现了,数据造假的可能性极低!
如果这个基于动态时间戳权重惩罚的异步框架能够实现工业级部署…………
查理斯想到这儿,呼吸都变得粗重了几分。
如果真能应用,那目前困扰整个AI学界的通信瓶颈会被打破。
神经网络的训练规模将会摆脱单机算力或者同步锁的物理限制,迎来一次爆炸式的增长。
这篇论文意义重大!学术价值,甚至超出了本届NIPS大会所有已接收论文。
想到这儿,查理斯兴奋的抓起桌上的座机电话,迅速拨通了本届NIPS大会主程序委员会执行会长、斯坦福大学计算机系资深教授的电话号码。
电话很快被接了起来。
“喂!会长先生!我是查理斯。”
查理斯的声音有些兴奋的喊道。
电话那头的执行会长显然正在处理其他事务,被查理斯这种罕见的失态语气弄得有些发愣。
“查理斯?怎么了?什么事情让你如此失态?是谷歌大脑团队那边又提交了什么关于大规模无监督学习的新成果吗?
(本章节未完结,点击下一页翻页继续阅读)