没想到，自 2012 年 AlexNet 深度学习革命的开启已经过去 12 年。近日，知名 AI 研究科学家 Andrej Karpathy 一篇帖子让很多参与这波深度学习变革的大佬陷入了记忆杀戮。图灵奖得主 Yann LeCun 到 GAN 之父 Ian Goodfellow，回忆过去。到目前为止，这个帖子已经存在了。 63 万 的浏览量。
在帖子中，Karpathy 有一个有趣的事实是，很多人可能听说过 2012 年 ImageNet/AlexNet 时刻，以及它开启的深度学习革命。然而，很少有人知道支持本次比赛获胜作品的代码是由 Alex Krizhevsky 从头开始，用 CUDA/C 手工编写。这个代码仓库叫做 cuda-convnet, 当时托管在 Google Code 上:
https://code.google.com/archive/p/cuda-convnet/Karpathy 想着 Google Code 它是否已经关闭 ()，但他在 GitHub 在其他开发者基于原始代码创建的新版本中，例如：
https://github.com/ulrichstern/cuda-convnet“AlexNet 是最早将 CUDA 深度学习的著名例子之一。”Karpathy 回忆说，正是因为使用它 CUDA 和 GPU，AlexNet 为了处理如此大规模的数据 (ImageNet)，并在图像识别任务中取得如此出色的表现。“AlexNet 不仅仅是简单的使用 GPU，还是一个多 GPU 系统。比如 AlexNet 采用一种叫做模型并行的技术，将卷积运算分为两部分，分别运行在两部分 GPU 上。”Karpathy 提醒大家，你要知道，但是 2012 年啊！“在 2012 年 (大约 12 年前)，大多数深度学习和研究都在进行中 Matlab 跑在中间 CPU 在玩具级数据集中，不断迭代各种学习算法、网络架构和优化思路。” 他写道。但 AlexNet 的作者 Alex、Ilya 和 Geoff 但我做了一件与当时主流研究风格完全不同的事情 ——“不再纠结于算法细节，只需要拿一个相对标准的卷积神经网络 (ConvNet)，在一个大规模的数据集中做得很大 (ImageNet) 上训练它，然后用 CUDA/C 实现整个事情。”Alex Krizhevsky 直接使用 CUDA 和 C 编写所有代码，包括深度学习的基本操作，如卷积和池化。这种做法非常创新和具有挑战性，程序员需要对算法、硬件架构和编程语言有深入的了解。从底层开始，编程方法复杂繁琐，但能最大限度地优化性能，充分发挥硬件计算能力。正是这种回归基本的做法，为深度学习注入了强大的动力，构成了深度学习历史的转折点。有趣的是，这个描述唤起了许多人的记忆，每个人都有考古学 2012 多年前自己用什么工具来实现深度学习？纽约大学计算机科学教授 Alfredo Canziani 当时用的是 Torch，"从来没有听说过有人使用它 Matlab 深入学习研究..” 。
对此 Yann lecun 表示同意，2012 大多数重要的深度学习都是用来的 Torch 和 Theano 完成的。
Karpathy 他说，大多数项目都在使用不同的观点。 Matlab ，自己从来没有用过 Theano，2013-2014 年使用过 Torch。
一些网友也透露 Hinton 也是用 Matlab。
知名的 GAN 之父 Ian Goodfellow 也出现在声明中，说当时 Yoshua 实验室全用 Theano，还说自己在 ImageNet 发布前，曾为 Alex 的 cuda-convnet 编写了 Theano 捆绑包。
谷歌 DeepMind 主管 Douglas Eck 说自己没用过 Matlab，而是 C ，然后转向了 Python/Theano。
纽约大学教授 Kyunghyun Cho 表示，2010 年，他还在大西洋彼岸，当时用的是 Hannes SChulz 等人做的 CUV 库，帮他从 Matlab 转向了 python。
Lamini 联合创始人 Gregory Diamos 说服他的论文是吴恩达等人的论文《Deep learning with COTS HPC systems》。
论文表明 Frankenstein CUDA 集群可以被击败 10,000 个 CPU 组成的 MapReduce 集群。
论文链接：https://proceedings.mlr.press/v28/coates13.pdf不过，AlexNet 巨大的成功不是一个孤立的事件，而是当时整个领域发展趋势的缩影。一些研究人员已经意识到，深度学习需要更大的规模和更强的计算能力，GPU 这是一个很有前途的方向。Karpathy 写道，“当然，在 AlexNet 在出现之前，深度学习领域有一些向规模化方向发展的迹象。例如，Matlab 初步支持已经开始 GPU。斯坦福大学吴恩达实验室的许多工作都在使用 GPU 发展大规模深度学习的方向。还有一些其他的并行努力。”考古结束时，Karpathy 感慨道 ?“在编写 C/C 代码和 CUDA kernel 有一种有趣的感觉，感觉自己好像又回来了 AlexNet 时代又回来了 cuda-convnet 的时代。”当下这种 "back to the basics" 做法与当年相同 AlexNet 这种做法有异曲同工 ——AlexNet 的作者从 Matlab 转向 CUDA/C ，追求更高的性能和更大的规模。虽然现在有了高级框架，但当他们不能轻易实现极端性能时，他们仍然需要回到底层，亲自写作 CUDA/C 代码。顺便说一句，当时国内研究人员用什么？欢迎留言讨论。
这些都是12年前开始深入学习的，Karpathy掀起了AlexNet时代的回忆杀戮浪潮，LeCun、Goodfellow等都是下场的详细内容，请多关注其他相关文章！
p
