12年前开始深入学习，Karpathy掀起了一波AlexNet时代的回忆杀，LeCun、Goodfellow等都结束了-人工智能

首页 2024-07-12 02:57:58

没想到，自 2012 年 AlexNet 深度学习革命的开启已经过去 12 年。

现在，我们也进入了大模型时代。

近日，知名 AI 研究科学家 Andrej Karpathy 一篇帖子让很多参与这波深度学习变革的大佬陷入了记忆杀戮。图灵奖得主 Yann LeCun 到 GAN 之父 Ian Goodfellow，回忆过去。

到目前为止，这个帖子已经存在了。 63 万的浏览量。

在帖子中，Karpathy 有一个有趣的事实是，很多人可能听说过 2012 年 ImageNet/AlexNet 时刻，以及它开启的深度学习革命。然而，很少有人知道支持本次比赛获胜作品的代码是由 Alex Krizhevsky 从头开始，用 CUDA/C 手工编写。这个代码仓库叫做 cuda-convnet, 当时托管在 Google Code 上:

https://code.google.com/archive/p/cuda-convnet/

Karpathy 想着 Google Code 它是否已经关闭 ()，但他在 GitHub 在其他开发者基于原始代码创建的新版本中，例如：

https://github.com/ulrichstern/cuda-convnet

“AlexNet 是最早将 CUDA 深度学习的著名例子之一。”Karpathy 回忆说，正是因为使用它 CUDA 和 GPU，AlexNet 为了处理如此大规模的数据 (ImageNet)，并在图像识别任务中取得如此出色的表现。“AlexNet 不仅仅是简单的使用 GPU，还是一个多 GPU 系统。比如 AlexNet 采用一种叫做模型并行的技术，将卷积运算分为两部分，分别运行在两部分 GPU 上。”

Karpathy 提醒大家，你要知道，但是 2012 年啊！“在 2012 年 (大约 12 年前)，大多数深度学习和研究都在进行中 Matlab 跑在中间 CPU 在玩具级数据集中，不断迭代各种学习算法、网络架构和优化思路。” 他写道。但 AlexNet 的作者 Alex、Ilya 和 Geoff 但我做了一件与当时主流研究风格完全不同的事情 ——“不再纠结于算法细节，只需要拿一个相对标准的卷积神经网络 (ConvNet)，在一个大规模的数据集中做得很大 (ImageNet) 上训练它，然后用 CUDA/C 实现整个事情。”

Alex Krizhevsky 直接使用 CUDA 和 C 编写所有代码，包括深度学习的基本操作，如卷积和池化。这种做法非常创新和具有挑战性，程序员需要对算法、硬件架构和编程语言有深入的了解。

从底层开始，编程方法复杂繁琐，但能最大限度地优化性能，充分发挥硬件计算能力。正是这种回归基本的做法，为深度学习注入了强大的动力，构成了深度学习历史的转折点。

有趣的是，这个描述唤起了许多人的记忆，每个人都有考古学 2012 多年前自己用什么工具来实现深度学习？纽约大学计算机科学教授 Alfredo Canziani 当时用的是 Torch，"从来没有听说过有人使用它 Matlab 深入学习研究..” 。

对此 Yann lecun 表示同意，2012 大多数重要的深度学习都是用来的 Torch 和 Theano 完成的。

Karpathy 他说，大多数项目都在使用不同的观点。 Matlab ，自己从来没有用过 Theano，2013-2014 年使用过 Torch。

一些网友也透露 Hinton 也是用 Matlab。

当时好像用过 Matlab 的并不少：

知名的 GAN 之父 Ian Goodfellow 也出现在声明中，说当时 Yoshua 实验室全用 Theano，还说自己在 ImageNet 发布前，曾为 Alex 的 cuda-convnet 编写了 Theano 捆绑包。

谷歌 DeepMind 主管 Douglas Eck 说自己没用过 Matlab，而是 C ，然后转向了 Python/Theano。

纽约大学教授 Kyunghyun Cho 表示，2010 年，他还在大西洋彼岸，当时用的是 Hannes SChulz 等人做的 CUV 库，帮他从 Matlab 转向了 python。

Lamini 联合创始人 Gregory Diamos 说服他的论文是吴恩达等人的论文《Deep learning with COTS HPC systems》。

论文表明 Frankenstein CUDA 集群可以被击败 10,000 个 CPU 组成的 MapReduce 集群。

论文链接：https://proceedings.mlr.press/v28/coates13.pdf

不过，AlexNet 巨大的成功不是一个孤立的事件，而是当时整个领域发展趋势的缩影。一些研究人员已经意识到，深度学习需要更大的规模和更强的计算能力，GPU 这是一个很有前途的方向。Karpathy 写道，“当然，在 AlexNet 在出现之前，深度学习领域有一些向规模化方向发展的迹象。例如，Matlab 初步支持已经开始 GPU。斯坦福大学吴恩达实验室的许多工作都在使用 GPU 发展大规模深度学习的方向。还有一些其他的并行努力。”

考古结束时，Karpathy 感慨道 ?“在编写 C/C 代码和 CUDA kernel 有一种有趣的感觉，感觉自己好像又回来了 AlexNet 时代又回来了 cuda-convnet 的时代。”

当下这种 "back to the basics" 做法与当年相同 AlexNet 这种做法有异曲同工 ——AlexNet 的作者从 Matlab 转向 CUDA/C ，追求更高的性能和更大的规模。虽然现在有了高级框架，但当他们不能轻易实现极端性能时，他们仍然需要回到底层，亲自写作 CUDA/C 代码。

顺便说一句，当时国内研究人员用什么？欢迎留言讨论。

这些都是12年前开始深入学习的，Karpathy掀起了AlexNet时代的回忆杀戮浪潮，LeCun、Goodfellow等都是下场的详细内容，请多关注其他相关文章！

阅读全文

上一篇：畅享影视，无码免费在线，想看就看！
下一篇：揭秘：为何部分网页内容难以复制？

SEO闂傚倸鍊搁崐鎼佸磹妞嬪海鐭嗗ù锝堟缁€濠傗攽閻樻彃鈧绱撳杈ㄥ枑闊洦娲橀～鏇㈡煟閹邦剦鍤熺紒鈾€鍋撻梻浣规偠閸庢粓宕堕…鎺旇埞婵犵數濮烽弫鎼佸磻濞戞鐔哥節閸愵亶娲稿┑鐘诧工閻楀﹦鈧艾鎳橀弻锝夊棘閸喗鍊梺缁樻尪閸庣敻寮婚敐澶婂嵆闁绘劖绁撮崑鎾诲捶椤撴稑浜炬慨妯煎亾鐎氾拷

闂傚倸鍊搁崐鎼佸磹妞嬪海鐭嗗〒姘ｅ亾妤犵偞鐗犻、鏇㈡晜閽樺缃曢梻浣虹《閸撴繈鎮疯閹矂骞樼紒妯衡偓鍨箾閹寸儐浼嗛柟杈剧畱閻鐓崶銊р姇闁绘挾鍠栭弻锟犲礃閵娿儮鍋撻崫銉︽殰闁割偅娲橀埛鎺楁煕鐏炶鈧洟鎮橀敃鍌涚厸閻忕偟鍋撶粈鍐磼缂佹ḿ顬兼い锔界叀閺岋繝宕奸銏犫拫閻庤娲滄繛鈧柟顔规櫇缁辨帒螣闁垮顏瑰┑鐘垫暩閸嬬姷浜稿▎鎴濆灊妞ゆ牗绮嶉鑺ョ箾閹存瑥鐏柣鎾寸懇閺屾盯骞嬪▎蹇婂亾閺嶎偀鍋撳鐐

闂傚倸鍊搁崐椋庣矆娓氣偓楠炴牠顢曚綅閸ヮ剦鏁冮柨鏇楀亾闁汇倗鍋撶换婵囩節閸屾稑娅ｉ梺鎼炲妽缁诲牓鐛弽顬ュ酣顢楅埀顒佷繆婵傚憡鐓熼柟鎯ь嚟缁犳捇鏌嶇憴鍕伌鐎规洘甯掗埞鍐箻閾忣偉纭€闂侀€炲苯澧柤褰掔畺钘濋梺顒€绉撮悞鍨亜閹哄棗浜剧紓浣哄Т缁夌懓鐣烽弴銏＄劶鐎广儱鎳愰悿鍥煙閸忓吋鍎楅柣鎾愁槺缁辩偤寮介鐔哄帾闂佸壊鍋呯换宥呂ｈぐ鎺撶厽闁规儳鐡ㄧ粈瀣煛鐏炶濡奸柍瑙勫灴瀹曞崬螖娴ｈ鍞叉繝鐢靛Х椤ｄ粙宕滃┑瀣畺闁稿瞼鍋涢拑鐔衡偓骞垮劚閻楁粌顬婇妸鈺傗拺缂佸娉曠粻鑼磼鐎ｎ偄鐏存繝鈧笟鈧娲箹閻愭彃濮夐梺鍝勬噺缁矂鎮鹃悜钘夌煑濠㈣泛鐬奸鏇㈡⒑缁洖澧查柨姘舵煟韫囧﹥娅婇柡宀嬬秮椤㈡﹢鎮㈤悜妯烘珣闂備礁鐤囬～澶愬垂閸фぜ鈧礁鈽夊Ο婊勬閸┾偓妞ゆ帊鑳堕々鑼磽瀹ュ洤鐦查梻鍌氬€峰ù鍥敋瑜嶉～婵嬫晝閸岋妇绋忔繝銏ｅ煐閸旀洜绮婚弽顓熺厱妞ゆ劧绲剧粈鈧紒鐐劤濞尖€愁潖濞差亶鏁嗛柍褜鍓涚划鏃堝箻椤旇棄鍓瑰┑掳鍊曢幊蹇涙偂閵夆晜鐓熼柡鍥╁仜閳ь剙婀遍埀顒佺啲閹凤拷

濠电姷鏁告慨鐑藉极閹间礁纾婚柣鎰惈閸ㄥ倿鏌涢锝嗙缂佺姳鍗抽弻鐔虹磼閵忕姵鐏堢紒鐐劤椤兘寮婚悢鐓庣鐟滃繒鏁☉銏＄厓闂佸灝顑呴悘锔剧磼缂佹ḿ娲寸€规洖宕灒闁告繂瀚闂傚倷绀侀幖顐︻敄閸℃稒鍋￠柍鍝勬噹閽冪喖鏌ｉ弬鎸庢喐闁荤喎缍婇弻娑⑩€﹂幋婵囩亪濡炪値鍋勫ú顓㈠箖濡も偓閳绘捇宕归鐣屼簴闂備礁鎲￠弻銊︻殽閹间礁鐓″鑸靛姈閸嬨劎绱掔€ｎ亞浠㈢紒鎰☉椤啴濡堕崱娆忣潷缂備緡鍠氭繛鈧€规洦鍨伴悾婵嬪焵椤掑倹顫曢柟鎹愵嚙绾惧吋绻涢崱妯虹劸婵″樊鍠栭—鍐Χ閸℃浠撮梺纭呮珪閿曘垽濡存笟鈧浠嬵敇閻愰潧鈧偛顪冮妶鍡楃瑨妞わ缚鍗冲鎻掆堪閸愮偓瀵岄梺闈涚墕濡绮幒妤佸€垫慨妯煎帶婢ф挳鏌熼姘冲閾绘牠鏌涘☉鍗炴灓闁告瑥妫濆铏圭磼濡崵顦ラ梺绋匡工濠€閬嶅焵椤掍胶鍟查柟鍑ゆ嫹

C闂傚倸鍊搁崐鎼佸磹閻戣姤鍤勯柛顐ｆ礀绾惧潡鏌ｉ姀鈶跺綊鎮块悙顒傜瘈濠电姴鍊搁弳鐔割殽閻愬瓨宕岄柡灞剧椤﹁櫕銇勯妸銉﹀殗鐎规洖缍婂畷鎺楁倷閼碱剦鍟囬梺鍝勵槸閻楀棙鏅舵禒瀣畺闁稿繘妫跨换鍡樸亜閹伴潧浜滈柣蹇ョ節閺屾洟宕惰椤忣厽銇勯姀鈩冪妞ゃ垺娲熸慨鈧柨娑樺婢规洜绱撻崒姘偓椋庢媼閺屻儱纾婚柟鐐墯閻斿棝鎮规潪鎷岊劅闁稿孩鍨圭槐鎺楁偐閼姐倗鏆梺鍝勭灱閸犳牠鐛幋锕€绠涙い鎾跺Т濞懷囨⒒娓氣偓濞艰崵寰婇懖鈺佸灊婵炲棙鎸搁拑鐔兼煟閺冨倵鎷￠柡浣革功閻ヮ亪顢橀悙鍙壭╂繛鏉戝悑閸旀洟鈥旈崘顔嘉ч柛鈩冡缚閸欏棛绱撴担铏瑰笡閽冨崬菐閸パ嶈含闁诡喗绮撻幐濠冪珶閳瑰灝濮傞柡灞炬礃瀵板嫰宕煎┑鍡椥戞繝纰樻閸ㄤ粙骞忛敓锟�

12年前开始深入学习，Karpathy掀起了一波AlexNet时代的回忆杀，LeCun、Goodfellow等都结束了-人工智能

首页 2024-07-12 02:57:58

最新文章

相关文章