用深度学习做了一个自动对对联的系统 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
已注册用户请 &
爱意满满的作品展示区。
用深度学习做了一个自动对对联的系统
· 17 天前 · 22341 次点击
从网上抓了几百万的对联数据，用 seq2seq 模型做了个对对联的系统。大家玩玩看。
第 1 条附言 &·& 17 天前
因为模型还在训练，所以对出来的结果可能有些不一样的地方。考虑后期可以加个反馈的机制
第 2 条附言 &·& 12 天前
目前网站被墙了，用 https 可以访问。另外微博也被封了。。。其它的倒是没有什么。。
294 回复 &| &直到
19:21:44 +08:00
& &16 天前 via iPhone
字里行间流露
眉梢心上生花
春过人间留不住
花开枝上放得开
有点吓人了_(:з」∠)_
& &16 天前 via Android
上联 图样图森破
下联 水平塞上明
上联 一只蛤蟆一张嘴
下联 两个癫狂三个人
上联 社会主义好
下联 家庭幸福多
上联 没有共产党就没有新中国
下联 不能上等国难再上台阶台
& &16 天前 via iPhone
上联不断肃贪惩腐
下联无边明月清风
上联一带一路
下联三严三实
上联听党指挥
下联立国维新
& &16 天前 via iPhone
上联 寥然几笔江天豁
下联 寂寞一帘风月幽
上联 如此清秋何吝酒
下联 这般明月不须钱
天外飞仙般的句子，根本想不到是机器对出来的
& &16 天前
& &16 天前
天竟然不对地，对的是人
& &16 天前
上联 银河之外飞天梦
下联 玉宇其中落地情
上联 三个代表伟大复兴
下联 百年人民光荣昌盛
确实不错 看不出生硬的感觉
& &16 天前
上联 东西南北风
下联 你我我他他
badcase 了
& &16 天前 via Android
上联 富强民主文明和谐
下联 自由平等公正平安
& &16 天前
深圳居，大不易
下联
后生的，何足争
& &16 天前 via iPhone
上联 残碑字迹多难认
下联 古刹禅声自久传
我只能想到 故人记忆刻骨存 这种句子_(:з」∠)_
上联 宁作渔樵云外隐
下联 不如杖履水边留
工整得吓人
上联 大道孤行犹不悔
下联 浮云过眼自无忧
前后联系真恰当
上联 殷勤怕负三春意
下联 潇洒难书一字愁
这种句子我一辈子都写不出来
上联 任是征程荆棘满
下联 何如市井稻粱香
寓意极好，用字又极工
& &16 天前 via Android
看了上面贴的例子，对的真是好！厉害了
& &16 天前
上海自来水来自海上
下联
中山落叶松叶落山中
& &16 天前 via iPad
上联：明天早上起来去看你
下联：今夕先奔走去留贻那
上联：没有特异功能
下联：不是空间文章
上联：鸳鸯双栖蝶双飞
下联：鸳鸯对舞粉比邻
上联：满园春色惹人醉
下联：一树梅花引蝶来
没有意境，很难对出好对子哪
& &16 天前
上联春去秋来花开花谢人来人往
下联月圆月缺月缺月圆月缺月圆
& &16 天前 via iPhone
上联 云山递雪飞白鸟
下联 雾海浮槎隐赤峰
上联 雷音有雨佛说法
下联 月色无光天对人
上联 文章不必多浮藻
下联 风骨何曾少固坚
上联 花有闲人芝有鹤
下联 月无俗士水无痕
& &16 天前
上联 问苍天谁最英俊
下联 观大地我为神仙
& &16 天前 via iPhone
@ 真看不出机器的痕迹
& &16 天前
& &16 天前 via iPhone
上联 半榻诗书闲度日
下联 一帘风月好吟诗
上联 茅庐结在云深处
下联 竹舍藏于月上时
上联 邻梅自有清新句
下联 对月空吟寂寞诗
上联 不忘初心中国梦
下联 常怀赤胆庶民情
上联 秋深怕赋伤心句
下联 夜静难听落叶声
这个也吓到我了，真不是成句吗？？
上联 我题小字酬山水
下联 谁把长竿钓海天
上联 每得奇文消块垒
下联 常将大笔注春秋
上联 长亭一别成追忆
下联 歧路相逢已惘然
上联 小园露重青衫湿
下联 大漠风高白发长
上联 心肺掏空知酒力
下联 情怀渐淡了尘缘
上联 蓬山道上多危难
下联 大海岸边少伟男。
喵喵喵？？
上联 秋绪沉沉偏反腐
下联 春风习习正逢春
虽然有问题。。但是这个春风习习。。
& &16 天前
上联床前明月光
下联枕上暗香闻
& &16 天前
上联 男上女下
下联 女立郎中
& &16 天前
上联 一人饮酒醉
下联 三径共花香
& &16 天前 via Android
@ 上联是你自己写的吗
& &16 天前 via iPhone
@ 楹联论坛里找的
& &16 天前 via Android
@ 我回去可以看看训练数据里有没有。一般我想出来的比较工整的上联下联比较容易对出来好的
& &16 天前
上联 胸不平何以平天下
下联 心能安自能稳世人
& &16 天前
上联：风声雨声读书声，谈笑风生
下联：女欢女欢天下，心心读书郎
& &16 天前
上联国家小家都是家
下联中华民族皆称族
& &16 天前
上联老王老李都在隔壁
下联小子小子全靠一家
& &16 天前
上联上九天揽明月谁可匹敌
下联下三峡捉鳖虾我能摘星
& &16 天前
上联上九天揽明月上古至今无人能及
下联下一日游三山群山中立有谁可比
& &16 天前
@ 训练数据里确实没有这些
& &16 天前
上联 塞上秋来风景异
下联 江南春去燕声稀
上联长烟落日孤城闭
下联大漠孤烟古道横
上联天下英雄谁敌手
下联世间豪杰尽低头
上联马蹄声碎
下联羊角影斜
上联烽火扬州路
下联风云洛水歌
上联雄关漫道真如铁
下联大地胡言假作风
上联五岭逶迤腾细浪
下联一江浩渺泛轻舟
上联金沙水拍云崖暖
下联玉垒云浮月色寒
上联 半壁江山汪皮裤
下联 一帘风月梦中人
好像学到了押韵啊 hhhh
& &16 天前 via Android
一路看过来，觉得你的训练数据质量不高，前期数据清洗也很重要啊，爬虫得到的数据能有 10%能加入到训练集都美滋滋了
& &15 天前
& &15 天前
上联我的妹妹哪有这么可爱
下联你是哥哥怎知那件不平
& &15 天前
楼主介意分享一下代码或者对联的数据库吗？
多谢了，刚开始学习 deep learning
& &15 天前 via iPad
上联苟利国家生死以
下联岂因祸福避趋之
上联听风就是雨
下联望月莫非云
上联搞个大新闻
下联开张发展观
第三个不是很好，第二个简直是绝对
& &15 天前
& &15 天前
这般明月不须钱，好灵性
& &15 天前
@ 哈哈哈哈
& &15 天前
楼主快开源哇
& &15 天前
求楼主开源，学习一下
& &15 天前
& &15 天前 via iPhone
训练数据哪儿抓的
& &15 天前
上联页面找不到
下联心头盼得来
& &15 天前
这对子这 AI。。。我是服气的
& &15 天前
上联天王盖地虎
下联地主说山人
上联一二三四五
下联六七八九十
汗。。。这都是啥啊
& &15 天前 via iPhone
上联 山庐得句风来贺
下联 水榭题诗雨共敲
这句子说是酬唱的都不敢信
& &15 天前
上联女子好少女更妙
下联木石枯此木成柴
上联寸土为寺，寺旁言诗，诗曰：明月送僧归古寺。
下联千山作关，岳下为岳，云为：云岭为我瞰天梯峰
貌似没学拆字
& &15 天前
上联烟锁池塘柳
下联枫燃镇堰枫
这个上联是名句，含金木水火土，有人给出了“桃燃锦江堤”，还有个毒瘤的“锈堵油烟机”
& &15 天前
上联 你若不举便是晴天
下联 他能倒戈可以再生
& &15 天前
加一个提示，告知是否命中训练数据吧。
& &15 天前
& &15 天前
上联要想富，先修路，少生孩子多种树
下联不徇私，勿恋官，多做老婆不放松
& &15 天前
上联：好啊真好啊
下联：果然不差乎
& &15 天前
上联人人为我，我为人人
下联日日方丁，日念日日
& &15 天前
上联:一片两片三四片
下联:十分九节十分头
& &15 天前 via Android
上联 待我归来日下联 还君未了情我震惊了。。
& &15 天前
上联一二三四五
下联六七八九十
上联人中吕布
下联笔底波澜
& &15 天前
一些对的不好的：
上联 望天空，空望天，天天有空望空天
下联 望空空，空望空，息有无无断无无
上联 烟锁池塘楼
下联 月照水城山
游西湖，提锡壶，锡壶掉西湖，惜乎锡湖
下联
游锡山，提锡壶，锡壶掉西湖，惜乎锡壶
上联 赛诗台，赛诗才，赛诗台上赛诗才，诗台绝世，诗才绝世
下联 比武术，比武术，比武术中比武术，武道超突，武术超群
上联 白塔街，黄铁匠，生红炉，烧黑炭，冒青烟，闪蓝光，淬紫铁，坐北朝南打东西;
下联 兰宫店，陈酒店，饮桂酒，饮桂酒，吴饮桂，刘焦桂，刘吴歌，吴歌吴歌颂忠诚
水有虫则浊，水有鱼则渔，水水水，江河湖淼淼。
下联 男从儿从来，女从女从男，烈烈男，男女女烈烈生
上联 调琴调新调调调调来调调妙
下联 作画描古画图雕琢见性灵灵
上联 人过大佛寺，寺佛大过人
下联 心无挂碍心，诚恐无怨怨
上联 静泉山上山泉静
下联 白云观中观花观
上联 二、三、四、五
下联 毛、婺、青、毛
& &15 天前
@ 烟锁池塘柳是因为训练集中有，我觉得主要难度在于对联如何鉴别对得好？
& &15 天前
上联:富强民主文明和谐自由平等公正法治爱国敬业诚信友善
下联:世间共和国共同建共和国共和国共睦致富致富富强富强
给你一个负样本
& &15 天前
& &15 天前
如此天气不穿秋裤太冷
下联
这般人生得意春风又来
& &15 天前
上联:喵喵喵喵喵喵汪
下联:诗书礼乐诗书春
& &15 天前
上联 天南地北双飞客
下联 月下花前两面人
emmmmmmmm....
& &15 天前
霜　春
降　分
碧　紫
天　气
静　氛
& &15 天前
楼主人才呀，什么时候分享一下过程 :)
& &15 天前 via iPhone
槛外山光历春夏秋冬万千变幻都非凡境下联
胸中丘壑披古今中外无数风光尽是诗情（原下联
窗中云影任东西南北去来澹荡洵是仙居）
& &15 天前
& &15 天前
上联 一二三四五六七
下联 孝悌忠信礼义廉
简单的上联匹配到的下联还是略显违和 =。=
& &15 天前
这让我想到了《走进修仙》的那个情节~穷举加数据分析玩坏外星人的精神信仰
& &15 天前
& &15 天前 via Android
能不能请楼主分享一下学习的过程啊，有哪些理论要学习才可以编出这样一个 ai上联君临天下，傲视世间万物下联我来世上，尽观物外一隅写的蛮好的，我换成其它就完美了
& &15 天前 via iPhone
上联 学医救不了中国人
下联 做孝子难为外邦师
厉害厉害，真不是成句吗
& &15 天前 via iPhone
上联 黑贞暴击强无敌
下联 白发红颜不胜唏
上联 死宅一心肝游戏
下联 生涯满眼泪沾巾
上联 大清亡了
下联 小丑得之
& &15 天前
上联花吃了那女孩
下联果然成玛瑙仙
& &14 天前 via Android
一直转菊什么鬼？点对下联没反应
& &14 天前
好厉害啊楼主！！
& &14 天前
上联若不是天生一副好皮囊
下联必无非大度三分真道心
& &14 天前
#175 chrome 不行
& &14 天前
看看与人写的差异：
原对联：
十年磨剑 白刃生寒涔汗泪
今昔纵毫 冰心着意写春秋
机器对下联：
十年磨剑 白刃生寒涔汗泪
一世修身 文字向世长精神
机器对上联：
精神能谱青史 留名论英雄
联今昔纵毫
冰心着意写春秋
& &14 天前
上联游西湖，提锡壶，锡壶掉西湖，惜乎锡壶。
下联登南极，拜金殿，金樽开北海，仙此银灯红
一些比较难的 看得出来还是不够工整
白话的对仗就好很多
到江湖相忘的时候，白桦树还刻着那两个名字；
看今古同怀往昔时，青春人已换了这般人面桃；
& &14 天前
今晚找小姐
明朝做大爷
网络连接无响应
人间正道是沧桑
& &14 天前
上联 长夜漫漫无心睡眠
下联 清风徐徐有意吹笛
& &14 天前
那些自动洗稿的 AI 是不是也是这样来搞的
& &14 天前
上联不敢为天下先
下联但愿与日月齐
& &14 天前
@ 别用 safari
& &14 天前
一剪寒梅傲立雪中
下联
半轮秋月淡入云边
& &14 天前
哈哈哈哈笑尿了。
& &14 天前
上联：尿不动
下联：水无声
感觉很像很久之前的 黄色小鸡
& &14 天前
& &14 天前 via Android
上联 王斌给您对对联
下联 小女孩童偷偷摸
& &14 天前
上联 清晨日出东方
下联 元宵夜宵夜元
& &14 天前
上联天天上班，什么时候是个头
下联日日登堂，怎样漏尽在双脚
& &14 天前
要被玩坏了
& &14 天前
上联 白嫖出货不存在
下联 黑到死时就得生
非洲人的感悟
& &14 天前
被玩坏啦，细软跑
& · & 531 人在线 & 最高记录 3541 & · &
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.0 · 79ms · UTC 20:23 · PVG 04:23 · LAX 12:23 · JFK 15:23? Do have faith in what you're doing.6.李成华--深度学习在自动问答系统中的应用_图文_百度文库
两大类热门资源免费畅读
续费一年阅读会员，立省24元！
6.李成华--深度学习在自动问答系统中的应用
阅读已结束，下载文档到电脑
想免费下载本文？
定制HR最喜欢的简历
下载文档到电脑，方便使用
还剩38页未读，继续阅读
定制HR最喜欢的简历
你可能喜欢后使用快捷导航没有帐号？
少花钱搭建深度学习系统的硬件指南
查看: 13678|
评论: 0|原作者: Tim Dettmers|来自: 机械鸡
摘要: 由于深度学习的计算相当密集，所以有人觉得“必须要购买一个多核快速CPU”， 也有人认为“购买快速CPU可能是种浪费”。那么，这两种观点哪个是对的？ 其实，在建立深度学习系统时，最糟糕的事情之一就是把钱浪费在不 ...
由于的计算相当密集，所以有人觉得“必须要购买一个多核快速CPU”， 也有人认为“购买快速CPU可能是种浪费”。&那么，这两种观点哪个是对的？ 其实，在建立深度学习系统时，最糟糕的事情之一就是把钱浪费在不必要的硬件上。 本文将告诉你如何用最省钱的方式，来搭建一个高性能深度学习系统。当初，在我研究并行深度学习过程中，我构建了一个GPU集群 ，所以我需要仔细选择硬件。 尽管经过了反复的研究和推理，但当我挑选硬件时，我仍然会犯许多错误，并且当应用于实践中时，那些错误就展现出来了。 所以，在这里，我想分享一下我所学到的知识，希望你不会像我一样再陷入同样的陷阱。&GPU本文假设您将使用GPU进行深度学习。 如果您正在建立或升级您的系统，那么忽视GPU是不明智的。 GPU才是深度学习应用的核心，它能大大提升处理速度，所以不能忽略。我在之前的文章中详细介绍了GPU的选择，并且GPU的选择可能是您的深度学习系统中最关键的选择。&一般来说，如果您的资金预算有限，我推荐您购买GTX 680，或者GTX Titan X（如果你很有钱，可用它做卷积）或GTX 980（它性价比很高，但若做大型卷积就有些局限性了），它们在eBay上就能买得到。另外，低成本高性价比的内存我推荐GTX Titan。 之前我支持过GTX 580，但是由于新更新的cuDNN库显着提升了卷积速度，故而所有不支持cuDNN的GPU都已经过时了，其中 GTX 580就是这样一款GPU。 如果您不使用卷积神经网络，GTX 580仍然是一个很好的选择。你能识别上面哪个硬件会导致糟糕的表现？ 是这些GPU的其中一个？ 还是CPU？&CPU要选择CPU，我们首先要了解CPU及它与深度学习的关系。CPU对深度学习有什么作用？ 当您在GPU上运行深度网络时，CPU几乎没有计算，但是CPU仍然可以处理以下事情：在代码中写入和读取变量执行诸如函数调用的指令在GPU上启动函数调用创建小批量数据启动到GPU的数据传输&所需CPU的数量当我用三个不同的库训练深度神经网络时，我总是看到一个CPU线程是100％（有时另一个线程会在0到100％之间波动）。 而且这一切立即告诉你，大多数深入学习的库，以及实际上大多数的软件应用程序，一般仅使用一个线程。&这意味着多核CPU相当无用。 如果您运行多个GPU，并使用MPI之类的并行化框架，那么您将一次运行多个程序，同时，也需要多个线程。&每个GPU应该是一个线程，但每个GPU运行两个线程将会为大多数深入学习库带来更好的性能；这些库在单核上运行，但是有时会异步调用函数，就使用了第二个CPU线程。&请记住，许多CPU可以在每个内核上运行多个线程（这对于Intel 的CPU尤为如此），因此通常每个GPU对应一个CPU核就足够了。&CPU和PCI-Express这是一个陷阱！ 一些新的Haswell CPU不支持那些旧CPU所支持的全部40个PCIe通道。如果要使用多个GPU构建系统，请避免使用这些CPU。 另外，如果您有一个带有3.0的主板，则还要确保您的处理器支持PCIe 3.0。&CPU缓存大小正如我们将在后面看到的那样，CPU高速缓存大小在“CPU-GPU-管线”方面是相当无关紧要的，但是我还是要做一个简短的分析，以便我们确保沿着这条计算机管道能考虑到每一个可能出现的瓶颈，进而我们可以全面了解整体流程。通常人们购买CPU时会忽略缓存，但通常它是整体性能问题中非常重要的一部分。 CPU缓存的片上容量非常小，且位置非常靠近CPU，可用于高速计算和操作。 CPU通常具有缓存的分级，从小型高速缓存（L1，L2）到低速大型缓存（L3，L4）。&作为程序员，您可以将其视为哈希表，其中每个数据都是键值对（key-value-pair），您可以在特定键上进行快速查找：如果找到该键，则可以对高速缓存中的值执行快速读写操作; 如果没有找到（这被称为缓存未命中），则CPU将需要等待RAM赶上，然后从那里读取该值（这是非常缓慢的过程）。 重复的缓存未命中会导致性能显着降低。 高效的CPU高速缓存方案和架构，通常对CPU的性能至关重要。CPU如何确定其缓存方案，是一个非常复杂的主题，但通常可以假定重复使用的变量、指令和RAM地址将保留在缓存中，而其他不太频繁出现的则不会。在深度学习中，相同的内存范围会重复被小批量读取，直到送到GPU，并且该内存范围会被新数据覆盖。但是如果内存数据可以存储在缓存中，则取决于小批量大小。&对于128位的小批量大小，我们对应于MNIST和CIFAR分别有0.4MB和1.5 MB，这适合大多数CPU缓存；对于ImageNet，我们每个小批量有超过85 MB的数据( )，即使是较大的缓存（L3缓存不超过几MB），也算是很大的了。由于数据集通常太大而无法适应缓存，所以新的数据需要从RAM中每个读取一小部分新的，并且需要能够以任何方式持续访问RAM。&RAM内存地址保留在缓存中（CPU可以在缓存中执行快速查找，并指向RAM中数据的确切位置），但是这仅限于整个数据集都存储于RAM时才会如此，否则内存地址将改变，并且缓存也不会加速（稍后你会看到的，使用固定内存时则不会出现这种情况，但这并不重要）。&深度学习代码的其他部分（如变量和函数调用），将从缓存中受益，但这些代码通常数量较少，可轻松适应几乎任何CPU的小型快速L1缓存。&从这个推理结果可以看出，CPU缓存大小不应该很重要。下一节进一步分析的结果，也与此结论相一致。&所需的CPU时钟频率（frequency）当人们想到快速的CPU时，他们通常首先想到时钟频率（clockrate）。 4GHz真的比3.5GHz快吗？这对于具有相同架构的处理器来说，通常是正确的，例如“Ivy Bridge”。但在不同架构的处理器之间，就不能这样比较了。 此外，时钟频率也并非总是较佳的性能指标。&在深度学习上，使用CPU的计算很少：比如增加一些变量、评估一些布尔表达式、在GPU或程序中调用一些函数。以上这些都取决于CPU内核时钟率。虽然这个推理似乎是合理的，但是当我运行深度学习程序时，CPU却有100％的使用率，这是为什么？ 为了找到原因，我做了一些CPU核频率的降频实验。在MNIST和ImageNet上的CPU降频测试 ：以上数据，是在具有不同CPU内核时钟频率时，对ImageNet运行200个周期MNIST数据集，或1/4 ImageNet周期所用时间，进行性能测量的。其中以较大时钟频率作为每个CPU的基准线。 为了比较：从GTX 680升级到GTX Titan，性能约为15％; 从GTX Titan到GTX 980提升20％; GPU超频为所有GPU提升约5％的性能。&那么为什么CPU内核频率对系统来说无关紧要，而使用率却是100％？ 答案可能是CPU缓存未命中（CPU持续忙于访问RAM，但是同时CPU必须等待RAM以跟上其较慢的时钟频率，这可能会导致忙碌和等待两者同时存在的矛盾状态）。 如果这是真的，就像上面看到的结果一样，那么CPU内核的降频不会导致性能急剧下降。&另外，CPU还执行其他操作，如将数据复制到小批量中，并将准备复制到GPU的数据准备好，但这些操作取决于内存时钟频率，而不是CPU内核时钟频率。 所以，现在我们来看看内存方面。&RAM时钟频率CPU-RAM，以及与RAM的其他交互，都相当复杂。 我将在这里展示一个简化版本的过程。为了能更全面地理解，就我们先来深入了解从CPU RAM到GPU RAM这一过程。CPU内存时钟和RAM交织在一起。 您的CPU的内存时钟决定了RAM的较大时钟频率，这两个部分构成CPU的总体内存带宽，但通常RAM本身确定了总体可用带宽，原因是它比CPU内存频率慢。&您可以这样确定带宽：（其中64是指64位CPU架构。 对于我的处理器和RAM模块，带宽为51.2GB / s）&但是，如果您复制大量的数据，这时会和带宽相关。 通常，您的RAM上的时序（例如8-8-8）对于小数据量来说更为相关，并且决定您的CPU等待RAM追赶的时间。 但是如上所述，您深入学习程序中的几乎所有数据都将轻松适应CPU缓存，除非因为太大，才无法从缓存中获益。 这意味着计时器将是不重要的，而带宽可能才是重要的。&那么这与深度学习程序有什么关系呢？ 我刚刚只是说带宽可能很重要，但是在下一步里，它就不是很重要了。 您的RAM的内存带宽决定了一个小批量可以被重写和分配用于初始化GPU传输的速度，但下一步，CPU-RAM到GPU-RAM是真正的瓶颈，这一步使用直接内存存取（DMA）。 如上所述，我的RAM模块的内存带宽为51.2GB/ s，但DMA带宽只有12GB / s！&DMA带宽与常规带宽有关，但细节并不一定必须了解。如果您想详细了解，可到该维基百科词条查看，您可以在词条内查找RAM模块的DMA带宽（峰值传输限制）。 但是先让我们看看DMA是如何工作的吧。（地址：https://en.wikipedia.org/wiki/DDR3_SDRAM#JEDEC_standard_modules）&&直接内存存取（DMA）具有RAM的CPU只能通过DMA与GPU进行通信。&在第一步中，CPU RAM和GPU RAM都保留特定的DMA传输缓冲区;&在第二步，CPU将请求的数据写入CPU侧的DMA缓冲区;&在第三步中，保留的缓冲区无需CPU的帮助即可传输到GPURAM。&这里有人可能会想：你的PCIe带宽是8GB / s（PCIe 2.0）或15.75GB / s（PCIe 3.0），所以你应该买一个像上面所说的良好峰值传输限制的RAM吗？答案是：不必要。 软件在这里会扮演重要角色。 如果你以一种聪明的方式进行一些传输，那么你就不再需要那些便宜且慢的内存。&&异步迷你批量分配（Asynchronousmini-batch allocation）一旦您的GPU完成了当前迷你批量的计算，它就想立即计算下一迷你批次（mini-batch）。 您现在可以初始化DMA传输，然后等待传输完成，以便您的GPU可以继续处理数字。但是有一个更有效的方法：提前准备下一个迷你批量，以便让您的GPU不必等待。 这可以轻松且异步地完成，而不会降低GPU性能。用于异步迷你批次分配的CUDA代码：当GPU开始处理当前批次时，执行前两次调用; 当GPU完成当前批处理时，执行最后两个调用。 数据传输在数据流的第二步同步之前就已经完成，因此GPU处理下一批次将不会有任何延迟。&&Alex Krishevsky的卷积网络的ImageNet 2012迷你批次的大小为128，仅需要0.35秒就能完成它的完整的反向传递。 我们能够在如此短时间内分配下一批吗？如果我们采用大小为128的批次，并且维度244x244x3大小的数据，总量大约为0.085 GB( )。 若使用超慢内存，我们有6.4 GB / s，即每秒75个迷你批次！ 所以使用异步迷你批量分配，即使是最慢的RAM对深入学习也将足够。如果使用异步迷你批量分配，购买更快的RAM模块没有任何优势。该过程也间接地意味着CPU缓存是无关紧要的。 您的CPU的快速覆盖速度（在快速缓存中），以及准备（将缓存写到RAM）一个迷你批次其实并不重要，因为在GPU请求下一个迷你批次之前，整个传输就已经完成了，所以一个大型缓存真的没那么重要。所以底线确实是RAM的时钟频率是无关紧要的，所以买便宜的就行了。但你需要买多少个呢？&RAM大小您应该至少具有与GPU内存大小相同的RAM。 当然，您可以使用较少的RAM，但这样的话可能需要一步一步地传输数据。 然而，从我的经验来看，使用更大的RAM会更加方便。心理学告诉我们，专注力是随着时间的推移会慢慢耗尽的一种资源。有些为数不多的硬件，可以帮您节省注意力资源以解决更困难的编程问题， RAM就是其中之一。 如果您有更多的RAM，您可以将更多的时间投入到更紧迫的事情上，而不是花费大量的时间来弥补RAM瓶颈。&有了很多RAM，您可以避免这些瓶颈，节省时间并提高生产率，使注意力投入到更紧迫的地方。 特别是在Kaggle比赛中，我发现额外的RAM对于特征操作非常有用。 所以如果你资金充裕，并做了大量的预处理，那么额外的RAM可能是一个不错的选择。&硬盘驱动器/SSD在某些情况下，硬盘驱动器可能是深度学习的重大瓶颈。 如果您的数据集很大，您通常会在SSD /硬盘驱动器上放一些数据，RAM中也有一些，以及GPURAM中也会放两个迷你批量（mini-batch）。 为了不断地供给GPU，我们需要以GPU可以运行完的速度提供新的的迷你批量（mini-batch）。&为此，我们需要使用与异步迷你批量分配相同的想法。 我们需要异步读取多个小批量的文件，这真的很重要！ 如果我们不这样做，结果表现会被削弱很多（约5-10％），并且你精心设计的硬件优势将毫无作用（好的深入学习软件在GTX 680也能运行很快，而坏的深入学习软件即使用GTX 980也会步履维艰）&考虑到这一点，如果我们将数据保存为32位浮点数据，就会遇到Alex的ImageNet卷积网络遇到的数据传输速率的问题，约每0.3秒0.085GB（ &）即290MB / s。 如果我们把它保存为jpeg数据，我们可以将它压缩5-15倍，将所需的读取带宽降低到约30MB / s。 如果我们看硬盘驱动器的速度，我们通常会看到速度为100-150MB / s，所以这对于压缩为jpeg的数据是足够的。&类似地，一个人可以使用mp3或其他压缩技术处理的声音文件，但是对于处理原始32位浮点数据的其他数据组，难以很好地压缩数据（只能压缩32位浮点数据10-15％）。 所以如果你有大的32位数据组，那么你肯定需要一个SSD，因为速度为100-150 MB / s的硬盘会很慢，难以跟上GPU。所以如果你今后有可能遇到这样的数据，那就买一个一个SSD；如果不会遇到那样的数据，一个硬盘驱动器就足够用了。&&许多人购买SSD是为了感觉上更好：程序启动和响应更快，并且使用大文件进行预处理也更快一些。但是对于深入学习，仅当输入维度很高且无法充分压缩数据时，才用得到SSD。&如果您购买SSD，您应该买一个能够容纳您常用大小的数据组的SSD，另外还需要额外留出几十GB的空间。其实，让硬盘驱动器来存储未使用的数据组也是个好主意。&电源单元（PSU）一般来说，您需要一个足够的PSU来满足未来的所有GPU。 GPU通常会随着时间的推移而更加节能，所以即使当其他组件到了更换的时候，PSU也能继续工作很长时间，所以良好的PSU是一个明智的投资。&您可以通过将CPU和GPU的所需瓦数，与其他组件所需瓦数相加，再加上作为电源峰值缓冲的100-300瓦，就能计算出所需的瓦数。&&要注意的一个重要部分，是留意您的PSU的PCIe连接器是否支持带有连接线的8pin + 6pin的接头。 我买了一个具有6x PCIe端口的PSU，但是只能为8pin或6pin连接器供电，所以我无法使用该PSU运行4个GPU。&另一个重要的事情是购买具有高功率效率等级的PSU，特别是当您运行多个GPU并想要运行很长时间。&&在全功率（瓦特）下运行4个GPU系统，对卷积网进行两个星期的训练，将消耗300-500千瓦时，而在德国的电力成本还要高出20美分/ kWh，即60~100
上一篇：下一篇：}