• <dd id="vwb77"><noscript id="vwb77"></noscript></dd>
    1. <li id="vwb77"><acronym id="vwb77"></acronym></li>
      www.xmjdsx.com
      關 閉

      新聞中心

      EEPW首頁 > 工控自動化 > 設計應用 > IPU:為AI處理器帶來了一種顛覆 性架構

      IPU:為AI處理器帶來了一種顛覆 性架構

      作者:迎九時間:2020-07-08來源:電子產品世界收藏

        迎 九 (《電子產品世界》 北京,100036)

      本文引用地址:http://www.xmjdsx.com/article/202007/415317.htm

        摘 要:英國半導體之父、Arm的聯合創始人Hermann爵士稱:“在計算機歷史上發生過3次革命,第1次是70年代的CPU,第2次是90年代的GPU,而Graphcore公司帶來了第3次革命。”Graphcore推出了為計算而生的。Graphcore高級副總裁兼中國區總經理盧濤先生和中國銷售總監朱江,向電子產品世界等媒體介紹了的架構。

        0 引言

        Graphcore總部在英國,目前全球有450名員工。公司已獲大量投資,截止到2020年6月,總融資超過4.5億美元。

        Graphcore主要產品是。Graphcore認為,由于CPU和GPU不是為了滿足機器學習的計算需求而設計,因此盡管進化,創新者卻開始因硬件阻礙而倒退。而Graphcore創建了一種全新的處理器,是第一個專為機器學習工作負載而設計的處理器——智能處理器(IPU)。

        1 IPU的兩大特點

        Graphcore現有的IPU的表現及下一代的模型上,性能領先于GPU:在自然語言處理方面的速度能夠提升20%~50%;在圖像分類方面,能夠有6倍的吞吐量而且是更低的時延;在一些金融模型方面的訓練速度能夠提高26倍以上。目前,IPU在一些云上、客戶自建的數據中心服務器上已經可用。

        相比GPU及其他與GPU類似的處理器架構,IPU有2個亮點設計。

        1)從大規模并行的角度來看,CPU在控制方面做了很多非常通用化的處理器,也就是一個標量的處理器;GPU是向量處理器,有單指令、多數據的特點,適合處理大規模的、稠密的數據,在某一類的運算里會有非常明顯的優勢,這也是現在GPU在市場上表現得非常好的原因;而IPU是一種全新的架構設計,是一種圖形的處理器,具備多指令、多數據的特點。除了稠密的數據之外,現在代表整個發展方向的大規模稀疏化的數據,在IPU上處理就會有非常明顯的優勢。

        2)IPU采用的大規模分布式的片上SRAM的架構,這與GPU、CPU是完全不同的。Graphcore IPU拋棄了外部的DDR,把所有memory放到片上,因此能夠解決在目前機器學習中大量出現的內存帶寬構成的瓶頸。

        在場景應用方面,由于采用了分組卷積這種新型的卷積,和目前比較傳統的ResNet相比,可以有更好的精度表現。但這樣的分組卷積因為數據不夠稠密,在GPU上可能效果并不好,而IPU可以把這樣的模型真正落地使用,尤其是在一些垂直行業,諸如金融領域提升應用的性能。

        Graphcore所做的產品包括了硬件、軟件和IPU的系統解決方案。

        2 為AI應用打造的IPU

        機器智能代表的是全新的計算負載,特點是非常大規模的并行計算,和非常稀疏的數據結構。AI或機器智能相較于傳統的科學計算或者高性能計算(HPC)有個特點,就是低精度計算;另外像在做訓練推理過程中的數據參數復用、靜態圖結構都是AI應用代表的一些全新的計算負載。

        從2016年至今,整個AI算法模型發展基本上從2016年1月的ResNet50的2 500萬個參數,到2018年10月BERT-Large的3.3億個參數,2019年GPT2的15.5億個參數,呈大幅增長的趨勢。甚至現在有一些領先的科研機構和AI研究者在探索更大的算法模型,希望用一些復雜的模型能夠訓練更復雜的算法,并提高精度。

        但是現在的密集計算并不是可持續的,因為譬如要從15.5億規模擴展到1萬億,計算方面的提高是指數級,即數倍算力的提升,這就需要一種全新的方法來做AI計算。

        但是在當前,機器學習采用的還是傳統處理器架構,例如CPU,目前還是有很多AI負載架構在CPU之上。CPU實際是針對應用和網絡進行設計的處理器,是標量處理器(表1)。

      1594198853607460.jpg

        后來出現的GPU是針對圖形和高性能計算,以向量處理為核心的處理器,從2016年到現在被廣泛應用在AI里。

        但AI是一種全新的應用架構,它底層表征是以計算圖作為表征的,所以可能需要一種全新的處理器架構,而Graphcore IPU就是針對計算圖的處理來設計的處理器。

        提到摩爾定律和算力,處理器現在是1個teraflops(每秒1萬億次浮點運算)、10個teraflops甚至100個teraflops,算力提升非常快。但人們發現,有效的算力其實遠遠達不到算力的峰值,中間內存的帶寬是非常限制性能的。

        例如,處理器算力提高了10倍,內存怎樣提高10倍吞吐量呢?如果用傳統的DDR4、DDR5、HBM、HBM1、HBM2、HBM3內存等,基本上每代只能有30%、40%的提升。

        所以在Graphcore做IPU的時候,在這部分做了一個特別的設計:與傳統的CPU、GPU比較起來,IPU用了大規模并行MIMD的處理器核,另外做了非常大的分布式的片上的SRAM,在片內能做到300 MB的SRAM,相對CPU的DDR2的子系統,或相對于GPU的GDDR、HBM,IPU能夠做到10~320倍的性能提升。從時延的角度來看,與訪問外存相比較,時延只有1%,可以忽略不計。

        再從整體上看一下IPU處理器,目前已經量產的是GC2處理器,是16 nm TSMC的工藝。該處理器目前片內有1 216個IPU-Tiles,每個Tile里有獨立的IPU核作為計算及In-Processor-Memory(處理器之內的內存)。所以整個GC2共有7 296個線程,能夠支持7 296個程序做并行計算。對整片來說,In-Processor-Memory總共是300 MB。所以IPU的整個思想是所有的模型要被放在片內處理。PCIe也是16個PCIeGen 4。

        所以,IPU GC2是非常復雜的擁有236億個晶體管的芯片處理器,在120 W的功耗下有125 TFlops的混合精度、1 216個獨立的處理器核心(Tile)、300 M的SRAM能夠把完整的模型放在片內,另外內存的帶寬有45 TB/s、片上的交換是8 TB/s,片間的IPU-Links是2.5 Tbps。

        由于IPU GC2有1 216個核心(Tile)、7 000多個線程,所以解決并行硬件的高效編程問題是一個非常大的課題。Graphcore采用構建大規模數據中心集群的BSP技術(Bulk Synchronous Parallel,大容量同步并行),這種技術目前在谷歌、Facebook、百度這樣的大規模數據中心都在使用。

        因此,IPU是業界首款BSP處理器,通過硬件能支持BSP協議,并通過BSP協議把整個計算邏輯分成計算、同步、交換。對軟件工程師或開發者,這就是非常易于編程的,因為這樣就不用處理locks這個概念。對用戶來說,也不用管其中是1 216個核心(Tile)還是7 000多個線程、任務具體在哪個核上執行,所以這是一個非常用戶友好的創新。

        (注:本文來源于科技期刊《電子產品世界》2020年第07期第59頁,歡迎您寫論文時引用,并注明出處。)



      關鍵詞: 202007 IPU AI

      評論


      相關推薦

      技術專區

      關閉
      任我爽橹在线精品视频任我橹在线视频,欧美在线视频网站,天天日天天射天天舔 真人视频一一级毛片,日本一级特黄大片97人人_爱播速影院 我爱AV,haose,吾爱av,奇米色,奇米网,奇米影视,奇米第四色在线影院 俺去也_俺去啦_俺来也_最新影音先锋伦理电影资源网 女人被叉进去播放免费 - 视频 - 在线观看 - 伦理片4816 - 琪琪天堂 天天色 天天色综合 天天色情 天天好逼网 天天色情网 亚洲欧美人成视频在线久草在线综合在线欧美视频在线短视频搞女人视频 波多野结衣小穴好爽奥门性成人性爱影院亚洲,史姗妮叫床日本公共偷拍网站 干逼影院久草片免费福利资源站5好吊纽视频cao久草香蕉狠狠日 av红色社区男人的天堂av天堂_AV在线视频成人社区,男人的天堂东京热 色综合久久手机在线高清无码欧美日韩在线观看 欧美风日韩高清无码 亚洲做性视频在线观看一级做爱视频1024永久免费香蕉视频99视频精品 一级a爱片免费视频观看,免费国产一级av 片,日本一级特黄大片免色 一本道av不卡免费播放,一本道道中文无码无卡,思思99热久久精品在线6 色色影院色老板网站导航97涩涊爱在线观看国产亚洲日韩a在专区操逼视频 久草在线 新免费观看 啪啪干 久草 大香蕉 免费在线aⅴ久草 伊人香蕉网久草 大香蕉超碰97手机在线视频播放 校园亚洲另类在线视频 狼人窝视频在线观看 超碰+mp4 超碰在线资源总站不卡 性爱亚洲乱伦动漫在线 最新上海性息 女人天堂,亚洲AV每日更新在线观看,神马午夜,午夜电影理论片费看,日本色情网 日本免费AV毛片在线看-日本一大免费高清,免费v片在线观看网站 久久6热视频在线观看,国产久久re6热在线播放,久久re6热在线视频精品 黄色视频 国产自拍 成人电影 色福吧,岛国视频在线观看 第一AV站色播四房午夜福利在线开心电影视频Virtual 哥哥干,哥哥去,哥哥射,哥哥撸,哥哥操,哥哥爱,哥哥爽av在线 欧美Av无码高清在线_久久精品热在线观看_亚洲天堂在线观看_欧美黄色网站 情趣装俺来也俺去啦最新网新19年电影快播云资源 亚洲男人天堂.日本高清视频在线网站,最新高清无码专区.在线观看 高清毛片_日本一级特黄大片_日本毛片免费视频观看_免费v片网站 色久久电影,撸啊撸天天撸天天射,日本AV不卡在线观看,日日撸综合网 一本道在线综合在线69,波多野结衣一本道在线DVD2 日本在线加勒比一本道 天天色情,天天色,天天射影院,天天情色网,天天色影视,天天色综合网 色狗TV撸到高潮导航五月婷婷六月深爱五月秋霞伦理电院网 完整一级毛片,宅男福利在线,日本毛片免费视频观看_免费v片网站 天天啪啪-天天啪一啪-天天啪影院-日日啪日韩在线,色姑娘综合网久久 日本av女谁身材最好,超碰日日夜夜,夫妻做ai视频弯腰偷拍胸,cao熟女 天天看片 色综合天天综合网 小说 欧美 天天看高清影视 色姑娘久久综合网天天 五月天丁香婷深爱综合 开心婷婷五月综合基地 大黄狗导航草榴官方精选抖音福利视频在线观看极品萝莉导航 亚洲母乳在线视频 半夜偷拍b 我舅妈女老师的性爱 厕所偷拍女尿图 久草在线新免费观看首,极品日本美女av电影,我和表妹小姨性事自述 色戒完整版在线观看,欧美色,色综合天天插逼性动态图狼友必备的色导航 a片毛片免费观看!,成人影片人人看免费一,在线播放免费人成视频 天天啪日日在线观看-嗷嗷叫嗷嗷拍在线影院-就要鲁,就要鲁在线影院 我与中年妇女的激情,99超碰精品在线视频,97人人澡人人碰人人看操 露露狠狠_大香蕉伊人在线9免费_可色吧导航_奇米网影音先锋影视aV 在线aⅴ亚洲中文字幕久草人人综合网站免费鸭子tv一在线色偷偷人人澡人人添 欧美成人aV电影 欧美色图第1页-男人的天堂网 - 手机成人版 情色综合网,狠狠射日日干综合,桃花色综合影院,色姑娘综合网久久 欧美一级/片-外国片高清-黄色一级全祼-欧美一级黑寡妇-一级外国片 日本色情视频,黄色视频,成人视频 大香蕉在线影院 里番acg漫画天天好逼网啪啪导航爱干视频,在线观看秋秋影视久久影院 撸大师视频站——永久免费的在线艾薇视频,欧洲日韩av无线在码 亚洲天堂日日夜夜,超碰18视频在线观看百度视频,团地妻在线观看,av 在线 久久爱免费高清在线亚洲图片区?欧美另类四虎影院国产精品青草青 寂寞少妇老师,艳妇素琴在线看,日本刮毛做爱图片,我爱姐姐c0m,人人澡 欧美男女性爱交叉图 亚洲妹性感翘臀诱惑 熟女自拍 农夫色综合亚洲一页 成人不卡在线播放 欧美情色电影午夜剧场,韩国三级片大全 超碰av谷超碰公开视频,成人公开超碰手机在线视频 迅雷下载, 我要干逼福利社区导航苹果电影完整版视频在线观看爱我影院 日本av不卡在线观看,不卡的在线av网站,不卡的av日本影片在线 日本爆乳美女照片,欧美性人鲁appstore图片,日韩美女超爽人体艺术 超碰公开免费97,偷拍自拍及成人色码,情侣亲热摸乳,亚洲的喧嚣av天堂网 在线午夜_色无极_AV在线视频成人社区,男人的天堂东京热! 刘亦菲的av黄色网址,我强奸女秘书高潮,52超碰av男人的天堂 在线aⅴ亚洲中文字幕久草人人综合网站免费鸭子tv一在线色偷偷人人澡人人添 青青视频高清免费观看免费 青青青视频在线观看 青青草在线播放观看 色偷偷男人的天堂a v 2017男人天堂手机在线_男人天堂社区 老鸭窝综合久久天天撸夜夜啪啪97资源超碰公开影院老鸭窝综合久久 欧美成人女明星操b图 搞笑的三级电影全集 成人网老师遭学生强奸 AV天堂网/影音先锋/快播电影资源,快播成人a,免费国产一级av 片 琪琪色原网站,琪琪色影院,琪琪色原网站影音先锋_是全亚洲更新最快成人网站之一 男人天堂,男人天堂视频,视频分享,免费视频,在线视频,预告片 97人人碰就爱搞搞就要搞搞影院男人的天堂va网免费初中生福利导航 欧美成,欧美成av人片在线观看,成a欧美,成欧美,美女黄图免费视频 AV天堂网/影音先锋/快播电影资源,快播成人a,免费国产一级av 片 一本道高清无码中文字幕,DVD手机在线看,波多野结衣免费日本AV 日本色情片明星的裸照,我的真实乱伦故事,公交车上偷拍裙内风光 色爱综合网欧美Av,色姐妹插姐姐,色姑娘综合站,姐妹综合久 天天谢了天天擦了天天拍了综合图片图片专区久久青草免费线观 老司机影院,老司机开车,老司机视频,天天日,天天干,天天撸,好好日视频 大香蕉伊人在线75欧美,亚洲骚五月在线视频,女老师的肛交在线阅读, 色小姐,骑妹妹,骑姐姐,姐也搞,姐也色,姐也色在线视频 大香蕉网狠狠,大香蕉在线视频,大香蕉网站,国产高清情侣视频2019年 人獸交AV在线,台湾佬综合,九九在线精品视频中文字幕,插插插插 撸大师视频站——永久免费的在线艾薇视频,欧洲日韩av无线在码 色无极亚洲影院专区www野狼春色视频久草视频播放器,亚洲色偷拍自拍 甜性涩爱在线看,亚洲东方av线在线播放,街头偷拍女人臀部 超碰公开免费97,偷拍自拍及成人色码,情侣亲热摸乳,亚洲的喧嚣av天堂网 东方伊甸园奇米777玖玖爱色琪琪原网络老司机免费福利s在现2019老鸭窝a 成人不卡在线播放 欧美情色电影午夜剧场,韩国三级片大全 免费网站看v片在线_很鲁很鲁在线手机视频_啪啪啪网站免费 天天色情_色姑娘久久综合网天天_综合图片亚洲网友自拍 亚洲做性视频在线观看一级做爱视频1024永久免费香蕉视频99视频精品 美女视频免费是黄的手机看片1024免费新版2018午夜影验区大屁股影视 我爱干狼友必备的色导航陈圆圆导航真人做爰试看1分钟 亚洲免费无码中文在线久久综合亚洲大香蕉色和尚久久大香蕉 成人在线,夜夜撸,免费A片,色影院,日日更新视频,草榴视频 色小姐,骑妹妹,骑姐姐,姐也搞,姐也色,姐也色在线视频 av床戏是真是假,日本淫少女,亚洲妇乱,欧美巨臀骚淫女,在线成人Q电影巨乳 天天看片_播播影院_私人影院_爱播速影院_神马影院 国产高清情侣视频网-国产情侣自拍偷拍-国内偷拍国产情侣2018 在线观看亚洲天堂网,狠撸大香蕉迅雷影音,松岛枫av名字,亚洲熟女乱伦在线 免费韩国论理电影最新-日本欧美直接看片的网址-2020年论理片在线观看 我与中年妇女的激情,99超碰精品在线视频,97人人澡人人碰人人看操 欧美Av无码高清在线_久久精品热在线观看_亚洲天堂在线观看_欧美黄色网站 dvd视频欧美在线,,玄幻小说完本青草青草视频2免费观看 操在线观看_就干去_人人操逼人人摸人人碰_就去吻 就去干 无码av高清毛片在线看_日本一级特黄大片_日本毛片免费视频观看 女人天堂,亚洲AV每日更新在线观看,神马午夜,午夜电影理论片费看,日本色情网 国产精品k频道在线系统_k视频国产精品视频高清在线播放,久久国产自偷拍 爱爱小说,色小说,爱爱小说,色小说,色--情乱--伦小说,专注色--情乱--伦小说 久草资源站2中文,久草福利最稳定的资源站,色和尚情网站 狠狠射2019大香蕉五月婷婷六月合香综俺来也我去也伊人在线4 免费视频聊聊天室,人妻 国产 超碰,亚洲男操欧洲女,初中女厕所偷拍图 依依社区电影小电影发布新视觉影院yy伦理电影爱色成人网 日日干免费91国产a在线高清观看中文字幕亚洲无线码99热这里只就有精品 少女自拍无码 超碰超碰超碰超7 色欧洲狠狠爱 伊人综合伊人情人网 欧美情色成人网亚洲图片第一页 av久久99re8在线视频精品欧美情色成人网 爱爱帝国综合社区 爱爱帝国综合社区av 爱爱帝国综合社区站 老婆野外自拍阴道,苍井空av叫什么名字,如娇似妻19楼女性阅读 久久爱免费观看-久久爱视频在线观看视频性生活心得性爱姿势做爱指导 奇米影视四色_色偷偷_色小姐_影音先锋_影音先锋 av撸色-迅雷看看 新超碰98 人人日久久爱 国产厕所阴唇 海边激情野战被偷拍图 在线aⅴ亚洲中文字幕久草人人综合网站免费鸭子tv一在线色偷偷人人澡人人添 国产高清情侣视频网-国产情侣自拍偷拍-国内偷拍国产情侣2018 奇米影视,奇米网,米奇影视777,奇米影视盒,吉利影院 爱爱帝国综合社区 爱爱帝国综合社区av 爱爱帝国综合社区站 第四色在线播放俺去射欧美图片专区青青青在线播放视频2018 超碰在线 超碰视频 超碰在线视频 超碰免费视频 超碰免费视频公开 天天色,天天干,天天操,天天射,天天好逼网,色逼天天操 天天看影院爱色影网站大香蕉天天天天射天天日,接吻摸胸技巧 magnet,超碰在线视频观看1024,果园的淫殇婶,欧美人亚洲手机在线, 甜性涩爱在线看,亚洲东方av线在线播放,街头偷拍女人臀部 欧美一级/片,俄罗斯一级毛片·,日本毛片基地一亚洲av,一本道亚洲区免费观看 依依社区电影久草热久草在线视频大香蕉在线大香蕉在线深夜福利视频大全 超碰最新类别 亚洲三级在线av 亚洲在线av876 色情网址狼av 情色综合网,狠狠射日日干综合,桃花色综合影院,色姑娘综合网久久 777米奇影院,米奇影视,米奇网,米奇第四色,米奇影视盒,米奇电影网 在线看免费观看日本Av,欧美av在线观看,波多野结衣丝袜AV在线观看 一级特黄大片完整版,思思99热久久精品在线6色香色欲综合网 大乳美女成人免费五月婷婷深开心五月看片免费播放器 老鸭窝在线视频_老鸭窝成人视频在线观看_成人综合影院 >天天福利视频导航航,做爱网站_日本电影推荐,我看逼_影音先锋官网 去干就去吻 免费高清无码在线亚州偷拍 色情帝国 日本av女谁身材最好,超碰日日夜夜,夫妻做ai视频弯腰偷拍胸,cao熟女 第四色色人阁九月天五月狠狠色你的网站名成人伦理电影 老鸭窝综合久久天天撸夜夜啪啪97资源超碰公开影院老鸭窝综合久久 大香蕉网 大香蕉在线影院 伊人大香蕉 伊人大香蕉九九99香蕉在线视频 欧美特级限制片2017,欧美三级在线电影免费,神马电影网,巴巴电影网 色琪琪 色人格第四色 日日色人格 色和尚 色老大 色撸撸 手机看片 欧美色图 日本大哥_AV在线视频成人社区,男人的天堂东京热