2021年1月15日，第五屆中英電動(dòng)汽車創(chuàng)新論壇的活動(dòng)現(xiàn)場(chǎng)，Graphcore高級(jí)副總裁、中國(guó)區(qū)總經(jīng)理盧濤向大家介紹了Graphcore這家年輕的企業(yè)：

　　在2016年5月份的時(shí)候，公司兩個(gè)聯(lián)合創(chuàng)始人Nigel Toon和Simons Knowles在英國(guó)的普林斯頓成立Graphcore這家公司。成立四年半以來，公司也得到了十足的發(fā)展，得到了資本界、學(xué)術(shù)界和產(chǎn)業(yè)界各種朋友們的支持。目前公司在全球大概500人的規(guī)模，公司做的這個(gè)產(chǎn)品主要是我們叫做IPU的針對(duì)AI應(yīng)用打造的智能處理器單元。

　　除了IPU以外，Graphcore還聯(lián)合打造了基于IPU的軟件Poplar，針對(duì)AI這樣一個(gè)工作負(fù)載協(xié)同打造的軟件站。同時(shí)最后這個(gè)產(chǎn)品是以IPU平臺(tái)的形式呈現(xiàn)給用戶，這個(gè)產(chǎn)品可能是IPU的機(jī)器，或者IPU的服務(wù)器或者大規(guī)模的AI超算形態(tài)最后呈現(xiàn)給用戶的。

　　目前公司四年半時(shí)間總共做了兩代產(chǎn)品，我們2019年做的第一代16納米的產(chǎn)品，上個(gè)月也就是12月份時(shí)候剛剛量產(chǎn)了中國(guó)第二代產(chǎn)品，基于7納米的。公司成立到現(xiàn)在四年半時(shí)間，IPU在全球范圍之內(nèi)也開始在一些不同的行業(yè)里面得到了比較廣泛的應(yīng)用，到目前為止公司總共大概發(fā)貨了超過一萬片以上的IPU處理器，服務(wù)于全球?qū)⒔话賯€(gè)左右的商業(yè)用戶或者機(jī)構(gòu)。目前產(chǎn)品被應(yīng)用在不同的領(lǐng)域，像數(shù)據(jù)中心、互聯(lián)網(wǎng)、研究機(jī)構(gòu)、高校、醫(yī)療、生物工程、金融以及汽車領(lǐng)域。

　　Graphcore從成立到現(xiàn)在雖然時(shí)間不長(zhǎng)，四年半的時(shí)間，但是得到非常多的全球行業(yè)里面專家的一些認(rèn)可，比如英國(guó)半導(dǎo)體之父、Arm聯(lián)合創(chuàng)始人的Hauser爵士這樣評(píng)價(jià)IPU，他認(rèn)為在世界半導(dǎo)體史上有三次革命，第一次是70年代的CPU，第二次是90年代的GPU，第三次是由Graphcore率先提出的就是為AI計(jì)算而生的IPU。同時(shí)我們IPU也得到了學(xué)術(shù)界的一些高度的認(rèn)可，比如圖靈獎(jiǎng)獲得者，我們稱為深度神經(jīng)網(wǎng)絡(luò)之父Geoff Hinton博士，曾經(jīng)一次記者采訪時(shí)詢問他，您認(rèn)為未來更加智能的處理器，面向未來的計(jì)算機(jī)是什么形態(tài)，他從他錢包里拿出來一個(gè)IPU，說這就是我認(rèn)為未來的智能處理器的一個(gè)形態(tài)。

　　所以這里簡(jiǎn)單和大家匯報(bào)一下我們的產(chǎn)品，最新是2020年12月份量產(chǎn)的COLOSSUS MK2這樣一個(gè)處理器，目前我們看到基本上在當(dāng)今世界上最精密的處理器，是使用了臺(tái)積電7納米的工藝，在這樣的一個(gè)芯片里面集成了將近600億個(gè)晶體管，800平方毫米以上，這個(gè)是在今天工業(yè)界里面單一芯片最大的規(guī)模、最多晶體管的一個(gè)芯片。在這樣一個(gè)處理器里面，我們集成250TFlops AI-Float運(yùn)算能力，以及900MB的存儲(chǔ)空間，同時(shí)集成將近1500個(gè)獨(dú)立處理器單元，支持將近9000個(gè)任務(wù)的并行處理。所以這樣一個(gè)處理器，我們叫做GC200。

　　基于7納米的GC200處理器，以及針對(duì)通訊處理方面的一些創(chuàng)新，我們打造了IPU-MACHIN M2000，它是一個(gè)1U的刀片，屬于即插即用的智能計(jì)算刀片，非常易于部署。在1U空間里面我們提供了1 PetaFlop IPU算力，450GB的存儲(chǔ)空間，以及2.8T的通信帶寬，超低延時(shí)。我們可以這么說，在這么一個(gè)1U的非常小的空間里面，可以滿足基本上當(dāng)今最復(fù)雜的機(jī)器智能或者AI的工作負(fù)載?？赡苓@里面1PetaFlop或者450GB是什么概念，大家可能不一定有直接的認(rèn)知，后面我們會(huì)進(jìn)一步解釋。

　　所以M2000這個(gè)產(chǎn)品形態(tài)基本上可以是一個(gè)M2000作為一個(gè)部署形態(tài)，或者四個(gè)M2000堆疊起來，8個(gè)M2000，或者甚至16個(gè)我們叫IPU-POD64，以及大規(guī)模橫向擴(kuò)展的IPU-POD64，非常像堆樂高，有這么小的零件，幾個(gè)零件堆成一個(gè)小汽車，1U的處理單元作為一個(gè)基本的計(jì)算單元，最后根據(jù)您的需求非常靈活進(jìn)行堆疊。

　　所以剛才我們講的我們這些計(jì)算能力、存儲(chǔ)空間大家可能不是有特別直觀的認(rèn)知，在今天基本上AI計(jì)算領(lǐng)域，大家都使用的非常多的NVIDIA的GPU，我們簡(jiǎn)單和GPU做一下對(duì)比，會(huì)有更加直觀的認(rèn)知。我們剛才講算力、存儲(chǔ)容量到底是什么樣的概念?所以這里面最新的GPU我們叫DGX-A100，Graphcore的產(chǎn)品有八個(gè)M2000，和它對(duì)比的是我們大概花類似的錢的情況下，比如花20萬美金買了GPU系統(tǒng)，以及花25萬美金買了Graphcore的系統(tǒng)，我們?cè)贕raphcore的25萬美金的系統(tǒng)里面，可以獲得相對(duì)于GPU系統(tǒng)超過10倍以上的FP32的計(jì)算能力，F(xiàn)P32是大家今天做AI計(jì)算非常主要的能力。如果講AI計(jì)算我們有三倍以上的能力，對(duì)于存儲(chǔ)有將近10倍以上的存儲(chǔ)容量的提升?？赡艽蠹覍?duì)這個(gè)十倍、三倍、十二倍可能也還不是有特別直觀的認(rèn)知，我們?cè)诤竺娴囊恍┎牧侠锩鏁?huì)進(jìn)一步來講，這些對(duì)于我們實(shí)際工作的應(yīng)用大概是什么樣的體現(xiàn)。

　　作為一個(gè)智能的處理器，如果僅僅是一個(gè)處理器，或者是僅僅是一個(gè)硬件，那是遠(yuǎn)遠(yuǎn)不夠的，因?yàn)槟忝鎸?duì)的是開發(fā)者，是研究者，中間的開發(fā)者、研究者使用您的處理器的時(shí)候，他使用的就是一個(gè)軟件平臺(tái)，我們的用戶都是與軟件打交道的，所以這里面我們針對(duì)IPU這顆處理器，以及IPU的系統(tǒng)，然后結(jié)合目標(biāo)的AI應(yīng)用，我們打造了POPLAR-SDK，在這里面我們提供了很多能力，比如像神經(jīng)網(wǎng)絡(luò)庫(kù)、科學(xué)計(jì)算庫(kù)等等，然后往上就是通過與像PyTorch、TensorFlow、甚至像ONNX、阿里巴巴HALO，還有百度的PaddlePaddle平臺(tái)對(duì)接，最后以高層的抽象的形態(tài)呈現(xiàn)給開發(fā)者和用戶。

　　同時(shí)這樣一個(gè)系統(tǒng)我們還要講怎么樣能夠進(jìn)行部署，能夠怎么樣進(jìn)行管理，這里面我們也基于標(biāo)準(zhǔn)的工業(yè)界開源像BMC，打造了我們系統(tǒng)的運(yùn)維管理的系統(tǒng)。

　　所以我們剛才講了很多我們芯片的FP32是GPU的10倍以上的性能，AI計(jì)算3倍以上的性能，存儲(chǔ)10倍以上，那么最后呈現(xiàn)給用戶什么樣的性能?我們列舉了今天比較主流的AI運(yùn)算模型，像ResNet50，我們?cè)贛2000系統(tǒng)里面能夠獲得相對(duì)于NVIDIA的V100版4.1倍的性能，A100版相對(duì)于V100有1.5倍性能提升。像ResNeXt101有5.4倍提升，非常新的2019年谷歌研究員提出的EfficientNet-B4最新計(jì)算機(jī)視覺模型可以做到將近20倍的提升。

　　講到語音大家都講對(duì)話式的AI，百度的Deep Voice3，我們?cè)贗PU的系統(tǒng)上針對(duì)于GPU有十倍以上的性能提升。非常流行的自然語言處理任務(wù)BERT-Large，相對(duì)于DGX系統(tǒng)有5.3倍以上的性能提升。對(duì)于一些金融系統(tǒng)里面或者進(jìn)行概率的算法模型里面，類似于一些傳統(tǒng)機(jī)器學(xué)習(xí)的模型MCMC，有將近17倍以上的性能提升。

　　我們打造了這樣一個(gè)IPU處理器以及軟件，但是我們認(rèn)為這還是不夠的，因?yàn)镚raphcore的一個(gè)很重要的精神，我們認(rèn)為最后創(chuàng)新是要靠開放來獲得的，所以Graphcore精神中間很重要的一部分是需要把我們的能力最后提交給、轉(zhuǎn)換給我們AI的開發(fā)者和研究人員，所以與今天很多AI處理器廠商非常不一樣，我們是完全開放的，我們今天在GitHub上從2020年7月份已經(jīng)開展了像我們的各種各樣的POPLAR圖計(jì)算庫(kù)、神經(jīng)網(wǎng)絡(luò)計(jì)算庫(kù)、數(shù)學(xué)庫(kù)、系數(shù)計(jì)算庫(kù)，以及上層的TensorFlow、PyTorch我們講的各種各樣算法模型，以及在GitHub上2020年7月份全部開源了。同時(shí)開放還遠(yuǎn)遠(yuǎn)不夠，我們認(rèn)為最后你要打造一個(gè)真正圍繞IPU的最后開發(fā)者和創(chuàng)新者的社區(qū)，我們也認(rèn)為像我們這樣一個(gè)比較小、比較新的公司還是不夠的，我們目前和阿里巴巴和微軟來進(jìn)行一些聯(lián)合的生態(tài)方面的探索，比如說阿里巴巴最近在GitHub上開源的一個(gè)項(xiàng)目HALO，是想在IPU、GPU等等不同的AI處理器之間，最后給用戶呈現(xiàn)比較平滑遷移的框架，已經(jīng)開放了針對(duì)IPU的實(shí)現(xiàn)的源代碼，用戶可以在GitHub上下載HALO就支持了。最近微軟亞洲研究院也開放了NNFusion，和阿里的HALO比較類似，想在GPU和IPU之間打造比較平滑可以互相遷移的底層軟件的框架。

　　前面講了很多IPU軟件系統(tǒng)，我們可能也會(huì)一起看看IPU怎么樣體現(xiàn)在我們和汽車是怎么樣結(jié)合的，因?yàn)镮PU本身是一個(gè)比較通用的一個(gè)智能計(jì)算平臺(tái)，所以能用的領(lǐng)域很多，我們剛才講的很多領(lǐng)域，但是我們今天可能會(huì)分享一下，在汽車領(lǐng)域里面可能有一些什么樣的應(yīng)用。

　　首先我們看到有這樣幾個(gè)方面，一個(gè)可以通過云端的IPU驅(qū)動(dòng)車載里面的一些應(yīng)用，滿足智能汽車對(duì)數(shù)據(jù)中心算力的超高要求，比如說今天我們?cè)谲嚴(yán)锩娲罅坎渴鹆藢?duì)話式的AI，這里面很多智能不是在車?yán)锩娈a(chǎn)生的，真正的智能是在云端里面，所以這里面可能是一個(gè)很好的例子。

　　然后可以通過云端的IPU和能力感知驅(qū)動(dòng)高低的輔助駕駛以及自動(dòng)駕駛的應(yīng)用。最后還可以通過這樣的智能方法探索能源方面的一些新的探索。

　　這里面有一個(gè)簡(jiǎn)單的例子，也是去年在第四季度Graphcore和福特做了一些探索和研究，中間就是我們Graphcore的研究員和福特公司的研究員一起共同探索了在IPU上使用一個(gè)叫分組神經(jīng)網(wǎng)絡(luò)的概念，來做了一個(gè)無人車類似于行人追蹤的算法，中間發(fā)現(xiàn)IPU針對(duì)GPU有了非常大的性能提升，這個(gè)只是其中的一個(gè)例子。

　　最后，可能我們有這樣的一個(gè)愿景，最后我們希望讓數(shù)據(jù)中心最后能夠上路。我們和汽車?yán)锩嬉恍┘夹g(shù)公司探討時(shí)候，他們其實(shí)有一個(gè)非常大的障礙，很多人和我反饋，我們今天在做算法研究的時(shí)候用了NVIDIA的GPU，最后往車?yán)锩娌贾每赡苁橇硗饽骋粋€(gè)ARM處理器，最后架構(gòu)不一樣。然后我們需要做量化，最后需要做算法的量化，需要做算法的處理。最后真正上車之前還需要進(jìn)行大規(guī)模模擬，又是第三個(gè)計(jì)算平臺(tái)，這樣一個(gè)新的算法，從最開始研發(fā)到最后上車可能需要18個(gè)月左右的一個(gè)周期。今天我們?cè)谙?，我們因?yàn)镮PU作為一個(gè)產(chǎn)品，它是一個(gè)訓(xùn)練和推力一體架構(gòu)的處理器，有這個(gè)架構(gòu)之后，有這樣一個(gè)可能，你訓(xùn)練出來的算法模型就直接可以在車?yán)锩嬷苯討?yīng)用了，這里面大大縮減中間從GPU的架構(gòu)往類似于NVIDIA的架構(gòu)，甚至像一些別的ARM處理器的架構(gòu)的遷移，以及需要不同的計(jì)算平臺(tái)做模擬的一個(gè)過程，所以可以大大縮短算法迭代的過程。

　　最后在結(jié)束之想重復(fù)一下，我們Graphcore的愿景是我們打造IPU這個(gè)處理器，希望能夠幫助AI的創(chuàng)新者能夠在智能方面進(jìn)行新的突破和新的創(chuàng)新。