硬件層面，也就是所謂的硬件加速， CPU、GPU、FPGA、ASIC。CPU與GPU相比在大數(shù)據(jù)多任務(wù)處理上，肯定GPU更占優(yōu)勢。FPGA與GPU相比，在兼顧了靈活性的基礎(chǔ)上，無論是計算能力和功耗性能上都要更強，缺點是性價比太低。ASIC是的，其他的硬件形態(tài)都是無法比擬的。

●在算法過程中頻繁的數(shù)據(jù)混洗使得NTT難以在計算集群中分布，無法并行計算，并且由于需要從大型數(shù)據(jù)集中加載和卸載數(shù)據(jù)，在硬件上運行時需要大量帶寬。即使硬件操作很快，這可能也會導(dǎo)致速度變慢。例如，如果硬件芯片的內(nèi)存為16GB或更少，那么在100GB的數(shù)據(jù)集上運行NTT將需要通過網(wǎng)絡(luò)加載和卸載數(shù)據(jù)，這可能會大大降低操作速度。

芯片的硬件指的是運行指令的物理平臺，包括處理器、內(nèi)存、存儲設(shè)備等等。芯片數(shù)據(jù)中常出現(xiàn)的“晶體管數(shù)量”、“7nm制程”、“存儲”等，往往指的就是硬件參數(shù)。

軟件則包括固件、驅(qū)動程序、操作系統(tǒng)、應(yīng)用程序、算子、編譯器和開發(fā)工具、模型優(yōu)化和部署工具、應(yīng)用生態(tài)等等。這些軟件指導(dǎo)硬件如何響應(yīng)用戶指令、處理數(shù)據(jù)和任務(wù)，同時通過特定的算法和策略優(yōu)化硬件資源的使用。芯片數(shù)據(jù)中常出現(xiàn)的“x86指令集”、“深度學(xué)習(xí)算子”、“CUDA平臺”等，往往指的就是芯片軟件。

為了打破英偉達(dá)一家獨大的局面，前任全球芯片老大英特爾和多年老對手AMD對標(biāo)CUDA都分別推出了OneAPI和ROCm，Linux基金會更是聯(lián)合英特爾、谷歌、高通、ARM、三星等公司聯(lián)合成立了民間號稱“反CUDA聯(lián)盟”的UXL基金會，以開發(fā)全新的開源軟件套件，讓AI開發(fā)者能夠在基金會成員的任何芯片上進(jìn)行編程，試圖讓其取代CUDA，成為AI開發(fā)者的開發(fā)平臺。