Hailo的首席技術(shù)官Avi Baum致力于引領(lǐng)公司的技術(shù)發(fā)展和產(chǎn)品創(chuàng)新。此前，他曾在德州儀器（Texas Instruments）擔(dān)任無線連接業(yè)務(wù)的首席技術(shù)官，負(fù)責(zé)推動(dòng)物聯(lián)網(wǎng)（IoT）和工業(yè)物聯(lián)網(wǎng)（IIoT）市場(chǎng)中互聯(lián)微控制器（MCU）的戰(zhàn)略規(guī)劃。此外，他還在以色列國防軍擔(dān)任過高級(jí)架構(gòu)師和管理職務(wù)。
作為一家源自以色列的人工智能芯片企業(yè)，Hailo始終專注于為自動(dòng)駕駛汽車、智能攝像頭及機(jī)器人等應(yīng)用領(lǐng)域，研發(fā)具備高性能與低功耗特性的邊緣人工智能處理器。同時(shí)，該公司還提供完備的軟件套件，并依托全球合作伙伴生態(tài)系統(tǒng)提供有力支持。
您能否分享一下，最初是什么吸引您投身于邊緣人工智能領(lǐng)域，以及您早期的工程經(jīng)歷如何影響了您對(duì)處理器設(shè)計(jì)的思考？
我的職業(yè)生涯使我得以深入涉足多個(gè)新興市場(chǎng)領(lǐng)域。在任職于半導(dǎo)體行業(yè)領(lǐng)軍企業(yè)德州儀器期間，我曾主導(dǎo)系統(tǒng)級(jí)設(shè)計(jì)與架構(gòu)工作，負(fù)責(zé)產(chǎn)品定義部門工作，并隨后出任該部門首席技術(shù)官一職。這段寶貴經(jīng)歷激勵(lì)我持續(xù)探索那些有望引領(lǐng)未來發(fā)展趨勢(shì)的前沿技術(shù)。
2017年，在創(chuàng)立Hailo之際，我們深刻認(rèn)識(shí)到，盡管人工智能在云端領(lǐng)域已展現(xiàn)出蓬勃生機(jī)，但其同樣具備成為邊緣設(shè)備賦能關(guān)鍵技術(shù)的巨大潛力。基于此，我們明確了發(fā)展方向，并毅然踏上了這條探索之路。
隨著生成式人工智能在邊緣端的拓展，為何每秒萬億次操作（TOPS）不再是評(píng)估處理器性能的充分指標(biāo)？
長(zhǎng)期以來，TOPS一直是評(píng)估人工智能硬件性能的主要指標(biāo)。然而，在邊緣生成式人工智能時(shí)代，這一指標(biāo)已顯得力不從心。經(jīng)典模型的核心在于將大量數(shù)據(jù)轉(zhuǎn)化為有意義的洞察，因此處理輸入數(shù)據(jù)所需的計(jì)算量隨著待處理數(shù)據(jù)量的增加而增長(zhǎng)。這類模型通常規(guī)模較小，相較于其處理的數(shù)據(jù)量而言，訪問模型參數(shù)所帶來的額外帶寬成本相對(duì)較小。
然而，生成式模型的規(guī)模顯著增大，參數(shù)數(shù)量可達(dá)數(shù)十億。在這種情況下，內(nèi)存帶寬成為一個(gè)不可忽視的因素。因此，我們不應(yīng)僅關(guān)注TOPS指標(biāo)，而應(yīng)著重評(píng)估處理器在真實(shí)環(huán)境下如何平衡計(jì)算與內(nèi)存資源。關(guān)鍵不在于追求最高的計(jì)算量，而在于根據(jù)處理器所需處理的工作負(fù)載來優(yōu)化架構(gòu)。
為何在邊緣人工智能工作負(fù)載中，內(nèi)存帶寬如今成為比算力更為關(guān)鍵的瓶頸，特別是對(duì)于大型語言模型（LLMs）和視覺語言模型（VLMs）而言？
對(duì)于邊緣人工智能工作負(fù)載，尤其是涉及大型語言模型或視覺語言模型的任務(wù)，內(nèi)存帶寬正迅速成為主要的性能瓶頸。這些模型的參數(shù)規(guī)模通常在5億至80億之間，超出了片上內(nèi)存的容量，需要依賴片外內(nèi)存（如動(dòng)態(tài)隨機(jī)存取存儲(chǔ)器DRAM）進(jìn)行訪問。這大大增加了對(duì)內(nèi)存帶寬的需求。例如，一個(gè)擁有10億參數(shù)的模型在標(biāo)準(zhǔn)LPDDR4X接口下，在最佳條件下每秒可生成多達(dá)約40個(gè)token。然而，若要維持這一速率，一個(gè)擁有40億參數(shù)的模型所需的帶寬將是前者的四倍多。若帶寬不足，性能將受到影響，原因并非算力有限，而是處理器無法快速輸入數(shù)據(jù)。這種計(jì)算與內(nèi)存之間的不平衡是邊緣部署生成式人工智能面臨的最緊迫挑戰(zhàn)之一。在逐層計(jì)算的架構(gòu)中，這一問題尤為突出，因?yàn)橹虚g結(jié)果也會(huì)增加內(nèi)存流量，進(jìn)一步加劇帶寬壓力。
在為真實(shí)的邊緣應(yīng)用設(shè)計(jì)產(chǎn)品時(shí)，產(chǎn)品團(tuán)隊(duì)?wèi)?yīng)如何重新思考其基準(zhǔn)測(cè)試策略？
產(chǎn)品團(tuán)隊(duì)?wèi)?yīng)摒棄僅依賴TOPS等單一性能指標(biāo)的做法，轉(zhuǎn)而采用能夠反映邊緣部署實(shí)際情況的基準(zhǔn)測(cè)試策略。這首先需要深入理解具體的應(yīng)用場(chǎng)景、處理器所需處理的實(shí)際工作負(fù)載，并確定“工作點(diǎn)”，即功率、成本和延遲約束的交集。在此基礎(chǔ)上，評(píng)估計(jì)算與內(nèi)存在這些條件下的相互作用。一個(gè)擁有高TOPS值的處理器若內(nèi)存帶寬有限，其性能將大打折扣；同樣，若算力不足，增加內(nèi)存也無濟(jì)于事。
團(tuán)隊(duì)?wèi)?yīng)評(píng)估處理器在感知、增強(qiáng)和生成式工作負(fù)載等不同任務(wù)中的持續(xù)性能表現(xiàn)，因?yàn)檫@些任務(wù)對(duì)處理器的要求各不相同。目標(biāo)并非優(yōu)化峰值性能指標(biāo)，而是確保處理器在真實(shí)環(huán)境中的各種預(yù)期應(yīng)用場(chǎng)景下都能保持均衡的性能表現(xiàn)。
這是一種從“單一”指標(biāo)向更復(fù)雜方法的自然轉(zhuǎn)變，反映了平臺(tái)的使用方式和評(píng)估標(biāo)準(zhǔn)，類似于其他主流架構(gòu)（如SPEC、Coremark、3DMark等）所經(jīng)歷的轉(zhuǎn)變。
功率和成本約束如何影響Hailo處理器背后的架構(gòu)決策，特別是對(duì)于面向消費(fèi)者的邊緣設(shè)備而言？
在設(shè)計(jì)面向邊緣設(shè)備的人工智能處理器時(shí)，功率和成本是兩個(gè)最為關(guān)鍵的約束條件，尤其是在面向消費(fèi)者的產(chǎn)品中。在物聯(lián)網(wǎng)傳感器或智能家居助手等緊湊型設(shè)備中，功率預(yù)算極為有限，且通常沒有主動(dòng)冷卻系統(tǒng)，因此能效成為至關(guān)重要的考量因素。每增加一份計(jì)算或內(nèi)存資源，都會(huì)帶來額外的功耗和熱量，直接影響設(shè)備的可用性和電池壽命。
成本同樣具有重要影響。消費(fèi)者設(shè)備必須保持在具有競(jìng)爭(zhēng)力的價(jià)格水平，這意味著處理器在達(dá)到經(jīng)濟(jì)不可行性之前，只能包含有限的TOPS和內(nèi)存容量。這些約束迫使我們?cè)诩軜?gòu)設(shè)計(jì)上做出艱難的權(quán)衡。我們優(yōu)先考慮那些能夠在嚴(yán)格的功率和成本限制下，滿足實(shí)際應(yīng)用需求的計(jì)算與內(nèi)存平衡設(shè)計(jì)，確保邊緣人工智能在廣泛的消費(fèi)者產(chǎn)品中具有可行性、高效性和可擴(kuò)展性。
能否詳細(xì)介紹一下您如何為應(yīng)用定義“工作點(diǎn)”，以及為何這在邊緣人工智能部署中如此重要？
定義“工作點(diǎn)”是設(shè)計(jì)系統(tǒng)時(shí)最為關(guān)鍵的步驟之一。它指的是功率、成本和延遲約束的交集，這些約束共同決定了在特定部署場(chǎng)景下實(shí)際可達(dá)到的性能水平。與云端不同，在云端可以通過增加計(jì)算或內(nèi)存資源來解決問題，而邊緣設(shè)備則必須在固定的限制條件下運(yùn)行。這意味著我們必須根據(jù)應(yīng)用的實(shí)際需求做出明智的權(quán)衡。例如，物聯(lián)網(wǎng)傳感器可能更注重能效而非原始性能，而自動(dòng)駕駛系統(tǒng)則可能要求超低延遲，無論功耗如何。一旦確定了工作點(diǎn)，我們就可以評(píng)估處理器是否具備滿足這一需求的計(jì)算與內(nèi)存平衡。關(guān)鍵不在于在各個(gè)方向上最大化性能指標(biāo)，而在于確保處理器在實(shí)際應(yīng)用條件下能夠保持持續(xù)、可靠的性能表現(xiàn)。
一般來說，工作點(diǎn)是關(guān)鍵性能指標(biāo)達(dá)到最優(yōu)的點(diǎn)。若未能做到這一點(diǎn)，可能導(dǎo)致平臺(tái)在最典型的使用場(chǎng)景下運(yùn)行不佳。舉個(gè)簡(jiǎn)單的例子，有人可能設(shè)計(jì)出一個(gè)在極高分辨率輸入下效率極高的人工智能分析系統(tǒng)，但如果該系統(tǒng)被部署在永遠(yuǎn)無法達(dá)到這一分辨率的系統(tǒng)中，那么這種優(yōu)化就毫無意義。
在現(xiàn)代設(shè)備中，視頻、音頻和語言常常融合在一起，您如何針對(duì)多模態(tài)模型進(jìn)行優(yōu)化？
多模態(tài)模型需要精心平衡計(jì)算與內(nèi)存資源。每種模態(tài)對(duì)系統(tǒng)的壓力各不相同：視頻處理因高分辨率和幀率而計(jì)算密集，而語言和音頻處理則更為緊湊，但對(duì)內(nèi)存帶寬的要求更高。在諸如視覺語言處理等應(yīng)用中，這種差異尤為明顯：視頻處理推動(dòng)計(jì)算需求，而語言模型則可能迅速遭遇內(nèi)存瓶頸。
我們通過分析這些工作負(fù)載在整個(gè)處理流程中的相互作用來進(jìn)行優(yōu)化，確保處理器架構(gòu)能夠同時(shí)支持它們，避免一種模態(tài)影響另一種模態(tài)的性能表現(xiàn)。
邊緣模型規(guī)模的擴(kuò)大如何加劇了延遲和功耗問題，系統(tǒng)級(jí)架構(gòu)在解決這些問題中扮演了什么角色？
隨著邊緣模型規(guī)模的擴(kuò)大，延遲和功耗問題變得更加難以管理。更大的模型更依賴片外內(nèi)存，這增加了能耗和延遲，尤其是在內(nèi)存帶寬成為瓶頸的情況下。例如，將模型規(guī)模從10億參數(shù)擴(kuò)大到40億參數(shù)，若要保持相同性能，所需的帶寬將超過四倍。然而，在實(shí)際應(yīng)用中，由于帶寬和系統(tǒng)級(jí)約束，性能并不會(huì)線性增長(zhǎng)。
關(guān)鍵不在于擁有高TOPS值或大容量?jī)?nèi)存，而在于這些組件如何相互作用。平衡的設(shè)計(jì)確保計(jì)算、內(nèi)存和帶寬能夠高效協(xié)同工作，防止某一資源限制整個(gè)系統(tǒng)的性能。
考慮到人工智能模型、工作負(fù)載和部署要求的快速發(fā)展，Hailo如何進(jìn)行未來證明設(shè)計(jì)？
在邊緣人工智能領(lǐng)域進(jìn)行未來證明設(shè)計(jì)，意味著要打造能夠處理各種不斷演變的工作負(fù)載的處理器。我們專注于構(gòu)建平衡的架構(gòu)，這些架構(gòu)并非僅針對(duì)單一任務(wù)進(jìn)行優(yōu)化，而是能夠支持從感知功能（如目標(biāo)檢測(cè)）到生成式模型（如視覺語言模型）的各種應(yīng)用。每種類型的工作負(fù)載對(duì)計(jì)算和內(nèi)存的需求各不相同，因此我們?cè)谠O(shè)計(jì)時(shí)注重靈活性，避免在不同工作負(fù)載之間切換時(shí)出現(xiàn)瓶頸。我們還考慮了各種應(yīng)用在功率、成本和延遲方面的實(shí)際限制。通過優(yōu)先考慮工作負(fù)載的多樣性和資源的平衡，我們旨在支持下一代邊緣人工智能在消費(fèi)者和工業(yè)領(lǐng)域的部署。
然而，一種設(shè)計(jì)無法滿足所有需求，我們的產(chǎn)品組合針對(duì)特定的可尋址應(yīng)用進(jìn)行了優(yōu)化，并努力在功率、外形尺寸等可用預(yù)算范圍內(nèi)找到最佳“工作點(diǎn)”。
開發(fā)者生態(tài)系統(tǒng)在最大化處理器價(jià)值方面發(fā)揮了什么作用，您如何確保團(tuán)隊(duì)能夠充分利用Hailo的能力？
作為一款可編程設(shè)備，為開發(fā)者提供易于使用的工具以充分發(fā)揮處理器的潛力、縮短部署路徑并實(shí)現(xiàn)新的應(yīng)用場(chǎng)景至關(guān)重要。通過圍繞我們的處理器構(gòu)建完善的支持環(huán)境，我們幫助團(tuán)隊(duì)在各種應(yīng)用場(chǎng)景中實(shí)現(xiàn)人工智能應(yīng)用。
對(duì)于正在為下一代產(chǎn)品選擇首款人工智能加速器的工程師或首席技術(shù)官，您有什么建議？
我認(rèn)為當(dāng)前的創(chuàng)新環(huán)境存在著巨大的創(chuàng)新潛力，能夠?qū)⑽覀兊南胂筠D(zhuǎn)化為實(shí)際產(chǎn)品。在快速變化的環(huán)境中，選擇一款能夠?qū)崿F(xiàn)從概念到部署快速循環(huán)的加速器至關(guān)重要。