Gate 广場「創作者認證激勵計畫」優質創作者持續招募中!
立即加入,發布優質內容,參與活動即可瓜分月度 $10,000+ 創作獎勵!
認證申請步驟:
1️⃣ 打開 App 首頁底部【廣場】 → 點擊右上角頭像進入個人首頁
2️⃣ 點擊頭像右下角【申請認證】,提交申請等待審核
立即報名:https://www.gate.com/questionnaire/7159
豪華代幣獎池、Gate 精美周邊、流量曝光等超過 $10,000 的豐厚獎勵等你拿!
活動詳情:https://www.gate.com/announcements/article/47889
硬體限制通常是大家首先遇到的問題?記憶體(RAM)。
讓我們來拆解不同模型大小的規格。運行一個7B到13B參數的模型通常需要16到32GB的記憶體。升級到20B參數,你大約需要48到64GB。對於像120B這樣的重型模型,準備好120GB或更多。
事情是這樣的——我們在硬體設置上投資了$15k ,現在幾乎可以部署任何模型。這才是真正的能力。令人振奮的是?隨著市場成熟和硬體變得更容易取得,這些成本應該會下降。越來越多的人將能夠在本地運行高階模型,而不必破費。