微軟Ignite全球技術(shù)大會(huì)發(fā)布的新工具和資源包括OpenAIChatAPI的TensorRT-LLM封裝接口、RTX驅(qū)動(dòng)的性能改進(jìn)DirectMLforLlama2、其他熱門LLM
?
WindowsPC上的AI標(biāo)志著科技史上的關(guān)鍵時(shí)刻,它將徹底改變玩家、創(chuàng)作者、主播、上班族、學(xué)生乃至普通PC用戶的體驗(yàn)。
AI為1億多臺(tái)采用RTX GPU的Windows PC和工作站提高生產(chǎn)力帶來(lái)前所未有的機(jī)會(huì)。NVIDIA RTX技術(shù)使開發(fā)者更輕松地創(chuàng)建AI應(yīng)用,從而改變?nèi)藗兪褂糜?jì)算機(jī)的方式。
在微軟Ignite大會(huì)上發(fā)布的全新優(yōu)化、模型和資源將更快地幫助開發(fā)者提供新的終端用戶體驗(yàn)。
TensorRT-LLM是一款提升AI推理性能的開源軟件,它即將發(fā)布的更新將支持更多大語(yǔ)言模型,在RTXGPU8GB及以上顯存的PC和筆記本電腦上使要求嚴(yán)苛的AI工作負(fù)載更容易完成。
Tensor RT-LLM for Windows即將通過(guò)全新封裝接口與OpenAI廣受歡迎的聊天API兼容。這將使數(shù)以百計(jì)的開發(fā)者項(xiàng)目和應(yīng)用能在RTXPC的本地運(yùn)行,而非云端運(yùn)行,因此用戶可以在PC上保留私人和專有數(shù)據(jù)。
定制的生成式AI需要時(shí)間和精力來(lái)維護(hù)項(xiàng)目。特別是跨多個(gè)環(huán)境和平臺(tái)進(jìn)行協(xié)作和部署時(shí),該過(guò)程可能會(huì)異常復(fù)雜和耗時(shí)。
AI Workbench 是一個(gè)統(tǒng)一、易用的工具包,允許開發(fā)者在 PC 或工作站上快速創(chuàng)建、測(cè)試和定制預(yù)訓(xùn)練生成式 AI 模型和 LLM。它為開發(fā)者提供一個(gè)單一平臺(tái),用于組織他們的AI項(xiàng)目,并根據(jù)特定用戶需求來(lái)調(diào)整模型。
這使開發(fā)者能夠進(jìn)行無(wú)縫協(xié)作和部署,快速創(chuàng)建具有成本效益、可擴(kuò)展的生成式AI模型。加入搶先體驗(yàn)名單,成為首批用戶以率先了解不斷更新的功能,并接收更新信息。
為支持AI開發(fā)者,NVIDIA與微軟發(fā)布DirectML增強(qiáng)功能以加速最熱門的基礎(chǔ)AI模型之一的Llama2。除了全新性能標(biāo)準(zhǔn),開發(fā)者現(xiàn)在有更多跨供應(yīng)商部署可選。
便攜式AI
10月,NVIDIA發(fā)布TensorRT-LLMfor Windows — 一個(gè)用于加速大語(yǔ)言模型(LLM)推理的庫(kù)。
本月底發(fā)布的TensorRT-LLMv0.6.0 更新將帶來(lái)至高達(dá)5倍的推理性能提升,并支持更多熱門的LLM,包括全新Mistral7B和Nemotron-38B。這些LLM版本將可在所有采用8GB及以上顯存的GeForceRTX30系列和40系列GPU上運(yùn)行,從而使最便攜的WindowsPC設(shè)備也能獲得快速、準(zhǔn)確的本地運(yùn)行LLM功能。
?
TensorRT-LLM v0.6.0 帶來(lái)至高達(dá)5倍推理性能提升
?
新發(fā)布的TensorRT-LLM可在/NVIDIA/TensorRT-LLM GitHub代碼庫(kù)中下載安裝,新調(diào)優(yōu)的模型將在ngc.nvidia.com提供。
從容對(duì)話
世界各地的開發(fā)者和愛(ài)好者將OpenAI的聊天API廣泛用于各種應(yīng)用——從總結(jié)網(wǎng)頁(yè)內(nèi)容、起草文件和電子郵件,到分析和可視化數(shù)據(jù)以及創(chuàng)建演示文稿。
這類基于云的AI面臨的一大挑戰(zhàn)是它們需要用戶上傳輸入數(shù)據(jù),因此對(duì)于私人或?qū)Ｓ袛?shù)據(jù)以及處理大型數(shù)據(jù)集來(lái)說(shuō)并不實(shí)用。
為應(yīng)對(duì)這一挑戰(zhàn),NVIDIA即將啟用TensorRT-LLM for Windows,通過(guò)全新封裝接口提供與OpenAI廣受歡迎的ChatAPI類似的API接口,為開發(fā)者帶來(lái)類似的工作流,無(wú)論他們?cè)O(shè)計(jì)的模型和應(yīng)用要在RTXPC的本地運(yùn)行,還是在云端運(yùn)行。只需修改一兩行代碼,數(shù)百個(gè)AI驅(qū)動(dòng)的開發(fā)者項(xiàng)目和應(yīng)用現(xiàn)在就能從快速的本地AI中受益。用戶可將數(shù)據(jù)保存在PC上,不必?fù)?dān)心將數(shù)據(jù)上傳到云端。
?
使用由 TensorRT-LLM 驅(qū)動(dòng)的 Microsoft VS Code 插件 Continue.dev 編碼助手
?
此外,最重要的一點(diǎn)是這些項(xiàng)目和應(yīng)用中有很多都是開源的,開發(fā)者可以輕松利用和擴(kuò)展它們的功能,從而加速生成式AI在RTX驅(qū)動(dòng)的WindowsPC上的應(yīng)用。
該封裝接口可與所有對(duì)TensorRT-LLM進(jìn)行優(yōu)化的LLM(如,Llama2、Mistral和NVLLM)配合使用,并作為參考項(xiàng)目在GitHub上發(fā)布,同時(shí)發(fā)布的還有用于在RTX上使用LLM的其他開發(fā)者資源。
模型加速
開發(fā)者現(xiàn)可利用尖端的AI模型,并通過(guò)跨供應(yīng)商API進(jìn)行部署。NVIDIA和微軟一直致力于增強(qiáng)開發(fā)者能力,通過(guò)DirectMLAPI在RTX上加速Llama。
在10月宣布的為這些模型提供最快推理性能的基礎(chǔ)上,這一跨供應(yīng)商部署的全新選項(xiàng)使將AI引入PC變得前所未有的簡(jiǎn)單。
開發(fā)者和愛(ài)好者可下載最新的ONNX運(yùn)行時(shí)并按微軟的安裝說(shuō)明進(jìn)行操作,同時(shí)安裝最新NVIDIA驅(qū)動(dòng)(將于11月21日發(fā)布)以獲得最新優(yōu)化體驗(yàn)。
這些新優(yōu)化、模型和資源將加速AI功能和應(yīng)用在全球1億臺(tái)RTXPC上的開發(fā)和部署,一并加入400多個(gè)合作伙伴的行列,他們已經(jīng)發(fā)布了由RTXGPU加速的AI驅(qū)動(dòng)的應(yīng)用和游戲。
隨著模型易用性的提高,以及開發(fā)者將更多生成式AI功能帶到RTX驅(qū)動(dòng)的WindowsPC上,RTXGPU將成為用戶利用這一強(qiáng)大技術(shù)的關(guān)鍵。
?
關(guān)于NVIDIA
自1993年成立以來(lái),NVIDIA (NASDAQ: NVDA) 一直是加速計(jì)算領(lǐng)域的先驅(qū)。NVIDIA 1999年發(fā)明的GPU驅(qū)動(dòng)了PC游戲市場(chǎng)的增長(zhǎng),并重新定義了現(xiàn)代計(jì)算機(jī)圖形,開啟了現(xiàn)代AI時(shí)代,正在推動(dòng)跨市場(chǎng)的工業(yè)數(shù)字化。NVIDIA現(xiàn)在是一家全棧計(jì)算公司,其數(shù)據(jù)中心規(guī)模的解決方案正在重塑整個(gè)行業(yè)。更多信息,請(qǐng)?jiān)L問(wèn)https://nvidianews.nvidia.com/ 。
# # #
媒體咨詢:
Jade Li
NVIDIA GeForce, Studio PR
郵箱:jadli@nvidia.com
