新聞資訊
了解金山云最新資訊
2025-03-10 10:00:00
金山云已完成對(duì)階躍星辰最新開(kāi)源的兩款多模態(tài)大模型的適配，包括全球參數(shù)量最大的開(kāi)源視頻生成模型Step-Video-T2V，以及業(yè)界首款產(chǎn)品級(jí)開(kāi)源語(yǔ)音交互模型Step-Audio。目前，用戶(hù)可登錄金山云官方網(wǎng)站進(jìn)行體驗(yàn)。
*登錄金山云賬號(hào)控制臺(tái)選擇裸金屬服務(wù)器-新建實(shí)例
Step-Video-T2V 模型
金山云針對(duì)Step-Video-T2V模型，為用戶(hù)提供強(qiáng)大的算力支持和穩(wěn)定的運(yùn)行環(huán)境讓模型性能得以充分釋放，帶來(lái)流暢的視頻生成體驗(yàn)。
據(jù)悉，Step-Video-T2V模型的參數(shù)達(dá)300億，可直接生成204 幀、540P 分辨率的高質(zhì)量視頻。評(píng)測(cè)結(jié)果顯示，該模型在指令遵循、運(yùn)動(dòng)平滑性、物理合理性、美感度等方面的表現(xiàn)均顯著超過(guò)市面上既有的效果絕佳的開(kāi)源視頻生成模型。
*圖為Step-Video-T2V-Eval評(píng)測(cè)結(jié)果
階躍星辰官方提供了多卡并行部署的支持，其中文本編碼器和VAE部分由獨(dú)立的進(jìn)程維護(hù)，DiT部分可以選擇4卡并行或8卡并行，每張卡需要至少80G顯存。如果要在單臺(tái)機(jī)器上運(yùn)行，推薦使用5個(gè)80G顯存的GPU。
模型部署
在部署方面，金山云已預(yù)裝好ubuntu22.04-Step-Video-T2V模型和依賴(lài)環(huán)境的鏡像。在多卡并行部署時(shí)，金山云的云計(jì)算環(huán)境可精準(zhǔn)協(xié)調(diào)各卡資源，保障文本編碼器、VAE 和 DiT 等部分協(xié)同工作，大幅提升視頻生成效率。
*金山云裸金屬服務(wù)器控制臺(tái)創(chuàng)建流程，選擇內(nèi)置Step-Video-T2V的自定義鏡像創(chuàng)建,創(chuàng)建完成即可啟動(dòng)模型并使用
運(yùn)行測(cè)試
登錄服務(wù)器進(jìn)入Step-Video-T2V-main目錄啟動(dòng)服務(wù)
cd Step-Video-T2V-main
python3 api/call_remote_server.py--model_dir /models/stepvideo-t2v
出現(xiàn)如下提示后服務(wù)啟動(dòng)成功
* Running on all addresses (0.0.0.0)
* Running on http://127.0.0.1:8080
Step-Audio模型
金山云同時(shí)完成了實(shí)時(shí)語(yǔ)音對(duì)話系統(tǒng)Step-Audio模型的適配工作。金山云將借助先進(jìn)的云計(jì)算技術(shù)，降低模型響應(yīng)延遲，讓用戶(hù)與模型的對(duì)話更加自然流暢。在實(shí)際應(yīng)用中，無(wú)論是實(shí)時(shí)語(yǔ)音聊天，還是語(yǔ)音指令控制，金山云都能確保 Step-Audio 模型快速準(zhǔn)確地響應(yīng)，為用戶(hù)提供優(yōu)質(zhì)的語(yǔ)音交互服務(wù)。
Step-Audio作為業(yè)內(nèi)創(chuàng)新性的開(kāi)源語(yǔ)音模型，能夠根據(jù)不同的場(chǎng)景需求生成情緒、方言、語(yǔ)種、歌聲和個(gè)性化風(fēng)格的表達(dá)，并且能和用戶(hù)自然地進(jìn)行高質(zhì)量對(duì)話。根據(jù) LlaMA Question等五大主流公開(kāi)測(cè)試，Step-Audio 模型性能均位列第一，并在HSK-6（漢語(yǔ)水平考試六級(jí)）評(píng)測(cè)中表現(xiàn)突出，是最懂中國(guó)話的開(kāi)源語(yǔ)音交互大模型。
*圖為5大主流公開(kāi)評(píng)測(cè)結(jié)果
模型部署
在部署方面，金山云已預(yù)裝好ubuntu22.04-Step-Audio模型和依賴(lài)環(huán)境的鏡像。
*金山云裸金屬服務(wù)器控制臺(tái)創(chuàng)建流程，選擇內(nèi)置Step-Audio的自定義鏡像創(chuàng)建，創(chuàng)建完成即可啟動(dòng)模型并使用
運(yùn)行測(cè)試
登錄服務(wù)器進(jìn)入Step-Audio-main目錄啟動(dòng)服務(wù)
cd Step-Audio-main
python3 tts_inference.py--
model-path/models/Step-Audio/model--output-path/root/Step-Audio-output--synthesis-type tts
在人工智能高速發(fā)展的當(dāng)下，秉承技術(shù)立業(yè)的金山云將始終與前沿技術(shù)同頻，繼續(xù)攜手生態(tài)合作伙伴為前沿技術(shù)的落地轉(zhuǎn)化提供助力。