斯坦福大學的一個科研項目——Salsify已經(jīng)可以為實時通信應用（比如電話會議）提供更好的視頻傳輸方式。
他們沒有創(chuàng)建新的視頻格式，而是創(chuàng)建了一種用于實時視頻系統(tǒng)的新架構。Salsify并沒有使用現(xiàn)有的兩個獨立控制環(huán)路的方式（其中一個用于傳輸，另一個用于視頻編解碼器），而是將他們連接成一個統(tǒng)一的控制環(huán)路來共同管理傳輸和視頻編解碼器。
視頻編碼器目前就像一個黑盒子——編/解碼功能將視頻轉(zhuǎn)化成適合傳輸?shù)拇笮�，之后用傳輸協(xié)議進行視頻的分發(fā)。Salsify項目使得整個系統(tǒng)對可用帶寬的變化響應更加快速。從理論上講，Salsify會帶來更好的整體體驗。
當前的傳輸方式
目前的視頻傳輸框架，視頻編解碼器和傳輸協(xié)議各自獨立運行，導致視頻流對于網(wǎng)絡來說可能太大或太小。斯坦福博士候選人和Salsify項目成員Sadjad Fouladi希望所交付的視頻適合網(wǎng)絡狀況，從而減少故障和連接丟失，并減少緩存。
他們創(chuàng)建了一個實時視頻系統(tǒng)，能夠快速響應不斷變化的網(wǎng)絡狀況并避免擁塞和故障。Salsify會根據(jù)當前網(wǎng)絡容量的估算值來提供在這種情況下可以交付的視頻幀。
他們的研究項目與FaceTime，Google Hangouts，Skype和WebRTC在谷歌瀏覽器中的參考實現(xiàn)相比，無論是否支持可伸縮視頻編碼（SVC），都能實現(xiàn)更低的視頻延遲和更好的視頻質(zhì)量。對于視頻會議，遠程醫(yī)療或其他對視頻傳輸延遲比較敏感的實時通信而言，低延遲比實時流式傳輸更為重要。
Fouladi說，“很多人在視頻會議中遇到過連接不暢以及視頻質(zhì)量較差的情況，我們認為問題不在于編解碼器，也不在于傳輸，而在于這些組件的集成方式。但是這些系統(tǒng)的整體性能并沒有得到太大的提升，所以我們認為現(xiàn)在應該為整個系統(tǒng)建立新的架構，而不是改進單個組件。”
低延遲
Fouladi說，在諸如Skype的產(chǎn)品或WebRTC的協(xié)議中，傳輸協(xié)議不能很好地控制流。即使現(xiàn)在由于連接不通或網(wǎng)絡擁塞不適合發(fā)送數(shù)據(jù)，傳輸協(xié)議仍然需要發(fā)送已經(jīng)編碼的幀。
目前的傳輸協(xié)議對傳送給視頻編解碼器的網(wǎng)絡速度有一定的估計。單幀的輸出大小通常低于或超過估計的網(wǎng)絡速度。如果該幀太大或太小，則會通過調(diào)整下一幀進行補償。
在大約十到二十幀的過程中，它達到了平均網(wǎng)絡速度。所以雖然理論上自糾正機制可行，但實際上一個比較大的幀仍然會導致?lián)砣蛠G包，這將導致流延遲。此外，僅在平均水平上達到一定碼率會使系統(tǒng)對網(wǎng)絡變化反應遲鈍。
底層
Salsify只關注下一幀的大小，而不是像之前編解碼器那樣根據(jù)平均比特率來進行編碼。它的目標是確保沒有任何視頻幀會導致網(wǎng)絡中的丟幀和擁塞。Salsify不是預估編碼參數(shù)，而是為每個視頻幀編碼兩個質(zhì)量略有不同的版本，然后選擇適合網(wǎng)絡條件的版本并隨時進行調(diào)整。“通過這種方式，傳輸過程可以對視頻進行逐幀控制，并且可以更快地響應不斷變化的網(wǎng)絡條件。”Fouladi說。
Salsify的功能性視頻編解碼器為視頻編解碼器提供了一個保存/恢復狀態(tài)的接口，使其能夠更加方便地執(zhí)行不同的參數(shù)配置，從而為傳輸提供了一個選項菜單。在傳統(tǒng)的編解碼器中，如果一幀被編碼，它就成為了視頻流的一部分，并且必須被發(fā)送，而在Salsify的編解碼器中，該幀可以被丟棄并且舊狀態(tài)可以恢復。
“所以在這種情況下，如果網(wǎng)絡出現(xiàn)故障或者發(fā)生了非常糟糕的狀況，那么即便編解碼器已經(jīng)編碼出可用幀，傳輸端都可以停止發(fā)送，以避免造成更嚴重的擁塞”，F(xiàn)ouladi說。與FaceTime，Hangouts，Skype和WebRTC相比，該項目使用該團隊自主研發(fā)的VP8編解碼器，平均可以帶來4.6倍p95-delay的降低，以及2.1 dB SSIM的提升，并且有更高的主觀質(zhì)量。
Fouladi說，“現(xiàn)在我們可以訪問黑盒子的內(nèi)部，而且可以設計更復雜的系統(tǒng)，可以做更多的事情。我認為這個項目的目標之一是展示具有這個接口的好處，并說服編解碼器設計者和實現(xiàn)者在未來的編解碼器中包含該接口。”
Salsify開源編解碼器僅限視頻（無音頻）。該項目是基于軟件的編解碼器，而且為每一幀編碼兩個版本會明顯增大計算開銷。為了在硬件上實現(xiàn)，他們將有與AV1一樣漫長的道路要走，因此為了Salsify的實際應用，需要有更加創(chuàng)造性的思維。雖然他們面臨很多挑戰(zhàn)，但Salsify團隊已經(jīng)制定了一種方法來解決長期存在的問題。
LiveVideoStackCon 2018講師招募
LiveVideoStackCon 2018是音視頻技術領域的綜合技術大會，今年是在10月19-20日在北京舉行。大會共設立16個專題，預計邀請超過80位技術專家。如果你在某一領域獨當一面，歡迎申請成為LiveVideoStackCon 2018的講師，讓你的經(jīng)驗幫到更多人，你可以通過speaker@livevideostack.com 提交演講信息。了解大會更多詳情，請點擊『閱讀原文』訪問LiveVideoStackCon 2018官網(wǎng)，即刻享受6折優(yōu)惠。
