斯坦福大學的一個科研項目——Salsify已經可以為實時通信應用（比如電話會議）提供更好的視頻傳輸方式。
他們沒有創(chuàng)建新的視頻格式，而是創(chuàng)建了一種用于實時視頻系統(tǒng)的新架構。Salsify并沒有使用現有的兩個獨立控制環(huán)路的方式（其中一個用于傳輸，另一個用于視頻編解碼器），而是將他們連接成一個統(tǒng)一的控制環(huán)路來共同管理傳輸和視頻編解碼器。
視頻編碼器目前就像一個黑盒子——編/解碼功能將視頻轉化成適合傳輸的大小，之后用傳輸協議進行視頻的分發(fā)。Salsify項目使得整個系統(tǒng)對可用帶寬的變化響應更加快速。從理論上講，Salsify會帶來更好的整體體驗。
當前的傳輸方式
目前的視頻傳輸框架，視頻編解碼器和傳輸協議各自獨立運行，導致視頻流對于網絡來說可能太大或太小。斯坦福博士候選人和Salsify項目成員Sadjad Fouladi希望所交付的視頻適合網絡狀況，從而減少故障和連接丟失，并減少緩存。
他們創(chuàng)建了一個實時視頻系統(tǒng)，能夠快速響應不斷變化的網絡狀況并避免擁塞和故障。Salsify會根據當前網絡容量的估算值來提供在這種情況下可以交付的視頻幀。
他們的研究項目與FaceTime，Google Hangouts，Skype和WebRTC在谷歌瀏覽器中的參考實現相比，無論是否支持可伸縮視頻編碼（SVC），都能實現更低的視頻延遲和更好的視頻質量。對于視頻會議，遠程醫(yī)療或其他對視頻傳輸延遲比較敏感的實時通信而言，低延遲比實時流式傳輸更為重要。
Fouladi說，“很多人在視頻會議中遇到過連接不暢以及視頻質量較差的情況，我們認為問題不在于編解碼器，也不在于傳輸，而在于這些組件的集成方式。但是這些系統(tǒng)的整體性能并沒有得到太大的提升，所以我們認為現在應該為整個系統(tǒng)建立新的架構，而不是改進單個組件。”
低延遲
Fouladi說，在諸如Skype的產品或WebRTC的協議中，傳輸協議不能很好地控制流。即使現在由于連接不通或網絡擁塞不適合發(fā)送數據，傳輸協議仍然需要發(fā)送已經編碼的幀。
目前的傳輸協議對傳送給視頻編解碼器的網絡速度有一定的估計。單幀的輸出大小通常低于或超過估計的網絡速度。如果該幀太大或太小，則會通過調整下一幀進行補償。
在大約十到二十幀的過程中，它達到了平均網絡速度。所以雖然理論上自糾正機制可行，但實際上一個比較大的幀仍然會導致擁塞和丟包，這將導致流延遲。此外，僅在平均水平上達到一定碼率會使系統(tǒng)對網絡變化反應遲鈍。
底層
Salsify只關注下一幀的大小，而不是像之前編解碼器那樣根據平均比特率來進行編碼。它的目標是確保沒有任何視頻幀會導致網絡中的丟幀和擁塞。Salsify不是預估編碼參數，而是為每個視頻幀編碼兩個質量略有不同的版本，然后選擇適合網絡條件的版本并隨時進行調整。“通過這種方式，傳輸過程可以對視頻進行逐幀控制，并且可以更快地響應不斷變化的網絡條件。”Fouladi說。
Salsify的功能性視頻編解碼器為視頻編解碼器提供了一個保存/恢復狀態(tài)的接口，使其能夠更加方便地執(zhí)行不同的參數配置，從而為傳輸提供了一個選項菜單。在傳統(tǒng)的編解碼器中，如果一幀被編碼，它就成為了視頻流的一部分，并且必須被發(fā)送，而在Salsify的編解碼器中，該幀可以被丟棄并且舊狀態(tài)可以恢復。
“所以在這種情況下，如果網絡出現故障或者發(fā)生了非常糟糕的狀況，那么即便編解碼器已經編碼出可用幀，傳輸端都可以停止發(fā)送，以避免造成更嚴重的擁塞”，Fouladi說。與FaceTime，Hangouts，Skype和WebRTC相比，該項目使用該團隊自主研發(fā)的VP8編解碼器，平均可以帶來4.6倍p95-delay的降低，以及2.1 dB SSIM的提升，并且有更高的主觀質量。
Fouladi說，“現在我們可以訪問黑盒子的內部，而且可以設計更復雜的系統(tǒng)，可以做更多的事情。我認為這個項目的目標之一是展示具有這個接口的好處，并說服編解碼器設計者和實現者在未來的編解碼器中包含該接口。”
Salsify開源編解碼器僅限視頻（無音頻）。該項目是基于軟件的編解碼器，而且為每一幀編碼兩個版本會明顯增大計算開銷。為了在硬件上實現，他們將有與AV1一樣漫長的道路要走，因此為了Salsify的實際應用，需要有更加創(chuàng)造性的思維。雖然他們面臨很多挑戰(zhàn)，但Salsify團隊已經制定了一種方法來解決長期存在的問題。
LiveVideoStackCon 2018講師招募
LiveVideoStackCon 2018是音視頻技術領域的綜合技術大會，今年是在10月19-20日在北京舉行。大會共設立16個專題，預計邀請超過80位技術專家。如果你在某一領域獨當一面，歡迎申請成為LiveVideoStackCon 2018的講師，讓你的經驗幫到更多人，你可以通過speaker@livevideostack.com 提交演講信息。了解大會更多詳情，請點擊『閱讀原文』訪問LiveVideoStackCon 2018官網，即刻享受6折優(yōu)惠。
