以下為演講精華摘錄:
首先,龔宇華簡要分析了 AR 與 VR 的差別是什么,“VR 是將人置身于一個完全虛擬的場景中,它發(fā)展到極致就會像《黑客帝國》一樣,你所看到的一切都是虛擬的;AR 則是在現(xiàn)實場景中增加虛擬元素,讓兩者結(jié)合,就像《鋼鐵俠》電影中的頭盔一樣,在可以查看周圍環(huán)境的同時,顯示虛擬元素”。不只是在電影中,現(xiàn)實中也有很多AR的應用案例,比如曾火爆一時的游戲 Pocketmon go。
ARKit 如何實現(xiàn) AR 場景?
在演講中,龔宇華為大家演示了如何實現(xiàn)一個 AR 視頻會議場景,實現(xiàn)效果會與我們在電影《王牌特工》中所看到的場景類似,特工戴上眼鏡之后,世界另一端的特工的虛擬形象就與他坐在同一張桌旁。
“就像我們說把大象放進冰箱里三步驟,我們要打開冰箱,把大象放進去,關(guān)上冰箱。那我們實現(xiàn) AR 的虛擬會議室也是分三步驟,就是實現(xiàn) AR、實現(xiàn)視頻會議,然后把它兩個結(jié)合起來。”龔宇華表示。
目前,蘋果和 Google 分別推出了 ARKit 和 ARCore,為我們在移動端實現(xiàn) AR 場景降低了門檻。實現(xiàn)AR的原理是怎樣的呢?我們以 ARKit為例,來看下它是如何工作的。如剛剛所說,AR 就是在實際環(huán)境中植入虛擬元素,那么首先要識別出周圍環(huán)境,也就是通過 iPhone 的攝像頭來實現(xiàn)。在手機加速計、陀螺儀的幫助下,ARKit 可以識別3D 的環(huán)境并判斷手機在環(huán)境中的姿態(tài)。
通過以上實現(xiàn)過程,我們很容易理解 ARKit 的限制,比如:
- 光線差:沒有足夠的光或光線過強的鏡面反光。嘗試避免這些光線差的環(huán)境。
- 缺少紋理:如果攝像頭指向一面白墻,那也沒法獲得特征,ARKit 也去無法找到并追蹤用戶。嘗試避免看向純色、反光表面等地方。
- 快速移動:通常情況下檢測和估算 3D 姿態(tài)只會借助圖片,如果攝像頭移動太快圖片就會糊,從而導致追蹤失敗。但 ARKit 會利用視覺慣性里程計,綜合圖片信息和設(shè)備運動傳感器來估計用戶轉(zhuǎn)向的位置。因此 ARKit 在追蹤方面非常強大。
在完成環(huán)境識別之后,還需要渲染,通常我們會想到使用 OpenGL 或 Metal 渲染,但是它們的開發(fā)成本比較高,所以蘋果想了一辦法,就是通過 SceneKit 進行渲染。
我們可以通過以下幾行代碼實現(xiàn) AR,也就是“將大象關(guān)進冰箱”的第一步。
- @IBOutlet weak var sceneView: ARSCNView!
- override func viewDidAppear(_ animated: Bool) {
- super.viewDidAppear(animated)
- guard ARWorldTrackingConfiguration.isSupported else {
- return
- }
- let configuration = ARWorldTrackingConfiguration()
- configuration.planeDetection = .horizontal
- sceneView.session.run(configuration)
- }
實現(xiàn)視頻通話功能
我們可以通過聲網(wǎng)Agora SDK 來快速實現(xiàn)視頻通話。在這樣的視頻通話場景中,聲網(wǎng)Agora SDK 具備幾個優(yōu)勢:
- 低延時:聲網(wǎng)SDK 實時通訊網(wǎng)絡,可實現(xiàn)全球百毫秒級音視頻通話;
- 快速集成:開發(fā)者最快可在30分鐘內(nèi)完成集成;
- 全球化部署:支持全球200多個國家與地區(qū)。
在下載最新版聲網(wǎng)Agora SDK 后,將其添加到我們的 AR Demo 中。通過以下代碼,可以基于 Agora 實現(xiàn)視頻會議。
1// 初始化引擎
2let agoraKit = AgoraRtcEngineKit.sharedEngine(withAppId: myAppId,
3 delegate: self)
4// 設(shè)置為發(fā)送端
5agoraKit.setChannelProfile(.liveBroadcasting)
6agoraKit.setClientRole(.broadcaster)
7agoraKit.enableVideo()
8// 加入會議
9agoraKit.joinChannel(byToken: nil,
10 channelId: “QCon2018”,
11 info: nil,
12 uid: 0,
13 joinSuccess: nil)
將視頻通話融入AR場景
在完成視頻會議的搭建之后,我們還需要傳輸本地視頻與音頻。
1let videoSource = ARVideoSource()
2agoraKit.setVideoSource(videoSource)
1func session(_ session: ARSession, didUpdate frame: ARFrame) {
2 videoSource.sendBuffer(frame.capturedImage, timestamp: frame.timestamp)
3}
1agoraKit.enableExternalAudioSource(withSampleRate: 44100, channelsPerFrame: 1)
1func session(_ session: ARSession, didOutputAudioSampleBuffer audioSampleBuffer: CMSampleBuffer) {
2 agoraKit.pushExternalAudioFrameSampleBuffer(audioSampleBuffer)
3}
最后,當我們通過SDK獲得了其它用戶發(fā)來的音視頻數(shù)據(jù)后,我們還需要將其渲染到AR環(huán)境中,實現(xiàn)方式如下。
1class ARVideoRenderer : NSObject, AgoraVideoSinkProtocol {
2 var renderNode: SCNNode!
3 func bufferType() -> AgoraVideoBufferType { return .rawData }
4 func pixelFormat() -> AgoraVideoPixelFormat { return .I420 }
5 func renderRawData(_ rawData: UnsafeMutableRawPointer,
6 size: CGSize,
7 rotation: AgoraVideoRotation) {
8 let rgbTexture = createTexture(widthYUV: rawData, size: size, rotation: rotation)
9 renderNode.geometry?.firstMaterial?.diffuse.contents = rgbTexture
10 }
11 func shouldInitialize() -> Bool { return setupMetal() }
12 func shouldStart() { }
13 func shouldStop() { }
14 func shouldDispose() { }
15}
我們曾在之前《基于ARKit與Agora SDK實現(xiàn)AR視頻會議》文章中分享了詳細的實現(xiàn)步驟,大家也可以訪問「閱讀原文」查看源碼。
聲網(wǎng)Agora 有獎征文活動 正在進行中,只要在5月25日前分享你與聲網(wǎng)Agora SDK 相關(guān)的開發(fā)經(jīng)驗,即有機會獲得機械鍵盤、T恤等聲網(wǎng)定制獎品。報名與活動咨詢,關(guān)注微信公眾號后臺留言。點擊圖片了解更多活動詳情。