剛看過新的iPhone X公告,前置攝像頭的感應和跟蹤技術是否向開發者開放?一個Snapchat面罩被全世界展示在舞臺上,不知道這是否是使用ARKit新iPhone X前置攝像頭深度和臉部跟蹤網格API
回答
是的,它對開發者開放。
如果你現在看ARKit docs page,你會發現它被分成世界跟蹤和人臉跟蹤部分(加上兩個共同點)。世界追蹤是在WWDC上宣佈的 - 通過背景照相機在您周圍世界的AR內容中「穿過」您的設備。
臉部追蹤AR特定於iPhone X和TrueDepth相機。正如您在這些文檔中看到的那樣,它使用ARFaceTrackingConfiguration
而不是其他配置類。它通過ARFaceAnchor
對象爲您提供實時信息。
在臉部錨文檔中,它看起來像有兩種方法來獲取臉部信息。 geometry
爲您提供了可以顯示的3D網格,或者用於將紋理映射到臉上 - 這大概是Snapchat演示用於在主題演示中製作摔跤蒙版的原因。 blendShapes
會給你一些動畫參數,比如下顎張開多遠,左眼是多麼眯眼(還有大約50種其他更微妙的東西)......他們談論使用它來給木偶或頭像設置動畫,所以這就是可能Animoji是如何工作的。
蘋果也發佈了a sample code project showing how to do all of these,所以你可以看看代碼,得到一個想法如何自己做。 (即使沒有iPhone X也無法運行代碼)。
下面是使用iPhone上的X的TrueDepth相機爲例:https://developer.apple.com/documentation/arkit/creating_face_based_ar_experiences
和一個全新的會話:Face Tracking with ARKit #601
創建基於臉部的AR體驗
使用iPhone X上的TrueDepth相機在用戶的臉部之後放置和製作3D內容並與其面部表情匹配。
此示例應用程序提供了一個簡單的界面,允許您使用TrueDepth前置攝像頭在設備上選擇四個增強現實(AR)可視化(請參閱iOS設備兼容性參考)。
- 單獨的攝像頭視圖,沒有任何AR內容。
- ARKit提供的人臉網格,可自動估算真實世界的定向照明環境。
- 虛擬3D內容似乎附加到(並被用戶的真實臉部的部分遮擋)。
- 一個簡單的機器人角色,其面部表情動畫以匹配用戶的面部表情。
==>檢查題爲「對用戶的面部將3D內容」爲你的第二個用例的部分。
- 1. Mac上的臉部跟蹤軟件(內置攝像頭)
- 2. 使用前置攝像頭拍攝時未檢測到臉部
- 3. 使用從視頻文件或網絡攝像頭的kinect臉部跟蹤
- 4. 攝像頭跟蹤算法
- 5. Android前置攝像頭API
- 6. Kinect SDK 1.5 - 臉部跟蹤:WPF色彩深度唯一跟蹤器
- 7. FaceDetector未檢測到帶有前置攝像頭的臉部
- 8. 使用前置攝像頭進行臉部對焦
- 9. Android攝像頭API 2自動對焦前置攝像頭
- 10. 禁用Unity中SteamVR攝像頭的頭部跟蹤?
- 11. iPhone前置攝像頭 - 輕點對焦?
- 12. iphone 4.0的前置攝像頭
- 13. 如何翻轉iphone前置攝像頭
- 14. 前臉Android攝像頭默認
- 15. 同時打開android前置攝像頭和後置攝像頭
- 16. 切換到前置攝像頭和後置攝像頭Android SurfaceView
- 17. 在後置攝像頭和前置攝像頭之間切換
- 18. 跟蹤攝像頭,OpenCV和Python的眼睛瞳孔位置
- 19. ARToolKit自定義攝像頭跟蹤區
- 20. C#攝像頭對象跟蹤
- 21. iPhone攝像頭API和縮放
- 22. iPhone網絡攝像頭Feed
- 23. 測試iPhone4上的前置攝像頭或後置攝像頭
- 24. iPhone - 使用AVCaptureSession和AVCaptureDevice使用前置或後置攝像頭
- 25. kinect unity3d臉部跟蹤
- 26. 使用Emgu.CV偵測臉部從網絡攝像頭(C#)
- 27. 來自iPhone 7 Plus雙攝像頭的深度圖
- 28. 使用網絡攝像頭進行燈光/色彩跟蹤
- 29. 使用網絡攝像頭進行顏色跟蹤
- 30. 使用網絡攝像頭跟蹤手勢