項目名稱
| 高沉浸式虛擬現實交互感知關鍵技術與應用 |
主要完成單位 | 廣東工業大學 |
廣州幻境科技有限公司 |
廣州卓遠虛擬現實科技有限公司 |
廣州創顯科教股份有限公司 |
廣州炫智電子科技有限公司 |
杭州電子科技大學 |
主要完成人 （職稱、完成單位、工作單位） | 1. 魯仁全 職稱：教授 工作單位：廣東工業大學 完成單位：廣東工業大學 主要貢獻：項目的設計與組織者。對技術創新點1、2、3皆有重要貢獻。提出了針對非線性系統的濾波方法、基于多傳感器的分布式傳感與融合方法、有限時間與協同控制方法，降低了動作捕捉與手勢識別的檢測誤差，提高了虛擬現實平臺多機構協同控制能力，解決了虛擬現實動感平臺動作生硬的難題。是知識產權1的第一發明人；代表性論文1第一作者，代表性論文3、4、5、6的通訊作者，代表性論文2、7的合作作者。 |
2. 陳曦 職稱：教授級高級工程師 工作單位：廣州幻境科技有限公司 完成單位：廣州幻境科技有限公司 主要貢獻：是項目的主要參與人。對項目技術創新點1有主要貢獻。研發了用于虛擬現實環境的動作捕捉系統，提高了動作捕捉的精度。同時，在項目研發統籌管理、項目進度推進、產學研資源協調方面做出重要貢獻。是知識產權7、8的發明人。 |
3. 陽序運 職稱：無 工作單位：廣州卓遠虛擬現實科技有限公司 完成單位：廣州卓遠虛擬現實科技有限公司 主要貢獻：是項目的主要參與人。對項目技術創新點3有主要貢獻。研發了一種高自由度的擺臂機構，大幅提升了虛擬現實動感平臺的運動幅度和響應速度。同時對多自由度高動態快速響應動感平臺的產業化示范應用具有重要貢獻。是知識產權9的發明人。 |
4. 張瑜 職稱：助理實驗師 工作單位：廣州創顯科教股份有限公司 完成單位：廣州創顯科教股份有限公司 主要貢獻：是項目的主要參與人。對項目技術創新點2有主要貢獻。提出了一種基于多通道的大屏顯示方法，提升了多模態感官數據的可視化展示效果。同時對多模態沉浸式交互感知技術的產業化示范應用具有重要貢獻。是知識產權3的發明人。 |
5. 徐雍 職稱：副教授 工作單位：廣東工業大學 完成單位：廣東工業大學 主要貢獻：是項目的主要參與人。對項目技術創新點1、3有重要貢獻。共同提出了針對非線性系統的濾波方法、基于多傳感器的分布式傳感與融合方法，降低了動作捕捉與手勢識別的檢測誤差，解決了虛擬現實動感平臺動作生硬的難題。是代表性論文2、3第一作者，代表性論文1、2的通訊作者，代表性論文4、5的合作作者。 |
6. 劉義 職稱：教授 工作單位：廣東工業大學 完成單位：廣東工業大學 主要貢獻：是項目的主要參與人。對項目技術創新點3有重要貢獻。提出了基于能量采集的高效介質訪問控制協議解決了內容與動作響應時間長的問題，使體驗內容與動感平臺動作精準匹配。是代表性論文10的第一作者。 |
7. 張皓 職稱：無 工作單位：廣州創顯科教股份有限公司 完成單位：廣州創顯科教股份有限公司 主要貢獻：是項目的重要參與人。對項目技術創新點2有重要貢獻。提出紅外觸摸屏多點觸控識別方法實現多源數據在一體機上的可視化動態展示。是知識產權4的發明人。 |
8. 周豎成 職稱：無 工作單位：廣州創顯科教股份有限公司 完成單位：廣州炫智電子科技有限公司 主要貢獻：是項目的重要參與人。對項目技術創新點2多模態沉浸式交互感知技術的研發及產業化示范應用具有重要貢獻。 |
9. 秦華軍 職稱：工程師 工作單位：廣州卓遠虛擬現實科技有限公司 完成單位：廣州卓遠虛擬現實科技有限公司 主要貢獻：是項目的重要參與人。對項目技術創新點3有重要貢獻。研發VR設備仿真體感系統，解決虛擬現實平臺設備動作生硬問題。是知識產權10的發明人。 |
10. 黃昌正 職稱：助理工程師 工作單位：廣州幻境科技有限公司 完成單位：廣州幻境科技有限公司 主要貢獻：是項目的重要參與人。對項目技術創新點1有重要貢獻。共同研發了用于虛擬現實環境的動作捕捉系統，提高了動作捕捉的精度。是知識產權7、8的發明人。 |
11. 楊超 職稱：副教授 工作單位：廣東工業大學 完成單位：廣東工業大學 主要貢獻：是項目的重要參與人。對項目技術創新點2有重要貢獻。提出了多信道認知無線網絡的廣義訪問策略，提高虛擬現實平臺各個機構的協同能力。是代表性論文8的第一作者。 |
12. 周言明 職稱：助理工程師 工作單位：廣州幻境科技有限公司 完成單位：廣州幻境科技有限公司 主要貢獻：是項目的重要參與人。對項目技術創新點1有重要貢獻。共同研發了用于虛擬現實環境的動作捕捉系統，提高了動作捕捉的精度。是知識產權7、8的發明人。 |
13. 陳云 職稱：教授 工作單位：杭州電子科技大學 完成單位：杭州電子科技大學 主要貢獻：是項目的重要參與人。對項目技術創新點3有重要貢獻。提出了針對切換隨機系統的有限時間控制方法，提高虛擬現實動感平臺不同模式間切換的流暢度。是代表性論文7的第一作者。 |
14. 麥勇 職稱：無 工作單位：廣州創顯科教股份有限公司 完成單位：廣州炫智電子科技有限公司 主要貢獻：是項目的重要參與人。對項目技術創新點2多模態沉浸式交互感知技術的研發及產業化示范應用具有重要貢獻。 |
15. 肖明 職稱：教授 工作單位：廣東工業大學 完成單位：廣東工業大學 主要貢獻：是項目的重要參與人。對項目技術創新點2有重要貢獻。提出了基于欠定BSS的雙通道延時語音降噪，提高了虛擬現實平臺對語音模態識別的能力。是代表性論文9的通訊作者。 |
項目簡介 | 項目面向虛擬現實應用中對高沉浸式交互感知的需求，以克服感知交互不自然、實時性差，體驗不真實等共性問題為目標，綜合控制、信息、計算機、機械等學科的理論與技術，研發了高沉浸式虛擬現實交互感知關鍵技術，并形成了多個面向不同行業具體應用場景的虛擬現實系統與設備。針對虛擬現實設備對人體和手部的復雜精細運動難以捕捉與識別的難題，研發虛擬現實高精度自然人機交互與識別技術，形成具有觸力覺反饋的穿戴式自然人機交互和全身動作捕捉產品，實現用戶在虛擬實驗環境中人機交互的自然化；針對多感官體驗信息難以融合的難題，研發多模態沉浸式交互感知技術，形成多模態沉浸式感知交互終端產品，實現多種感官模態全方位的沉浸式虛擬環境體驗；針對虛擬內容與現實動作響應速度響應慢的難題，提出多自由度高動態快速響應動感平臺技術，研發形成了動作幅度大的多自由度高動態快速響應動感平臺，實現了虛擬現實動感仿真的真實體驗。 基于以上成果，項目相關技術共授權發明專利9件，實用新型專利7件，軟件著作權14項，發表SCI論文13篇。 基于項目成果研發的虛擬現實設備已在廣州幻境科技有限公司、廣州卓遠虛擬現實科技有限公司、廣州創顯科教股份有限公司等企業推廣生產。相關產品大量銷往科學中心、圖書館、消防局、學校、風景區、體驗店等海內外3500多家單位。憑借技術產品先進的沉浸式虛擬現實感知交互技術和良好的產品品質等優點，得到廣大客戶的信任和支持，產品不僅在國內廣泛銷售，也在海外市場獲得可觀的收益。自項目技術實施以來，依據對廣州幻境科技有限公司、廣州卓遠虛擬現實科技有限公司、廣州創顯科教股份有限公司、廣州炫智電子科技有限公司等4家企業的統計，相關技術成果的應用已為企業創造了顯著的經濟效益，近三年完成單位新增銷售額13.4770億人民幣， 應用情況和經濟效益的具體情況見應用證明。 |
代表性論文 專著目錄 | 論文1：Lu R, Liu S, Peng H, Xu Y*, Xie K, “Non-fragile filtering for fuzzy stochastic systems over fading channel”, Neurocomputing, vol. 174, pp. 553-559, 2016. |
論文2：Xu Y*, Lu R, Peng H, Chen Jian, “Passive filter design for periodic stochastic systems with quantized measurements and randomly occurring nonlinearities”, Journal of the Franklin Institute, vol. 353, no. 1, pp. 144-159, 2016. |
論文3：Xu Y, Lu R*, Tao J, Peng H, Xie K, “Nonfragile l2-l∞ state estimation for discrete-time neural networks with jumping saturations”, Neurocomputing, vol. 207, pp. 15-21, 2016. |
論文4：Yao D, Lu R*, Xu Y, Wang L, “Robust H∞ filtering for markov jump systems with mode-dependent quantized output and partly unknown transition probabilities”, Signal Processing, vol. 137, pp. 328-338, 2017. |
論文5：Li J, Lu R*, Xu Y, Peng H, Rao H, ‘‘Distributed state estimation for periodic systems with sensor nonlinearities and successive packet dropouts’’, Neurocomputing, vol. 237, pp. 50-58, 2017. |
論文6：Wu Y, Lu R*, “Event-Based control for network systems via Integral quadratic constraints.” IEEE Transactions on Circuits and Systems I: Regular Papers, vol. 65, no. 4, pp. 1386-1394, 2017. |
論文7：Chen Y, Liu Q, Lu R, Xue A*, “Finite-time control of switched stochastic delayed systems”, Neurocomputing, vol. 191, pp. 374-379, 2016. |
論文8：Yang C, Lou W, Fu Y, Xie S*,Yu R, “On throughput maximization in multi-channel cognitive radio networks via generalized access strategy”. IEEE Transactions on Communications, pp. 1384-1398, 2016:1-1. |
論文9：Li K, Sun G, Xiao M *, “Dual channel delay speech denoising based on underdetermined BSS”. International Conference on Mechatronics & Control, pp. 689-692, 2015. |
論文10：Liu Y, Yang Z*, Yu R, Xiang Y, Xie S, “An efficient MAC protocol with adaptive energy harvesting for machine-to-machine networks”. IEEE Access, pp. 358-367, 2015. |
知識產權名稱 | 專利1：<一種高精度帶隔離的I/V變換電路>（CN102064819B） |
專利2：<一種數據手套動態手語識別方法>（CN102193633B） |
專利3：<一種基于多通道輸入大屏顯示的方法及系統>（CN104284099B） |
專利4：<基于紅外觸摸屏多點觸控識別的方法及系統>（CN103345339B） |
專利5：<視頻信號識別電路>（CN104796628B） |
專利6：<一體機的多媒體文件自動歸類方法及系統>（CN104731983B） |
專利7：<一種用于虛擬現實環境的具有定位功能的動作捕捉系統>（CN206224385U） |
專利8：<一種用于虛擬現實環境的動作捕捉系統>（CN206162395U） |
專利9：<一種高自由度擺臂機構>（CN205375159U） |
專利10：<一種用于VR游戲設備的仿真體感游戲系統>（CN206631182U） |
推廣應用情況 | 技術成果“高沉浸式虛擬現實交互感知關鍵技術與應用”已在廣州幻境科技有限公司、廣州卓遠虛擬現實科技有限公司、廣州創顯科教股份有限公司、廣州炫智電子科技有限公司應用推廣。相關產品大量銷往科學中心、圖書館、消防局、學校、風景區、體驗店等海內外 3500 多家單位。 憑借技術產品先進的沉浸式虛擬現實感知交互技術和良好的產品品質等優點，得到廣大客戶的信任和支持，產品不僅在國內廣泛銷售，也在海外市場獲得可觀的收益。自項目技術實施以來，依據對廣州幻境科技有限公司、廣州卓遠虛擬現實科技有限公司、廣州創顯科教股份有限公司、廣州炫智電子科技有限公司等 4 家企業的統計，相關技術成果的應用已為企業創造了顯著的經濟效益，近三年完成單位新增銷售額 13.4770 億人民幣， 應用情況和經濟效益的具體情況見應用證明。 |
粵ICP備