圖片說明 (a)3D掃描戶外實體雕塑 (b)虛擬互動展示系統裝置 (c)體驗互動

本學系孫士韋老師指導碩士班曾美瑗同學之「基於三維光學雷達 3D LiDAR 掃瞄實體雕塑的美術館浮空投影互動顯示系統」展示論文獲得2024 IEEE AIxVR 國際人工智慧延展實境學術研討會接受，於2024年1月前往美國洛杉磯發表。

發表學生

曾美瑗

指導教授

孫士韋教授

論文題目

光學雷達 3D LiDAR 掃瞄實體雕塑的美術館浮空投影互動顯示系統
Holo-Museum: An Interactive Holographic Display System Based on 3D Scanning by a LiDAR for a Solid Art Sculpture

主辦單位

2024 IEEE AIxVR 國際人工智慧延展實境學術研討會

2024 IEEE International Conference on Artificial Intelligence and eXtended and Virtual Reality (AIXVR)

發表地點

美國加州洛杉磯 南加州大學創新技術研究所(ICT)

國際論壇網站(參考)：https://aivr.science.uu.nl/

投稿的研討會網站(參考)：http://colors.ise.ibaraki.ac.jp/AIxVR2024/

國際論壇介紹：

IEEE AiXVR，在過去是AIVR，第一屆始於2018年，直至2022年為止都於12月舉辦。

2023年因名稱和舉辦時間的異動而跳過並延至2024年1月舉辦，該國際論壇主要面向AI以及AR、VR和MR各領域的演講及論文，並展示最先進的技術。

2024年實體會議是辦在美國加州洛杉磯的南加州大學創意技術研究所(ICT)，其中的研討會會議有三個主題，分別是運動遊戲、博物館及醫療保健。

該篇論文遞交的主題是博物館的XR技術。

論文網址：https://ieeexplore.ieee.org/document/10445565

論文影片：https://youtu.be/MBYCsxA6_G4?si=7JQtja82yjmRtVfJ

摘要：

(中)大多數實體藝術雕塑並不容易被移動和展示到不同博物館的不同地方。 在本文中，我們提出了一種用於博物館的虛擬互動展示系統。 基於 LiDAR 對實體藝術雕塑進行 3D 掃描，捕獲的 3D 點雲、網格和渲染的 3D 資訊用於在所提出的浮空投影顯示設備中展示。 此外，辨識的手勢允許使用者在室內博物館環境中以虛擬方式互動瀏覽實體藝術雕塑。

(英)Most of the solid art sculptures are not easy to be moved and demonstrated to different places in different museums. In this paper, we propose a holographic display system to be used in museums. Based on 3D scanning for a solid art sculpture from a LiDAR, the captured 3D point clouds, meshes, and rendered 3D information are used to be displayed in the proposed holographic display device. In addition, the recognized hand gestures allow users to interactively browse the solid art sculpture in a virtual way from an indoor museum environment.

技術介紹：

首先我們尋找到可拍攝的戶外雕塑，拿著有LiDAR感測器的ipad對雕塑進行多角度拍攝，獲取3D點雲進行運算後輸出模型，其3D點雲的深度資訊從LiDAR獲得，而顏色則是從相機上取得。

將輸出好的模型應用在該系統上，該系統的裝置主要使用浮空投影中的全息金字塔裝置，由一台螢幕及3-4片可以投射出影像的透明材質，如賽璐璐片、壓克力板、玻璃等，螢幕需連接一台有相機及電腦。

實際操作體驗時，使用者會站在裝置右側的電腦前進行手勢互動，相機會偵測手部節點及骨架辨識該使用哪種互動，可使虛擬雕塑進行放大縮小等動作。