一种VRAR液压拆装实验教学系统的开发和实现

第

43

卷第

1

期2021

年

3

月南昌大学学报(工科版)Vol.43

No.1Journal

of

Nanchang

University(

Engineering

&

Technology)Mar.2021文章编号:1006-0456(2021)01-0079-06一种VR/AR液压拆装实验教学系统的开发和实现刘继忠，旷有涛，金颖,李祎,李道良(南昌大学机电工程学院，江西南昌330031)摘要:为解决液压传动拆装实验教学存在的设备少，实验教学成本高等问题，借助虚拟现实和增强现实技术，

基于Unity3D开发岀一套液压拆装实验系统，实现了沉浸式结构展示、交互拆装和知识考核等功能,达到了实际液

压拆装实验教学目的。基于Unity3D开发设计了

PC端VR系统和手机APP端AR系统，不仅借助沉浸式技术提升

了学生学习兴趣,节约了实验教学成本，还具有易用性和广泛推广性,并为高校新型实验教学模式提供了参考。关键词:液压传动;拆装实验;虚拟现实;增强现实;Unity3D中图分类号：G642

文献标志码:ADevelopment

and

realization

of

a

novel

VR/AR

disassembly

and

assembly

experiment

teaching

system

of

hydraulicLIU

Jizhong,KUANG

Youtao,JIN

Ying,LI

Yi,LI

Daoliang(

School

of

Mechatronics

Engineering，Nanchang

University，Nanchang

330031，China)Abstract:Aiming

at

the

problem

of

less

equipment

and

high

cost

in

disassembly

and

assembly

experiment

teaching

of

hydraulic

transmission，a

novel

experimental

system

of

hydraulic

transmission

is

developed

based

on

Uni­ty3d

with

the

help

of

virtual

reality

(

VR)

and

augmented

reality

(

AR)

ion

component

structure

display

,

interactive

disassembly

and

assembly

experiment,

knowledge

assessment,

and

other

system

functions

in

VR/

AR

environment

are

realized.

Based

on

the

system，

the

actual

disassembly

and

assembly

experiment

teaching，

the

purpose

of hydraulic

transmission

is

achieved.

The

VR

experiment

subsystem

based

on

PC

and

the

AR

APP

experi­ment

subsystem

based

on

mobile

phone

are

not

only

improves

students'

interest

in

learning

and

saves

experimental

teaching

costs，but

also

has

the

characteristics

of

easy

use

and

wide

promotion.

It

provides

a

reference

for

the

new

experimental

teaching

mode

in

colleges

and

Words:hydraulic

transmission;disassembly

and

assembly

experiment;virtual

reality

(

VR)

;augment

real­ity

(

AR)

;Unity3D目前高校对机械产品拆装实验、认知水平教学

较多不同类型液压元器件，因此,导致拆装实践教学

基本停留在比较传统的模式上，存在着学生实践时

间短、教学成本高、设备紧张等诸多问题，一定程度

成本高，台套数不易满足教学需求等问题。而最新

发展迅速的虚拟现实技术,具有交互性好、沉浸感强

和良好的体验感等优势［5-7］，且在虚拟仿真教学、虚

拟训练系统中得到了较为广泛的应用,有着提升学

上影响了实验教学工作的开展和学生实践创新能力

的培养［1］。液压拆装实验是学生掌握液压元器件

结构、工作原理的一个重要基础实验。由于液压拆

生学习兴趣等优势［8-9］。张俊等［10］以RV减速器为

装实验需要完成对液压元件的拆解、装配，学生数量

研究对象，应用虚拟仿真技术和增强现实技术基于

Unity3D开发出了一套RV减速器虚拟仿真系统。

多，循环使用,极易造成元器件损坏,且本身亦需要收稿日期：2020-10-18。基金项目：江西省重点研发计划资助项目(20202BBE53025);教育部产学合作协同育人资助项目(2)；南昌市

“双百人才”计划资助项目。作者简介:刘继忠(1974—)，男，教授，博士，liujizhong@

。引文格式:刘继忠,旷有涛，金颖，等.一种VR/AR液压拆装实验教学系统的开发和实现［J］.南昌大学学报(工科版)，

2021,43(1)

：79-84.

-80

-南昌大学学报（工科版）2021

年Wang等［11］以交互性火星探测车为对象，开发出一

套火星探测车虚拟训练系统。李玉胜等［12］以Delta

机器人为研究对象，基于Unity3D技术结合HTC

vive设备开发出Delta机器人的虚拟仿真实验系统。因此,基于以上研究,针对液压传动具有理论抽

象、实验成本高、设备要求多等问题，结合虚拟现实

技术交互性好、沉浸感强和良好的体验感等优势，开

发一套基于虚拟现实（virtual

reality,

VR）和增强现

实（augmented

reality

,

AR）的液压拆装实验教学系

统,以降低教学成本，并提升学生学习兴趣,拓展学

生新型技术视野。图1系统功能结构1系统方案1.1总体思路《液压传动》课程拆装实验主要是完成能源装

置（泵类）、控制调节装置（阀类）、执行装置（液压缸

Fig.1

System

function

modules1.2具体技术路线与系统架构具体技术路线与系统架构如图2所示，第1部

分软件建设部分，首先要完成视频、音频、Vuforia插

件等素材收集或录制，其次要完成基于Solidworks

和液压马达类）等液压元器件的拆解装配、结构与

工作原理掌握，因此,系统开发主要完成三大装置的

立体结构建模以及基于虚拟现实技术的拆解装配、

结构与工作原理掌握等功能，因此，从功能设计上主

要考虑基本知识讲解、立体结构展示（包括透视、旋

转、缩放等）与虚拟拆装（包括整体立体爆炸图、单

或者Proe等软件的液压元器件三维模型建模以及

第三贴图等素材制作，最后处理后导入Unity3D软

件平台;第2部分硬件支撑部分，主要包括HTC

vive

头盔、操作手柄、安卓手机、PC或笔记本电脑。第1

部分和第2部分共同构成了实验教学系统开发的

软、硬件平台支撑。

液压元器件包括液压泵、液压

件拆装、复原等）、工作原理动画模拟、音视频与图

片嵌入、实验交互功能设计等。同时考虑到课程统

阀、液压马达、液压缸等装置的虚拟拆装主要通过适

合于课堂集中实验教学的PC端VR系统和适合于

学生随时随地掌握学习的手机APP端AR系统实

一安排的集中实验以及便于学生随时自学，系统并

设计了适合于两种实验教学情形的教学系统，即便

于课堂实验教学的PC端VR系统和便于学生随时

随地学习掌握的手机APP端AR系统，具体功能如

图1所示。现，具体VR系统功能主要通过虚拟拆装、工作原理

模拟、旁白或视频讲解、结构透明展示、旋转及缩放

观察、知识点考核等实现，具体AR系统功能则主要

虚拟拆装;工

作原理模拟；

旁白或视频讲液压元

VR____解；结构透明

件：液压泵、功能展示；施围及—►—PC端缩放观察；知识点考核等液压阀、液压马AR—二维扫描对达、液压缸功能应；触屏控制；虚拟拆装；旋转及缩放观察；知识点考手机端核等图2技术路线与系统架构Fig.2

Technique

route

and

system

architecture

第1期刘继忠，等:一种VR/AR液压拆装实验教学系统的开发和实现-81

-通过二维扫描对应、触屏控制、虚拟拆装、旋转及缩

承载平台一安卓手机系统。放观察、知识点考核等实现。1.3开发平台如图2中所示，开发平台包括软件平台和硬件

2液压拆装实验VR系统开发实现2.1系统开发流程平台。软件平台主要是为完成元器件三维结构建

模、环境渲染以及VR/AR系统开发提供支撑，具体

系统分为PC端VR系统和手机APP端AR系

统，由于采用Unity3D开发平台，支持PC端、Web

端、APP端的全平台发布，且AR系统是基于VR系

包括虚拟现实开发平台Unity3D,三维建模软件

SolidWorks、Proe

或

UG

（文中采用

SolidWorks

,三者

统内容开发，因此，重点以PC端VR系统开发为主

皆可实用，可转化统一格式导入Unity3D）,优化渲

阐述,并在第3部分单独进一步阐述AR系统。系

统主要开发流程如图

3

所示,

主要如下。1）

液压元件三维建模。

液压元件三维模型的

染软件3Dmax,软件系统开发工具包DOTween和

Vuforia插件。虚拟现实开发平台Unity3D支持An­droid

、Windows、网页等应用平台的全平台发布[13],

建立是液压虚拟拆装实验系统建设的基础，也是后

开发者可以将所开发产品方便的发布到Android、

Windows、网页等应用平台，可以根据实际需求,实现

续液压VR系统基本回路实验、液压系统仿真的实

现基础。可基于Proe/Solidwork三维建模软件对液

压元件模型进行建模，构成液压元件三维模型系统。2）

三维模型的导入与修饰、渲染。第一，将建

单机、网页、移动终端及其他平台同时使用的要求。

系统虚拟现实功能开发和增强现实功能开发采用C#

编程语言,UI界面设计采用Unity自带的UGUI。具

好的三维模型转化成stl格式,导入到3DMax中，对

体的开发平台、工具及其作用如表1所示。表1开发平台、工具及其作用Tab.1

Development

platforms,

tools

and

their

functions工具、平台Unity3DSolidWorks零部件的中心位置坐标轴进行调整，以及对模型导

入后缺失的点、线、面进行优化处理,并根据实际需

求附上材质。第二,可进一步利用Photoshop软件制

作用作一些贴图，配合模型在Unity3D中使用。第三，将

模型导出为.fbx格式,并和模型一起进一步导入到

Unity3D开发平台中,进行场景内容制作、UI界面设

虚拟现实开发平台三维模型的建模模型的优化及输出FBX格式3DmaxDOTween/vuforiac#开发插件编程语言计等VR实验系统开发。3）

界面优化、虚拟实验场景制作。

结合模型和

硬件平台主要包括:虚拟现实硬件系统如HTC

头盔、定位模块、操作手柄、高性能显卡等，实现虚拟

场景沉浸式体验与交互，支撑VR实验系统运行的

课程实验，制作VR虚拟实验场景和进行交互功能

设计，具体包括结合实验需求的UI界面、基于C#脚

本语言编程操控的虚拟场景下的人机交互。4）

发布。将开发调试好的系统选择PC端平

承载平台一计算机系统如笔记本电脑、台式PC

等，实现易于随时随地学习掌握的AR系统运行的

台发布，生成可直接执行的VR实验系统。图3系统开发流程Fig.3

System

development

process2.2交互界面及功能设计2.2.1

交互界面场景之间的流畅切换。作为实际VR液压实验系

统，考虑到用户管理以及实验选择，并设计登录注册

界面、液压元件拆装实验选择界面、液压元件知识学

利用Unity自带的UGUI组件可以快速地创建

图形用户界面（GUI界面）实现用户与机器的交互。

利用UI界面中image、button等控件实现元件介绍、

结构图及原理图、分离和复原、模型透明显示等交互

习与考核界面。系统中一叶片泵液压元件拆装实验

界面如图

4

所示。2.2.2标签显/隐功能界面功能。利用按钮附上脚本设计完成面板之间和

考虑虚拟实验操作中的实时提示，系统设计对

-82

-南昌大学学报(工科版)2021

年每个液压元件及其零部件都加上实时标签功能，具

体是通过每个零部件添加Box

Collider碰撞体，当鼠

标经过物体，调用OnMouseEnter()函数，当鼠标离

件结构和工作原理，因此,方便地观察元器件结构是

其最为重要功能之一，系统设计了旋转全方位观察、

缩放细节观察、透明内部观察功能。旋转:主要利用

四元数Quaternion类的原理实现，点击鼠标右键让

开物体，调用OnMouseExit()函数，并利用一个布尔

值,当鼠标经过物体,OnGUI()函数检测到布尔值为

true,利用GUI中label控件绘制大小适合的零件名

液压元件旋转，实现不同角度全方位的液压元件观

察;缩放:通过代码对虚拟摄像头控制，滑动鼠标滚

轮可以对液压元件进行放大或者缩小,方便液压元

件模型细节观察;平移:具体通过将世界坐标系转化

称标签，当鼠标移出将恢复。系统一叶片泵具体实

例如图5所示,当鼠标靠近零件时会显示零件的名

称如图5(b),而且该零件的颜色会变红；当鼠标移

为屏幕坐标系,记下物体与鼠标的距离,通过将物体

出零件位置时，标签会消失，零部件的颜色会恢复到

物体原来的颜色如图5(a)o图4叶片泵VR拆装实验操作界面及分离效果图Fig.4

Interface

and

separation

diagram

of

vane

pump(a)变色刖(b)变色后图5叶片泵显/隐实时提示功能Fig.5

Display/hidden

real-time

prompt

function

of

Vane

pump2.3液压系统VR拆装实验交互控制设计

2.3.1旋转、缩放、平移、透明功能液压拆装实验是为了学生更好地掌握液压元器

的坐标加上这段距离,实现用鼠标左键对重要零部

件拖动到特定位置进行观察;透明:通过材料透明化

处理，可以观察元件内部结构,再次点击可以使其恢

复到原状态。系统并可以按钮模型显示，液压元件

模型将会以合适比例出现在界面内，整个旋转、缩

放、平移、透明操作结合虚拟场景和头盔，具有良好

的沉浸感和现场感。2.3.2

拆装功能为了更好地理解掌握元件结构与工作原理，也

是液压拆装实验的核心目的，因此，系统设计了虚拟

场景下的液压元件拆装功能，具体包括分离、复原和

拆装。

学生通过在界面上点击分离和复原的按钮，

实现相应分离、复原功能,系统叶片泵分离效果如图

4所示,通过具体元件零件的点击拾取与放回实现

手动拆装功能。其中实现零件的分离和复原具体是

通过获取液压元件子对象即每个零件的位置，在分

离功能时结合Dotween动画插件将每个零件依次按

顺序移动到特定位置，在点击复原时将每个零件移

动到初始位置实现，其核心代码如下：

void

Start

(

)for

(int

i

=

0;i

<

ount;i++)pos

[

i

]

=

YePianB.

GetChild

(

i).

transform.

lo-

calPosition；//获取每一个子对象零件的位置2.3.3知识学习与考核功能液压虚拟拆装实验教学系统除了结合实验教学

外，还配置了对应的知识学习和考核功能，可以通过

单击“液压元件基本知识”、“结构图及职能符号”、

“液压工作原理”、“视频”按钮可以激活相应的学习

面板，学习面板图文并茂，其中视频界面主要以视频

和音频的方式介绍液压元件，工作原理主要是对每

个需要运动的物体附上相应的C#运动脚本。通过

第1期刘继忠，等:一种VR/AR液压拆装实验教学系统的开发和实现-83

-Unity脚本控制这几个面板之间的来回切换,保证切

(nP

1.

x

-

nP2.

x)

+

(nP1.y-

nP2.

y)

*

(

nP

1.

y

-

nP2.

换的流畅性。y))

;//获取两触点之间的距离float

oldScale

二

cale. x

；float

newScalse

=

oldScale

*

1.035》/缩放比例

3液压拆装实验AR系统开发实现基于手机APP端的增强现实(AR)系统，更易

transform.

localScale

二

new

Vector3

(newScalse,

ne­wScalse

,newScalse)

；//改变模型的大小。于随时随地学习和掌握[14-15],手机APP端液压拆

装实验AR系统主要是实现学习、增强现实虚拟实

验、对应元件的结构与工作原理知识掌握功能，其开

发实现与PC端VR系统类似,此部分主要阐述对应

4系统运行系统开发完成后,将虚拟现实液压拆装系统发

元件的结构与工作原理知识掌握功能。布到PC端生成.exe格式文件，将增强现实液压拆

手机移动端利用Vuforia

SDK增强现实工具对

二维液压元件图进行跟踪注册，生成标志图文件导

入进unity平台,通过AR扫描与对应关联,实现系

统中对应的AR模型结构与工作原理掌握功能。具

体是通过添加手指触屏功能实现在手机端对液压元

件模型的放大、缩小、分离、复原等虚拟交互,实现手

机移动端三维增强现实结构与工作原理及知识掌

握,AR系统端主要设计流程如图6所示。图6

AR系统主要设计流程Fig.6

AR

system

main

design

flowchart具体操作是通过交互界面按钮或手机触屏实现

放大、缩小、旋转、分离、复原等虚拟交互功能，系统

一基于二维图纸扫描的AR操作实例如图7所示。图7手机移动端AR系统操作实例Fig.7

An

example

of

mobile

phone

AR

system具体实现例如AR系统模型缩放，主要是通过

判断触屏上两个手指间的距离变化，距离变大则将

模型放大，距离变小，则将模型缩小,其主要核心代

码如下：float

length1

二

Mathf.

Sqrt

(

(

oP

1.

x

-

oP2.

x

)

*

(oP1.x-oP2.x)

+(

oP1.y-oP2.y)

*

( oP1.y-oP2.y))；float

length2

二

Mathf.

Sqrt

(

(

nP

1.

x

-

nP2.

x

)

*

装系统发布到安卓端生成.apk文件。用户只需要点

击软件,输入相应的登录注册账号,就进入液压元件

选择界面,选择对应的液压元件，就可以利用操作手

柄/鼠标或手指完成对应元件虚拟拆装、理论知识学

习、工作原理模拟、旋转、缩放等功能的学习。图8

为PC端VR系统发布后的叶片泵功能测试图，图9

为手机端AR系统发布后的叶片泵的功能测试图。

经过反复运行测试,系统运行流畅，功能满足了基本

的设计要求。(a)手动拆装(b)透视图8

VR系统功能测试图Fig

.8

Functional

test

diagram

of VR

system(a)旋转前

・84・南昌大学学报(工科版)2021

年[4]伊鹏，刘衍聪,石永军,等.基于增强现实技术的工程图

学移动端教学系统设计与开发[J].图学学报,2018,39:1207-1213.(6)[5

]陈其怀，林添良,周丽君，等.虚拟仿真实验平台与液压

传动与气动课程的融合探索[J

]•课程教育研究,2019

(17)

：237.[6]

(b)旋转后栾飞.基于Unity3D的液压传动虚拟仿真教学系统开

发[D].济南：山东建筑大学,2015.[7]

图9

AR系统功能测试图于婷.机械虚拟实验教学平台的研究与实现[D].武

Fig.9

Functional

test

diagram

of

AR

system5结束语针对液压传动课程拆装实验的高成本、设备台套

不足等问题，结合最新虚拟现实/增强现实技术，设计

了一套VR/AR液压拆装实验教学系统，给出了开发

实现平台和具体实现开发过程。该系统不仅可以解

决液压传动课程拆装实验的高成本、设备台套不足问

题，还可以实现学生随时随地与远程学习，促进提高

学生学习兴趣和拓展学生新型技术应用视野,并为高

等学校创新实验教学模式和机械类其他相应类型的

虚拟实验平台开发提供支撑和借鉴参考。参考文献：[1]

冯立艳，关铁成,何世伟，等.机械基础虚拟实验系统的

研究与开发[J].实验室研究与探索,2018,37(

1)

：89-

92.[2]

张青，郑岩，郭庆，等.航空发动机设备拆装快速装配仿

真研究[J].计算机仿真,2018,35(3):257-262.[3]

朱文华，蔡宝，石坤举，等.虚实结合的减速器拆装的研

究[J].实验室研究与探索,2017,36(11)

：98-102.汉:华中科技大学,2011.[8]

高媛，刘德建,黄真真，等.虚拟现实技术促进学习的核

心要素及其挑战[J].电化教育研究,2016,37(

10)

：77

-87,103.[9]

杨栗洋.VR战略：从虚拟到现实的商业革命[M].北

京：中国铁道出版社,2017.[10] 张俊，孙树礼,吴央芳.基于Unity3D的RV减速器虚拟

仿真系统研发[J].组合机床与自动化加工技术,2019

(9):120-123.[11]

WANG

J,

BENNETT

K

J.A

virtual

reality

study

on

santa

maria

crater

on

mars [

C

]//Virtual

Reality.

IEEE

,

2013

:

105-106.[12]

李玉胜，董保香,穆洁尘，等.基于Unity与HTC

Vive的

Delta机器人虚拟仿真实验[J].教育现代化,2019,6

(58)：291-292.[13]

王寒.Unity

AR/VR开发:从新手到专家[M].北京:机

械工业出版社,2018.[14]

冯晓琪，刘念，郭霄宇，等.AR技术在科技馆古代农具

展示中的研究及实现[J].计算机工程与科学,2019,41

(

12)

:2173-2178.[15]

蔡宝,朱文华,孙张驰,等.虚拟现实技术在铳削加工实

训教学中的应用[J].实验技术与管理,2020,37(

1)：

137-140.