一、教学的基本信息
1.适用对象
本教材适用于数字媒体技术、数字媒体艺术、动画等专业的《人机交互技术》《体感交互项目开发》《Unity 3D体感交互》《虚拟现实项目实训》和《数字媒体技术综合实训》等课程和项目,或者艺术类专业的《人机交互设计》《动装置设计》等课程教学。
2.具备的知识和能力基础
本教材适用于具有一定的C#编程基础者,以及具备基本的人机交互技术开发能力,了解C#或Java基本语法,需要进一步深入学习人机交互最新技术和体感设备开发的人群。使用本教材的读者,需要具备最基本的计算机基础知识和计算机操作能力,同时也具备一定的虚拟现实基础知识理解能力。对于希望从事虚拟现实、互动媒体、人机交互等工作的所有学生均可使用本教材进行学习。
本教材知识丰富,内容全面,理论先行,注重实践。结合最新的引擎技术,把概念、理论和技术知识融入实践当中,使学生保持浓厚的学习热情,加深对人机交互技术知识的认识、理解和掌握,熟练掌握体感交互设备的开发流程,拥有产品开发的能力。
3.预期学习效果
学习本门课程之后,将为后续的课程奠定基本的虚拟现实外接设备开发能力、虚拟仿真交互系统开发能力。
通过学习,能熟练使用Unity 3D鼠标键盘交互、Leap Motion指尖交互、Kinect体感交互等技术完成虚拟场景中的交互项目设计开发,熟悉Unity 3D的基本交互操作,能够快速搭建虚拟交互项目,实现语音交互、摄像机交互以及基本的碰撞交互等。能够熟练使用体感交互设备进行与Unity 3D项目连接,为虚拟现实(VR)技术、增强现实(AR)技术、混合现实(MR)技术以及影像现实(CR)技术的学习打下坚实的基础。
4.教材编写团队
本教材由具备数年《人机交互技术》课程讲授经验的、并具备使用Unity 3D、Unreal 4和C#等技术进行过实际项目开发经验的教师编写,编者教学经验理论丰富,具备大量的实践经验。同时该编写团队包含了完整地动画设计制作的教师,能够完美地将技术和艺术进行整合。该教材主编李想,女,中共党员,CCF会员,大连东软信息学院数字艺术与设计学院 数字媒体技术系副主任。主要讲授人机交互技术、互动装置设计、游戏物理学等课程。发表论文11篇,其中SCI 2篇;EI 2篇,CDIO会议论文2篇,专利及著作权8项。主持教育部产学合作项目1项,参与国家、省、市等各级项目7项,主持教育部人文社会科学研究项目1项;主持辽宁省自然重点指导计划1项;辽宁省社会科学规划基金项目2项;大连市社会科学院课题3项。张明宝现任大连东软信息学院数字艺术与设计学院副院长,动画系系主任,电子与计算机工程在读博士,Unity3D讲师,曾就职于环球数码(上海)有限公司,历任教学主任、市场经理,参与指导和制作过多项国内外三维动画短片、动画电视剧和动画电影内容,主要代表有动画电视剧《潜艇总动员》、法国动画电视剧《Panshel》,院线上线和动画短片《促织》《Half Life》《Spider》《某船展示动画》和《物联网科技三维宣传片》等。主持教育部协同育人项目两项,辽宁省重点研发计划两项,大连市级项目两项,发表论文数十篇。并且参与多项横向科研项目的设计研发,与军工企业及研究所具有稳定的合作,并完成多个虚拟仿真项目的开发。同时该编写团队具有较强的科研和项目研发能力,在虚拟仿真方面与多家企业、军工单位、研究所等进行联合研发并取得了一定的成果,主要参与的项目有:特种设备虚拟仿真培训系统设计开发、水下安防故障检测系统设计、水下安防视景仿真系统设计、基于人工智能的单兵便携防空导弹仿真训练系统、某核电消防行动指南制作数字化系统、智能消防AR现场指挥系统和基于VR技术的雷达装备实战化教学平台。在教材的撰写过程中,能够将部分项目资源整合到实践案例中,为学生的实践学习拓宽了视野。
本教材第1、2、3、4章由李想编写,第5、6章由张明宝编写,声音交互、摄像机交互由张昕老师编写,Socket通信部分由孙艳老师编写,第1、2章理论和代码部分检查由余庆军老师负责,第3、4章理论和代码部分检查由刚家林老师负责,本教材插入二维码资源内容由张明宝老师负责,本教材标点和文本格式检查由刘洋老师负责,本教材由李想负责统稿。除此之外,该教材中的案例的反复测试均由HCI人机交互工作室曾嘉伟、田晓旭、于泽政、何佳宁、胡漫、张钘等同学完成,教材中的内容来源丰富,有教师的横纵向科研、企业指导项目、学科竞赛获奖作品以及高水平论文发表的成果等。虽经过编写团队教师多次集体讨论、修改、补充和完善教材内容,但错漏之处仍在所难免,敬请读者批评指正。
二、教材的基本结构与内容组织
1.教材的基本结构
本教材遵循TOPCARESCDIO教学理念和工程教育思想,坚持以案例为引导、以项目为载体、用项目驱动教学的模式,在每一章每一节均使用实际的单元项目案例来讲解知识点,基于构思、设计、实施、运行的背景,通过实现具体的案例来对其中涉及的知识点进行学习和强化,并在知识运用部分进行知识点的扩展使用和技能提升训练。读者在案例分析、项目实践的过程中,提高对知识和技术的掌握运用的熟练程度以及提升创新实践能力。本教材共6章。
第1章是人机交互概述,主要介绍人机交互技术的逐步发展,从传统的人与计算机键盘、鼠标从而控制显示内容和文本的互动,转变为更多的自然交互形式。
第2章是人机交互关键技术,主要介绍了采用Unity 3D来创建基本的人机交互界面,将鼠标、键盘、摄像机等作为人机交互技术的接口。
第3章是人机交互与虚拟环境,主要介绍结合Unity 3D进行碰撞检测的学习、视觉交互的学习、声音的可视化学习以及虚拟环境中简单的人工智能的应用,分别从视觉、听觉、虚拟触觉等角度进行人机交互的应用。
第4章是基于Leap Motion的人机交互,主要介绍用Leap Motion的控制,摆脱了传统的键盘和鼠标的束缚。同时本章选取的案例来源于2018年教育部第一批产学合作协同育人项目——《基于虚拟与增强现实技术的教学资源开发与制作》。
第5章是基于Kinect的人机交互,主要介绍利用Kinect传感器获取用户的深度信息,获取骨骼结点的位置信息进行姿势预测,可以避免复杂外界环境和光强度的影响,很好地改善了手势识别的准确率。
第6章是多模态人机交互技术的知识,主要介绍Unity 3D可连接数据库MySQL进行后台数据的实时统计,也可以进行网络平台的搭建,同时能够进行多种外接设备的扩展功能。最后通过一个完整的虚拟仿真实验项目进行本教材的知识点整合和扩充。
本教材各单元内容的混合式教育教学改革知识点关系图如下图所示:
图0.1各单元内容关系图
图0.2混合式教育教学改革知识点关系图
本教材重点介绍了Unity 3D,Leap Motion和Kinect三种技术,它们之间的关系是:Unity 3D是最新的游戏引擎,采用Unity 3D 2018.2.13,Unity 3D 2019.3.8来进行案例的设计开发。Unity 3D在开发人机交互产品和系统方面,不仅仅能够整合代码和设计,而且能够进行可视化的操作窗口显示,实时地进行画面的更新和数据的显示。最主要的是Unity 3D能够支持虚拟现实设备、体感交互设备等技术开发,从传统的人与计算机键盘、鼠标从而控制显示内容和文本的互动,转变为更多的自然交互形式,体现形态也从二维扩展到三维可视化的终端显示。
本教材在编写时,较为注重实用性和实践性,本教材包含6个单元项目案例和26个扩展应用项目,每个单元的知识点都配以精心设计的项目案例来讲解并包含知识的扩展运用部分。课程综合项目是一个较完整的综合性Unity 3D虚拟仿真开发项目,体现了使用Unity 3D与体感交互设备以及后台的数据进行实时交互的思维和方法。本教材可以满足初学者全面而系统地学习理论知识的需求,还能满足充分实践的需求。
2.教材的内容组织
本教材每一章的内容组织的基本形式如下:
知识点介绍:对本节要实现的项目案例所涉及的知识点进行系统的讲解。
项目说明:描述项目案例的具体实现要求和实现效果。
项目设计:对项目案例要完成的任务进行分析,给出具体的开发思路,并指明将要用到的知识点,对知识点结合具体项目案例任务加以简略讲解和说明。
项目实施:给出具体项目案例实现源码,并运行。
知识运用:经过前面的知识点讲解以及对项目的设计、实施之后,对所学知识进行进一步的巩固和运用,利用所学知识对所提出的项目扩展功能进行独立设计和实现。
第1章人机交互概述1
1.1人机交互概述2
1.1.1人机交互发展史2
1.1.2人机交互技术应用领域3
1.2人机交互与可用性分析评估7
1.2.1人机交互与虚拟现实8
1.2.2开发平台和工具9
第2章人机交互基本输入技术14
2.1Unity 3D中的输入控制15
2.2Unity 3D鼠标交互17
2.2.1鼠标交互常用函数17
2.2.2输入交互案例:鼠标控制物体在三维场景中的交互17
2.3Unity 3D键盘交互20
2.3.1键盘交互常用函数20
2.3.2键盘交互案例:小球、方块、摄像机随着按键运动20
2.4虚拟场景中的人机交互——《辽宁之路》虚拟展馆24
第3章人机交互与虚拟环境43
3.1视觉交互44
3.2基于环境交互46
3.2.1Unity 3D碰撞检测交互46
3.2.2Unity 3D声音可视化交互50
3.2.3Unity 3D摄像机交互61
3.3高级环境交互64
3.3.1Unity 3D自动寻路Nav Mesh之入门64
3.3.2交互环境中的人工智能73
3.4概念模型以及对概念模型的认知78
3.5坦克模拟系统设计开发案例79
第4章基于Leap Motion手势识别的人机交互 95
4.1Leap Motion基础讲解96
4.2Leap Motion的手势识别99
4.3Leap Motion手势识别讲解100
4.4基于Leap Motion手势交互的案例设计开发103
4.5《星际涟漪》实例制作105
4.6《梦幻森林》体感交互案例设计与制作109
第5章基于Kinect体感识别的人机交互136
5.1Kinect开发环境配置138
5.1.1Kinect介绍138
5.1.2基础参数138
5.1.3运行环境配置139
5.2与Unity 3D连接142
5.2.1人体数据的获取142
5.2.2内置数据的识别143
5.2.3《人物跟着我动》案例设计开发143
5.3实例讲解145
5.3.1《手势翻转方块》案例设计开发145
5.3.2《人物剪影》体感交互案例设计开发148
5.3.3《Flow》体感互动游戏设计开发150
第6章多模态人机交互案例设计开发169
6.1Unity 3D与MySQL数据库的交互170
6.1.1MySQL数据库的介绍和安装170
6.1.2Unity 3D与MySQL的数据库增删改查179
6.2Unity 3D中的多线程技术和网路技术180
6.2.1基于Unity 3D Network开发网络180
6.2.2基于Socket开发网络182
6.3《示波器使用》虚拟仿真系统设计开发197
第7章《海洋乐园》三级项目指导221
附录228
参考文献230
2016年6月,中国成为国际本科工程学位互认协议《华盛顿协议》的正式会员,这是中国工程教育国际化进程的重要里程碑。“回归工程”、培养学生的“大工程观”是当今国际工程教育的主流理念。《华盛顿协议》对毕业生提出的12条素质要求中,不仅要求工程知识、工程能力,还强调通用能力和品德伦理;在实践上,以学生为中心,以产出为导向,注重对目标达成的支撑及持续改进,与CDIO工程教育实质等效。
CDIO工程教育是近年来国际工程教育改革的最新成果,以“预期学习结果”集合来驱动课程内容、教学方法、教育文化的设计,重视营造工程教育文化,其注重工程能力培养和基于工程项目全生命周期的一体化设计思想,对于国内工程类和相关专业的建设具有重要的实施价值。
作为承载了教学改革思想的载体,融入CDIO工程教育理念的高品质教材,东软CDIO工程教育教材在注重理实结合的同时,也注重对学生八大能力的培养,即:技术知识与推理能力,开放式思维与创新,个人职业能力,沟通表达与团队合作,态度与习惯,责任,价值观,实践构思、设计、实现和运行对社会的贡献。
CDIO工程教育教材是 CDIO教育教学改革在教学实施过程中的集中体现,它不仅承载着课程和项目的教学内容,而且贯穿和体现了CDIO工程教育的理念、思想与方法,是在系统化理论的指导下,将知识、能力、素质培养进行一体化设计,有机融合在教材体系中。教材的编写以能力培养为主线,以案例教学为引导,以项目为载体,充分体现“做中学”和“学中做”的思想,具有以下优势:
(1)以能力培养为主线,培养学生专业知识学习能力和工程实践能力。
(2)以案例为驱动,在做案例的过程中学习新知识,充分体现了“做中学”。
(3)以项目为载体,基于工程化教育方法,按照分析、设计、实施、运行展开项目及知识点的讲解。
(4)围绕专业知识结构和能力体系设计教材,实现同一专业下不同教材紧密的关联性。
(5)内容编排循序渐进,符合人的认知规律。
(6)适应柔性化教学变革,构建一体化、立体化教学资源。
CDIO工程教育教材可供以应用型人才为培养目标的高等院校以及职业培训机构作为教材使用。
目前,CDIO工程教育教材的建设还处于探索阶段,是一项创造性的工作,尚需要通过改革的实践不断加以深化和持续改进,任重而道远。