资源简介

(共80张PPT)
第七章 多媒体计算机的应用技术
学习目的：　　
　　通过本章的学习，使学生对多媒体电子出版物的基本概念、创作过程和应用领域、多媒体视频会议系统、流媒体技术、虚拟现实等多媒体前沿应用技术有一定的了解和掌握。
学习的知识点：
　　1.多媒体电子出版物的创作过程和应用领域。
　　2.多媒体视频会议系统主要体系结构：视频会议终端、多点控制器、信道(网络)及控制管理软件等。多媒体视频会议的标准。
　　3.多媒体视频会议终端的设计原理和实现技术；多点控制单元(MCU)的结构和工作原理；视频会议系统的服务质量（QoS）及资源管理；视频会议系统的安全保密。
　　4.流媒体技术概念；流式传输方式；流媒体技术原理；流媒体播放方式；支持流媒传输的网络协议；流媒体文件格式
　　5.虚拟现实的定义，虚拟现实的关键技术，虚拟现实的应用
学习要求：
　　掌握：多媒体电子出版物的创作流程；多媒体会议系统的组成及工作原理；流媒体技术的传输及原理；
　　理解：视频会议系统的服务质量（QoS）
　　了解：视频会议系统安全保密；虚拟技术的关键技术及应用
目录：
　　7.1 多媒体电子出版物
　　7.2 多媒体会议系统
　　7.3 流媒体技术
　　7.4 虚拟现实技术
一．多媒体电子出版物概述
　　1．什么是多媒体电子出版物（Multimedia CD-ROM Title）？
　　多媒体电子出版物（Multimedia CD-ROM Title）是把多媒体信息经过精心组织、编辑及存储在光盘上的一种电子图书。根据中国新闻出版署在《电子出版物管理暂行规定》（1996年3月）中对电子出版物下的定义：电子出版物指以数字代码方式将图文声像等信息存储在磁、光、电介质上，通过计算机或者具有类似功能的设备阅读使用，用以表达思想、普及知识和积累文化，并可复制发行的大众传播媒体。电子出版物的媒体形态有软磁盘（FD）、只读光盘（CD-ROM）、交互式光盘（CD-I）、图文光盘（CD-G）、照片光盘（photo-CD）、集成电路卡（IC card）等。
2．多媒体电子出版的分类
　　一般出版物主要分为如下几类：传统的出版物；以缩微胶片、录音带、录像带等为代表的非纸面出版物；以电、磁、光等为信息载体的数字信息存储形式的电子出版物；以图、文、声、像等多种形式表现并且由计算机及其网络对这些信息以内在的统一方式进行存储、传送、处理及再利用的电子出版物即为多媒体电子出版物。
　　多媒体电子出版物包括：电子图书，电子期刊，电子新闻报纸，电子手册与说明书，电子公文或文献，电子图画，广告，电子声像制品等。
　　（1）根据发行方式，电子出版物分为两大类
　　（2）根据出版物的形式，电子出版物主要有以下三种典型的类型
　　（3）根据出版物的内容，大致可分为以下三大类
（1）根据发行方式，电子出版物分为两大类
　　电子网络出版和单行的电子书刊。电子网络出版以数据库和通信网络为基础，以计算机的硬盘或光盘为存储介质，可以提供联机数据库检索、传真出版，电子报纸、电子邮件、电子杂志等多种服务；而单行的电子书刊则以磁盘、集成电路卡和光盘等为载体。
（2）根据出版物的形式，电子出版物主要有以下三种典型的类型
　　①联机数据库是目前发展最成熟的电子出版物之一。它要通过主机和联机网络及检索终端来提供信息。世界上一些大的联机系统可提供全文数据库，包括报纸、期刊、百科全书、字典等。提供信息内容广泛，除文献的目录和索引外，还包括市场信息、商品信息、金融、证券和企业财务及法律、教育等社会科学和天文等方面的信息。
　　②电子报刊是网络出版的一种重要形式。以往传统的电子报刊是指印刷版报刊的电子版，现在已逐渐向纯粹的电子报刊演变，其生产、出版和发行都在网络化环境中进行，所有的编辑、审稿、排版、检索和阅读都是通过计算机，记者或读者可以用网络电子邮件方式投送稿件，稿件一旦通过专家审阅后，在数小时内即可出现在电子报刊上。
　　③电子图书是目前电子出版物的主要类型。电子图书中存储的信息与印刷型图书类似，但其结构和功能较之印刷型图书要复杂得多。光盘图书开始逐渐占领出版物极大的领地。“信息爆炸”需要大量高效的信息存储介质，CD-ROM有大容量、存放携带方便，保存时间长等优势。许多联机数据库，也同时出版光盘版，因为光盘一旦拥有，可反复使用，费用也较低，更适合大众使用。
（3）根据出版物的内容，大致可分为以下三大类
　　①教育类：主要是CAI软件，注重教学目标、教学策略，还有适时的评测、及时的反馈。强调过程的呈现，而不是直接告知结果；让读者动手参与，而不是被动按受。
　　②娱乐类：可细分为两种，一种纯粹是训练手眼协调的游戏，如战斗游戏多属此类；另一种是带有教育目的的游戏，透过设定多个困难关卡，让用户在解决问题的过程中，学会某些知识技能。娱乐类出版物强调的是创意的设计，活泼的画面、恰当的音效也是不可缺少的。三维动画与视频结合的新一代游戏，融入电影蒙太奇手法，塑造神秘又刺激的情景。
　　③工具类（含数据库）：包括各种百科全书、字典、手册、地图集、电话号码本、年鉴、产品说明书、技术资料、零件图纸、培训维护手册等，强调运用超文本／超媒体来展现重要的内容，特别讲究多层次的检索机制，检索机制的实现。要提供尽可能多样的查找信息方式，不论读者在浏览哪一部分内容，都要能方便地返回，退出或跳转到其他部分内容；同时还可以随时提示他所在的位置，以免在信息海洋中迷航。
3．多媒体电子出版物的特点
　　电子出版物的出现和迅速发展，不仅将改变传统图书的出版、阅读、收藏、发行和管理方式，甚至对人们传统的文化观念也将产生巨大的影响。电子出版物能较好地满足信息时代对信息获取、积累以及使用的要求，代表了出版业的发展方向。
（1）从信息载体上看，纸质出版物的容量小、体积大、成本高、复制困难、不易保存，同时制造纸张要消耗大量自然资源，并且在造纸过程中容易对自然环境产生较大的污染；电子出版物具有容量大、体积小、成本低、易于复制和保存，以及消耗的资源很少和对环境的污染较小等特点。一张光盘可以存储几百本长篇小说。
　　（2）从信息结构上看，纸质出版物中的概念是平面的，字典、百科全书、观光导游、地图都是把文字和图片印在平面的纸张上呈现出来。文字有文字的目录，图表有图表的目录，内容较庞杂的书还加上书后的索引、词汇解释等辅助阅读的篇章，但始终受文字描述的限制。如果这些信息能用超媒体技术加以有机的立体组合，并把音频和视频信息集成进来，配以科学的导航（navigation）系统，图文声像并茂，则是一种十分理想的“阅读”机制。 电子出版物中媒体种类多，可以集成文本、图形、图像、动画、视频和音频等多媒体信息，有灵活的导航。
　　（3）从交互性上看，由于多媒体技术的应用，教育、娱乐题材的电子出版物，能建立起良好的交互环境，而传统图书则无法做到。
　　（4）从检索手段上看，传统读物靠的是手翻目视，既费时又费力，而且可靠性差，而电子出版物则是利用计算机的处理能力，提供科学而快速的检索、查找与追踪功能，帮助读者在信息海洋中迅速查找所要的内容。
　　（5）从发行方式上看，除了传统的出售方式外，还有联机检索和联机浏览等新方式，成本低。
二．多媒体电子出版物创作流程
　
1．多媒体电子出版物创作队伍的组织与管理
2．多媒体电子出版物工艺过程
3．制作电子出版物的注意事项
1．多媒体电子出版物创作队伍的组织与管理
　　多媒体电子出版队伍一般由编导、文字编辑、美术编辑、音频编辑、软件工程师组成。一般采用工作组（workgroup）制。实际人员组成情况常根据项目的特点做适当调整。
2．多媒体电子出版物工艺过程
　　多媒体电子出版物开发的通用模式是由多媒体专家Brian Blum提出的，是一种以分析、设计（指导设计与交互设计）、测试与评价四个层次开发模型。
过程：选题→编写脚本→准备媒体数据→系统制作→调试→测试→优化→产品生产→发行等 。
3．制作电子出版物的注意事项
　　（1）熟练掌握各种多媒体著作工具及其功能和特点
　　开发制作人员应该掌握各种多媒体著作工具，并充分认识其软件功能的“弹性”特点。以Authorware为例，使用Authorware开发多媒体应用有三个层次：第一个层次是适用于普通用户的基本制作方式，主要使用Authorware提供的十几个功能图标，无需编程即可开发一般的多媒体应用；第二层次是面向中、高级使用人员的函数与变量，能否熟练掌握Authorware提供的函数与变量，是开发者用好Authorware并最大限度地发挥它强大功能的关键所在；第三层次是面向专业程序员的扩展模块，它为Authorware提供了无限的功能延伸。
　　（2）提高多媒体素材的数字化水平
　　多媒体资源的数字化主要是指图片扫描、录音数字化、视频采集等。有的光盘中存在图片模糊不清、音频带有杂音、视频断断续续色彩不好等情况。造成这些问题的原因很多，如原始资源质量不好，硬件档次低，对多媒体资源数字化所用的相应软件掌握得不熟练，经验不够丰富等等。
（3）参考、交流和吸取成功的经验和失败的教训
　　在国内，光盘开发时间较短，尚处在探索时期，没有太多成功的经验可供借鉴，因此同行之间的交流、参考国外一些成功的光盘，可以避免或少走弯路。 还应该注重改善光盘的交互功能，给用户充分的自主权，让用户参与其中。比如：不强制用户看完某一部分，并能让用户参与其中等等。
　　（4）严格测试，保证质量
　　现在市场上的很多光盘都或多或少地存在一些问题，如死机、病毒、文件冲突、安装问题、调色板问题、视频音频和MIDI无法正常播放等。造成这些问题的原因除了硬件、运行平台及开发环境外，主要就是对光盘在不同环境下测试不彻底等。同时应注意文字脚本质量，切忌东拼西凑，一些问题必须聘请专家，确保多媒体资源的准确性、完整性和权威性。
　　多媒体电子出版是一个崭新的领域，要想取得成功，必须在管理、信息、科技、销售等几个方面下功夫。
三．多媒体网络课程设计示例
　　多媒体网络课程功能模块设计示例
　　《多媒体技术基础及应用》网络课程内容设计框图
多媒体网络课程
功能模块设计示例
《多媒体技术基础及应用》
网络课程内容设计框图
7.2 多媒体会议系统
一．视频会议系统的结构及标准
　　多媒体会议系统（Multimedia Conferencing System）是一种以多媒体形式支持多方通信和协同工作的应用系统。其基本特征是：通过计算机远程地参加会议或交流；合作工作不受地理位置分离的限制；通信涉及到多个参与者站点之间的连接，以及在这些连接之上的操作；会话可以通过视频、音频以及共享应用空间来进行。
根据通信节点的数量，视频会议系统可分为：点对点视频会议系统和多点视频会议系统。
　　(1)点对点的视频会议系统
　　点对点视频会议系统支持两个通信节点间视频会议通讯功能，它的主要业务是：可视电话、桌面视频会议系统、会议室型视频会议系统。
　　(2)多点视频会议系统
多点视频会议系统允许3个以上不同地点的参加者同时参与会议。多点会议系统一个关键技术是多点控制问题，多点控制单元（MCU）在通信网络上控制各个点的视频、音频、通用数据和控制信号的流向，使与会者可以接收到相应的视频音频等信息，维持会议正常进行。
1．视频会议系统的结构
　视频会议系统主要由视频会议终端、多点控制器、信道（网络）及控制管理软件组成。
　　
　　（1）视频会议系统终端
　　（2）传输网络
　　（3）多点控制单元
（1）视频会议系统终端
　　完成视频信号的采集、编辑处理及显示输出、音频信号的采集、编辑处理及输出、视频音频数字信号的压缩编码和解码，最后将符合国际标准的压缩码流经线路接口送到信道，或从信道上将标准压缩码流经线路接口送到终端中。此外，终端还要形成通信的各种控制信息：同步控制和指示信号、远端摄像机的控制协议、定义帧结构、呼叫规程及多个终端的呼叫规程、加密标准、传送密钥及密钥的管理标准等。视频会议系统终端包括音频、视频I/O设备，视频、音频编解码器，信息处理设备与应用软件，多路复用/分接设备等。
　　视频输入设备包括摄像机、录像机、图文摄像机和VCD等，主要功能是将模拟视频信号通过视频输入口送入编码器进行处理。视频输出设备包括监视器、投影机和电视机等，主要功能是显示收到的图像。
　　音频I/O设备包括麦克风、扬声器、调音设备和回声抑制器等。麦克风和扬声器用于与会者的发言和收听远端会场的发言。调音设备用于调节本会场的麦克风、扬声器的音色和音量。回声抑制器应用回波抑制原理将另一端的干扰信号抑制掉，保证发送的只有本端会场的发言。
　　视频编解码器是视频会议终端的核心设备，它能对各种制式的模拟视频信号进行实时数字化和压缩编码处理，以便在信道上传输。
　　音频编解码器能对模拟语音信号数字化，以PCM或ADPCM、LD-CELP等方式进行编码和解码。此外，音频编码器还要增加适当的延时，解决由视频编码引起的唇音同步问题。
　　信息处理设备包括电子白板、书写电话等。应用软件通常包括白板系统、应用程序共享系统等，与会人员可以通过这些设备和应用软件来讨论问题和实现数据共享等功能。
　　多路复用/分接设备将视频、音频、数据和信令等各种数字信号组合为规范速率的数字码流，并成为与用户网络接口相兼容的信号格式。
（2）传输网络
　　会议系统的传输介质可采用光缆、电缆、微波以及卫星等数字信道，或者其他类型的传输信道。在用户接入网的范围内，还可以采用HDSL、ADSL等设备进行传输。在传输方式上，它可以在现有的多种网络上展开，例如，AT、DDN、ISDN、SDH数字通信网或帧中继网络等。新的会议系统标准还允许它在各种计算机网络中传输，如LAN、WAN和Internet等。
（3）多点控制单元
　　多点控制单元MCU（Mulitpoint Control Unit）是视频会议系统的关键设备，它的主要功能是对视频、语音及数据信号进行切换，例如它会把传送到MCU某会场发言者的图像信号切换到所有会场。对于语音信号，若同时有几个发言，可以对它们进行混合处理，选出最高的音频信号，切换到其他会场。
　　MCU的主要组成部分是：网络接口单元、呼叫控制单元、多路复用和解复用单元、音频处理器、视频处理器、数据处理器、控制处理器、密钥处理分发器及呼叫控制处理器。
2．视频会议系统的基本功能
　　（1）在视频会议系统工作时，将图像、声音在各会议点间进行实时传输、接收。
　　（2）视频显示的转换控制可有以下三种模式：
　　　①语音激活模式（语音控制模式）。自动模式，其特征是会议的“视频源”根据与会者的发言情况来转换。MCU从多个会场终端送来的数据流中提取音频信号，在语音处理器中进行电平比较，选出电平最高的音频信号，将最响亮的语音发言人的图像与语音信号广播到其他的会场。
　　　②主席控制模式。在这种模式下，与会的任意一方均可能作为会议的主席，会议主席行使会议的控制权。通过令牌可以控制会议的视频源指定为某个与会方。
　　　③讲课模式（强制显像控制模式—演讲人控制模式）。演讲人通过编解码器向MCU请求发言。编解码器给MCU一个请求信号，若MCU认可，便将它的图像、语音信号播放到所有与MCU相连接的会场终端。所有分会场均可观看分会场的情况，而主会场则可有选择地观看分会场的情况。
　　（3）在对图像质量要求较低的场合，可利用音频线路传送低分辨率的黑白图像。在要求较高的场合，则采用更先进的数据压缩技术。
3．视频会议系统的主要技术特点
　　（1）它依靠数字通信网络，利用多点控制器MCU将分布在各地的用户组织为一个或多个"会议"，实现会议（主、分）会场之间的实时动态图像、语音的传输、交换、处理和实时再现。
　　（2）会议使用的多媒体信息在数字通信网中占有的带宽一般为64kbps——2.08Mbps，远远低于广播电视的带宽，所以这里要采用专门的视频图像和语音的编解码器。　
　　（3）在对会议的动态图像和语音的质量要求上，以满足开会的基本要求为准（如：能看青各个会场的主要坐席的人物形象和所展示的文件资料，能听清楚各位发言人的声音等），显然广播电视的质量要求要低。
　　（4）视频会议的关键问题是"多媒体信息的数字化压缩和解压缩”。
　　 数字化压缩的必要性：视频会议系统必须对音频、视频信号进行实时性数字化处理和传输，其数据非常大。
　　 要实现视频会议系统的功能要求，就必须解决好两个特殊的问题：首先是多媒体会议信息传输的实时性，其次是它只能利用比广播电视传输窄得多的带宽（视频会议占用的信道通常不超过2Mbps）进行信息传输。由此可见，视频会议系统首先面临的关键技术问题是："如何根据视频会议系统指标，选择合理的数字化压缩方案。"
4．视频会议系统的标准
在20世纪80年代，ITU就专门成立了一个小组研究视频会议，从那时起建立了一系列的建议和标准，关于视频会议最著名的标准是H.320系列和T.120系列建议。H系列的建议和标准是专门针对交互式电视会议业务而制定的，而T系列是针对其他媒体的管理功能作出规定，两种协议的结合将使多媒体会议的通信有更完善的依据。1994年以Intel为首的90多家计算机和通信公司联合制定了一个个人会议标准PCS(Personal Conferencing Specification)。H系列、T系列及PCS标准简述如下：
（1） H.320系列标准
（2） H.323系列标准
（3） H.324系列低速率通信标准
（4） T系列标准
（5） PCS标准
（1） H.320系列标准
（2） H.323系列标准
（3） H.324系列低速率通信标准
（4） T系列标准
建议 内 容
T.120 　多媒体数据传输规程
T.122 　声像会议多点通信业务规程
T.123 　声像会议的通信规程栈
T.124 　通用会议控制
T.126 　允许用户在多点文件会议中查阅图像或对它作诠释、共享应用和交换传真图像
T.127 　为用户提供同时初始化多点文件传输能力
表T系列国际标准
（4） T系列标准
表G.7XX语音压缩编码标准　
标准 内 容 码率 带宽 算法 其他
G.711 语音频带的脉冲编码调制(PCM) 64kb/s 300-340Hz PCM 长途电话的语音质量
G.722 7KHz频段的64kb/s语音编码 48, 56 64kb/s 50-7000Hz SB-ADPCM 可传送高质量语音和简单的音乐
G.728 16kb/s LD-CELP语音编码 16kb/s 300-3400Hz LD-CELP ISDN网传输设备必备
（5） PCS标准
由于基于微机的桌面会议系统日益增多，由Intel、AT&T、Lotus、HP、DEC和另外11个主流软硬件公司，以及96个计算机和通信公司联合成立了一个个人会议工作组，简称PCWG（Personal Conferencing Work Group）。它于1994年制定了一个个人会议标准PCS (Personal Conferencing Specification），适合于任何网络（数字、模拟、LAN或WAN）。此标准包括PCS'S T120、ITU-T桌面系统多点电视会议视频压缩协议。与H.320不同，PCS是专为个人计算机制订的，并与各种个人计算机标准兼容，其中TAPI和TSAPI两种电话API，Intel公司的Indeo编码和解码器及Microsoft公司的DVI图形/图像标准接口。PCS标准目前仅供PCWG成员使用，很快将提供给公众。满足此标准的个人会议系统用户可以无间隙地与其他个人会议系统用户通信。
三．多点控制单元（MCU）
　　MCU是视频会议系统中的关键设备，它的作用是对图像、语音数据信号进行切换，而且是对数据流进行切换，MCU对视频信号采用直接分配的方式，若某会场有发言者，则他的图像信号便会传送到MCU，MCU将其切换到它所连接的所有会场。对数据信号，MCU采用广播方式将某一会场的数据切换到其它所有会场。对语音信号可以分两种情况：如只有一个会场发言，MCU将其切换到其它所有会场；若同时有几个会场发言，MCU将他们的音频信号进行混合处理，挑出电平最高的音频信号，然后切换到除该会场外所有其它会场。
1．MCU的结构原理
2．MCU控制下的多点会议建立过程
3．视频会议系统的控制
3．视频会议系统的控制
　　T.124建议包括下列通用会议控制（general conference control，GCC）功能组件：会议建立与结束，管理会议名表，管理应用名表，应用登记服务及会议指挥等。
　　为便于说明，先介绍会议控制的几个关键概念：
　　(1) 会议轮廓（conference profile），由GCC提供者维护的一个数据库，由与会议整体相关的信息如会议名、口令等组成。
　　(2) 会议名表（conference roster），由GCC提供者维护的一个数据库，由组成会议的各结点的相关信息的一个列表组成。
　　(3) 指挥者（conductor），指挥者是会议内的一个结点，它可控制该会议某些方面的情况（如对会议参加者的控制及对会议结束的控制等）。一个会议可有一个指挥者，或者没有。一个结点通过获取指挥者令牌或通过请求或接收现任指挥者的指挥权成为指挥者。
　　(4) 结点及结点控制器（node，node controller），结点是一个会议终端或MCU。一个结点可以同时是一个会议终端及MCU。
　　结点控制器是控制一个结点的功能实体。
　　(5) GCC提供者（GCC Provider），对一个会议终端或MCU上的结点控制器或应用协议实体提供服务的机构。
　　(6) 顶层GCC提供者(Top GCC Provider)，与顶层MCS提供者同驻于一个结点的GCC提供者。顶层GCC提供者对同一会议内的其他GCC提供者无任何需求。
（1）会议轮廓
　　所有会议都有下列属性，这些属性在会议创建时定义并在整个会议举行期间保持不变，每个结点参加会议时，这些属性都被传递给它。我们把这些属性称为会议的轮廓。
　　会议名，一个数字字符串及一个可选的文本字符串，标识一个会议。
　　会议描述符，描述一个会议的一个可选的文本字符串。
　　口令保护或无口令保护。
　　可列表的或不可列表的，决定本会议是否列入查询会议时提供的会议列表。
　　可指挥的或不可指挥的，决定本会议可以置为指挥模式还是始终不可指挥。
　　结束方式，决定本会议是只要明确结束（手工结束）时就结束，还是直到所有参加者离开时自动结束。
　　特权列表，一些列表的组合，指示正常情况下只有会议召集者才能拥有的特权中，哪些可被指挥者享有，哪些可被指挥模式下的任一结点享有，哪些可被无指挥模式下的任一结点所享有。
（2）会议建立过程举例
　　会议可在不同条件下通过不同的方式建立。最简单的会议是点对点会议，在这种情况下，呼叫过程不涉及MCU。在会议通过一个或多个MCU建立的情况下，典型的呼叫方式是相遇方式（Meet-Me Style），此时会议的所有参加者都向一个MCU拨号呼叫；或呼叫输出方式（Call-out Style），此时由MCU向所有与会者拨号呼叫；或呼叫通过方式（Call-through Style），此时由会议召集者（终端）呼叫MCU，然后再由MCU呼叫其他与会者。
(1) 相遇会议的建立
(2) 呼叫输出会议的建立
(3) 呼叫通过会议的建立
(4) 点对点会议的建立
四．视频会议系统的服务质量（QoS）及资源管理
　　视频会议系统是一种分布式多媒体信息管理系统，或称分布式多媒体通信系统。它不仅仅要求能够快速传送视频、音频和数据，而且要求要能满足一定的服务质量，如视频和音频连续媒体，必须保证在明确规定的时间无差错的传送给用户，以便在终端系统播放具备良好的质量。
　　视频会议系统需要：高数据吞吐量、实时性、服务质量保证。
视频会议系统的服务质量QoS（Quality of Service）是满足视频会议系统需求的核心问题，视频会议系统要把用户的服务请求映射成预先规定的QoS参数，进而与系统和网络资源对应起来，通过资源的分配和调度满足用户的应用需要。资源的分配和调度可以选用资源的静态管理和动态管理去完成。资源的静态管理包括：QoS的协商和解释、资源许可（admission）、资源的保留和分配及资源的释放。资源的动态管理包括：进程管理、缓冲区管理、传输率和流量控制及差错控制。
1．视频会议系统解决QoS保证的工作步骤如下
2．资源的管理
五．视频会议系统安全保密
　　视频会议系统最后一个组成部分是安全保密系统，它也是视频会议一个重要问题。安全保密系统的主要组成部分是加密模块和解密模块，加密模块是将会议终端用户数据加密形成加密后的数据在网络上传输，解密模块接收加密数据进行解密得到用户数据。加密和解密模块的核心是密钥的生成和管理，密钥生成的核心是加密算法，加密算法不包含在国际标准的建议中，它由视频会议系统设计者研制或选用。
从应用角度来看，一个安全密码系统应包含如下功能：
　　　秘密性（secrecy）：密文对非法接收者来说，不可被译；
　　　可验证性（authenticity）：可验证信息来源的合法性，检验信息是否伪造，或以前信息的全发；
　　　完整性（integrity）：可检验信息是否被更改，取代或删除；
　　　不可否认性（nonrepudiation）：发送方对发送的信息不可否认。
视频会议系统访问控制管理的任务是，防止非法用户进入系统及合法用户对系统资源的非法使用。两种措施，身份鉴别和使用授权。身份鉴别是用于对身份的验证，但它并没有描述一个实体进程的优先权。优先权的设定功能称为授权。
　　对视频会议系统可以设立四级访问权限：超级、优先、一般及作废。
　 超级：为管理员设立，可以进行系统范围的安全控制和资源使用情况的审计。
　　优先：可能系统的任何资源进行访问，可以申请作主持，可以申请数据令牌。
　　一般：访问操作受到一定的限制，根据需要才可以让他申请主持、数据令牌。
作废：系统拒绝这类用户进行访问。
1．视频会议系统安全保密结构原理
2．视频会议系统中常用的加密算法
(1) FEAL加密算法
(2) DES加密算法
7.3 流媒体技术
　　流媒体是指在网络中使用流式（Sreaming）传输技术进行传输的连续时基媒体，如音频数据流或视频数据流，而不是一种新的媒体。流媒体技术（或称为流式媒体技术）就是把连续的影像和声音信息经过压缩处理后放到网络服务器上，让浏览者一边下载一边观看、收听，而不需要等到整个多媒体文件下载完成就可以即时观看的技术。流媒体技术并不是单一的技术，它是融合流媒体数据的采集、压缩、存储、传输以及网络通信等多项技术之后所产生的技术。
　　流媒体给互联网带来的变化是巨大的，对于用户来讲，观看流媒体文件与观看传统的音视频文件在操作上几乎没有任何差别。惟一有区别的就是在影音品质上，由于流媒体为了解决带宽问题以及缩短下载时间，而采用了较高的压缩比，因此用户感受不到很高的图像和声音质量。
一．流式传输
　　流式传输定义很广泛，现在主要指通过网络传送媒体（如视频、音频）的技术总称。其特定含义为通过Internet 将影视节目传送到PC机。实现流式传输有两种方法：实时流式传输（Realtime streaming）和顺序流式传输（progressive streaming）。
　　1．顺序流式传输
　　2．实时流式传输
1．顺序流式传输
　　顺序流式传输是顺序下载，在下载文件的同时用户可观看再线媒体，在给定时刻，用户只能观看已下载的那部分，而不能跳到还未下载的前头部分，顺序流式传输不象实时流式传输在传输期间根据用户连接的速度做调整。由于标准的HTTP服务器可发送这种形式的文件，也不需要其他特殊协议，它经常被称作HTTP流式传输。顺序流式传输比较适合高质量的短片段，如片头、片尾和广告，由于该文件在播放前观看的部分是无损下载的，这种方法保证电影播放的最终质量。这意味着用户在观看前，必须经历延迟，对较慢的连接尤其如此。
　　对通过调制解调器发布短片段，顺序流式传输显得很实用，它允许用比调制解调器更高的数据速率创建视频片段。尽管有延迟，毕竟可让你发布较高质量的视频片段。
　　顺序流式文件是放在标准HTTP 或FTP服务器上，易于管理，基本上与防火墙无关。顺序流式传输不适合长片段和有随机访问要求的视频，如：讲座、演说与演示。它也不支持现场广播，严格说来，它是一种点播技术。
2．实时流式传输
　　实时流式传输指保证媒体信号带宽与网络连接配匹，使媒体可被实时观看到。实时流与HTTP流式传输不同，他需要专用的流媒体服务器与传输协议。
　　实时流式传输总是实时传送，特别适合现场事件，也支持随机访问，用户可快进或后退以观看前面或后面的内容。理论上，实时流一经播放就可不停止，但实际上，可能发生周期暂停。
　　实时流式传输必须配匹连接带宽，这意味着在以调制解调器速度连接时图象质量较差。而且，由于出错丢失的信息被忽略掉，网络拥挤或出现问题时，视频质量很差。如欲保证视频质量，顺序流式传输也许更好。实时流式传输需要特定服务器，如QuickTime Streaming Server、RealServer与Windows Media Server。这些服务器允许你对媒体发送进行更多级别的控制，因而系统设置、管理比标准HTTP服务器更复杂。实时流式传输还需要特殊网络协议，如：RTSP (Realtime Streaming Protocol)或MMS (Microsoft Media Server)。这些协议在有防火墙时有时会出现问题，导致用户不能看到一些地点的实时内容。
二．流媒体技术原理
　　多媒体数据必须进行预处理才能适合流式传输，这是因为目前的网络带宽对多媒体巨大的数据流两来说还显得远远不够。预处理主要包括两方面：一是降低质量；二是采用先进高效的压缩算法。
流式传输的过程一般是这样的：
　　（1）用户选择某一流媒体服务后，Web浏览器与Web服务器之间使用HTTP/TCP交换控制信息，以便把需要传输的音/视频流实时数据从原始信息中检索出来。
　　（2）客户机上的Web浏览器启动客户端程序（即一些播放程序），使用HTTP从Web服务器检索相关参数对客户端程序进行初始化。这些参数可能包括目录信息、音/视频数据的编码类型或与A/V检索相关的服务器地址。
　　 （3）客户端程序及流媒体服务器运行实时流控制协议（RTSP），以交换音/视频数据流传输所需的控制信息。RTSP起到一个遥控器的作用，用于客户端对流媒体服务器的远程控制，控制媒体数据流的播放、快进、快倒、暂停等命令。
　　（4）流媒体服务器使用RTP/UDP协议将音/视频数据传输给客户端程序，一旦音/视频数据抵达客户端，音/视频客户程序即可播放输出。
　　 需要说明的是，在流式传输中，使用RTP/UDP和RTSP/TCP两种不同的通信协议与流媒体服务器建立联系，是为了能够把服务器的输出重定向到一个不同于运行客户端程序所在客户机的目的地址。实现流式传输一般都需要专用服务器和播放器。
三．支持流媒传输的网络协议
　　1．实时传输协议RTP与RTCP
　　2．实时流协议RTSP
　　3．资源预订协议RSVP协议
四．流媒体系统的组成
　　一个最基本的流媒体系统必须包括编码器（Encoder）、流媒体服务器（Server)和客户端面播放器（Player）3个模块。模块之间通过特定的协议互相通信，并按照特定格式互相交换文件数据。其中编码器用于将原始的音/视频转换成合适的流格式文件，服务器向客户端发送编码后的媒体流，客户端播放器则负责解码和播放接收到的媒体数据。
1、编码器
　　编码器的功能是对输入的原始音、视频信号进行压缩编码。不同的流媒体业务，对编码器有不同的性能要求。目前常用的视频编码方案有MPEG-4、H.264和Microsoft公司的Windows Media Video采用的AC-1；音频编码方案有MP3、MPEG-2、AAC、AMR和AMR-WB等。多媒体编码器所生成的码流只包含了解码该码流所必需的信息，不包含媒体间的同步、随机访问等系统信息，因此编码后的多媒体数据还要被组织成为流媒体文件格式用于传输或存储。
2、流媒体服务器
通常流媒体的播放采用以下三种方式
　　1．单播
　　2．组播
　　3．点播与广播
3、客户端播放器
　　音/视频RTP数据包经网络传输到客户端后，先进入一个缓冲队列等待，这个缓冲队列中的所有数据包按照包头的序列号排序，如果有迟到的包，则按序列号重新插入正确的位置上，这样就避免了乱序的问题。
　　客户端每次从队列头部读取一帧数据，从包头的时间标记中解出该帧的播放时间，然后进行音/视频同步处理。同步后的数据将送入解码器进行解码，解码后的数据被送入一个循环读取的缓冲中等待。一旦该帧的播放时间到达，就将解码数据从缓冲存中取出，送入播放模块进行显示或播放。
五．流媒体文件格式
　　流媒体文件格式是支持采用流式传播及播放的媒体格式。流式文件格式经过特殊编码，使其适合在网络上边下载边播放，而不是等到下载完整个文件才能播放。将压缩媒体文件编码成流式文件，必须假如一些附加信息，如计时、压缩和版权信息。
常用流式文件格式
文件扩展名 媒体类型 公司 客户端播放器
asf Advanced Streaming Format Microsoft Microsoft Windows Meadia Player
wmv Windows Mesia Video Microsoft Microsoft Windows Meadia Player
wma Windows Mesia Audio Microsoft Microsoft Windows Meadia Player
rm（rmvb） Real Video/Audio Real Networks Real Player
ra Real Audio Real Networks Real Player
rp Real Pix Real Networks Real Player
rt Real Text Real Networks Real Player
swf ShockWave Flash Macromedia ShockWave插件
qt QuickTime Apple QuickTime Player
编码过程如图所示
六．流媒体应用
　　1．在线直播
　　随着Internet的普及网络上舆的资料不再局限于文字和图形，有许多的视频应用需要在网上直播，如世界杯现场直播、春节晚会直播等。对电视台来说，利用流媒体技术实现在线直播，可以最大范围地覆盖观众，能像电视直播一样大致宣传、广告或满足观众需求的目的。
　　2．视频点播
　　随着多媒体技术、通信技术以及硬件存储技术的发展，人们已不再满足以往单一、被动的单方向信息获取方式。采用流媒体技术的视频点播（Video on Demand，VOD）的交互式业务，正受到人们的欢迎。现在网上很多的在线影院基本上都是采用RealNetwork公司的RealSystem或微软的Windows Meadia System。
　　3．远程教育
　　远程教育系统与传统学校教育相比，突破了时空限制，增加了学习机会，有利于扩大教育规模，提高教学质量，降低教学成本。学习者可以在自己方便的时间、适合的地点，按照自己需要的速度和方式，运用丰富的教学资源来进行教学。目前许多大学都已采用流媒体技术实现了远程教育。
　　此外，流媒体技术在电子商务、远程医疗和视频会议等许多方面都有成功应用。目前流媒体技术的应用主要有宽带和窄带两种方式。窄带方式包括多媒体新闻直播、远程教学、e-Learing、股评分析和视频会议等；宽带方式包括网络电视、KTV、企业培训和多媒体IDC等。
7.4 虚拟现实技术
　　虚拟现实（Virtual Reality，简称VR）技术产生于20世纪60年代，VR一词创始于20世纪80年代，该技术涉及计算机图形学、传感器技术动力学、光学、人工智能及社会心理学等研究领域，是多媒体发展的更高境界。虚拟现实技术是一种基于可计算信息的沉浸式交互环境，具体地说，就是采用以计算机技术为核心的现代高科技生成逼真的视、听、触觉一体化的特定范围的虚拟环境（Virtual Environment，简称VE），用户借助必要的设备以自然的方式与虚拟环境中的对象进行交互作用、相互影响，从而产生亲临等同真实环境的感受和体验。
　　一．虚拟现实的定义
　　通常虚拟现实的定义分为狭义和广义两种。
　　 1．狭义的定义
　　 2．广义的定义
1．狭义的定义
　　即为一种人机界面(人机交互方式)，亦可以称之为“自然人机界面”。在此环境中，用户看到的是全彩色主体景象，听到的是虚拟环境中的音响，手（或）脚可以感受到虚拟环境反馈给他的作用力，由此使用户产生一种身临其境的感觉。亦即人是以与感受真实世界一样的（自然的）方式来感受计算机生成的虚拟世界，具有和相应真实世界里一样的感觉。这里，计算机世界既可以是超越我们所处时空之外的虚构环境，也可以是一种对现实世界的仿真(强调是由计算机生成的，能让人有身临其境感觉的虚拟图形界面)。
2．广义的定义
　　即为对虚拟想象（三维可视化的）或真实三维世界的模拟（Simulation)。对某个特定环境真实再现后，用户通过接受和响应模拟环境的各种感官刺激，与其中虚拟的人及事物进行交互，使用户有身临其境的感觉。
　　如果不限定真实三维世界(视觉、听觉等等都是三维的)，那些没有三维图形的世界，但模拟了真实世界的某些特征的，如网络上的聊天室，MUD (网络角色)扮演游戏等等，也可称作虚拟世界，虚拟现实。
二．虚拟现实系统的特性
　　虚拟现实是计算机与用户之间的一种更为理想化的人-机界面形式。与传统计算机相比，虚拟现实系统具有三个重要特征：沉浸感，交互性，想像性，任何虚拟现实系统都可以用三个“I”来描述其特征。其中沉浸感与交互性是决定一个系统是否属于虚拟现实系统的关键特征。
三个“I”
（1）沉浸感(Immersion)，又称临声感。虚拟现实技术是根据人类的视觉、听觉的生理心理特点，由计算机产生逼真的三维立体图像，使用者戴上头盔显示器和数据手套等交互设备，便可将自己置身于虚拟环境中，成为虚拟环境中的一员。使用者与虚拟环境中的各种对象的相互作用，就如同在现实世界中的一样。当使用者移动头部时，虚拟环境中的图像也实时地跟随变化，拿起物体可使物体随着手的移动而运动，而且还可以听到三维仿真声音。使用者在虚拟环境中，一切感觉都是那么逼真，有一种身临其境的感觉。
　　（2）交互性(Interaction)。虚拟现实系统中的人机交互是一种近乎自然的交互，使用者不仅可以利用电脑键盘、鼠标进行交互，而且能够通过特殊头盔、数据手套等传感设备进行交互。计算机能根据使用者的头、手、眼、语言及身体的运动，来调整系统呈现的图像及声音。使用者通过自身的语言、身体运动或动作等自然技能，就能对虚拟环境中的对象进行考察或操作。
　　（3）想像性(Imagination)。由于虚拟现实系统中装有视、听、触、动觉的传感及反应装置，因此，使用者在虚拟环境中可获得视觉、听觉、触觉、动觉等多种感知，从而达到身临其境的感受。
1．虚拟现实系统的组成
　　具有三“I”特性的虚拟现实系统，其系统基本组成主要包括观察者、传感器、效果产生器及实景仿真器组成。虚拟现实系统的基本组成如图
2、虚拟现实系统的分类
　　虚拟现实系统按其功能不同，可分成沉浸型虚拟现实系统、增强现实性的虚拟现实系统、桌面型虚拟现实系统和分布式虚拟现实系统等四种类型。
① 沉浸型虚拟现实系统：沉浸型虚拟系统是一套比较复杂的系统。使用者必须头戴头盔、手带数据手套等传感跟踪装置，才能与虚拟世界进行交互。由于这种系统可以将使用者的视觉、听觉与外界隔离，因此，用户可排除外界干扰，全身心地投入到虚拟现实中去。
　　这种系统的优点是用户可完全沉浸到虚拟世界中去，缺点是系统设备价格昂贵，难以普及推广。常见的沉浸型系统有：基于头盔式显示器的系统、投影式虚拟现实系统。
② 增强现实性的虚拟现实系统：不仅是利用虚拟现实技术来模拟现实世界、仿真现实世界，而且要利用它来增强参与者对真实环境的感受，也就是现实中无法感知或不方便的感受。典型实例是战斗机飞行员的平视显示哭，它可以将仪表读数和武器瞄准数据投身到安装在飞行员面前的穿透式屏幕上，使飞行员不必低头读座舱中仪表的数据，从而可集中精力盯着敌人的飞机。
③ 桌面型虚拟现实系统是利用个人计算机和低级工作站进行仿真，将计算机的屏幕作为用户观察虚拟境界的窗口。使用者通过各种输入设备便可与虚拟环境进行交互，这些外部设备包括鼠标、追踪球、力矩球等。这种系统的特点是结构简单、价格低廉，易于普及推广，缺点是缺乏真实的现实体验。常见桌面虚拟现实技术有：基于静态图像的虚拟现实Quick Time VR（由苹果公司推出的快速虚拟系统，是采用360度全景拍摄来生成逼真的虚拟情景，用户在普通的电脑上，利用鼠标和键盘，就能真实地感受到所虚拟的情景)、虚拟现实造型语言（VRML，Virtual Reality Modeling Language）等。
④ 分布式虚拟现实系统是将异地的不同用户联结起来，共享一个虚拟空间，多个用户通过网络对同一虚拟世界进行观察和操作，达到协同工作的目的。例如，异地的医科学生，可以通过网络，对虚拟手术室中的病人进行外科手术。
三．虚拟现实的关键技术
　　实物虚化、虚物实化和高性能的计算处理技术是VR技术的3个主要方面。
实物虚化是现实世界空间向多维信息化空间的一种映射,主要包括基本模型构建、空间跟踪、声音定位、视觉跟踪和视点感应等关键技术，这些技术使得真实感虚拟世界的生成、虚拟环境对用户操作的检测和操作数据的获取成为可能。它具体基于以下几种技术。
　　（1）基本模型构建技术：它是应用计算机技术生成虚拟世界的基础，它将真实世界的对象物体在相应的3D虚拟世界中重构，并根据系统需求保存部分物理属性。例如车辆在柏油地、草地、沙地和泥地上行驶时情况会有所不同，或对气象数据进行建模生成虚拟环境的气象情况（阴天、晴天、雨、雾）等等。
　　（2）空间跟踪技术：主要是通过头盔显示器（Head Mounted Display）、数据手套（Data Glove）、数据衣（Data Suit）等常用的交互设备上的空间传感器，确定用户的头、手、躯体或其他操作物在3D虚拟环境中的位置和方向。
　　（3）声音跟踪技术：利用不同声源的声音到达某一特定地点的时间差、相位差、声压差等进行虚拟环境的声音跟踪。
　　（4）视觉跟踪与视点感应技术：使用从视频摄像机到X-Y平面阵列、周围光或者跟踪光在图像投影平面不同时刻和不同位置上的投影，计算被跟踪对象的位置和方向。
虚物实化是指确保用户从虚拟环境中获取同真实环境中一样或相似的视觉、听觉、力觉和触觉等感官认知的关键技术。能否让参与者产生沉浸感的关键因素除了视觉和听觉感知外，还有用户能否在操纵虚拟物体的同时，感受到虚拟物体的反作用力，从而产生触觉和力觉感知。力觉感知主要由计算机通过力反馈手套、力反馈操纵杆对手指产生运动阻尼从而使用户感受到作用力的方向和大小。触觉反馈主要是基于视觉、气压感、振动触感、电子触感和神经、肌肉模拟等方法来实现的。
高性能计算处理技术主要包括数据转换和数据预处理技术；实时、逼真图形图像生成与显示技术；多种声音的合成与声音空间化技术；多维信息数据的融合、数据压缩以及数据库的生成；包括命令识别、语音识别，以及手势和人的面部表情信息的检测等在内的模式识别；分布式与并行计算，以及高速、大规模的远程网络技术。
四．虚拟现实的应用
　　VR技术的应用范围很广，诸如国防、建筑设计、工业设计、培训、医学领域。例如建筑设计师可以运用虚拟现实技术向客户提供三维虚拟模型，而外科医生还可以在三维虚拟的病人身上试行一种新的外科手术。 Helsel与Doherty在1993年对全世界范围内已经进行的805项VR研究项目作了统计，结果表明：目前在娱乐、教育及艺术方面的应用占据主流，达21.4％，其次是军事与航空达12.7％，医学方面达6.13％，机器人方面占6.21％，商业方面占4.96％，另外在可视化计算、制造业等方面也有相当的比重。
总的来说，虚拟现实是一个充满活力、具有巨大应用前景的高新技术领域，但仍存在许多有待解决与突破的问题。为了提高VR系统的交互性、逼真性和沉浸感，在新型传感和感知机理、几何与物理建模新方法、高性能计算，特别是高速图形图像处理，以及人工智能、心理学、社会学等方面都有许多挑战性的问题有待解决。但是我们坚信在这一高新技术领域我国肯定会有所作为的。

展开更多......

收起↑