方案常用中关键技术与技术路线

注：技术路线局部主要是开发时所用到的框架和技术,关键 技术局部主要是当前应用的一些前端技术.

一、技术路线

系统采用的技术路线分为以下两个层次：采用良好的系 统构建框架及系统实现技术,同时采用良好的数据定义、传 输与组成对象交互机制,这两个层次可以贴切的比喻为“人 的骨头与血液〞的关系,是构建性能优异、架构健壮、开放 灵活应用系统的根底.

1、Spring MVC技术框架

Spring MVC是Spring框架的一局部,Spring框架成为Java EE开发主流框架后,Spring开发小组又在Spring框架的根底上 推出了MVC架构,主要用于支持WEB应用程序的开发.

MVC是Model

〔模型,也称为数据模型〕、View

〔视图〕、

Controll

〔限制器〕三个英文单词首字母的缩写.从MVC组合的 三个单词也可以看出,MVC是一种设计模型,它使用限制器将数 据模型和视图进行别离,也就是将视图和数据解耦.这样的好处 是后端处理的数据模型和前端视图显示的数据格式无关,实现一 个数据模型可以对应多个视图以不同的方式来展现数据,当数据 模型或视图发生变化时,相互之间的影响也会降低到最低.

MVC中最重要的核心就是限制器,限制器与视图和模型相对 独立,

它起到一个负责分发请求和返回处理结果的作用,对请求 和数据模型的处理一般由JavaBean负责.

上图是在实际开发中MVC的架构图,架构图分为两局部：虚 线框外的是WEB程序的浏览器局部,用户通过浏览器与系统进行 交互,同时浏览器也负责解析JSP页面；虚线框内的是WEB程序 的后台局部,这局部包括限制器〔Controller类〕、业务逻辑

〔Service类〕、数据模型〔实体类〕、数据持久层〔Mybatis框 架〕和MySQL数据库治理系统.

在MVC架构中,JSP页面就是视图,用户通过JSP页面发出 请求后,Spring MVC会根据请求路径,将请求发给与请求路径 对应的Controller类,Controller类调用Service类对请求进 行处理,Service类会调用数据持久层MyBatis完成对实体类的 存取和查询工作,并将处理结果返回到Controller类,

Controller类将处理结果转换为ModelAndView对象,JSP接收

ModelAndView对象并进行渲染.

2、微效劳〔架构〕

微效劳架构是一种架构模式,它提倡将单一应用程序划分成 一组小的效劳,效劳之间相互协调、互相配合,为用户提供最终 价值.每个效

劳运行在其独立的进程中,效劳和效劳之间采用轻 量级的通信机制相互沟通〔通常是基于HTTP的Restful API〕.

每个效劳都围绕着具体的业务进行构建,并且能够被独立的部署 到生产环境、类生产环境等.另外,应尽量防止统一的、集中的 效劳治理机制,对具体的一个效劳而言,应根据业务上下文,选 择适宜的语言、工具对其进行构架.

作为一种新的设计和架构理念,相比于传统的单体式应用而 言,微效劳这种小而化之、互相连接的设计理念不仅能让复杂应 用的构建变得更加灵活,更能帮助创业企业在面对市场的高度不 确定性时,快速推出新产品,低本钱试错.

优点：

1:提升开发交流,每个效劳足够内聚,足够小,代码容易理 解；

2:效劳独立测试、部署、升级、发布；

3:按需定制的DFX,资源利用率,每个效劳可以各自进行x

扩展和z扩展,而且,每个效劳可以根据自己的需要部署到适宜 的硬件效劳器上；每个效劳按4:需要选择HA的模式,选择接受 效劳的实例个数；

5：容易扩大开发团队,可以针对每个效劳(service)组件

开发团队；

6:提升容错性(fault isolation),一个效劳的内存泄露并 不会让整个系统瘫痪；

7:新技术的应用,系统不会被长期限制在某个技术栈上.

3、mybatis

框架

MyBatis是一款优秀的持久层框架,它支持定制化SQL、 存储

过程以及高级映射.MyBatis防止了几乎所有的JDBC代码 和手动设置参数以及获取结果集.MyBatis可以使用简单的XML

或注解来配置和映射原生信息、,将接口和Java的POJOs(Plain Old Java Objects,普通的Java对象)映射成数据库中的记录.

sql写在xml文件中,便于统一治理和优化,解除sql和 程序代码的耦合;提供映射标签,支持对象和和数据库orm字段 关系的映射,支持对象关系映射标签,支持对象关系的组建；提 供xml标签,支持编写动态sql.

功能架构

(1)API接口层：提供给外部使用的接口

API,开发人员通过 这些本地API来操纵数据库.接口层一接收到调用请求就会调用 数据处理层来完成具体的数据处理.

(2)数据处理层：负责具体的SQL查找、SQL解析、SQL执行 和执行结果映射处理等.它主要的目的是根据调用的请求完成一 次数据库操作.

(3)根底支撑层：负责最根底的功能支撑,包括连接治理、 事务治理、配置加载和缓存处理,这些都是共用的东西,将他们 抽取出来作为最根底的组件.为上层的数据处理层提供最根底的 支撑.

总体流程

(1)加载配置并初始化

触发条件：加载配置文件

处理过程：将SQL的配置信息加载成为一个个

MappedStatement

对象(包括了传入参数映射配置、执行的SQL

语句、结果映射配置),存储在内存中.

(2)接收调用请求

触发条件：调用Mybatis提供的API

传入参数：为SQL的ID和传入参数对象

处理过程：将请求传递给下层的请求处理层进行处理.

(3)处理操作请求

触发条件：API接口层传递请求过来

传入参数：为SQL的ID和传入参数对象

处理过程：

(A)根据SQL的ID查找对应的MappedStatement对象.

(B)根据传入参数对象解析MappedStatement对象,得到最 终要执行的SQL和执行传入参数.

(C)获取数据库连接,根据得到的最终SQL语句和执行传入 参数到数据库执行,并得到执行结果.

(D)根据MappedStatement对象中的结果映射配置对得到的 执行结果进行转换处理,并得到最终的处理结果.

(E)释放连接资源.

(4)返回处理结果将最终的处理结果返回.

优点：

1 .与JDBC相比,减少了

50%以上的代码量.

2 . MyBatis是最简单的持久化框架,小巧并且简单易学.

3 . MyBatis相当灵活,不会对应用程序或者数据库的现有 设计强加任何影响,SQL写在XML里,从程序代码中彻底别离, 降低耦合度,便于统一治理和优化,并可重用.

4 .提供XML标签,支持编写动态SQL语句.

5 .提供映射标签,支持对象与数据库的ORM字段关系映射.

4、shiro

框架

Apache Shiro是一个强大且易用的Java平安框架,执行身 份验证、授权、密码和会话治理.使用Shiro的易于理解的API,

您可以快速、轻松地获得任何应用程序,从最小的移动应用程序 到最大的网络和企业应用程序.

主要功能

三个核心组件：Subject, SecurityManager

和

Realms.

Subject：即“当前操作用户“.但是,在Shiro中,Subject

这一概念并不仅仅指人,也可以是第三方进程、后台帐户〔Daemon

Account〕或其他类似事物.它仅仅意味着“当前跟软件交互的 东西〞.但考虑到大多数目的和用途,你可以把它认为是Shiro

的“用户〞概念.

Subject代表了当前用户的平安操作,SecurityManager那么 治理所有用户的平安操作.

SecurityManager：它是

Shiro框架的核心,典型的Facade

模式,Shiro通过SecurityManager来治理内部组件实例,并通 过它来提供平安治理的各种效劳.

Realm： Realm充当了

Shiro与应用平安数据间的“桥梁〞 或

者“连接器〞.也就是说,当对用户执行认证〔登录〕和授权 〔访问限制〕验证时,Shiro会从应用配置的Realm中查找用户 及其权限信息.

从这个意义上讲,Realm实质上是一个平安相关的口人.：它 封装了数据源的连接细节,并在需要时将相关数据提供给Shiro. 当配置Shiro时,你必须至少指定一个Realm,用于认证和〔或〕 授权.配置多个Realm是可以的,但是至少需要一个.

Shiro内置了可以连接大量平安数据源〔又名目录〕的Realm,

如LDAP、关系数据库〔JDBC〕、类似INI的文本配置资源以及属 性文件等.如果缺省的Realm不能满足需求,你还可以插入代表 自定义数据源的自己的Realm实现.

5、CAS单点登录

CAS

全称为

Central Authentication Service

即中央认证 效劳,是一个企业多语言单点登录的解决方案,并努力去成为一 个身份验证和授权需求的综合平台.单点登录〔Single Sign-On,

简称SSO〕是多个相关但独立的软件系统访问限制的一个属性. 通过使用该属性,用户登录与单个ID和密码来访问所连接的一 个或多个系统,而不使用不同的用户名或密码,或在某些配置中 无缝登录在每个系统上,它是比拟流行的效劳于企业业务整合的 一种解决方案.总结一句话,SSO使得在多个应用系统中,用户 只需要 登录一次 就可以访问所有相互信任的应用系统.Cas就 是单点登录的框架.

6、maven

技术

Maven工程对象模型〔POM〕,可以通过一小段描述信息来管 理工

程的构建,报告和文档的工程治理工具软件.

Maven除了以程序构建水平为特色之外,还提供高级工程管 理工具.由于Maven的缺省构建规那么有较高的可重用性,所以 常常用两三行Maven构建脚本就可以构建简单的工程.由于

Maven的面向工程的方法,许多Apache Jakarta工程发文时使 用Maven,而且公司工程采用Maven的比例在持续增长.

Maven是一个工程治理工具,它包含了一个工程对象模型

〔Project Object Model〕,一组标准集合,一个工程生命周期

〔Project Lifecycle〕,

一个依赖治理系统〔Dependency

Management System),和用来运行定义在生命周期阶段(phase)

中插件(plugin)目标(goal)的逻辑.当你使用Maven的时候,你 用一个明确定义的工程对象模型来描述你的工程,然后Maven可 以应用横切的逻辑,这些逻辑来自一组共享的(或者自定义的) 插件.

Maven有一个生命周期,当你运行mvn install的时候被 调用.这条命令告诉Maven执行一系列的有序的步骤,直到到 达你指定的生命周期.遍历生命周期旅途中的一个影响就是,

Maven运行了许多默认的插件目标,这些目标完成了像编译和创 建一个JAR文件这样的工作.

此外,Maven能够很方便的帮你治理工程报告,生成站点, 治理JAR文件,等等.

7、vue前端js框架

Vue是一套用于构建用户界面的渐进式框架.与其它大型框 架不同的是,Vue被设计为可以自底向上逐层应用.Vue的核心 库只关注视图

层,不仅易于上手,还便于与第三方库或既有工程 整合.另一方面,当与现代化的工具链以及各种支持类库结合使 用时,Vue也完全能够为复杂的单页应用提供驱动.

vue两大特点：响应式编程、组件化

vue的优势：轻量级框架、简单易学、双向数据绑定、组件

化、视图、数据和结构的别离、虚拟DOM、运行速度快

vue是单页面应用,使页面局部刷新,不用每次跳转页面都 要请求所有数据和dom,这样大大加快了访问速度和提升用户体 验.而且他的第三方心库很多节省开发时间.

8、layui前端框架

layui是一款采用自身模块标准编写的前端UI框架,它遵 循原生的HTML/CSS/JS书写方式.它虽然外在极简,但是内容 丰富,里面包含众多组件从核心代码到API都非常适合界面的 快速开发.事实上layui更多是面向于后端开发者,而且它还拥 有自己的模式.更加轻量和简单.

优点：

〔1〕layui属于轻量级框架,简单美观.适用于开发后端 模式,它在效劳端页面上有非常好的效果.

〔2〕layui是提供给后端开发人员最好的ui框架,基于DOM

驱动,只要不涉及到交互layui还是很不错的

二、关键技术

1、农业大数据与云计算技术

农业大数据是融合了农业地域性、季节性、多样性、周期性 等自身特征后产生的来源广泛、类型多样、结构复杂、具有潜在 价值,并难以应用通常方法处理和分析的数据集合,保存了大数 据自身具有的规模巨大、类型多样、价值密度低、处理速度快、 精确度高和复杂度高等根本特征,并使农业内部的信息流得到了 延展和深化.大数据技术不仅能够对农业信息进行收集和整理, 还能够精准地预测未来的走向,为农业生产、营销等活动提供预 警监测和决策依据,降低了传统模式下由于数据信息处理低效 引发的农业生产风险.农业大数据技术体系包括大数据的采集与 预处理技术大数据存储与治理技术、大数据计算模式与系统、大 数据分析与挖掘技术、大数据可视化分析技术及大数据平安技术 等.海量数据信息治理与挖掘技术〔云计算〕,数据资源虚拟化与

智能信息推送技术〔云效劳〕,农业物联网信息融合与优化处理技 术〔模型决策〕等作为农业物联网应用层的关键技术,在农业生产 中发挥了重大作用.

用于农情、灾情、作物、农产品监测预警.在大数据根底上, 根据数据处理平台的分析处理,使农情监测系统更加完善.通过 分析收集的气象数据,结合气象模拟、土地分析、植物根部等要 素,改良自然灾害的预测预报和灾害评估方法,提升预测灾情的 客观性与准确性.针对遥感卫星监测提供的宏观数据,利用大数 据处理平台进行全面分析,为作物估产和生长动态监测提供重要 的信息情报.在农产品质量监测预警

方面,大数据技术给农产品 信息的全面收集提供了技术根底,通过全方位比对,提升农产品 质量监测的准确性.大数据处理技术的实时性使得农产品在出现 质量问题时,能够及时限制影响范围,使农产品质量预警机制更 加高效.数据获取技术更加快捷,农产品市场信息的流动大大加

快,从而减弱不同地域的市场信息不同步所带来的市场风险.

用于精准农业决策.精准农业决策是指根据各个方面的农业 信息,制定出一整套具有可实施性的精准治理举措.大数据处理 分析技术集成作物自身生长发育状况以及作物生长环境中的气 候、土壤、生物等数据,同时综合考虑经济、环境、可持续开展 的指标,可以弥补专家系统、模拟模型在多结构、高密度数据处 理方而的缺乏,为生产决策者提供更加精准、实时、高效的农业 决策.以大数据驱动精准农业操作方面,通过遥感卫星和无人机 可以治理地块和规划作物种植适宜区,预测气候、自然灾害、病 虫害、土壤墒情等环境因素,监测作物长势,指导灌溉和施肥, 预估产量；利用气象、环境等数据来支持农业种植及上下游的决 策；GPS导航水平和其他工业技术的提升,实现跟踪作物流动, 引导和限制设备,监控农田果园环境,精细化治理整个土地的投 入,大大提升了生产力和盈利水平.

用于农业农村云效劳平台的搭建.云效劳平台的搭建有助于 农业信息的传播.面对数据资源体量大、数据处理流程复杂、信 息效劳模式多样、用户需求复杂多样,实现信息效劳按需分配以 及处理大规模的资源数据中就必须利用大数据处理分析技术.国 家农业信息化工程技术研究中央研发农业智能系统平台PAID,

提供了统一标准和适合农业特

点的农业智能系统技术框架体系, 支持对农业问题的定性推理和定量计算,在Windows DNA体系结 构、多源数据融合、基于XML的数据交换与传输、软构件技术、 产生式知识表示、知识自动获取和模糊推理等关键技术上实现了 创新,平台基于OMG组织的模型驱动体系结构MDA建立了层次模 型和构件模型,不同层次的用户可以方便的利用平台开发定制出 适合不同农业应用领域的专家系统；基于Web Sevice技术支持

多专家系统的整合、协同以及不同的客户端应用；基于

COM/DCOM/COM+、.NET和EJB标准,建立了基于Web的多级专家 系统构件开发模型,具有良好的可重构性和集成性.云效劳平台 以农产品标准化生产、物联网精准治理、全程质量溯源为支撑, 形成全面信息化、智能化生产销售链条,实现从农产品生产到市 场销售的全程信息化治理,以及农副产品“从农田到餐桌〞全过 程可追溯.

2、农业物联网技术

物联网技术是推动信息化与农业现代化融合的重要切入点, 是推动我国农业向“高产、优质、高效、生态、平安〞开展的重 要技术支撑.全球的物联网应用主要以二维码、RFID、传感器等 技术为主.当前我国农业物联网开展已初步形成以农业传感器、 网络互连和智能信息处理等农业物联网共性关键技术研究为重 点,以探测农业生态资源环境、感知大田、设施、果园动植物生 命信息,农业机械装备作业调度和远程监控、农产品与食品质量 平安可追溯、效劳平台集成、标准体系制定等方面为重要应用发 展领域,以农业传感器和移动信息装备制造产业、农业信息、网络 效劳产业、农业自动识别技术与设备产业、农业精细作业机

具产 业、农产品物流产业等为重点战略新兴产业的格局,逐步形成了 从关键技术研究、标准制定、产品研发、平台构建、应用示范为 一体的开展技术路线.在农业领域,物联网技术在农作物灌溉、 生产环境监测以及农产品流通和追溯方面逐步推广.物联网技术 集成先进传感器、无线通讯和网络、辅助决策支持与自动限制等 高新技术,可以实现对农业资源环境、动植物生长过程、农产品 流通过程等的实时监测,获取动植物生长发育状态、病虫害、水 肥状况以及相应生态环境的实时信息,并通过对农业生产过程的 动态模拟和对生长环境因子的科学调控,到达合理使用农业资源、 降低本钱、改善环境、提升农产品产量和质量的目的.

作为农业部重点实验室建设依托单位、农业部农业物联网系 统集成重点实验室,北京派得伟业科技开展针对农业物 联网领域的应用技术问题,开展设施农业物联网技术、大田苗情 监测与节水灌溉物联网技术、农产品质量平安监管与溯源物联网 技术、农资流通物联网技术、健康养殖物联网技术以及农业物联 网集成技术标准研究等方向的工作,在农作物林果种植领域、畜 禽水产养殖领域、种业领域、农产品质量平安追溯领域等开展了 大量的示范应用.

3、地理信息系统(Geographic Information Systems,GIS)

技术

GIS系统即地理信息、系统是一种基于计算机的工具,它可以 对在地球上存在的东西和发生的事件进行成图和分析.GIS技术 把地图这种独特的视觉化效果和地理分析功能与一般的数据库

操作(例如查询和统计分析等)集成在一起.这种水平使GIS与 其他信息系统相区别,从而使其在广泛的公众和个人企事业单位 中解释事件、预测结果、规划战略等中具有实用价值.地理信息 系统技术广泛应用于农业、林业、国土资源、地矿、军事、交通、 测绘、水利、播送电视、通讯、电力、公安、社区治理、教育、 能源等几乎所有的行业,并正在走进人们日常的工作、学习和生 活中.

地理信息系统在最近的30多年内取得了惊人的开展,在“互 联网+ 〞的大背景下,GIS广泛应用于资源调查、环境评估、灾 害预测、国土治理、城市规划、邮电通讯、交通运输、军事公安、 水利电力、公共设施治理、农林牧业、统计、商业金融等几乎所 有领域.

资源治理(Resource Management)主要应用于农业和林业 领域,解决农业和林业领域各种资源(如土地、森林、草场)分 布、分级、统计、制图等问题.

资源配置(Resource Configuration)在城市中各种公用设 施、救灾减灾中物资的分配、全国范围内能源保证、粮食供给 等到机构的在各地的配置等都是资源配置问题.GIS在这类应用 中的目标是保证 资源的最合理配置和发挥最大效益.

城市规划和治理(Urban Planning and Management)空间 规划是GIS的一个重要应用领域,城市规划和治理是其中的主要 内容.例如,在大规模城市根底设施建设中如何保证绿地的比例 和合理分布、如何保证学校、公共设施、运动场所、效劳设施等 能够有最大的效劳面(城市资源配置问题)等.

土 地信息、系统和应用(Land Information System and

Cadastral Applicaiton)土地和地籍治理涉及土地使用性质变 化、地块轮廓变化、地籍权属关系变化等许多内容,借助GIS技 术可以高效、高质量地完成这些工作.

生态、环境治理与模拟(Environmental Management and

Modeling)区域生态规划、环境现状评价、环境影响评价、污染 物削减分配的决策支持、环境与区域可持续开展的决策支持、环 保设施的治理、环境规划等.

应急响应(Emergency Response)解决在发生洪水、战争、 地震、核事故等重大自然或人为灾害时,如何安排最正确的人员撤 离路线、并配备相应的运输和保证设施的问题.

地学研究与应用(Application in GeoScience)地形分析、 流域分析、土地利用研究、经济地理研究、空间决策支持、空间 统计分析、制图等都可以借助地理信息、系统工具完成.ArcMap系 统就是一个很好的地学分析应用软件系统.

4、海量数据存储技术

在现代的企业环境中,单机容量往往无法存储大量数据,需 要跨机器存储.统一治理分布在集群上的文件系统称为分布式文 件系统.而一旦在系统中,引入网络,就不可防止地引入了所有 网络编程的复杂性,例如保证在节点不可用的时候数据不丧失.

传统的网络文件系统〔礼5〕虽然也称为分布式文件系统,但是 其存在一些限制,由于NFS中文件存储在单机上,无法提供可靠 性保证,当很多

客户端同时访问NFS Server时,很容易造成服 务器压力,造成性能瓶颈；另外如果要对NFS中的文件中进行操 作,需要首先同步到本地,这些修改在同步到效劳端之前,其他 客户端是不可见的.HDFS,是分布式文件系统Hadoop Distributed File System的简称,是Hadoop抽象文件系统的 一种实现.Hadoop抽象文件系统可以与本地系统、Amazon

S3等 集成,甚至可以通过亚.6协议〔webhsfs〕来操作.HDFS的文件

分布在集群机器上,同时提供副本进行容错及可靠性保证.

HDFS采用master/slave架构.一个HDFS集群是由一个

Namenode和一定数目的Datanodes组成.Namenode是一个中央 效劳器,负责治理文件系统的名字空间〔namespace〕以及客户端 对文件的访问.集群中的Datanode一般是一个节点一个,负责 治理它所在节点上的存储.HDFS暴露了文件系统的名字空间, 用户能够以文件的形式在上面存储数据.从内部看,一个文件其 实被分成一个或多个数据块,这些块存储在一组Datanode上.

Namenode执行文件系统的名字空间操作,比方翻开、关闭、重 命名文件或目录.它也负责确定数据块到具体Datanode节点的 映射.Datanode负责处理文件系统客户端的读写请求.在

Namenode的统一调度下进行数据块的创立、删除和复制.

Namenode和Datanode被设计成可以在普通的商用机器上运行.

这些机器一般运行着GNU/Linux操作系统(OS).HDFS采用Java

语言开发,因此任何支持Java的机器都可以部署Namenode或

Datanode.由于采用了可移植性极强的Java语言,使得HDFS可 以部署到多种类型的机器上.集群中单一

Namenode的结构大大 简化了系统的架

构.Namenode是所有HDFS元数据的仲裁者和管 理者,这样,用户数据永远不会流过Namenode.

5、实时数据处理技术

针对具有实时性、易失性、突发性、无序性、无限性等特征 的流式大数据,理想的大数据流式计算系统应该表现出低延迟、 高吞吐、持续稳定运行和弹性可伸缩等特性,这其中离不开系统 架构、数据传输、编程接口、高可用技术等关键技术的合理规划 和良好设计.Storm是Twitter支持开发的一款分布式的、开源 的、实时的、主从式大数据流式计算系统,使用的协议为Eclipse Public License 1.0,其核心局部使用了高效流式计算的函数式 语言门.^^编写,极大地提升了系统性能.但为了方便用户使 用,支持用户使用任意编程语言进行课题的开发.

任务拓扑(topology)是Storm的逻辑单元,一个实时应用的 计算任务将被打包为任务拓扑后发布,任务拓扑一旦提交后将会 一直运行着,除非显式地去中止.一个任务拓扑是由一系列Spout

和Bolt构成的有向无环图,通过数据流(stream)实现Spout和

Bolt之间的关联.其中,Spout负责从外部数据源不间断地读取 数据,并以Tuple元组的形式发送给相应的Bolt； Bolt负责对 接收到的数据流进行计算,实现过滤、聚合、查询等具体功能, 可以级联,也可以向外发送数据流.数据流是Storm对数据进行 的抽象,它是时间上无穷的Tuple元组序列,数据流是通过流分 组(stream grouping)所提供的不同策略实现在任务拓扑中流动. 此外,为了满足保证消息能且仅能被计算1次的需求,Storm还 提供了事务任务拓扑.

作业级容错机制.用户可以为一个或多个数据流作业进行编 号,分配一个唯一的ID,Storm可以保证每个编号的数据流在任 务拓扑中被完全执行.所谓的完全执行,是指由该ID绑定的源 数据流以及由该源数据流后续生成的新数据流经过任务拓扑中 每一个应该到达的Bolt,并被完全执行.Storm通过系统级组件

Acker实现对数据流的全局计算路径的跟踪,并保证该数据流被 完全执行.其根本原理是为数据流中的每个分组进行编号,并通 过异或运算来实现对其计算路径的跟踪.

Storm采用主从系统架构,在一个Storm系统中有两类节点 (一个主节点Nimbus、多个从节点Supervisor)及3种运行环境

(master,

cluster和slaves)构成.其中,主节点Nimbus运行 在master环境中,是无状态的,负责全局的资源分配、任务调 度、状态监控和故障检测：一方面,主节点Nimbus接收客户端 提交来的任务,验证后分配任务到从节点Supervisor上,同时 把该任务的元信息写入Zookeeper目录中；另一方面,主节点

Nimbus需要通过Zookeeper实时监控任务的执行情况,当出现

故障时进行故障检测,并重启失败的从节点Supervisor和工作 进程Worker.从节点Supervisor运行在slaves环境中,也是 无状态的,负责监听并接受来自于主节点Nimbus所分配的任务, 并启动或停止自己所治理的工作进程Worker,其中,工作进程

Worker负责具体任务的执行.一个完整的任务拓扑往往由分布 在多个从节点Supervisor上的Worker进程来协调执行,每个

Worker都执行且仅执行任务拓扑中的一个子集.在每个Worker

内部,会有多个Executor,每个Executor对应

一个线程.Task

负责具体数据的计算,即用户所实现的Spout/Blot实例.每个

Executor会对应一个或多个Task,因此,系统中Executor的数 量总是小于等于Task的数量.Zookeeper是一个针对大型分布 式系统的可靠协调效劳和元数据存储系统,通过配置Zookeeper

集群,可以使用Zookeeper系统所提供的高可靠性效劳.Storm

系统弓

1入

Zookeeper,极大地简化了

Nimbus, Supervisor, Worker之间的设计,保证了系统的稳定性.

6、数据仓库技术

数据仓库是决策支持系统〔dss〕和联机分析应用数据源的 结构化数据环境.数据仓库研究和解决从数据库中获取信息的问 题.数据仓库的特征在于面向主题、集成性、稳定性和时变性.

Hive是建立在Hadoop上的数据仓库根底构架.它提供了一 系列的工具,可以用来进行数据提取转化加载①^〕,这是一种 可以存储、查询和分析存储在Hadoop中的大规模数据的机制.

Hive定义了简单的类SQL查询语言,称为既1,它允许熟悉SQL

的用户查询数据.同时,这个语言也允许熟悉MapReduce开发者 的开发自定义的mapper和reducer来处理内建的mapper和

reducer无法完成的复杂的分析工作.Hive没有专门的数据格 式.Hive可以很好的工作在Thrift之上,限制分隔符,也允许 用户指定数据格式.

Hive构建在基于静态批处理的Hadoop之上,Hadoop通常都 有较高的延迟并且在作业提交和调度的时候需要大量的开销.因 此,Hive并不能够在大规模数据集上实现低延迟快速的查询, 例如Hive在几百MB

的数据集上执行查询一般有分钟级的时间 延迟,因此,Hive并不适合那些需要低延迟的应用,例如联机 事务处理(OLTP)°Hive查询操作过程严格遵守Hadoop MapReduce

的作业执行模型,Hive将用户的HiveQL语句通过解释器转换为

MapReduce作业提交到Hadoop集群上,Hadoop监控作业执行过 程,然后返回作业执行结果给用户.Hive并非为联机事务处理 而设计,Hive并不提供实时的查询和基于行级的数据更新操作.

Hive是一种底层封装了

Hadoop的数据仓库处理工具,使用 类SQL的HiveQL语言实现数据查询,所有Hive的数据都存储在

Hadoop兼容的文件系统(例如,Amazon S3. HDFS)中.Hive在 加载数据过程中不会对数据进行任何的修改,只是将数据移动到

HDFS中Hive设定的目录下,因此,Hive不支持对数据的改写和 添加,所有的数据都是在加载的时候确定的.

7、人工智能技术

人工智能(Artificial Intelligence, AI)是能够和人一 样进行感知、认知、决策、执行的人工程序或系统.当前,人工 智能进入了加速开展的新阶段,并将深刻改变人类社会生活.人 工智能在农业领域可实现土壤探测、病虫害防护、产量预测、畜 禽患病预警等功能.将人工智能识别技术与智能机器人技术相结 合,可广泛应用于农业中的播种、耕作、采摘等场景,极大提升农 业生产效率,同时降低农药和化肥消耗.通过对卫星拍摄图片、 航拍图片以及农业物联网感知数据进行智能识别和大数据分析, 人工智能能够获得精确的天气预报和气候灾害预警,使用人工智 能和深度学习技术来分析上述数据,寻找其跟农作物生长之

间的 关系,就能进行农作物产量的精准预测.

深度学习的概念源于人工神经网络的研究.含多隐层的多层 感知器就是一种深度学习结构.深度学习通过组合低层特征形成 更加抽象的高层表示属性类别或特征,以发现数据的分布式特征 表示.神经网络是一组大致模仿人类大脑构造设计的算法,用于 识别模式.神经网络通过机器感知系统解释传感器数据,对原始 输入进行标记或聚类.神经网络所能识别的模式是包含在向量中 的数值形式,因此图像、声音、文本、时间序列等一切现实世界 的数据必须转换为数值.

深度学习系统指一系列由多个层堆叠组成的特定神经网络. 每一层那么由节点构成.运算在节点中进行,节点的运作模式与人 类的神经元大致相似,遇到足够的刺激信息时就会激活并释放信 号.节点将输入数据与一组系数(或称权重)结合,通过放大或 抑制输入来指定其在算法学习任务中的重要性.输入数据与权重 的乘积之和将进入节点的激活函数,判定信号是否继续在网络中 传递,以及传递的距离,从而决定信号如何影响网络的最终结果, 例如分类动作.节点层是一行类似神经元的开关,在输入数据通 过网络时开启或关闭.从最初接收数据的第一个输入层开始,每 一层的输出同时也是下一层的输入.我们将输入特征与可调整的 权重匹配,由此指定这些特征的重要性,即它们对网络的输入分 类和聚类方式有多大程度的影响.深度学习擅长识别非结构化数

据中的模式,而大多数人熟知的图像、声音、视频、文本等媒体 均属于此类数据.

8、区块链技术

区块链(Blockchain)是分布式数据存储、点对点传输、共 识机制、

加密算法等计算机技术在互联网时代的创新应用模式. 它是利用块链式数据结构来验证与存储数据、利用分布式节点共 识算法来生成和更新数据、利用密码学的方式保证数据传输和访 问的平安、利用由自动化脚本代码组成的智能合约来编程和操作 数据的一种全新的分布式根底架构与计算方式.

架构模型

一般说来,区块链系统由数据层、网络层、共识层、鼓励层、

合约层和应用层组成.其中,数据层封装了底层数据区块以及 相关的数据加密和时间戳等根底数据和根本算法；网络层那么包括 分布式组网机制、数据传播机制和数据验证机制等；共识层主要 封装网络节点的各类共识算法；鼓励层将经济因素集成到区块链 技术体系中来,主要包括经济鼓励的发行机制和分配机制等；合 约层主要封装各类脚本、算法和智能合约,是区块链可编程特性 的根底；应用层那么封装了区块链的各种应用场景和案例.该模型 中,基于时间戳的链式区块结构、分布式节点的共识机制、基于 共识算力的经济鼓励和灵活可编程的智能合约是区块链技术最 具代表性的创新点.

技术原理

〔1〕区块链是一种根据时间顺序将数据区块以顺序相连的 方式组合成的一种链式数据结构,并以密码学方式保证的不可 篡改和不可伪造的分布式账本.

〔2〕区块链是交易的历史记录,非常像数据库.链中的 块相当于一本书中的一页面,书中的每个页面都包含：文字、故 事,每个页面都有自己的信息：书名,章节标题,页码等.

〔3〕在区块链中,每个区块都有：包含关于该块的数据 的标题：例如技术信息,对前一个块的引用,以及包含在该块 中的数据的数字指

纹〔又名“散列〞〕等等.这个散列对于排序 和块验证非常重要.

特点

为了实现上述的交易,区块链需要满足去中央化,可回溯性 等特点

〔1〕去中央化：用户之间用点对点〔P2P〕的方式交易,地 址由参与者本人治理,余额由全局共享的分布式账本进行治理, 平安依赖于所有参加者,由大家共同判断某个成员是否值得信任.

〔2〕透明性：数据库中的记录是永久的、按时间顺序排序 的,并且对于网络上的所有其他节点都是可以访问的.每个用户 都可以看到交易的情况.

〔3〕记录的不可逆性：由于记录彼此关联,一旦在数据库 中输入事务并更新了帐户,那么不能更改记录.

9、人脸识别

人脸识别,是基于人的脸部特征信息进行身份识别的一种生 物识别技术.用摄像机或摄像头采集含有人脸的图像或视频流, 并自动在图像中检测和跟踪人脸,进而对检测到的人脸进行脸部 的一系列相关技术,通常也叫做人像识别、面部识别.

人脸识别系统主要包括四个组成局部,分别为：人脸图像采 集及检测、人脸图像预处理、人脸图像特征提取以及匹配与识别.

技术原理

人脸识别技术包含三个局部：

(1)人脸检测

面貌检测是指在动态的场景与复杂的背景中判断是否存在 面像,并别离出这种面像.一般有以下几种方法：

①参考模板法

首先设计一个或数个标准人脸的模板,然后计算测试采集的 样品与标准模板之间的匹配程度,并通过阈值来判断是否存在人 脸；

②人脸规那么法

由于人脸具有一定的结构分布特征,所谓人脸规那么的方法即 提取这些特征生成相应的规那么以判断测试样品是否包含人脸；

③样品学习法

这种方法即采用模式识别中人工神经网络的方法,即通过对 面像样品集和非面像样品集的学习产生分类器；

④肤色模型法

这种方法是依据面貌肤色在色彩空间中分布相对集中的规 律来进行检测.

⑤特征子脸法

这种方法是将所有面像集合视为一个面像子空间,并基于检 测样品与其在子空间的投影之间的距离判断是否存在面像.

值得提出的是,上述5种方法在实际检测系统中也可综合采 用.

(2)人脸跟踪

面貌跟踪是指对被检测到的面貌进行动态目标跟踪.具体采 用基于模型的方法或基于运动与模型相结合的方法.此外,利用 肤色模型跟踪也不失为一种简单而有效的手段.

(3)人脸比对

面貌比对是对被检测到的面貌像进行身份确认或在面像库 中进行目标搜索.这实际上就是说,将采样到的面像与库存的面 像依次进行比对,并找出最正确的匹配对象.所以,面像的描述决 定了面像识别的具体方法与性能.主要采用特征向量与面纹模板 两种描述方法：

①特征向量法

该方法是先确定眼虹膜、鼻翼、嘴角等面像五官轮廓的大小、 位置、距离等属性,然后再计算出它们的几何特征量,而这些特 征量形成一描述该面像的特征向量.

②面纹模板法

该方法是在库中存贮假设干标准面像模板或面像器官模板,在 进行比对时,将采样面像所有象素与库中所有模板采用归一化相 关量度量进行匹配.此外,还有采用模式识别的自相关网络或特 征与模板相结合的方法.

人脸识别技术的核心实际为“局部人体特征分析〞和“图 形/神经识别算法.〞这种算法是利用人体面部各器官及特征部 位的方法.如对应几何关系多数据形成识别参数与数据库中所有 的原始参数进行比拟、判断与确认.一般要求判断时间低于1秒.

识别过程

一般分三步：

(1)首先建立人脸的面像档案.即用摄像机采集单位人员的 人脸的面像文件或取他们的照片形成面像文件,并将这些面像文 件生成面纹(Faceprint)编码贮存起来.

(2)获取当前的人体面像.即用摄像机捕捉的当前出入人员 的面像,或取照片输入,并将当前的面像文件生成面纹编码.

(3)用当前的面纹编码与档案库存的比对.即将当前的面像 的面纹编码与档案库存中的面纹编码进行检索比对.上述的“面 纹编码〞方式是根据人脸脸部的本质特征和开头来工作的.这种 面纹编码可以反抗光线、皮肤色调、面部毛发、发型、眼镜、表 情和姿态的变化,具有强大的可靠性,从而使它可以从百万人中 精确地识别出某个人.人脸的识别过程,利用普通的图像处理设 备就能自动、连续、实时地完成.

技术流程

人脸识别系统主要包括四个组成局部,分别为：人脸图像采 集及检测、人脸图像预处理、人脸图像特征提取以及匹配与识别.

人脸图像采集：不同的人脸图像都能通过摄像镜头采集下来, 比方静态图像、动态图像、不同的位置、不同表情等方面都可以 得到很好的采集.当用户在采集设备的拍摄范围内时,采集设备 会自动搜索并拍摄用户的人脸图像.

人脸检测：人脸检测在实际中主要用于人脸识别的预处理, 即在图像中准确标定出人脸的位置和大小.人脸图像中包含的模 式特征十分丰富,如直方图特征、颜色特征、模板特征、结构特 征及Haar特征等.

人脸检测就是把这其中有用的信息挑出来, 并利用这些特征实现人脸检测.

主流的人脸检测方法基于以上特征采用Adaboost学习算法,

Adaboost算法是一种用来分类的方法,它把一些比拟弱的分类 方法合在一起,组合出新的很强的分类方法.

人脸检测过程中使用Adaboost算法挑选出一些最能代表人 脸的矩形特征〔弱分类器〕,根据加权投票的方式将弱分类器构造 为一个强分类器,再将练习得到的假设干强分类器串联组成一个级 联结构的层叠分类器,有效地提升分类器的检测速度.

人脸图像预处理：对于人脸的图像预处理是基于人脸检测结 果,对图像进行处理并最终效劳于特征提取的过程.系统获取的 原始图像由于受到各种条件的限制和随机干扰,往往不能直接 使用,必须在图像处理的早期阶段对它进行灰度校正、噪声过滤 等图像预处理.对于人脸图像而言,其预处理过程主要包括人脸 图像的光线补偿、灰度变换、直方图均衡化、归一化、几何校 正、滤波以及锐化等.

人脸图像特征提取：人脸识别系统可使用的特征通常分为视 觉特征、像素统计特征、人脸图像变换系数特征、人脸图像代数 特征等.人脸特征提取就是针对人脸的某些特征进行的.人脸特

征提取,也称人脸表征,它是对人脸进行特征建模的过程.人脸 特征提取的方法归纳起来分为两大类：一种是基于知识的表征 方法；另外一种是基于代数特征或统计学习的表征方法.

基于知识的表征方法主要是根据人脸器官的形状描述以及 他们之

间的距离特性来获得有助于人脸分类的特征数据,其特征 分量通常包括特征点间的欧氏距离、曲率和角度等.人脸由眼 睛、鼻子、嘴、下巴等局部构成,对这些局部和它们之间结构关 系的几何描述,可作为识别人脸的重要特 征,这些特征被称为 几何特征.基于知识的人脸表征主要包括基于几何特征的方法和 模板匹配法.

人脸图像匹配与识别：提取的人脸图像的特征数据与数据库 中存储的特征模板进行搜索匹配,通过设定一个阈值,当相似度 超过这一阈值,那么把匹配得到的结果输出.人脸识别就是将待 识别的人脸特征与已得到的人脸特征模板进行比拟,根据相似程 度对人脸的身份信息进行判断.这一过程又分为两类：一类是确 认,是一对一进行图像比拟的过程,另一类是识别,是一对多 进行图像匹配比照的过程.

主要功能

人脸捕获与跟踪功能

人脸捕获是指在一幅图像或视频流的一帧中检测出人像并

将人像从背景中别离出来,并自动地将其保存.人像跟踪是指利 用人像捕获技术,当指定的人像在摄像头拍摄的范围内移动时自 动地对其进行跟踪.

人脸识别比对

人脸识别分核实式和搜索式二种比对模式.核实式是对指将 捕获得到的人像或是指定的人像与数据库中已登记的某一对像 作比对核实确定其是否为同一人.搜索式的比对是指,从数据库 中已登记的所有人像中搜索查找是否有指定的人像存在.

人脸的建模与检索

可以将登记入库的人像数据进行建模提取人脸的特征,并将 其生成人脸模板〔人脸特征文件〕保存到数据库中.在进行人脸 搜索时〔搜索式〕,将指定的人像进行建模,再将其与数据库中 的所有人的模板相比对识别,最终将根据所比对的相似值列出最 相似的人员列表.

真人鉴别功能

系统可以识别得出摄像头前的人是一个真正的人还是一幅 照片.以此杜绝使用者用照片作假.此项技术需要使用者作脸部 表情的配合动作.

图像质量检测

图像质量的好坏直接影响到识别的效果,图像质量的检测功 能能对即将进行比对的照片进行图像质量评估,并给出相应的建 议值来辅助识别.

10、虚拟现实

虚拟现实技术是仿真技术的一个重要方向,是仿真技术与计 算机图形学人机接口技术多媒体技术传感技术网络技术等多种 技术的集合,是一门富有挑战性的交叉技术前沿学科和研究领域. 虚拟现实技术(VR)主要包括模拟环境、感知、自然技能和传感设 备等方面.模拟环境是由计算机生成的、实时动态的三维立体逼 真图像.感知是指理想的丫区应该具有一切人所具有的感知.除 计算机图形技术所生成的视觉感知外,还有听觉、触觉、力觉、 运动等感知,甚至还包括嗅觉和味觉等,也称为多感知.自然技 能是指人的头部转动,眼睛、手势、或其他人体行为动作,由计 算机来处理与参与者的动作相适应的数据,并对用户的输入作

出 实时响应,并分别反应到用户的五官.传感设备是指三维交互设 备.

特征

多感知性

指除一般计算机所具有的视觉感知外,还有听觉感知、触觉 感知、运动感知,甚至还包括味觉、嗅觉、感知等.理想的虚拟 现实应该具有一切人所具有的感知功能.

存在感

指用户感到作为主角存在于模拟环境中的真实程度.理想的 模拟环境应该到达使用户难辨真假的程度.

交互性

指用户对模拟环境内物体的可操作程度和从环境得到反应 的自然程度.

自主性

指虚拟环境中的物体依据现实世界物理运动定律动作的程 度.

11、全息投影

全息投影技术(front-projected holographic display)

也称虚拟成像技术,是利用干预和衍射原理记录并再现物体真实 的三维图像的记录和再现的技术.

其第一步是利用干预原理记录物体光波信息,此即拍摄过程: 被摄物体在激光辐照下形成漫射式的物光束；另一局部激光作为 参考光束射到全息底片上,和物光束叠加产生干预,把物体光波 上各点的位相和振幅转换成在空间上变化的强度,从而利用干预 条纹间的反差和间隔将物体光波的全部信息记录下来.记录着干 涉条纹的底片经过显影、定

影等处理程序后,便成为一张全息图, 或称全息照片.

其第二步是利用衍射原理再现物体光波信息,这是成象过程: 全息图犹如一个复杂的光栅,在相干激光照射下,一张线性记录 的正弦型全息图的衍射光波一般可给出两个象,即原始象(又称 初始象)和共轲象.再现的图像立体感强,具有真实的视觉效应. 全息图的每一局部都记录了物体上各点的光信息,故原那么上它的

每一局部都能再现原物的整个图像,通过屡次曝光还可以在同一 张底片上记录多个不同的图像,而且能互不干扰地分别显示出来.

相关理论

普通照相,只能记录物体光场的强度〔复振幅模的平方〕, 它不能表征物体的全部信息.采用全息方法,同样也是记录光场 的强度,但它是参考光和物光干预后的强度.对采用如此方法记 录下来的光强〔晶体或全息胶片中〕,利用参考光再现时,可以 将全面表征物体信息、的物光的复振幅表现出来.

其制作过程如下.

对一束相干光〔频率严格一致,表现为可以产生明显的干预 作用〕进行1：1分光,照射到拍摄物体的称为物光,另一束称 为参考光.保证光程〔光走的距离〕近似相同的情况下,使在物 体上反射的物光和参考光在晶体〔或者全息底片〕上进行干预.

观察的时候只要使用参考光照射全息底片,即可在全息底片 上观测到原来的三维物体.

这是最简单的全息图原理,此外,还有白光〔指非相干光源, 例如灯

光、日光〕即可再现的全息图〔广泛应用于防伪标识〕, 彩色全息图〔可以用白光再现被摄物体的颜色〕等等.这些全息 图的制作过程相当复杂.

虽然全息图通常指三维光学全息、图,但这是一个误解.除此 之外,声场也可以被制作成全息图.

全息应用

投影

全息投影是一种无需配戴眼镜的3D技术,观众可以看到立 体的虚拟人物.这项技术在一些博物馆、舞台之上的应用较多, 而在日本的舞台上较为流行.〔初音未来是世界第一个应用全息 技术的虚拟歌手〕.全思立体投影设备不是利用数码技术实现的, 而是投影设备将不同角度影像投影至国外进口的MP全息投影膜 上,让你看不到不属于你自身角度的其他图像,因而实现了真正 的全息立体影像.

360度幻影成像系统

360度幻影成像是一种将三维画面悬浮在实景的半空中成像, 营造了亦幻亦真的气氛,效果奇特,具有强烈的纵深感,真假难 辩.形成空中幻象中间可结合实物,实现影像与实物的结合.也 可配加触摸屏实现与观众的互动.可以根据要求做成四面窗口, 每面最大2-11米.可做成全息幻影舞台,产品立体360度的演 示；真人和虚幻人同台表演；科技馆的梦幻舞等.

适合表现细节或内部结构较丰富的个体物品,如名表、名

车、珠宝、工业产品、也可表现人物、卡通等,给观众感觉是完 全立体的.

照相的拍摄要求

为了拍出一张满意的全息照片,拍摄系统必须具备以下要求:

通过前面分析知道,全息照相是根据光的干预原理,所以要 求光源

必须具有很好的相干性.激光的出现,为全息照相提供了 一个理想的光源.这是由于激光具有很好的空间相干性和时间相 干性,实验中采用He-Ne激光器,用其拍摄较小的漫散物体,可 获得良好的全息、图.

由于全息底片上记录的是干预条纹,而且是又细又密的干预 条纹,所以在照相过程中极小的干扰都会引起干预条纹的模糊, 甚至使干预条纹无法记录.比方,拍摄过程中假设底片位移一个微 米,那么条纹就分辨不清,为此,要求全息实验台是防震的.全息 台上的所有光学器件都用磁性材料牢固地吸在工作台面钢板上. 另外,气流通过光路,声波干扰以及温度变化都会引起周围空气 密度的变化.因此,在曝光时应该禁止大声喧哗,不能随意走动, 保证整个实验室绝对安静.我们的经验是,各组都调好光路后, 同学们离开实验台,稳定一分钟后,再在同一时间内曝光,得到 较好的效果.

物光和参考光的光程差应尽量小,两束光的光程相等最好, 最多不能超过2cm,调光路时用细绳量好；两束光之间的夹角要 在30°〜60°之间,最好在45°左右,由于夹角小,干预条纹 就稀,这样对系统的稳定性和感光材料分辨率的要求较低；两束 光的光强比要适当,一般要求在1：1〜1：10之间都可以,光强 比用硅光电池测出.

由于全息照相底片上记录的是又细又密的干预条纹,所以需 要高分辨率的感光材料.普通照相用的感光底片由于银化物的颗 粒较粗,每毫米只能记录50〜100个条纹,天津感光胶片厂生产 的I型全息干板,其分辨率可达每毫米30000条,能满足全息照 相的要求.

冲洗过程也是很关键的.我们根据配方要求配药,配出显影 液、停

影液、定影液和漂白液.上述几种药方都要求用蒸镭水配 制,但实验证实,用纯洁的自来水配制,也获得成功.冲洗过程 要在暗室进行,药液千万不能见光,保持在室温20℃左右进行 冲洗,配制一次药液保管得当可使用一个月左右.

延伸分类

全息技术可细分为光全息技术、数字全息技术、计算全息技 术、微波全息技术、反射全息技术、声全息技术等等.应用在显 示、测量、加密、识别等各个领域,我们常见的传统全息技术即 为光全息技术.

特点

①全息技术能记录物体光波振幅和相位的全部信息,并能把 它再现出来.因此,应用全息技术可以获得与原物完全相同的立 体像〔从不同角度观察全息图的再现虚像,可以看到物体的不同 侧面,有视察效应和景深感〕.

②全息、图的任何局部都能再现原物的根本形状,物体上任意 点散射的球面波可抵达全息干板的每个点或每个局部,与参考光 相干预形成基元全息、图,也就是全息图的每点或局部都记录着来 自所有物点的散射光.因此,物体全息图每一局部都可以再现出 记录时所有照射到该点局部的物点,形成物体的像,也就是破损 后局部全息、图仍能再现物体的像.

③作为光波信息的记录者,有无全息图是判断我们所接触的

3D技术是否为全息技术的重要标准.