小苏子
小苏子PDF在线图书

物联网大数据处理技术与实践 作者:王桂玲,王强,赵卓峰,韩燕波

物联网大数据处理技术与实践 作者:王桂玲,王强,赵卓峰,韩燕波

物联网大数据处理技术与实践 出版社: 电子工业出版社

物联网大数据处理技术与实践 内容简介

物联网大数据处理技术与实践 目录

物联网大数据处理技术与实践 精彩文摘

本书基于作者近几年来的研究开发成果及应用实践,对物联网大数据技术体系进行了系统归纳,阐述了物联网环境下感知数据的特性、数据模型、事务模型以及调度处理方法等核心概念及关键技术,并对物联网大数据存储、管理、计算与分析的基本概念和关键技术进行了剖析。本书还介绍了自行研发的面向物联网的ChinDB实时感知数据库系统以及针对云计算环境下物联网大数据管理与应用的DeCloud云平台,介绍了它们在智能交通、智能电厂、教育、安全监控等多个行业的应用。书中所有实例,均来自作者所在团队的实际应用,大部分在物联网项目中得到了实践应用。本书对物联网应用的开发以及两化融合、工业4.0环境下的大数据处理分析具有重要参考价值。前言第1篇 缘起与发展趋势篇第1章 物联网与产业发展1.1 物联网产业的发展1.1.1 传感器与智能硬件1.1.2 物联网服务平台1.1.3 工业4.0与CPS1.2 物联网与大数据1.3 物联网产业的机遇与挑战1.3.1 物联网产业面临的挑战1.3.2 物联网操作系统与数据库1.3.3 物联网大数据处理与应用第2章 大数据处理技术的发展2.1 大数据存储和管理技术2.1.1 面向大数据的文件系统2.1.2 面向大数据的数据库系统2.2 大数据计算技术2.2.1 批处理计算模式2.2.2 交互式查询计算模式2.2.3 流处理计算模式2.2.4 大数据实时处理的架构:Lambda架构2.3 大数据分析技术2.3.1 传统结构化数据分析2.3.2 文本数据分析2.3.3 多媒体数据分析2.3.4 社交网络数据分析2.3.5 物联网传感数据分析2.3.6 大数据分析技术的发展趋势第2篇 技术解析篇第3章 物联网大数据技术体系3.1 物联网中的大数据挑战3.1.1 互联网大数据的特征3.1.2 物联网大数据的特征3.2 技术体系3.2.1 感知数据采集与传输3.2.2 感知数据管理与实时计算3.2.3 物联网平台与大数据中心第4章 感知数据特性与模型4.1 感知数据的特性分析4.1.1 常用的感知数据类型4.1.2 感知数据的主要特征4.2 感知数据的表示与组织4.2.1 物联网数据模型4.2.2 时态对象模型4.3 感知数据库的定位4.3.1 感知数据库的定位4.3.2 感知数据库的特征4.4 感知数据库与传统数据库4.4.1 感知数据库与关系数据库4.4.2 感知数据库与实时数据库系统4.4.3 感知数据库与工厂数据库系统4.4.4 感知数据库与流数据处理系统第5章 感知数据库管理系统5.1 感知数据库的总体设计5.1.1 总体设计的主要原则5.1.2 感知数据库的设计框架5.2 感知数据库的分布部署体系5.2.1 系统的集群部署模式5.2.2 多层级的系统部署体系5.2.3 服务分布的部署体系5.3 感知数据库中的关键技术5.3.1 智能设备及传感器接口技术5.3.2 流数据实时在线处理技术5.3.3 事件驱动的高效处理机制5.3.4 感知数据的压缩存储技术第6章 实时事务调度处理技术6.1 常见事务特性分析6.1.1 感知事务6.1.2 触发事务6.1.3 用户事务6.2 事务调度与并发控制6.2.1 事务的调度方法6.2.2 并发控制策略6.3 服务器与操作系统6.3.1 服务器体系结构与发展6.3.2 操作系统的多任务机制6.4 事务的执行框架与模式6.4.1 通用系统模型与调度方法6.4.2 事务处理框架的设计模式6.5 系统框架的分析与性能优化第7章 物联网大数据存储与管理7.1 云文件系统的关键技术7.1.1 HDFS的目标和基本假设条件7.1.2 HDFS体系架构7.1.3 性能保障7.2 NoSQL数据库关键技术7.2.1 NoSQL数据库概述7.2.2 基于NoSQL数据库的物联网大数据存储与管理第8章 物联网大数据计算与分析8.1 物联网大数据批处理计算8.1.1 MapReduce的设计思想8.1.2 MapReduce的工作机制8.1.3 MapReduce在物联网大数据中的应用8.2 物联网大数据交互式查询8.2.1 原生SQL on HBase8.2.2 SQL on Hadoop8.2.3 基于HBase的交互式查询8.3 物联网大数据流式计算8.3.1 流式计算的需求特点8.3.2 流数据基本概念8.3.3 流数据查询操作8.3.4 流数据定制化服务8.3.5 评测基准8.3.6 Spark Streaming及其在物联网大数据中的应用8.4 物联网大数据分析8.4.1 物联网大数据OLAP多维分析8.4.2 物联网大数据深层次分析第3篇 产品研发篇第9章 物联网网关CubeOne9.1 工业物联网网关9.1.1 CubeOne产品概述9.1.2 CubeOne功能特点9.1.3 CubeOne的应用领域9.2 无线传感器网络网关9.2.1 无线传感器网络概述9.2.2 ZigBee-WiFi网关9.2.3 ZigBee网络应用案例第10章 ChinDB感知数据库系统10.1 ChinDB系统概述10.2 ChinDB组成与功能特点10.3 ChinDB数据组织管理10.3.1 标签点及其属性10.3.2 标签点的组织方式10.3.3 关系数据管理10.3.4 历史数据管理10.4 ECA规则与实时计算10.5 ChinDB的HA方案10.5.1 HA概述及模式分类10.5.2 ChinDB HA的部署模式10.6 物联网应用平台10.6.1 物联网平台概述10.6.2 平台主要特点10.6.3 应用领域与应用案例第11章 DeCloud物联网大数据云平台11.1 DeCloud组成11.1.1 软件概述11.1.2 通信服务11.1.3 计算服务11.1.4 存储服务11.1.5 数据发布/订阅服务11.2 DeCloud在智能交通领域的应用11.3 DeCloud在教育物联网云服务平台中的应用11.4 DeCloud在电厂设备故障预警的应用11.5 DeCloud在电梯安全监控中的应用11.6 DeCloud在高精度位置服务中的应用总结与展望参考文献在线压缩技术在以下3种情况下更加有效:(1)系统从智能设备或者生产线甚至智能工厂中批量采集数据,如设备运行状态的断面数据、在允许时间周期内的批量数据等。(2)系统从设备或者传感器上高密度地连续采集一组数据,如间歇运行的高频数据采集设备。(3)系统采集的音视频数据、图像数据,这类数据可以采用成熟的压缩技术。实时采集的时态数据由于更新频繁,导致数据量巨大:另外,地震勘探及声纳测深等系统工作过程中,在单位时间内都会产屯海量的二进制数据,如果要存储这些数据,服务器的磁盘容量与I/O就会成为瓶颈,而采用合适的压缩算法是一种可行的方法。根据时态数据的特点,数据的高更新率及精度要求容许一定的误差,因此,可以采用有损压缩算法进行压缩,常用的有损压缩算法是旋转门算法。而有些精度要求高的时态数据及二进制大数据,数据存储所需采用的压缩算法应该具备下述特点:无损在线压缩;大小可配置的分块压缩:压缩/解压的速度快;压缩比高;可多线程实现,并行性高。其实,数据压缩的意义不仅在于能够在有限的硬盘空间中存储大量历史数据,而且还能够优化数据的查询与检索速度。

赞(0)
未经允许不得转载:小苏子图书 » 物联网大数据处理技术与实践 作者:王桂玲,王强,赵卓峰,韩燕波