包邮 分布式实时计算框架原理及实践案例 分布式操作系统架构设计开发教程书籍 分布式系统微服务系统集群框架管理教程 计算机教材.

预计2016.9月上旬左右到货 新书预售时间为预估到货时间 有可能提前或推迟

分布式实时计算框架原理及实践案例 

作 译 者：王成光

出版时间：2016-08    千 字 数：280

版    次：01-01    页    数：292

开    本：16开

装    帧：

I S B N 96208     

换    版：

所属分类：科技 >> 计算机 >> 网络与互联网

纸质书定价：(咨询特价).0  

授人以鱼不如授人以渔”，本书是作者以如此初心写成的，主要参考当前主流分布式实时计算框架Storm的任务分发和Spark Streaming的Mini-Batch设计思想，以及底层实现技术，开源了作者自研的轻量级分布式实时计算框架——Light_drtc，并且重点介绍设计思想和相关实现技术（Kafka/RabbitMQ、Redis/SSDB 、GuavaCache、MongoDB、HBase、ES／SolrCloud、Thrift、Avro、Jetty），最后从工程角度向大家介绍完整的个性化推荐系统，并实例介绍Light_drtc在用户画像实时更新的应用。本书描述浅显易懂，希望读者理解分布式实时计算的实现原理，并快速上手解决实际问题。

 

第1 章 分布式实时计算框架介绍.........................................................................................1

1.1 分布式计算Hadoop....................................................................................................1

1.2 分布式实时计算...........................................................................................................3

1.2.1 Spark Streaming.....................................................................................................3

1.2.2 Storm .....................................................................................................................6

1.2.3 其他框架...............................................................................................................8

1.3 为什么自研....................................................................................................................8

1.4 总结...............................................................................................................................10

第2 章 light_drtc 简介及使用说明...................................................................................... 11

2.1 light_drtc 框架简介................................................................................................... 11

2.2 light_drtc 代码结构...................................................................................................12

2.3 light_drtc 重要配置项...............................................................................................14

2.4 light_drtc 和Storm 比较...........................................................................................15

2.5 light_drtc 使用说明...................................................................................................16

2.5.1 ACN（AN 和CN 整合）作为独立服务...........................................................16

2.5.2 CN、AN 作为独立服务.....................................................................................20

2.5.3 任务计算JN........................................................................................................23

2.6 总结...............................................................................................................................26

第3 章 light_drtc 核心技术实现...........................................................................................27

3.1 light_drtc 技术架构...................................................................................................27

3.2 light_drtc 计算框架设计思想.................................................................................30

3.2.1 CN 设计思想.......................................................................................................30

3.2.2 AN 多主模式设计思想.......................................................................................31

3.2.3 JN 设计思想........................................................................................................34

3.3 light_drtc 核心技术的实现......................................................................................36

3.3.1 实时收集数据CN...............................................................................................36

3.3.2 任务协调管理AN...............................................................................................40

3.3.3 任务计算JN........................................................................................................49

3.4 总结...............................................................................................................................50

第4 章 消息队列MQ...............................................................................................................51

4.1 消息队列使用场景....................................................................................................51

4.2 消息队列原理.............................................................................................................53

4.2.1 MQ 使用流程......................................................................................................53

4.2.2 MQ 基本概念......................................................................................................54

4.2.3 MQ 通信模式......................................................................................................55

4.2.4 目前知名MQ 比较.............................................................................................56

4.3 MQ 消费状态监控.....................................................................................................61

4.3.1 KafkaOffsetMonitor 介绍....................................................................................62

4.3.2 KafkaOffsetMonitor 部署....................................................................................62

4.4 RabbitMQ 和Kafka 的基本使用...........................................................................64

4.4.1 RabbitMQ 读写实例...........................................................................................64

4.4.2 Kafka 读写实例...................................................................................................68

4.5 总结...............................................................................................................................71

第5 章 内存数据库Redis3.0 及SSDB............................................................................72

5.1 Redis 相关介绍...........................................................................................................72

5.1.1 Redis3.0 集群架构..............................................................................................73

5.1.2 Redis3.0 集群选举与容错...................................................................................74

5.1.3 SSDB 简介..........................................................................................................75

5.2 Redis3.0 集群搭建.....................................................................................................76

5.2.1 集群所依赖的Ruby 环境...................................................................................77

5.2.2 Redis 集群创建...................................................................................................77

5.2.3 Redis 集群验证...................................................................................................78

5.2.4 SSDB 简单部署..................................................................................................79

5.3 Redis 管理及使用......................................................................................................81

5.3.1 Redis 基本使用...................................................................................................81

5.3.2 Redis 管理...........................................................................................................83

5.4 Redis 客户端应用......................................................................................................86

5.4.1 Redis3.0 客户端..................................................................................................86

5.4.2 SSDB 客户端......................................................................................................89

5.5 本地缓存Guava Cache.............................................................................................90

5.5.1 认识Guava Cache ...............................................................................................90

5.5.2 Guava Cache 使用...............................................................................................91

5.5.3 Java 客户端使用.................................................................................................94

5.6 总结...............................................................................................................................97

第6 章 NoSQL：MongoDB3.0 和HBase1.0 ................................................................98

6.1 MongoDB3.0 和HBase1.0 新特性........................................................................99

6.1.1 MongoDB3.0 新特性..........................................................................................99

6.1.2 HBase1.0 新特性...............................................................................................102

6.1.3 MongoDB 和HBase 比较.................................................................................104

6.2 MongoDB3.0 集群和索引.....................................................................................105

6.2.1 MongoDB3.0 集群............................................................................................105

6.2.2 Mongo 索引介绍...............................................................................................107

6.3 HBase 底层实现介绍..............................................................................................108

6.3.1 HBase 相关Hadoop 体系.................................................................................108

6.3.2 HBase 系统架构................................................................................................ 110

6.4 Mongo 和HBase 客户端使用.............................................................................. 113

6.4.1 Mongo 客户端................................................................................................... 113

6.4.2 HBase 客户端.................................................................................................... 119

6.5 总结..............................................................................................................................124

第7 章 全文检索：ElasticSearch2.x...............................................................................125

7.1 认识ElasticSearch 和Solr.....................................................................................125

7.1.1 ElasticSearch 和Solr 基本介绍........................................................................125

7.1.2 ES 基本概念......................................................................................................127

7.1.3 ES 和SolrCloud 集群结构................................................................................129

7.1.4 ES 使用案例......................................................................................................130

7.2 ES 和Solr 比较分析...............................................................................................131

7.2.1 ES 和Solr 发展比较.........................................................................................131

7.2.2 ES 和Solr 综合比较.........................................................................................132

7.3 ES 集群介绍..............................................................................................................135

7.3.1 插件安装...........................................................................................................135

7.3.2 中文分词安装...................................................................................................136

7.3.3 ES2.X 集群节点类型........................................................................................138

7.3.4 ES 配置事项......................................................................................................142

7.4 ES 客户端使用.........................................................................................................144

7.4.1 ES 客户端连接..................................................................................................145

7.4.2 ES 基本操作......................................................................................................146

7.4.3 ES 高级使用......................................................................................................150

7.5 ES 在自研框架中的作用.......................................................................................154

7.6 总结..............................................................................................................................155

第8 章 微服务架构通信——RPC 和Web Service ....................................................156

8.1 微服务架构由来.......................................................................................................156

8.1.1 微服务与SOA 比较..........................................................................................157

8.1.2 微服务架构的优缺点........................................................................................159

8.1.3 微服务雪崩效应的防范....................................................................................161

8.2 RPC 介绍及实践......................................................................................................163

8.2.1 Thrift/Nifty 介绍................................................................................................163

8.2.2 Avro 介绍..........................................................................................................168

8.2.3 Dubbo/Dubbox 介绍..........................................................................................180

8.2.4 GRPC/ProtoBuf 介绍........................................................................................185

8.2.5 ZeroC ICE..........................................................................................................191

8.3 Web Service 介绍及实践.......................................................................................199

8.3.1 SOAP 和Rest ....................................................................................................200

8.3.2 JWS（JDK 自身实现Web Service）...............................................................202

8.3.3 Jetty：嵌入式Servlet 容器...............................................................................204

8.3.4 基于Spring MVC..............................................................................................206

8.3.5 其他Web Service 框架..................................................................................... 211

8.4 总结..............................................................................................................................212

第9 章 综合实例：新闻推荐中的用户画像近实时更新............................................213

9.1 个性化推荐系统组成.............................................................................................213

9.1.1 用户行为收集...................................................................................................214

9.1.2 行为日志解析...................................................................................................216

9.1.3 常用推荐算法...................................................................................................221

9.1.4 用户画像数据仓库...........................................................................................245

9.1.5 数据索引库...................................................................................................247

9.1.6 用户推荐服务...................................................................................................248

9.2 新闻推荐中用户画像近实时更新设计.............................................................248

9.2.1 新闻推荐中用户画像构成................................................................................250

9.2.2 新闻推荐中用户画像标签数据字典................................................................251

9.2.3 新闻推荐用户画像实时更新流程....................................................................257

9.3 新闻推荐用户画像近实时更新技术实现.........................................................260

9.3.1 Storm 接入Kafka 实时计算实例.....................................................................260

9.3.2 Spark Streaming 接入Kafka 实时计算实例....................................................265

9.3.3 Light_drtc 接入Kafka.......................................................................................270

9.3.4 用户画像实时更新核心实现............................................................................270

9.4 总结..............................................................................................................................280

 

 

...........

..........