Java根类Object的方法说明

发表于 2016-03-12 | 分类于 java | | 阅读次数

Java中的Object类是所有类的父类，它提供了11个方法，分别是getClass，hashCode，clone，toString，notify，notifyAll，wait，finalze等方法 ...

Avro介绍

发表于 2016-02-21 | 分类于 avro | | 阅读次数

Apache Avro是一个数据序列化系统, 提供丰富的数据结构，使用快速的压缩二进制数据格式，提供容器文件用于持久化数据 ...

发表于 2016-02-17 | 分类于 spark | | 阅读次数

DataFrame是一个以命名列方式组织的分布式数据集。在概念上，它跟关系型数据库中的一张表或者1个Python(或者R)中的data frame一样，但是比他们更优化。DataFrame可以根据结构化的数据文件、hive表、外部数据库或者已经存在的RDD构造 ...

发表于 2016-02-10 | 分类于 spark | | 阅读次数

Spark Streaming是Spark核心API的扩展，用于处理实时数据流。Spark Streaming处理的数据源可以是Kafka，Flume，Twitter，ZeroMQ，Kinesis或者Tcp Sockets ...

发表于 2016-01-27 | 分类于 spark | | 阅读次数

Spark编程指南笔记，参考官方文档的编程指南，翻译再加上一些自己写的代码 ...

发表于 2016-01-19 | 分类于 flume | | 阅读次数

记录Flume使用KafkaSource的时候Channel队列满了之后发生的怪异问题。数据量暴增，Channel队列爆满 ...

发表于 2016-01-13 | 分类于 kafka | | 阅读次数

Kafka是一个分布式的发布-订阅消息系统(Producer-Consumer)，是一种快速、可扩展的、分区的和可复制的日志服务。Kafka中有几个概念，分别是Topic，Broker，Producer，Consumer等 ...

发表于 2016-01-03 | 分类于 flume | | 阅读次数

Flume中有一个Transaction的概念。本文仅分析Transaction的实现类MemoryTransaction的实现原理，JdbcTransaction的原理跟数据库中的Transaction类似 ...

发表于 2016-01-01 | 分类于总结 | | 阅读次数

2015年年终总结

发表于 2015-12-23 | 分类于 scala | | 阅读次数

spray-json是scala的一个轻量的，简洁的，简单的关于JSON实现。同时也是spray项目的json模块，本文分析spray-json的源码 ...