PeTu Blog

天下事有难易乎?为之,则难者亦易矣;不为,则易者亦难矣。

整合 Flume+Kafka+Spark 实战配置(macOS)

Flume+Kafka+Spark combat configuration (macOS or Linux)

本文概览: 一、Flume 1.1 配置 1.2 启动与测试 二、Kafka 2.1 配置 - server.properties 文件 2.2 启动与测试 - 单 Kafka 测试 ...

Flume 初识与搭建

Meet and build Flume

本文概览: 1 什么是 Flume 2 Flume 架构 2.1 数据流模型 2.1.1 可靠性 2.1.2 可恢复性 2.2 数据收集部件 Source 2.3 数据流通部件 Channel 2.4 数据转发部件 Sink 2...

50+ 精选数据结构和算法面试问题 【译】

附带算法对应解答

本文概览: Top 50 算法和编程面试问题 1. 数组类面试问题 2. 链表类面试题 3. 字符串类面试问题 4. 二叉树面试问题 5. 各式面试问题 现在,你应该准备好了 原文链接:https://hackernoon.com/50-data-structure-and-algorit...

Hadoop 学习系列(四)之 MapReduce 原理讲解

Hadoop 四大核心组件(三)

本文概览: 一、What is MapReduce? 二、The Algorithm Mapper Reducer Partitioner 三、WordCount Example 四、Advantage & Shortcoming of MapReduce 本篇文章将会介绍 Hadoop 重要的计算框架...

Hadoop 学习系列(三)之 YARN 详细解析

Hadoop 四大核心组件(二)

因为网上关于 YARN 的讲解比较多且比较详细,本文是对网络内容的整理 本文概览: 一、YARN 初识 二、YARN 基本服务组件 2.1 ResourceManager 2.2 ApplicationMaster 2.3 NodeManager 2.4 Container 三、YARN 应用提交...

Hadoop 学习系列(二)之 HDFS 详细解析

Hadoop 四大核心组件(一)

本文概览: 一、介绍 二、HDFS 优点 2.1 硬件故障防治 2.2 流数据访问 2.3 处理大数据集 2.4 简单一致模型 2.5 移动计算替代移动数据 2.6 跨异构硬件和软件平台的可移植性 三、NameNode & DataNodes 3.1 Na...

Hadoop 学习系列(一)之 Hadoop 伪分布式环境搭建

Hadoop 挖坑第一篇

本文概览: 1. 环境要求 2. 环境配置 2.1 配置 Java 2.2 配置 ssh 免密登录 2.3 修改 hadoop 配置文件 2.4 启动 hdfs 3. 错误排查 以这篇文章开启大数据开发系列教程更新,本人也是努力学习中 1. 环境要求 首先 Java 版本不低于 Hadoop 相应版本...

Welcome to PeTu Blog

"Hello World, Hello Blog"

“Yeah It’s on. ” Hello Hello 大家好,欢迎来到 PeTu 的博客。 本人从一年前就想有一个可以展示自己文章以及个性的个人博客网站,先前曾用 PHP 的后端框架 Laravel + 拼凑的前端主题实现了第一个个人博客网站,前后端全部由本人独自完成,但是因为技术有限,不太满意最后的效果,用了小半年就抛弃了。 初学 Laravel 的童鞋可以考...