目录

• Hadoop

  • HDFS架构
  • Yarn架构
  • MapReduce过程
  • Yarn调度MapReduce过程
  • HDFS写流程
  • HDFS读流程
  • HDFS创建一个文件的流程读流程
  • Hadoop1.x 和Hadoop 2.x 的区别
  • Hadoop1.x的缺点
  • Hadoop HA介绍的缺点
  • Hadoop的常用配置文件有哪些
  • 小文件过多会有什么危害,如何避免?
  • 启动Hadoop集群会分别启动哪些进程,各自的作用

• Hive

  • Hive内部表和外部表的区别
  • Hive四种排序方式的区别
  • Hive的metastore的三种模式
  • Hive中join都有哪些
  • Impala 和 Hive 的查询有哪些区别
  • Hive中大表JOIN小表的优化方法
  • Hive SQL 是怎样解析成MR JOB的?
  • Hive UDF简单介绍
  • Hive SQL : 按照学生科目取每个科目的TopN

• Hbase

  • WAL(Write-Ahead-Log)
  • Phoenix

• 面试指南

  • 备战面试
  • 常见面试题总结
  • 面经

• 工具

  • Git
  • Docker

• 说明

Hadoop

• HDFS架构

• Yarn架构

• MapReduce过程

• Yarn调度MapReduce过程

• HDFS写流程

• HDFS读流程

• HDFS创建一个文件的流程

• Hadoop1.x 和Hadoop 2.x 的区别

• Hadoop1.x的缺点

• Hadoop HA介绍

• Hadoop的常用配置文件有哪些

• 小文件过多会有什么危害,如何避免?

• 启动Hadoop集群会分别启动哪些进程,各自的作用

Hive

• Hive内部表和外部表的区别

• Hive四种排序方式的区别

• Hive的metastore的三种模式

• Hive中join都有哪些

• Impala 和 Hive 的查询有哪些区别

• Hive中大表JOIN小表的优化方法

• Hive SQL 是怎样解析成MR JOB的?

• Hive UDF简单介绍

• Hive SQL : 按照学生科目取每个科目的TopN

面试指南

备战面试

• 【备战面试1】程序员的简历就该这样写
• 【备战面试2】初出茅庐的程序员该如何准备面试？
• 【备战面试3】7个大部分程序员在面试前很关心的问题
• 【备战面试4】Github上开源的Java面试/学习相关的仓库推荐
• 【备战面试5】如果面试官问你“你有什么问题问我吗？”时，你该如何回答
• 【备战面试6】美团面试常见问题总结（附详解答案）

常见面试题总结

• 第一周（2018-8-7） (为什么 Java 中只有值传递、==与equals、 hashCode与equals)
• 第二周（2018-8-13）(String和StringBuffer、StringBuilder的区别是什么？String为什么是不可变的？、什么是反射机制？反射机制的应用场景有哪些？......)
• 第三周（2018-08-22） （Arraylist 与 LinkedList 异同、ArrayList 与 Vector 区别、HashMap的底层实现、HashMap 和 Hashtable 的区别、HashMap 的长度为什么是2的幂次方、HashSet 和 HashMap 区别、ConcurrentHashMap 和 Hashtable 的区别、ConcurrentHashMap线程安全的具体实现方式/底层具体实现、集合框架底层数据结构总结）
• 第四周(2018-8-30).md （主要内容是几道面试常问的多线程基础题。）

面经

• 5面阿里,终获offer(2018年秋招)
• 蚂蚁金服2019实习生面经总结(已拿口头offer)
• 2019年蚂蚁金服、头条、拼多多的面试总结

工具

Git

• Git入门

Docker

• Docker 入门
• 一文搞懂 Docker 镜像的常用操作！

资料

书单

• Java程序员必备书单

Github榜单

• Java 项目月榜单

说明

介绍

• 对于 Java 初学者来说： 本文档倾向于给你提供一个比较详细的学习路径，让你对于Java整体的知识体系有一个初步认识。另外，本文的一些文章 也是你学习和复习 Java 知识不错的实践；
• 对于非 Java 初学者来说： 本文档更适合回顾知识，准备面试，搞清面试应该把重心放在那些问题上。要搞清楚这个道理：提前知道那些面试常见，不是为了背下来应付面试，而是为了让你可以更有针对的学习重点。

Markdown 格式参考：Github Markdown格式，表情素材来自：EMOJI CHEAT SHEET。

利用 docsify 生成文档部署在 Github pages: docsify 官网介绍

关于转载

如果你需要转载本仓库的一些文章到自己的博客的话，记得注明原文地址就可以了。

如何对该开源文档进行贡献

1. 笔记内容大多是手敲，所以难免会有笔误，你可以帮我找错别字。
2. 很多知识点我可能没有涉及到，所以你可以对其他知识点进行补充。
3. 现有的知识点难免存在不完善或者错误，所以你可以对已有知识点的修改/补充。

为什么要做这个开源文档？

初始想法源于自己的个人那一段比较迷茫的学习经历。主要目的是为了通过这个开源平台来帮助一些在学习大数据知识或者面试过程中遇到问题的小伙伴。

Contributor

下面是笔主收集的一些对本仓库提过有价值的pr或者issue的朋友，人数较多，如果你也对本仓库提过不错的pr或者issue的话，你可以加我的微信与我联系。下面的排名不分先后！