hadoop面试题总结1

《hadoop面试题总结1》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、hadoop面试题总结1　　a)NameNodeb)Jobtrackerc)Datanoded)secondaryNameNodee)tasktracker 答案Cdatanode a)3份b)2份c)1份d)不确定 答案A默认3分 　　a)SecondaryNameNodeb)DataNodec)TaskTrackerd)Jobtracker 答案D 分析： 　　hadoop的集群是基于master/slave模式，namenode和jobtracker属于master，datanode和tasktracker属于slave

2、，master只有一个，而slave有多个 　　SecondaryNameNode内存需求和NameNode在一个数量级上，所以通常secondaryNameNode(运行在单独的物理机器上)NameNode运行在不同的机器上。 　　JobTracker和TaskTracker 　　JobTracker对应于NameNode 　　TaskTracker对应于DataNode 　　DataNode和NameNode是针对数据存放来而言的JobTracker和TaskTracker是对于MapReduce执行而言的mapreduc

3、e中几个主要概念，mapreduce整体上可以分为这么几条执行线索：jobclient，JobTracker与TaskTracker。 　　并把路径提交到Jobtracker,然后由JobTracker创建每一个Task(即MapTask和ReduceTask) 　　并将它们分发到各个TaskTracker服务中去执行 　　并监控它们，如果发现有失败的task就重新运行它。一般情况应该把JobTracker部署在单独的机器上。 　　TaskTracker都需要运行在HDFS的DataNode上 　　a)MartinFowler

4、b)KentBeckc)Dougcutting 答案CDougcutting a)32MBb)64MBc)128MB 答案：B (因为版本更换较快，这里答案只供参考) a)CPUb)网络c)磁盘IOd)内存 答案：C磁盘 处理能力强 2.内存够大 所以集群的瓶颈不可能是a和d 3.网络是一种稀缺资源，但是并不是瓶颈。 　　4.由于大数据面临海量数据，读写数据都需要io，然后还要冗余数据，hadoop一般备3份数据，所以IO就会打折扣。 　　同样可以参考下面内容(磁盘IO：磁盘输出输出) 　　对于磁盘IO：当我们面临集群作战的时

5、候，我们所希望的是即读即得。可是面对大数据，读取数据需要经过IO，这里可以把IO理解为水的管道。管道越大越强，我们对于T级的数据读取就越快。所以IO的好坏，直接影响了集群对于数据的处理。 集群瓶颈：磁盘IO必读 集群瓶颈为什么磁盘io 　　a)它是NameNode的热备b)它对内存没有要求 　　c)它的目的是帮助NameNode合并编辑日志，减少NameNode启动时间 　　d)SecondaryNameNode应与NameNode部署到一个节点 答案C。 D答案可以参考第三题 多选题： 　　a)Puppetb)Pdshc)C

6、louderaManagerd)Zookeeper 答案1：ABD 具体可查看 　　什么是Zookeeper，Zookeeper的作用是什么，在Hadoop及hbase中具体作用是什么 修改后答案：ABC 分析： 　　A：puppetpuppet是一种Linux、Unix、windows平台的集中配置管理系统 　　B：pdsh可以实现在在多台机器上执行相同的命令 详细参考：集群管理小工具介绍-pdsh 　　C：可以参考ClouderaManager四大功能【翻译】 　　首先这里给管理下一个定义：部署、配置、调试、监控，属于管理

7、 　　因为zookeeper不满足上面要求，所以不纳入管理范围。 a)如果一个机架出问题，不会影响数据读写 　　b)写入数据的时候会写到不同机架的DataNode中 　　c)MapReduce会根据机架获取离自己比较近的网络数据 答案ABC 具体可以参考 　　hadoop机架感知--加强集群稳固性，该如何配置hadoop机架感知 　　a)数据经过NameNode传递给DataNode 　　b)Client端将文件切分为Block，依次上传 　　c)Client只上传数据到一台DataNode，然后由NameNode负责Bloc

8、k复制工作 答案B 分析： 　　Client向NameNode发起文件写入的请求。 　　NameNode根据文件大小和文件块配置情况，返回给Client它所管理部分DataNode的信息。 　　Client将文件划分为多个Block，根据DataNode的地址信息，按顺序写入