未加星标

Cloudera实现Hadoop过程中Hadoop设置揭秘

字体大小 | |
[大数据技术 所属分类 大数据技术 | 发布者 店小二05 | 时间 2016 | 作者 红领巾 ] 0人收藏点击收藏

  本节接着上节介绍Cloudera 实现Hadoop 的方法,本节主要介绍一下对Hadoop的相关设置,相信通过本节的介绍大家对Cloudera 实现Hadoop 方法有一定的了解。

Cloudera实现Hadoop过程中Hadoop设置揭秘

  设置主节点的Hadoop

  设置JAVA_HOME

  Hadoop的JAVA_HOME是在文件/etc/conf/hadoop-env.sh中设置,具体设置如下:

  sudo vi /etc/conf/hadoop-env.shexport JAVA_HOME="/usr/lib/jvm/java-6-sun"

  Hadoop的核心配置

  Hadoop的核心配置文件是/etc/hadoop/conf/core-site.xml,具体配置如下:

  fs.default.namehdfs://hadoop-01:8020hadoop.tmp.dir/var/lib/hadoop-0.20/cache/${user.name}

  设置Hadoop的分布式存储环境

  Cloudera 实现Hadoop 过程中Hadoop的分布式环境设置主要是通过文件/etc/hadoop/conf/hdfs-site.xml来实现的,具体配置如下:

  dfs.replication3dfs.permissionsfalsedfs.name.dir/var/lib/hadoop-0.20/cache/hadoop/dfs/name

  设置Hapoop的分布式计算环境

  Cloudera 实现Hadoop 过程中Hadoop的分布式计算是采用了Map/Reduce算法,该算法环境的设置主要是通过文件/etc/hadoop/conf/mapred-site.xml来实现的,具体配置如下:

  mapred.job.trackerhadoop-01:8021

  设置Hadoop的主从节点

  首先设置主节点,编辑/etc/hadoop/conf/masters文件,如下所示:

  hadoop-01然后是设置从节点,编辑/etc/hadoop/conf/slaves文件,如下所示:

  hadoop-02hadoop-03hadoop-04firehare-303

  设置从节点上的Hadoop

  从节点上的Hadoop设置很简单,只需要将主节点上的Hadoop设置,复制一份到从节点上即可。

  scp -r /etc/hadoop/conf hadoop-02:/etc/hadoopscp -r /etc/hadoop/conf hadoop-03:/etc/hadoopscp -r /etc/hadoop/conf hadoop-04:/etc/hadoopscp -r /etc/hadoop/conf firehare-303:/etc/hadoop。Cloudera 实现Hadoop过程中对Hadoop配置完以后需要启动Hadoop服务。

  启动Hadoop

  格式化分布式文件系统

  在启动Hadoop之前还要做最后一个准备工作,那就是格式化分布式文件系统,这个只需要在主节点做就行了,具体如下:

  /usr/lib/hadoop-0.20/bin/hadoop namenode -format

  启动Hadoop服务

  启动Hadoop可以通过以下命令来实现:

  /usr/lib/hadoop-0.20/bin/start-all.sh注意:该命令是没有加sudo的,如果加了sudo就会提示出错信息的,因为root用户并没有做无验证ssh设置。以下是输出信息,注意hadoop-03是故意没接的,所以出现No route to host信息。 这样Hadoop就正常启动了!

  测试Hadoop

  Hadoop架设好了,接下来就是要对其进行测试,看看它是否能正常工作,如果测试已经成功,这说明Hadoop部署成功,能够在上面进行Map/Reduce分布性计算了。 本节关于Cloudera 实现Hadoop的相关内容到这里就结束了,谢谢关注。


Cloudera实现Hadoop过程中Hadoop设置揭秘
tags: Hadoop,hadoop,etc,conf,设置,Cloudera,节点,lib,分布式,本节,usr,name
分页:12
转载请注明
本文标题:Cloudera实现Hadoop过程中Hadoop设置揭秘
本站链接:http://www.codesec.net/view/415197.html
分享请点击:


1.凡CodeSecTeam转载的文章,均出自其它媒体或其他官网介绍,目的在于传递更多的信息,并不代表本站赞同其观点和其真实性负责;
2.转载的文章仅代表原创作者观点,与本站无关。其原创性以及文中陈述文字和内容未经本站证实,本站对该文以及其中全部或者部分内容、文字的真实性、完整性、及时性,不作出任何保证或承若;
3.如本站转载稿涉及版权等问题,请作者及时联系本站,我们会及时处理。
登录后可拥有收藏文章、关注作者等权限...
技术大类 技术大类 | 大数据技术 | 评论(0) | 阅读(167)