⑴ java api怎么连接伪分布hadoop
在学校java编程的过程中，Eclipse是个可以很好的帮助我们编程的工具，API文档又是我们学习java的一个很好的工具，将两者结合起来，便可以很好的帮助我们学习编程了。 工具/原料 Eclipse javaAPI文档 方法/步骤 打开Eclipse，点击Windows选项。 在Windows选项卡下，点击最下面的“ perferences”选项。 在perferences对话框，点击“java”前的小三角。 在java选项下，选择“inselled jres”，双击。 点击右侧的“jre8”，点击“edit”。 在“EDIT JRE”对话框中，找到名字最后为“rt.jar”的文件。展开。 点击“java doc location”。 在java doc对话框中，点击“browse”，选择路径，路径为java API文件路径。最后确定即可。 在我们编写程序的时候，鼠标光标落到一个代码上，就可以便捷查看它的说明了。
⑵ 利用JAVA+API向HDFS文件系统上的文件写入数据一共有哪三种方法,请叙述该三种
摘要 一.构建环境
⑶ eclipse(java api)操作hadoop hdfs，我试图将本地文件拷贝进hdfs，目标却是本地文件系统，不是hdfs。
恭喜啊，学习hadoop需要先学好命令啊。
想学linux命令就去www.linuxsky.cn，里面也可以学习脚本和svn的命令，哈哈
⑷ 如何使用Java API读写HDFS
HDFS是Hadoop生态系统的根基，也是Hadoop生态系统中的重要一员，大部分时候，我们都会使用Linux shell命令来管理HDFS，包括一些文件的创建，删除，修改，上传等等，因为使用shell命令操作HDFS的方式，相对比较简单，方便，但是有时候，我们也需要通过编程的方式来实现对文件系统的管理。
比如有如下的一个小需求，要求我们实现读取HDFS某个文件夹下所有日志，经过加工处理后在写入到HDFS上，或者存进Hbase里，或者存进其他一些存储系统。这时候使用shell的方式就有点麻烦了，所以这时候我们就可以使用编程的方式来完成这件事了，当然散仙在这里使用的是原生的Java语言的方式，其他的一些语言例如C++,PHP,Python都可以实现，散仙在这里不给出演示了，（其实散仙也不会那些语言，除了刚入门的Python） 。
下面，散仙给出代码，以供参考：
view sourceprint?
package com.java.api.hdfs;
import java.io.BufferedReader;
import java.io.IOException;
import java.io.InputStream;
import java.io.InputStreamReader
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
/**
* @author 三劫散仙
* Java API操作HDFS
* 工具类
*
* **/
public class OperaHDFS {
public static void main(String[] args)throws Exception {
//System.out.println("aaa");
// uploadFile();
//createFileOnHDFS();
//deleteFileOnHDFS();
//createDirectoryOnHDFS();
//deleteDirectoryOnHDFS();
// renameFileOrDirectoryOnHDFS();
readHDFSListAll();
}
/***
* 加载配置文件
* **/
static Configuration conf=new Configuration();
/**
* 重名名一个文件夹或者文件
public static void renameFileOrDirectoryOnHDFS()throws Exception{
FileSystem fs=FileSystem.get(conf);
Path p1 =new Path("hdfs://10.2.143.5:9090/root/myfile/my.txt");
fs.rename(p1, p2);
System.out.println("重命名文件夹或文件成功.....");
}
/***
*
* 读取HDFS某个文件夹的所有
* 文件，并打印
*
* **/
public static void readHDFSListAll() throws Exception{
//流读入和写入
InputStream in=null;
//获取HDFS的conf
//读取HDFS上的文件系统
FileSystem hdfs=FileSystem.get(conf);
//使用缓冲流，进行按行读取的功能
BufferedReader buff=null;
//获取日志文件的根目录
Path listf =new Path("hdfs://10.2.143.5:9090/root/myfile/");
//获取根目录下的所有2级子文件目录
FileStatus stats[]=hdfs.listStatus(listf);
//自定义j，方便查看插入信息
int j=0;
for(int i = 0; i < stats.length; i++){
//获取子目录下的文件路径
FileStatus temp[]=hdfs.listStatus(new Path(stats[i].getPath().toString()));
for(int k = 0; k < temp.length;k++){
System.out.println("文件路径名:"+temp[k].getPath().toString());
//获取Path
Path p=new Path(temp[k].getPath().toString());
//打开文件流 in=hdfs.open(p);
//BufferedReader包装一个流
buff=new BufferedReader(new InputStreamReader(in));
String str=null;
while((str=buff.readLine())!=null){
System.out.println(str);
}
buff.close();
in.close();
}
}
hdfs.close();
}
/**
* 从HDFS上下载文件或文件夹到本地
*
* **/
public static void downloadFileorDirectoryOnHDFS()throws Exception{
FileSystem fs=FileSystem.get(conf);
Path p1 =new Path("hdfs://10.2.143.5:9090/root/myfile//my2.txt");
Path p2 =new Path("D://7");
fs.ToLocalFile(p1, p2);
fs.close();//释放资源
}
/**
* 在HDFS上创建一个文件夹
*
* **/
public static void createDirectoryOnHDFS()throws Exception
FileSystem fs=FileSystem.get(conf);
Path p =new Path("hdfs://10.2.143.5:9090/root/myfile");
fs.close();//释放资源
System.out.println("创建文件夹成功.....");
}
/**
* 在HDFS上删除一个文件夹
*
* **/
public static void deleteDirectoryOnHDFS()throws Exception{
FileSystem fs=FileSystem.get(conf);
Path p =new Path("hdfs://10.2.143.5:9090/root/myfile");
fs.close();//释放资源
System.out.println("删除文件夹成功.....");
}
/**
* 在HDFS上创建一个文件
*
* **/
public static void createFileOnHDFS()throws Exception{
FileSystem fs=FileSystem.get(conf);
Path p =new Path("hdfs://10.2.143.5:9090/root/abc.txt");
fs.createNewFile(p);
//fs.create(p);
fs.close();//释放资源
System.out.println("创建文件成功.....");
}
/**
* 在HDFS上删除一个文件
*
* **/
public static void deleteFileOnHDFS()throws Exception{
FileSystem fs=FileSystem.get(conf);
Path p =new Path("hdfs://10.2.143.5:9090/root/abc.txt");
fs.deleteOnExit(p);
fs.close();//释放资源
System.out.println("删除成功.....");
}
/***
* 上传本地文件到
* HDFS上
*
* **/
public static void uploadFile()throws Exception{
//加载默认配置
FileSystem fs=FileSystem.get(conf);
//本地文件
Path src =new Path("D:\\6");
//HDFS为止
Path dst =new Path("hdfs://10.2.143.5:9090/root/");
try {
fs.FromLocalFile(src, dst);
} catch (IOException e) {
// TODO Auto-generated catch block
e.printStackTrace();
}
System.out.println("上传成功........");
fs.close();//释放资源
}
⑸ hadoop学习需要java的哪些基础知识
在平台方面，hadoop环境需要搭建在linux服务器上，首先需要了解Linux的基础知识与命令；
开发方面，hadoop首先是个提供大数据存储的平台，因此我们要使用其存储功能，因此需要掌握其数据操作的api（scala api 或者 java api）；其次是hadoop是大数据分析的数据源，熟悉对大数据的 分析/使用 方法（spark/map-rece技术，都有scala 和 java两种api）。
因此，学习hadoop必须掌握scala或者java中的一门开发语言，然后在学习hadoop数据操作命令，api，spark/map-rece分析技术。
另外，还可以学习hbase这种基于hdfs的结构化大数据存储技术，和flume大数据采集技术。
⑹ 怎么用javaapi往hadoopha集群
有几种可能： 有的服务器硬盘空间不够，发挥不了hadoop集群的优势； 复制副本的数量较多，hadoop默认副本是3份，可以改成2或者1； 可以将服务器改为内网，不会影响其它服务器带宽
⑺ hdfs 的java api操作要配置hadoop环境吗
需要配置 ，
需要配置几个配置文件在你的resources目录下
hdfs-site.xml yarn-site.xml core-site.xml
看具体情况如果使用mr程序还需要 mapred-site.xml 具体文件参数和你hadoop集群的配置有关可以查阅官方配置文档
⑻ java newapihadoopfile 怎么 用
不清楚。这卡不能在冒险模式中使用，所以可能限定在天梯加休闲(构筑)或竞技场模式中使用。
如果不能在乱斗模式中使用，应该是个BUG。
⑼ java.api操作hadoop的hdfs需要什么权限吗
不知道你说的“调用Filesystem命令”是什么意思；使用hadoop fs -rm可以正常执行，MapRece也可以正常读写HDFS文件，说明HDFS文件系统没有问题。你不妨试一试hadoop fs -chmod a+rwx <path>设置rwx权限后，再试一次。