我创建了一个新的Java项目，然后我说图书馆Sqoop和Hadoop。 （该库是 “Hadoop的芯 - 1.1.1.jar，sqoop-1.4.2.jar，等...”。）
然后我尝试下面的代码：
public class MySqoopDriver {
public static void main(String[] args) {
String[] str = { "export", "--connect", "jdbc:mysql://localhost/mytestdb", "--hadoop-home",
"/home/yoonhok/development/hadoop-1.1.1", "--table", "tbl_1", "--export-dir", "hdfs://localhost:9000/user/hive/warehouse/tbl_1",
"--username", "yoonhok", "--password", "1234"};
Sqoop.runTool(str);
}
}
该参数是正确的，因为当我尝试在终端，它工作得很好。
但它没有工作。 该错误消息是：
13/02/17 16:23:07 WARN tool.BaseSqoopTool: Setting your password on the command-line is insecure. Consider using -P instead.
13/02/17 16:23:07 INFO manager.MySQLManager: Preparing to use a MySQL streaming resultset.
13/02/17 16:23:07 INFO tool.CodeGenTool: Beginning code generation
13/02/17 16:23:07 INFO manager.SqlManager: Executing SQL statement: SELECT t.* FROM `tbl_1` AS t LIMIT 1
13/02/17 16:23:07 INFO manager.SqlManager: Executing SQL statement: SELECT t.* FROM `tbl_1` AS t LIMIT 1
13/02/17 16:23:07 INFO orm.CompilationManager: HADOOP_HOME is /home/yoonhok/development/hadoop-1.1.1
Note: /tmp/sqoop-yoonhok/compile/86a3cab62184ad50a3ae11e7cb0e4f4d/tbl_1.java uses or overrides a deprecated API.
Note: Recompile with -Xlint:deprecation for details.
13/02/17 16:23:08 INFO orm.CompilationManager: Writing jar file: /tmp/sqoop-yoonhok/compile/86a3cab62184ad50a3ae11e7cb0e4f4d/tbl_1.jar
13/02/17 16:23:08 INFO mapreduce.ExportJobBase: Beginning export of tbl_1
13/02/17 16:23:09 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
13/02/17 16:23:09 INFO input.FileInputFormat: Total input paths to process : 1
13/02/17 16:23:09 INFO input.FileInputFormat: Total input paths to process : 1
13/02/17 16:23:09 INFO mapred.JobClient: Cleaning up the staging area file:/tmp/hadoop-yoonhok/mapred/staging/yoonhok1526809600/.staging/job_local_0001
13/02/17 16:23:09 ERROR security.UserGroupInformation: PriviledgedActionException as:yoonhok cause:java.io.FileNotFoundException: File /user/hive/warehouse/tbl_1/000000_0 does not exist.
13/02/17 16:23:09 ERROR tool.ExportTool: Encountered IOException running export job: java.io.FileNotFoundException: File /user/hive/warehouse/tbl_1/000000_0 does not exist.
当我检查HDFS，该文件存在：
hadoop fs -ls /user/hive/warehouse/tbl_1
Found 1 items
-rw-r--r-- 1 yoonhok supergroup 240 2013-02-16 18:56 /user/hive/warehouse/tbl_1/000000_0
我怎么能在我的Java程序执行Sqoop？
我试过的ProcessBuilder和过程，但我不想使用它们。
我真的想使用Sqoop API，但我听说它还不存在。
我读了这个问题 ，但它并没有为我工作。
这里是制定了我很容易的一招。 通过SSH，你可以直接执行Sqoop命令。 只是你必须使用一个SSH Java库
你必须按照此步骤。
下载sshxcute Java库： https://code.google.com/p/sshxcute/并将其添加到其中包含下面的Java代码Java项目的构建路径
import net.neoremind.sshxcute.core.SSHExec;
import net.neoremind.sshxcute.core.ConnBean;
import net.neoremind.sshxcute.task.CustomTask;
import net.neoremind.sshxcute.task.impl.ExecCommand;
public class TestSSH {
public static void main(String args[]) throws Exception{
// Initialize a ConnBean object, parameter list is ip, username, password
ConnBean cb = new ConnBean("192.168.56.102", "root","hadoop");
// Put the ConnBean instance as parameter for SSHExec static method getInstance(ConnBean) to retrieve a singleton SSHExec instance
SSHExec ssh = SSHExec.getInstance(cb);
// Connect to server
ssh.connect();
CustomTask sampleTask1 = new ExecCommand("echo $SSH_CLIENT"); // Print Your Client IP By which you connected to ssh server on Horton Sandbox
System.out.println(ssh.exec(sampleTask1));
CustomTask sampleTask2 = new ExecCommand("sqoop import --connect jdbc:mysql://192.168.56.101:3316/mysql_db_name --username=mysql_user --password=mysql_pwd --table mysql_table_name --hive-import -m 1 -- --schema default");
ssh.exec(sampleTask2);
ssh.disconnect();
}
}
首先让我提，Sqoop 1没有官方客户端API。 即使在你做一个三方通话Sqoop是相当普遍和工作。
基于日志我猜想，正在执行Sqoop Java应用程序没有在classpath Hadoop配置。 因此Sqoop不会得到有关群集的信息，并会在“本地”模式下工作。 你需要把Hadoop配置到类路径，以对远程集群中运行Sqoop。 请结算下面的条目上计算器的更多细节。
您可以使用“SqoopOptions”在你的Java程序执行sqoop。
这是MySql中导入表HDFS一个示例代码。
public static void importSQLToHDFS() throws Exception {
String driver = "com.mysql.jdbc.Driver";
Class.forName(driver).newInstance();
Configuration config = new Configuration();
config.addResource(new Path("/.../conf/core-site.xml"));
config.addResource(new Path("/.../conf/hdfs-site.xml"));
properties.load(new FileInputStream("/.../sqoopimport.properties"));
SqoopOptions options = new SqoopOptions();
options.setDriverClassName(driver);
options.setHadoopHome("/.../hadoop-0.20.2-cdh3u2");
options.setConnectString(properties.getProperty("db_connection_string"));
options.setTableName(properties.getProperty("db_mysql_table_name"));
options.setUsername(properties.getProperty("db_usr_id"));
options.setPassword(properties.getProperty("db_passwd"));
options.setNumMappers(1);
options.setTargetDir(properties.getProperty("path_export_file"));
options.setFileLayout(FileLayout.TextFile);
new ImportTool().run(options);
}
对于出口参见下面的示例代码。 注意：这里没有使用属性文件。 请确保您创建该数据是要导入的表。
public static boolean exportHDFSToSQL() throws InstantiationException, IllegalAccessException, ClassNotFoundException {
try {
SqoopOptions options=new SqoopOptions();
options.setConnectString("jdbc:mysql://localhost:3306/dbName");
options.setUsername("user_name");
options.setPassword("pwd");
options.setExportDir("path of file to be exported from hdfs");
options.setTableName("table_name");
options.setInputFieldsTerminatedBy(',');
options.setNumMappers(1);
new ExportTool().run(options);
} catch (Exception e) {
return false;
}
return true;
}
