资讯

精准传达 • 有效沟通

从品牌网站建设到网络营销策划,从策略到执行的一站式服务

Java代码执行sqoop抽取动作-创新互联

执行从MySQL数据库导出数据到HDFS上。

在宁海等地区,都构建了全面的区域性战略布局,加强发展的系统性、市场前瞻性、产品创新能力,以专注、极致的服务理念,为客户提供网站制作、成都网站制作 网站设计制作按需网站制作,公司网站建设,企业网站建设,品牌网站设计,网络营销推广,外贸营销网站建设,宁海网站建设费用合理。

执行前需准备:

在eclipse中写的代码,所以,又新加了sqoop-1.4.6-cdh6.5.2.jar放入原有的hadoop项目中,否则会有编译错误。

同时,在集群上,将此包加入HADOOP_HOME/share/hadoop/yarn下,否则会报缺少Jar包的错误。

错误显示:

[hadoop@fa01 ~]$ hadoop jar SqoopTest1.jar

Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/sqoop/util/OptionsFileUtil

代码:

import org.apache.hadoop.conf.Configuration;

import org.apache.sqoop.Sqoop;

import org.apache.sqoop.tool.SqoopTool;

import org.apache.sqoop.util.OptionsFileUtil;

public class SqoopTest1 {

private static int importDataFromMysql() throws Exception {

String[] args = new String[] {

//参数可以继续添加

"--connect", "jdbc:mysql://192.20.1.54:3306/tbname_test",

"--driver", "com.mysql.jdbc.Driver",

"--username", "username",

"--password", "123456",

"--table", "abtest_data",

"-m", "1",

"--target-dir", "/user/hadoop/java_sqoop_test1"

};

String[] expandArguments = OptionsFileUtil.expandArguments(args);

SqoopTool tool = SqoopTool.getTool("import");

Configuration conf = new Configuration();

conf.set("fs.default.name", "hdfs://192.168.20.32:9000");

Configuration loadPlugins = SqoopTool.loadPlugins(conf);

Sqoop sqoop = new Sqoop((com.cloudera.sqoop.tool.SqoopTool) tool, loadPlugins);

return Sqoop.runSqoop(sqoop, expandArguments);

}

public static void main(String[] args) throws Exception {

importDataFromMysql();

}

}

参考:

http://blog.csdn.net/shantaodaoshik852/article/details/77266831

http://blog.csdn.net/guzicheng/article/details/41519947

另外有需要云服务器可以了解下创新互联scvps.cn,海内外云服务器15元起步,三天无理由+7*72小时售后在线,公司持有idc许可证,提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案,具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势,专为企业上云打造定制,能够满足用户丰富、多元化的应用场景需求。


网页题目:Java代码执行sqoop抽取动作-创新互联
网页地址:http://www.cdkjz.cn/article/jdeoo.html
多年建站经验

多一份参考,总有益处

联系快上网,免费获得专属《策划方案》及报价

咨询相关问题或预约面谈,可以通过以下方式与我们联系

大客户专线   成都:13518219792   座机:028-86922220