JSRUN 用代码说话

压缩数据处理

编辑教程

压缩数据处理

我们可以使用函数 BinStorage() 和 TextLoader() 在Apache Pig中加载和存储压缩数据。

假设在HDFS目录 /pigdata/ 中有一个名为 employee.txt.zip 的文件。然后,我们可以将压缩文件加载到pig,如下所示。

Using PigStorage: 

grunt> data = LOAD 'hdfs://localhost:9000/pig_data/employee.txt.zip' USING PigStorage(','); 

Using TextLoader:

grunt> data = LOAD 'hdfs://localhost:9000/pig_data/employee.txt.zip' USING TextLoader;

同样,我们可以将压缩文件存储在pig中,如下所示。

Using PigStorage:

grunt> store data INTO 'hdfs://localhost:9000/pig_Output/data.bz' USING PigStorage(',');
JSRUN闪电教程系统是国内最先开创的教程维护系统, 所有工程师都可以参与共同维护的闪电教程,让知识的积累变得统一完整、自成体系。 大家可以一起参与进共编,让零散的知识点帮助更多的人。
X
支付宝
9.99
无法付款,请点击这里
金额: 0
备注:
转账时请填写正确的金额和备注信息,到账由人工处理,可能需要较长时间
如有疑问请联系QQ:565830900
正在生成二维码, 此过程可能需要15秒钟