博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
猪和python(pig and python)
阅读量:6404 次
发布时间:2019-06-23

本文共 898 字,大约阅读时间需要 2 分钟。

Python 真是无处不在国内.

pig 0.9后python作为嵌入式语音,采用Jython解释器使用python2.5特征,此接口是最上层org.apache.pig.scripting.Pig

首先python脚本将一些Pig Latin译。然后将在Python中定义的变量传递给它,最后运行它。
1) Pig.compile 或compilefromFile 对代码进行预编译
2)Bind 方法将控制流中的变量绑定到Pig Latin脚本中的变量,会返回一个BoundScript对象
3)针对BoundScript对象,能够调用runSingle方法来运行他,返回一个pigStat对象,假设在绑定过程中pig对象绑定到了一组包括參数的map,就要调用run方法了,相同返回一个pigStats对象。
用户编写的UDF的一个单独的实例会被构建并运行在每一个map或reduce的任务中,构造器參数是一种传递信息给用户UDF的方式。

python与pig的类型相应

int number

long number
float number
double number
chararray string
bytearray string
map dictionary
tuple tuple
bag list oftuples 

pig 的载入函数是基于hadoop的InputFormat创建的,基类是loadFunc,LoadFunc 的默认实现是针对HDFS的,pig 提供了prepareToRead 方法为载入函数提供了初始化自己的一个途径。一旦用户的载入函数实现了getSchema 方法,那么Load语句就不再须要定义他们的模式了。

同理。存储函数式基于Hadoop的OutoutFormat构建的。接受的是Pig的Tuple,然后依据输出个好事创建健-值对后写入存储中,基类是storeFunc,Pig会在每一个map或reduce 任务调用存储函数prepareToWrite办法。PutNext它是存储功能的核心方法。

版权声明:本文博主原创文章。博客,未经同意不得转载。

你可能感兴趣的文章
Solr查询详解
查看>>
java架构师高手必备的十种能力,全部掌握轻轻松松月入5万+
查看>>
小内存使用Docker部署多个应用实录
查看>>
shell习题-清理日志
查看>>
OpenGL OPenVG Freetype
查看>>
liunx定时执行php脚本
查看>>
OSPF MPLS动态流量工程和BGP4
查看>>
如何 Scale Up/Down 应用?- 每天5分钟玩转 Docker 容器技术(126)
查看>>
ubuntu下安装最新版的nodejs方法
查看>>
位运算操作
查看>>
如何在戴尔M系列交换机上配置简单交换模式
查看>>
日常工作小结(十)
查看>>
python核心编程--第九章
查看>>
我的友情链接
查看>>
我的友情链接
查看>>
【N版】openstack——基础环境准备(二)
查看>>
6月23日总结
查看>>
神州专车全站HTTPS加密,保护用户数据安全
查看>>
AMH面板如何部署SSL证书
查看>>
cisco无线AP设置VLAN配置样例。
查看>>