当前位置:

首页 > 编程开发 > php hdfs,PHP对Hadoop的操作

php hdfs,PHP对Hadoop的操作

PhpStorm macOS版
PhpStorm macOS版

PhpStorm 是 JetBrains 推出的专业 PHP 集成开发环境,可在 Mac 上完成代码编写、智能检查、重构、调试、测试和数据库管理。它支持主流 PHP 框架、Composer、Git、Docker 与远程解释器。

立即下载
¥890
Mac 2026-10-13
数据库 编程开发 phpstorm 服务器管理 集成开发环境

Hadoop流 Hadoop本身是用Ja va写的,但别担心,它贴心地提供了一套叫Hadoop Streaming的API,让你能用几乎任何语言编写Map和Reduce函数——只要这门语言能处理标准输入输出流。核心原理很简单:把UNIX标准流当作程序与Hadoop之间的通信管道。换句话说,任何能从标

本文目录

    Hadoop流

    Hadoop本身是用Ja va写的,但别担心,它贴心地提供了一套叫Hadoop Streaming的API,让你能用几乎任何语言编写Map和Reduce函数——只要这门语言能处理标准输入输出流。核心原理很简单:把UNIX标准流当作程序与Hadoop之间的通信管道。换句话说,任何能从标准输入读数据、往标准输出写数据的程序,都可以用来写MapReduce的map和reduce函数。举个例子:

    bin/hadoop jar contrib/streaming/hadoop-streaming-0.20.203.0.jar -mapper /usr/local/hadoop/mapper.php -reducer /usr/local/hadoop/reducer.php -input test/* -output out4

    注意,Streaming需要的jar包是hadoop-streaming-0.20.203.0.jar,Hadoop根目录下默认没有这个包,它藏在contrib目录里。以Hadoop 0.20.2为例,路径类似:contrib/streaming/hadoop-streaming-0.20.203.0.jar。参数的含义也很直白:-input指定HDFS上的输入路径,-output指定输出路径,-mapper和-reducer分别指定map和reduce的程序。

    mapper函数

    先看mapper.php的实现。完整的代码如下:

    #!/usr/local/php/bin/php
     $count) {
        // tab-delimited
        echo $word, chr(9), $count, PHP_EOL;
    }
    ?>

    这段代码的作用很直观:把每行输入的文本拆成单词,统计每个单词在当前行出现的次数,然后以“单词\t次数”的格式输出。和平时写的PHP逻辑没太大区别,对吧?可能让你觉得有点陌生的地方只有两个:

    PHP作为可执行程序——第一行的#!/usr/local/php/bin/php告诉Linux内核,用这个路径下的PHP解释器来执行后续代码。写过shell脚本的人肯定不陌生,shell脚本开头也是#!/bin/bash或#!/usr/bin/python。有了这一行,保存文件后就能像执行cat、grep一样直接运行./mapper.php。

    使用stdin接收输入——大家最熟悉的PHP参数传入方式莫过于$_GET、$_POST(Web场景)或$_SERVER['argv'](命令行参数)。但这里用的是标准输入stdin。效果是:在终端输入./mapper.php,程序会等待键盘输入,直到你按下Ctrl+D结束输入,然后才开始处理并输出结果。至于stdout呢?其实print本身就已经是标准输出了,跟写Web程序或CLI脚本完全一样。

    reducer函数

    再来看reducer.php:

     0) $word2count[$word] += $count;
    }
    
    // sort the words lexicographically
    // this step is NOT required, we just do it so that our final output
    // will look more like the official Hadoop word count examples
    ksort($word2count);
    
    // write the results to STDOUT (standard output)
    foreach($word2count as $word => $count) {
        echo $word, chr(9), $count, PHP_EOL;
    }
    ?>

    它的工作就是统计每个单词总共出现了多少次,输出格式依然是“单词\t次数”。这里特意做了词法排序(ksort),虽然Hadoop不强制要求,但为了让最终结果看起来更规范,加上了这一步。

    用Hadoop来运行

    把测试数据放进HDFS:

    bin/hadoop dfs -put test.log test

    然后以Streaming方式提交任务:

    bin/hadoop jar contrib/streaming/hadoop-streaming-0.20.203.0.jar -mapper /usr/local/hadoop/mapper.php -reducer /usr/local/hadoop/reducer.php -input test/* -output out

    这里有几个关键点需要留意:

    • input和output目录都是HDFS上的路径,不是本地路径。
    • mapper和reducer指向的是本地机器的绝对路径,千万别用相对路径,否则Hadoop会报找不到程序。
    • mapper.php和reducer.php必须复制到所有DataNode服务器的相同路径下,并且所有服务器都必须安装PHP,且安装路径保持一致。

    查看结果

    任务完成后,用下面命令查看输出:

    bin/hadoop dfs -cat /tmp/out/part-00000

    你会看到类似这样的结果:

    hello    2
    world    1
    本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系bd@zhengruan.com
    作者最新文章
    编程开发 PHP
    相关文章 更多
    PHP 8.6.0 RC7开放测试:预发布包下载、校验与兼容检查方法
    PHP 8.6.0 RC7开放测试:预发布包下载、校验与兼容检查方法

    PHP 8.6.0 RC7已提供源码和Windows预发布构建,用于开发者测试兼容性与回归问题,不适合直接替换生产环境。发布经理预计PHP 8.6.0正式版在11月19日推出;这一日期仍是发布计划。

    Yandex官网入口及网页搜索使用方法
    Yandex官网入口及网页搜索使用方法

    Yandex官网入口是https://www.yondex.net/,该平台支持多语言切换、智能搜索匹配、虚拟键盘变更及实时翻译,提供地图、图片、新闻、购物等垂直服务,并具备账户同步、隐私管理、个性化首页和云存储等功能。

    php怎么连接数据库mysql完整代码与操作步骤
    php怎么连接数据库mysql完整代码与操作步骤

    详细介绍如何使用PHP PDO扩展连接MySQL数据库,包含完整的代码示例、DSN配置方法及异常处理技巧,帮助开发者快速建立稳定安全的数据库连接。

    PHP递归遍历目录文件:RecursiveDirectoryIterator与自定义实现
    PHP递归遍历目录文件:RecursiveDirectoryIterator与自定义实现

    深入解析在PHP中递归遍历多级目录文件的两种核心方案:基于SPL标准库的RecursiveDirectoryIterator高效流式迭代,与基于scandir/opendir的自定义递归函数实现,剖析执行机制、内存表现与实战避坑指南。

    解决PHP递归报错:max_nesting_level限制与内存溢出处理
    解决PHP递归报错:max_nesting_level限制与内存溢出处理

    遇到PHP递归报错时,不要盲目调大max_nesting_level。本文教你区分Xdebug限制、内存耗尽和正则递归错误,提供代码级的终止条件优化与迭代替代方案,彻底解决栈溢出问题。

    PHP递归中static变量与引用传递的常见陷阱及调试
    PHP递归中static变量与引用传递的常见陷阱及调试

    本文分析PHP递归中static变量导致的状态污染及引用传递引发的共享数据修改问题。提供具体的代码复现、缓存键设计建议及调试打印技巧,帮助开发者避免隐蔽的逻辑错误。

    PHP递归性能优化技巧与迭代替代方案
    PHP递归性能优化技巧与迭代替代方案

    解析PHP递归函数在树形数据处理中的性能瓶颈,提供预加载数据消除I/O、使用显式栈替代深层递归的实战方案,帮助开发者在代码可读性与执行效率间做出合理取舍。

    thinkphp项目部署指南详解服务器部署步骤
    thinkphp项目部署指南详解服务器部署步骤

    详细解析ThinkPHP项目在Linux服务器上的部署步骤,包括环境搭建、文件权限、Nginx配置及常见陷阱,提供可复制的代码示例与例外场景分析。

    PHP发送HTTP请求的方法及完整代码教程
    PHP发送HTTP请求的方法及完整代码教程

    详解PHP中发送HTTP请求的常用方法,包括原生cURL配置、file_get_contents流操作及Guzzle库的使用,提供GET/POST请求的完整代码示例与注意事项。

    php解析json内嵌json数据教程及取值方法
    php解析json内嵌json数据教程及取值方法

    本文详解PHP中json_decode处理嵌套JSON数据的机制,对比对象与数组模式的取值差异,提供防止空指针错误的健壮代码示例,帮助开发者快速定位解析失败原因。

    查看更多
    精品专题 更多
    装机必备
    装机必备

    正软商城装机必备专区,精选办公、浏览器、安全防护、影音播放、压缩解压、设计创作和系统工具等电脑常用正版软件,帮助用户快速完成新电脑软件配置。

    Windows
    Windows

    正软商城Windows软件专区,汇集适用于Windows电脑的办公、设计、安全防护、影音播放、开发工具和系统优化软件,提供软件介绍、系统要求、正版授权及购买下载服务。

    PDF教程
    PDF教程

    正软商城PDF教程频道提供PDF编辑、转换、合并、拆分、压缩及格式处理方法,同时介绍常用PDF软件和工具的使用技巧。

    Mac软件 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    Aperty macOS版
    Aperty macOS版
    macOS

    Aperty 是 Skylum 推出的 AI 人像修图软件,支持自然肤质修饰、瑕疵处理、面部与身体调整、预设及批量同步。

    WINDOWS 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    PixTV 网页版
    PixTV 网页版
    Windows

    PixTV 是一款在浏览器中使用的 AI 视觉内容创作平台,提供图片、视频、音频、文字生成、AI 分镜、局部重绘、提示词反推和无限画布等工具,适合短剧、漫剧、广告及社交媒体内容制作。

    即将离开本站
    您即将前往第三方网站,请确认是否继续?