手把手教你统计每一个手机号耗费的总上行流量、下行流量、总流量——Hadoop实战保姆级攻略

当天就用通俗话这件事讲——统计数值每一个手机号消耗时刻的总上升流量、下行流量、总流量量，从需求到密码，面对面教你实现。你了解们平常用于刷微信聊天、看视频内容部分、上网这些东西讲日常操作所依赖性的流量，说实它是由们的通讯商在后台体系途经一连串复杂性的核算和统计数值推导出的，他们那些人是通过什么模样的计算手段、依照那些详细的准则和条例，来确认们到底耗尽了若干流量，实则他们那些人是怎么核算准确这所有的呢？？

1gb等于多少kb呢流量

一、原因要干这件事讲？和目标说清晰

通讯行业里，统计数值每个手机号的流量消耗时刻那是刚需。举个例子，通讯商得了解用户用了若干上载流量例如发相片、下载流量例如刷视频内容部分，加起来了就是总流量。目标就仨：

精确：每个手机号的流量算是对，不行多也不行少；
效率高：日记数值动不动就TB级，普通电脑设备中心撑不住，得用分布式核算例如Hadoop；
好分拆：按手机号前三名像13、15分离存，后面剖析更便捷。

手机流量计算公式全解析

然而这个工作说实并并不是那么样简单去实现的，由于它的挑战性关键在于数值的数目确实是大得让人无法想象力，简直就是就是一个极度巨大的级别，遥远超限了众多人平常的预想和想象力。同时呢，关于的各样字段的方位也存在性着一部分简单失误的细节信息，例如说，上升流量这些东西讲重大的数值可能会被置于倒数第三列这个方位上，如果你不存在格外留心如果，很简单就错漏了，造成后面的处置变成十分烦恼。另外呢，还需求考虑到到传送这些东西讲数值的当下，还得进行着序列化的操作，否则就变成像送货在拆解抑或搬运工时次序被弄乱了相同，东西讲乱成一锅粥饭相同，所有的东西讲全部混在共同，不存在按照着本来的次序排列，疑问就更复杂性了。。

hadoop 基础原理

二、用具和计划：就像烧菜得先备炊具

要实现这件事讲，为主靠三位用具：

Hadoop MapReduce：分布式核算界的头头，海量的数值加工它最在行；
个性化设置FlowBean类：专门的装流量数值的“小容器”，能够序列化否则传送会丢数值；
划分区域器：按手机号前三名把结果分到相异文档，便捷后面整理。

使用clouddm可视化操作mysql

三、逐步来从搭环境到跑密码

1. 搭环境+预备数值

起先需求装Hadoop3.3.1版本，配置多个中心文档core-site.xml、hdfs-site.xml，跟装配电脑设备相近，别手滑修正错漏指标。
数值长什么模样？例如日记里一列可能是：时刻戳 13726230503 IP 上升流量下行流量回应码。

手机号是第2个字段例如13726230503；
上升流量在倒数第三列，下行在倒数第二列。

12422700竖版竖屏

注意事项啊，如果你将日记内里的内容部分，用逗号符号来以各个数值中段的分隔符，而并不是空格，那在撰写密码进行着处置的当下，你就得把split手段内里的指标修改为逗号符号，否则如果，流程在拆分的当下就会失误，可能会造成分析不正确抑或发生反常的状况发生。；你要了解啦，手机编号必须要要是由11个数字构成的，否则如果，流程在分析这些东西讲编号的当下就会呈现错漏提醒抑或报错，由于体系需求依照这个尺寸来确认是并不是啊达标，如果并不是这个尺寸，体系就会觉得好像分析有疑问，不行正确辨别编号。。

基于hadoop大数据的门店数据统计分析系统

2. 个性化设置FlowBean：装流量的“小容器”

这小盒状物必须要能“序列化”——就像给送货包装，写进去和读出现的次序得完全相同密码大约长如此：
java public class FlowBean implements Writable { private long upFlow; // 上升流量 private long downFlow; // 下行流量 private long sumFlow; // 总流量上升+下滑 // 无参构造必须要有，否则Hadoop不认 public FlowBean() {} // 序列化：按次序写上升、下滑、总流量量 @Override public void write(DataOutput out) throws IOException { out.writeLong(upFlow); out.writeLong(downFlow); out.writeLong(sumFlow); } // 反序列化：次序必须要和写的当下统一 @Override public void readFields(DataInput in) throws IOException { upFlow = in.readLong(); downFlow = in.readLong(); sumFlow = in.readLong(); } // 输出时的格式，便捷看结果 @Override public String toString() { return upFlow + “t” + downFlow + “t” + sumFlow; } }
划要点：写和读的次序必须要一毛相同，否则数值全乱套总流量可以的直接地算sumFlow = upFlow + downFlow。

12602720竖版竖屏

3. Map时期：分拣数值的“送货员”

Map时期就像分拣员，把每条日记里的手机号、来回流量挑出现，放入FlowBean盒状物。密码大约如此：
java public class FlowMapper extends Mapper<LongWritable, Text, Text, FlowBean> { @Override protected void map(LongWritable key, Text value, Context context) { String line = value.toString(); String[ fields = line.split(” “); // 按空格切割 String phone = fields; // 电话编号 long up = Long.parseLong(fields[fields.length – 3); // 上升流量 long down = Long.parseLong(fields[fields.length – 2); // 下行流量 FlowBean flow = new FlowBean(); flow.setUpFlow(up); flow.setDownFlow(down); flow.setSumFlow(up + down); context.write(new Text(phone), flow); // 输出手机号和FlowBean } }
小提醒：字段方位可能变例如日记格式改了，得审查fields的目录；碰到不合法数值例如流量并不是数字，记着用try-catch跳过，否则流程会崩

广东联通流量套餐疑云下架半年仍售卖高额流量费成谜

4. Reduce时期：结算的“会计人员”

Reduce时期像会计，把同一个手机号的所有FlowBean盒状物倒出现，把流量累计。密码大约如此：
java public class FlowReducer extends Reducer<Text, FlowBean, Text, Text> { @Override protected void reduce(Text key, Iterable values, Context context) { long totalUp = 0, totalDown = 0; for (FlowBean bean : values) { totalUp += bean.getUpFlow(); // 累计所有上升流量 totalDown += bean.getDownFlow(); // 累计所有下行流量 } long totalSum = totalUp + totalDown; // 总流量量 context.write(key, new Text(totalUp + “t” + totalDown + “t” + totalSum)); } }
改进小窍门：数值体量格外大时，用LongSum或AtomicLong能更快，结果直接地存储“电话编号t上升t下行t总流量”，后面剖析超便捷

现金流量表编制秘籍

5. 划分区域器：给结果“分抽屉柜”

想按手机号前三名分离存？搞个划分区域器就行例如13开始的放首个文档，15开始的放第二个，其他放第三位。密码大约如此：
java public class PhonePartitioner extends Partitioner<Text, FlowBean> { @Override public int getPartition(Text key, FlowBean value, int numPartitions) { String phone = key.toString(); if (phone.startsWith(“13”)) return 0; // 13前缀 if (phone.startsWith(“15”)) return 1; // 15前缀 return 2; // 其余 } }
实践经验：在Driver类里指派划分区域器和Reduce使命数例如3个，要是前缀种类多，记着动向设置划分区域数，别硬密码

10802337竖版竖屏