今日就来后来的技术手段——统计数值电话编码消耗时刻的总上升流量、下降流量、总流量量。们平常在生活日常中往往会用手机，看视频内容一部分、发消息、上网什么事的，然而偶尔我就格外好奇感，就会抑制不住想了解，通信商到底是如何核算出“你这一个月你用了若干5G网络”这数值的，他们那些个人到底是倚仗什么事模样的计算方法抑或技术手段，把你的流量和你的使用状况融合起来了，后来推导出这结果的？？这件事事件听起来了，似乎挺有些专长水平，比如说那些个技术手段术语表啊，指标什么的，但说实仅需用对方法、熟练一一部分根基的原则，说实不存在那么样复杂性，平凡人也全然可以的自身去剖析，弄领会其中之一的逻辑和原则，并不需要格外深奥的专长背景信息，也能领会它后来隐藏的那些个机制。。
一、为什么事要统计数值？数值长什么事模样？
通信商和互联网企业要改进网络、算电话费，都得先搞清晰每一个电话编码的流量消耗时刻。简单明了说，就来自日记里找出每一个编码的“上载量”上升流量和“下载数目”下降流量，再把它们们加起来了算总流量。
举个实例而言吧，那就是在日记中的一段落数值标本，实则就是我们平常在做数值解读的当下，所收集到的原始的日记，内里的内容一部分大概是如此子的：在一列记载内里，第一位一部分是个对比长的时刻戳，好像“1363157985066”如此的数值，紧接着是一个电话编码，像“13726230503”如此子的，后来后来紧追随者一连串由数值和文字标记构成的十六进制数，这数是用冒号隔开的，比如像“00-FD-07-A4-72-B8”，它代言人的是一一部分设施抑或用户的独一无二标识码，后来随后是服务商比如“CMCC”这姓名呈现的所在，再后来就是一一部分网络技术手段抑或服务器的网络地址，例如“120.196.100.82”，尚有一一部分关于的网站地址来源于的叙述，例如“i02.c.aliimg.com”，紧接着会追随者一一部分数值字段，例如“24”、“27”、“2481”、“24681”，这些东西都是一一部分统计数值抑或指标分类的编码，理所当然最后还会有一个状态码，例如“200”，一般代言人恳求成就。。最后要输出的结果就是：
电话编码码 上升流量 下降流量 总流量量
例如：13560436666 1116 954 2070总流量=1116+954。
二、用什么事用具？MapReduce最靠谱
处置这种类型海量的日记，就像给全校学生统计数值月考成绩单——一个人算过于缓慢，得找“分散式小帮手”。Hadoop MapReduce就是干这件事讲的能手它能把大使命分解小块，多部电脑设备同时算，工作效率优秀还能灵活微调参考技术手段文档。
三、中心阶段：从拆数值到算总计
1. 先做个“数值小匣子”FlowBean
要让数值在电脑设备中段“送货”，得做个能“包装”序列化和“拆解”反序列化的小匣子——FlowBean。它内里装着上升流量、下降流量和总流量。
关键提醒：打包和拆包的次序必须要全然相同比如先装上升、再下降、最后总流量，拆的当下也得按这次序，不然数值就混亂不堪“浆糊”了参考技术手段文档。
如果想按总流量从高到低排列，还得给盒状物加个“排列功能”达成WritableComparable端口，就像给快递贴优待次序标记。
2. Mapper时期：拆数值、装盒状物
Mapper就像“数值分拣员”，一列行读日记，把每段数值拆开，寻获电话编码、上升和下降流量，再装进FlowBean盒状物里，最后以电话编码为“快递单号”，把盒状物发送去。
广泛见于坑：日记里的字段方位可能“乱跑乱窜”比如电话编码原本在第2列，结果日记里跑第3列了，这当下得重新启动调代码实际情况日记案例。此外，流量如果完成“九百五十四”这种类型中文字，流程会直接的“发懵”，必须如果数值。
3. Reducer时期：归纳计值出结果
Reducer是“数值归纳员”，接收同一电话编码的所有盒状物后，把内里的上升、下降流量逐一累计，最后算出总流量，输出结果。
小改进：可以的加个“预归纳员”Combiner，在数值寄送Reducer前先算个“小总计”，降低网络传送量参考技术手段文档。
4. 想分文档存？自定义划分地区
如果想把13开头、15开头的电话编码分离存，得给流程配个“划分地区员”。比如写个条例：“13开头的去文档1，15开头的去文档2，其他的去文档3”，再指派3个Reducer来处置，就能达成分文档输出。
四、实战经验案例+避坑指引指引
举个真实的实例实际情况日记案例：
输入信息日记：
1363157993055 13560436666 … 18 15 1116 954 200
1363157982040 13502468823 … 57 102 7335 110349 200
输出结果：
13560436666 1116 954 2070
13502468823 7335 110349 117684
测试这阶段啊的当下，肯定要格外留心一瞬日记的格式，发现它可能会对比乱，抑或说杂乱无章，让你稍不留神就看不清晰到底什么事疑问，是不是啊格式出了什么事错漏，抑或说排版上头有些混亂，格外是在你的流程测试阶段中，千万不要忽略这细节信息。？在启动处置这类数值抑或说测试的阶段中，提议你可以的先行grep抑或awk的用具，把那些个隔开符不统一的疑问解决方案掉，比如说把所有的隔开符都统一修改为空格抑或其他的你觉得好像便捷处置的标记，如此一来后面的剖析就会通畅众多，免得每一次都在那里费力地测试。。
尚有一类状况你要格外注意事项，就是数值在传送的阶段中可能呈现了错漏，比如说数值错误传播了抑或中段某一个阶段呈现了误差，造成你后面的处置后的结果跟预想差异巨大，偶尔还会误以为是代码疑问，说实是数值本身传送阶段中出了疑问。？你还需要细致审查一瞬FlowBean的打包和拆包的次序，保证它们们是不是啊全然统一，也就是说这次序不行出任意错漏，不然的话，很可能造成数值在传递阶段中出了误差，抑或在拆包的当下呈现了不统一的状况，进而影响到后面的逻辑处置。。
- 算得慢？最后，如果你的日记文档变成十分大，占据空间也巨大，并且还影响到整体性体系的表现，可以的考虑到把日记存入HDFS上头去，用HDFS存放一一部分大批量的日记文档，后来增大Reducer的数目，开启更多内容的并发核算，让处置工作效率变快稍许，如此一来，整体性的测试和处置就会更通畅一一部分。。
五、不只算总计还能这么玩
以外根基统计数值，这技术手段还能“提升”：
- 即时监视：用Flink或Spark Streaming即时算流量，一旦某一个电话编码突如其来用了10G比如半个钟头，立刻报警器
- 多层次剖析：按小时数/天看流量峰值，抑或融合通信站消息，观察那个地区网络最“挤”实际情况日记案例。
- 视觉化图示：把结果Tableau或ECharts，画个流量趋向图，一瞥看领会用户如何用流量的。
六、+冷学识
统计数值电话编码消耗时刻的总上升流量、下降流量、总流量量，关键是拆数值、打包传送、汇果。研发时注意事项日记格式和数值类型，碰到疑问先审查这些东西细节信息。这方法在通信商收费体系用了老多次回复，准得很
最后呢，我想跟讲大家共享一瞬一个挺趣味横生的小学识，也就是平常我们在用手机抑或其他的设施上网的当下，从通信商那厢下载的流量，实则一般会比上载的流量要多一一部分，这情形很普遍存在，但说实有一一部分特别状况下，比如你在用短视频内容一部分应用程序刷视频内容一部分，抑或在云端服务传送一一部分文档的当下，上载的流量可能会突如其来增添大致三分之一附近，这种类型状况在数值统计数值的当下就可以的看得很清晰，也就是说，如果碰到这种类型状况，我们可以的考虑到在方略上做一一部分微调，比如优待掌控上载或者得当安排使用时刻，保证整体性工作效率和流量的使用率都能更佳一一部分。。
