科技资讯_数据资讯

轻量级监控平台之cpu监控

轻量级监控平台之cpu监控脚本 #!/bin/bash #进程监控脚本 #功能需求: 上报机器的硬件层面-cpu负载数据 . /etc/profile . ~/.bash_profile pushurl="https://lightmonitorapi.test.cn/push/cpuload" #抓取cpu的总核数 cpu_num=`grep -c 'model name' /proc/cpuinfo` #抓取当前系统15分钟的平均负载值 load_15=`uptime | awk '{print $NF}'` #计算当前系统单个核心15分钟的平均负载值,结果小于1.0时前面个位数补0。 average_load=`echo "scale=2;a=$load_15/$cpu_num;if(length(a)==scale(a)) print 0;print a" | bc` cpuload=$( uptime | awk '{print $10 $11 $NF}') msg=$cpuload","$average_load ip=$(ip addr | grep 'state UP' -A2 | tail -n1 | awk '{print $2}' | cut -f1 -d '/') ticket=$(cat /opt/shell/ticket.txt) curl $pushurl \ -H "Accept: application/json" \ -H 'Content-Type: application/json' \ -d \ '{"ip": "'"${ip}"'", "ticket": "'"${ticket}"'", "data": "'"${msg}"'"}'
架构设计@工程设计@服务稳定性之路

软件开发

2019-11-22 15:10:00

性能测试

自己的游戏引擎的跨平台工作也进行到一定阶段了,我个人非常注重性能.所以单就性能测试这一块非常注重.这不,再自己的真机上测试了一把,高通骁龙 APQ8064 1.5GHz(4核),2G RAM,同屏10000个Sprite(2D),维持在15-20FPS左右,我个人对这个性能还是比较满意,不知道比起市场同类引擎如何.

软件开发

2014-08-20 14:02:00

Android NDK 编译加入so文件

在cocos2d-x中集成百度语音识别的时候,运行build_native.py会把libs/armeabi目录清空。
以下是解决办法,把so文件放在jni/prebuilt里面。
修改Android.mk文件,主要有两行 include $(CLEAR_VARS) LOCAL_PATH := $(call my-dir) include $(CLEAR_VARS) #百度语音识别so LOCAL_MODULE := BDVoiceRecognitionClient_V1 LOCAL_SRC_FILES := prebuilt/libBDVoiceRecognitionClient_V1.so include $(PREBUILT_SHARED_LIBRARY) include $(CLEAR_VARS) LOCAL_MODULE := cocos2dcpp_shared

软件开发

2014-08-18 22:21:00

Cocos2d-x3.2 场景的生命周期

//GameScene.h #include "cocos2d.h" USING_NS_CC; class GameScene : public cocos2d::Layer { public: GameScene(void); ~GameScene(void); static cocos2d::Scene* createScene(); virtual bool init(); virtual void onEnter(); virtual void onEnterTransitionDidFinish(); virtual void onExit(); virtual void onExitTransitionDidStart(); void menuCallback(Ref* pSender); CREATE_FUNC(GameScene); private: //注意不能用auto关键字 Size size; Sprite *sprite; };

//GameScene.cpp //cocos2d: GameScene constructor //cocos2d: GameScene onEnter //cocos2d: GameScene onEnterTransitionDidFinish //cocos2d: HelloWorld constructor //cocos2d: GameScene onExitTransitionDidStart //cocos2d: GameScene onExit //cocos2d: GameScene destructor //cocos2d: HelloWorld onEnter //cocos2d: HelloWorld onEnterTransitionDidFinish //cocos2d: HelloWorld onExitTransitionDidStart //cocos2d: HelloWorld onExit //cocos2d: HelloWorld destructor #include "GameScene.h" #include "HelloWorldScene.h" USING_NS_CC; GameScene::GameScene(void) { log("GameScene constructor"); } GameScene::~GameScene(void) { log("GameScene destructor"); } cocos2d::Scene* GameScene::createScene() { auto scene = Scene::create(); //创建一个场景 auto layer = GameScene::create(); //创建一个图层 scene->addChild(layer); return scene; } //初始化当前的图层 bool GameScene::init() { if(!Layer::init()) //初始化父类 return false; //获取屏幕大小 size = Director::getInstance()->getVisibleSize(); //auto size = Director::getInstance()->getWinSize(); //添加一个图片精灵 sprite = Sprite::create("OnePiece_1.png"); sprite->setPosition(Vec2(size.width/2, size.height/2)); this->addChild(sprite); auto delay = DelayTime::create(2); //回调函数动作的使用！！！ sprite->runAction(Sequence::create(delay, CallFuncN::create(CC_CALLBACK_1(GameScene::menuCallback, this)), NULL)); return true; } void GameScene::menuCallback(Ref* pSender) { Director::getInstance()->replaceScene(HelloWorld::createScene()); } void GameScene::onEnter() { Layer::onEnter(); log("GameScene onEnter"); } void GameScene::onEnterTransitionDidFinish() { Layer::onEnterTransitionDidFinish(); log("GameScene onEnterTransitionDidFinish"); } void GameScene::onExit() { Layer::onExit(); log("GameScene onExit"); } void GameScene::onExitTransitionDidStart() { Layer::onExitTransitionDidStart(); log("GameScene onExitTransitionDidStart"); }

软件开发

2014-08-15 19:02:00

cocos2d-x教程收集

由于一直放在收藏夹里,很不方便。于是文章以记录之：
红孩儿的博客（杂）： http://blog.csdn.net/honghaier/article/category/1217322
oneRain （C++,2.x）： http://blog.csdn.net/oneRain88/article/category/1116401
老G的小屋（Js）: http://goldlion.blog.51cto.com/4127613/p-1
liangshaoze (C++,3.X): http://hughie.blog.51cto.com/
dssdss123(C++,2.x): http://blog.csdn.net/dssdss123/article/category/1613103
雪野玲（C++, 3.x）: http://my.csdn.net/iamyococo
jyzgo (C++,2.x): http://blog.csdn.net/jyzgo/article/category/1133966
郝萌主 (C++,2.x): http://blog.csdn.net/danielzzu/article/category/1789947/1
qinning199 (C++,2.x): http://blog.csdn.net/qinning199/article/category/1616331
芒果布丁00 (C++, 2.x): http://blog.csdn.net/u013174689/article/category/1825873
Kevin Game (C++, 2.x): http://www.cnblogs.com/KevinYuen/category/458519.html
笨木头（C++ 3.X）: http://blog.csdn.net/musicvs/article/category/1213804 yifuteli (lua):http://blog.csdn.net/yifuteli_kevin/article/category/1546107
Jacky's Blog（C++） http://blog.csdn.net/jackystudio

软件开发

2014-05-07 16:47:00

vs2013编译 protoBuffer编译出现的问题

编译protobuffer ,出现了两个问题
1.vs加载项目后,会发现min函数没有引入头文件 #include ；
2.vs2013编译测试类的时候,抛出了以下异常：
warning C4996: ‘std::_Copy_impl’: Function call with parameters that may be unsafe – this call relies on the caller to check that the passed values are correct. To disable this warning, use -D_SCL_SECURE_NO_WARNINGS. See documentation on how to use Visual C++ ‘Checked Iterators’
解决的方案请看: http://choorucode.com/2010/08/30/visual-c-c4996-warning-on-copy-with-array-parameters/

protobuffer 中抛出异常的头文件是repeated_field.h中第708行,修改后的代码如下： template void ElementCopier::operator()( Element to[], const Element from[], int array_size) { std::copy(from, from + array_size, stdext::checked_array_iterator(to,array_size)); //std::copy(from, from + array_size, to); }

通过以上修改编译成功

软件开发

2014-05-06 18:01:00

cocos2d-python window7下安装问题

在cmd中执行 python setup.py install 时发生错误,提示缺少ez_setup
在此寻找,根据提示：
The recommended way to install setuptools on Windows is to download ez_setup.py and run it.
据此,下载好 ez.setup.py 放到cocos2d的文件夹中,然后编辑文件夹里的setup.py,添加如下两行：
from ez_setup import use_setuptools
use_setuptools
保存
再次在cmd中执行 python setup.py install ,安装成功！

软件开发

2014-02-21 15:17:00

[Develop Game] AS3 Click the Balloons

与往常一样,打算如何在游戏是要表现你开始编写任何代码之前！首先,我们需要一个启动按钮。我们希望有一个新的气球,每5秒。每个气球应开始于页面的底部,并移动到页面的顶部。如果气球越过页面的顶部,那么它的游戏结束了,从舞台上删除所有的气球,并提供了一个重启按钮。
第1步：按钮
我们知道我们有一个开始和重启按钮,我们希望有一个气球,让我们创建这些。我现在用FlashBuilder编辑器。
在 FlashBuilder 中一个新生成的Main.as文件开始,我们嵌入我们的图片： [Embed(source="../lib/start.jpg")] private var StartButton:Class; private var startButton:Sprite = new Sprite(); [Embed(source="../lib/restart.jpg")] private var RestartButton:Class; private var restartButton:Sprite = new Sprite();
我们创建的启动和重启按钮作为精灵的一个实例。我们没有嵌入我们的气球形象,因为我们想要做的,在一个单独的类。
我们已经创建并嵌入我们的按钮。我们可以让他们做一些事情。在init函数,添加下面的代码： //添加启动按钮 startButton.addChild(new StartButton()); startButton.addEventListener(MouseEvent.CLICK, startGame); startButton.buttonMode = true; startButton.x = (stage.stageWidth / 2) - (startButton.width / 2); startButton.y = (stage.stageHeight / 2) - (startButton.height / 2); addChild(startButton);
此代码将开始按钮图像添加到雪碧,并使它这样,当用户点击它,它调用函数'startGame“。我们也让它改变用户的光标,当他们悬停。然后,我们添加我们的启动按钮到舞台的中央！我们现在需要一个叫做startGame功能。 /** * Create some balloons and get them moving! * @param MouseEvent e */ private function startGame(e:MouseEvent):void { startButton.removeEventListener(MouseEvent.CLICK, startGame); removeChild(startButton); }
首先,一些垃圾收集。这只是一些基本的优化。与其等待flash播放器的垃圾回收踢和删除事件侦听器为我们,我们将马上删除并释放一些CPU周期。
我们不希望任何愈显启动按钮,所以我们删除从舞台。
步骤2：气球
现在我们来创建一些气球。
首先,规划。什么是我们希望我们的气球做？
这将是很好,如果气球是不是纯白色。让我们的色彩气球。
他们需要移动。
当用户点击气球,我们要回收。也就是说,使其移动到屏幕的底部,并重新开始它的补间动画到页面的顶部。听起来像一个复位功能给我。
下面是我们的骨骼气球类： /** * Balloon.as * Balloon Class. */ package { import flash.filters.DropShadowFilter; import flash.display.MovieClip; import com.greensock.*; public class Balloon extends MovieClip { [Embed(source = "../lib/balloon.png")] private var BalloonImage:Class; private var myTween:TweenLite; private var colours:Array = [0xFF0000, 0x00FF00, 0x0000FF, 0x006633, 0xFFFCD6, 0x16A5DF]; private var dropShadowEffect:DropShadowFilter; public function Balloon():void { addChild(new BalloonImage()); myTween = new TweenLite(this, 7, {y:-this.height, ease:"Linear.easeNone"}); changeColour(); } public function reset():void { changeColour(); myTween.restart(); } public function die():void { myTween.pause(); } public function changeColour():void{ dropShadowEffect = new DropShadowFilter(0,45,colours[Math.floor(Math.random() * colours.length)],1,width,height,1,1,true,false,false); filters = [dropShadowEffect]; } } }
正如你可以看到我们已经嵌入我们的气球形象在这个类中,并挑选一些鲜艳的颜色来显示它。对于我选择使用气球的移动 Greensock的TweenLite的 ,因为它提供了一个平滑的渐变作用比任何我能想出与。
回到我们的主类,创建一个名为Timer属性 private var timer:Timer = new Timer(5000, -1);
并添加以下到startGame功能： timer.addEventListener(TimerEvent.TIMER_COMPLETE, createBalloon); timer.start(); createBalloon(); score = 0;
这将创建一个新的气球,每5秒。和让球滚动,我们立即Call createBalloon：
private function createBalloon(e:TimerEvent = null):void { var balloon:Balloon = new Balloon(); balloon.addEventListener(MouseEvent.CLICK, popBalloon); balloon.y = stage.stageHeight; balloon.x = Math.floor(Math.random() * (stage.stageWidth - balloon.width)); balloons.push(balloon); addChild(balloon); timer.reset(); timer.start(); }
这个函数创建一个新的气球,沿着屏幕的底部随机位置,并且告诉应用程序,当用户单击新创建的气球运行popBalloon。
private function popBalloon(e:MouseEvent):void { e.target.x = Math.floor(Math.random() * (stage.stageWidth - e.target.width)); e.target.reset(); }
这个函数只是将气球回到屏幕的底部,并告诉它开始再次移动到屏幕的顶部。
如果你在这一点上测试你的游戏,你将有你的游戏的开始！
步骤3：游戏结束并重新启动
您可能已经注意到了,游戏实际上并没有结束。让我们来解决这个问题。当气球在通过屏幕上方,我们将清除屏幕上所有的气球,并显示一个游戏结束的消息。而且,由于游戏喜欢跟踪他们的L33T skilz,我们甚至会告诉他们,他们有多少气球点击。
在Main类中,添加另一个属性： private var score:int;
这将保持跟踪有多少气球已被点击。
更新startGame使分数等于0： score = 0;
最后,更新popBalloon令得分上升：
score++;
有了成绩跟踪,让我们结束这个游戏。更新startGame：
addEventListener(Event.ENTER_FRAME, balloonCheck);
这是什么做的每一帧检查,如果我们的任何气球是在屏幕上方是调用一个函数。
private function balloonCheck(e:Event):void { if (balloons.length) { for (var i:int = 0; i < balloons.length; i++) { if (balloons[i].y == 0 - balloons[i].height) { //game over. removeEventListener(Event.ENTER_FRAME, balloonCheck); for (var i:int = 0; i < balloons.length; i++) { balloons[i].die(); removeChild(balloons[i]); } timer.stop(); return; } } } }
如果任何一个气球上面的屏幕上方是,那么阻止他们移动,从舞台中删除,并停止计时器,否则,我们将最终获得所产生的更多的气球。
现在,我们已经停止了比赛,我们需要向用户显示他们的分数和重启按钮。首先,显示了比分。
在Main类中创建一个新的属性： private var textBox:TextField = new TextField; private var textFormat:TextFormat = new TextFormat(null, 30);
所有的textFormat正在做的是指定的字体大小为30像素。我要申请的textFormat到textBox中的init函数：
textBox.defaultTextFormat = textFormat;
而现在,我们的textBox中添加到舞台。在balloonCheck的部分更新游戏：
textBox.text = "You popped " + score + " balloons!nWell Done!"; textBox.width = textBox.textWidth; textBox.x = (stage.stageWidth / 2) - (textBox.width / 2); textBox.y = (stage.stageHeight / 4); addChild(textBox);
我们添加的重启按钮。下面的代码添加到init函数：
//实例化重启按钮 //instantiate the restart button restartButton.addChild(new RestartButton()); restartButton.buttonMode = true; restartButton.x = (stage.stageWidth / 2) - (restartButton.width / 2); restartButton.y = (stage.stageHeight / 2) - (restartButton.height);
最后,我们调整startGame去除的几行代码到一个新的功能,并创造restartGame,删除了所有的气球从数组并删除按钮和得分。
private function restartGame(e:MouseEvent):void { balloons = []; restartButton.removeEventListener(MouseEvent.CLICK, restartGame); removeChild(restartButton); removeChild(textBox); game(); } private function startGame(e:MouseEvent):void { startButton.removeEventListener(MouseEvent.CLICK, startGame); removeChild(startButton); game(); } private function game():void { addEventListener(Event.ENTER_FRAME, balloonCheck); timer.addEventListener(TimerEvent.TIMER_COMPLETE, createBalloon); timer.start(); createBalloon(); score = 0; }
FINAL的类 package { import flash.display.MovieClip; import flash.display.Sprite; import flash.events.Event; import flash.events.MouseEvent; import flash.events.TimerEvent; import flash.text.TextField; import flash.text.TextFormat; import flash.utils.Timer; [SWF(width='800',height='600',backgroundColor='#FFFFFF',frameRate='25')] /** * Pop the balloons game. Main Class * @author Richard Parnaby-King */ public class Main extends MovieClip { [Embed(source="../lib/start.jpg")] private var StartButton:Class; private var startButton:Sprite = new Sprite(); [Embed(source="../lib/restart.jpg")] private var RestartButton:Class; private var restartButton:Sprite = new Sprite(); private var balloons:Array = []; private var timer:Timer = new Timer(5000, -1); private var score:int; private var textBox:TextField = new TextField; private var textFormat:TextFormat = new TextFormat(null, 30); public function Main():void { if (stage) init(); else addEventListener(Event.ADDED_TO_STAGE, init); } private function init(e:Event = null):void { removeEventListener(Event.ADDED_TO_STAGE, init); // entry point //add start button startButton.addChild(new StartButton()); startButton.addEventListener(MouseEvent.CLICK, startGame); startButton.buttonMode = true; startButton.x = (stage.stageWidth / 2) - (startButton.width / 2); startButton.y = (stage.stageHeight / 2) - (startButton.height / 2); addChild(startButton); //instantiate the restart button restartButton.addChild(new RestartButton()); restartButton.buttonMode = true; restartButton.x = (stage.stageWidth / 2) - (restartButton.width / 2); restartButton.y = (stage.stageHeight / 2) - (restartButton.height / 2); textBox.defaultTextFormat = textFormat; } private function balloonCheck(e:Event):void { if (balloons.length) { for (var i:int = 0; i < balloons.length; i++) { if (balloons[i].y == 0 - balloons[i].height) { removeEventListener(Event.ENTER_FRAME, balloonCheck); for (var j:int = 0; j < balloons.length; j++) { balloons[j].die(); removeChild(balloons[j]); } timer.stop(); textBox.text = "You popped " + score + " balloons!nWell Done!"; textBox.width = textBox.textWidth; textBox.x = (stage.stageWidth / 2) - (textBox.width / 2); textBox.y = (stage.stageHeight / 4) - (textBox.height / 2); addChild(textBox); restartButton.addEventListener(MouseEvent.CLICK, restartGame); addChild(restartButton); return; } } } } private function restartGame(e:MouseEvent):void { balloons = []; restartButton.removeEventListener(MouseEvent.CLICK, restartGame); removeChild(restartButton); removeChild(textBox); game(); } private function startGame(e:MouseEvent):void { startButton.removeEventListener(MouseEvent.CLICK, startGame); removeChild(startButton); game(); } private function game():void { addEventListener(Event.ENTER_FRAME, balloonCheck); timer.addEventListener(TimerEvent.TIMER_COMPLETE, createBalloon); timer.start(); createBalloon(); score = 0; } private function createBalloon(e:TimerEvent = null):void { var balloon:Balloon = new Balloon(); balloon.addEventListener(MouseEvent.CLICK, popBalloon); balloon.y = stage.stageHeight; balloon.x = Math.floor(Math.random() * (stage.stageWidth - balloon.width)); balloons.push(balloon); addChild(balloon); timer.reset(); timer.start(); } private function popBalloon(e:MouseEvent):void { e.target.x = Math.floor(Math.random() * (stage.stageWidth - e.target.width)); e.target.reset(); score++; } } }
这个打气球的游戏就已经创建完毕了...

软件开发

2014-03-24 12:33:00

Unity3d BeginConnect 传递参数

public void SendMessage (System.Object param) { try { //这是一个异步的建立连接,当连接建立成功时调用connectCallback方法 clientSocket.BeginConnect (ipAddress, hostPort, new AsyncCallback (connectCallback), param); } catch (Exception ex) { Debug.Log (ex.ToString ()); } } private void connectCallback (IAsyncResult asyncConnect) { if (!clientSocket.Connected) { closeSocket (); } else { clientSocket.EndConnect (asyncConnect); businessComm (asyncConnect.AsyncState); } }

软件开发

2014-04-06 13:04:00

设计模式-行为-Interpreter（解释器）模式

建立一个解释器,对于特定的语言,解释预先定义的文法。解释语言的句子。
场景1：正则表达式解释器
场景2：脚本解释器
场景3：XML解释器
解释器模式提供了一个处理的框架

软件开发

2016-05-07 11:08:00

VM11安装android x86虚拟机启动时error17的处理办法

亲测有效,在安装过程最后一步时,提示do you want to install loader grub时, 选择YES
下一项如果还有GRUB2,选择NO,其他YES,试试能否成功
如果失败,俩grub都NO,看看能不能行
再不行,GRUB2选择 YES,第一个GRUB选择NO
检查了一下,应该是bios,uefi启动不同的原因,貌似老机器和新机器不一样,最简单的方法如上,只要不两个都选,应该就不会跳ERROR17

软件开发

2016-03-26 12:29:00

unity C#协同程序

协同程序和多线程有相似之处,但是又不是一个东西
协同程序是可以吧一个函数（routine）分成几段执行,yield 关键字来等待协同程序的返回,
多线程在多核处理器的环境下能真正并行运行,协同程序任意时刻只有一个代码片段在运行
多线程要考虑线程同步,而协同程序不会,因为任意时刻只有一个协同程序的代码片段在运行
协同函数返回值必须是IEnumerator yield return 来返回
注意：4.3.1 最大允许协程数量为10000000个

1.用于定时器启动1秒后debug输出 void Start () { StartCoroutine(func()); //立即返回 //StartCoroutine("func");//立即返回 } // Update is called once per frame void Update () { } IEnumerator func() { yield return new WaitForSeconds(1);//暂停当前函数片段,让出给其他片段执行,等待WaitForXXXXXX 返回 Debug.Log("1111111"); }
2.加载进度显示 public Text txt; // Use this for initialization bool is_done; int current; int total; void Start() { is_done = false; current = 0; total = 100; txt = GameObject.Find("Text").GetComponent(); StartCoroutine(loding_sync()); // StartCoroutine( ()=>IEnumerator{} ); } // Update is called once per frame void Update() { } IEnumerator loding_sync() { txt.text = "start to loaing"; yield return new WaitForSeconds(1.0f); for (; current <= total; ++current) { yield return new WaitForEndOfFrame(); txt.text = current.ToString() + "%"; dosomethingelse(); } txt.text = "Done"; } void dosomethingelse() { }

软件开发

2016-03-25 13:38:00

NotifyCenter观察者模式

更像订阅,项目需要,所以实现了一个简易的 using UnityEngine; using System.Collections; using System.Collections.Generic; public delegate void HandlerNotifyCenter(System.Object arg); [System.Serializable] class Recver { public string name; public GameObject recver; public HandlerNotifyCenter handler; public Recver() { } public void InVoke(System.Object arg) { handler(arg); } } public class NotifyCenter : MonoBehaviour { static public NotifyCenter ins; List recvers = new List(); void Awake() { ins = this; } // Use this for initialization void Start() { } // Update is called once per frame void Update() { } public void addRecver(GameObject recver, string name, HandlerNotifyCenter handler) { // gameObject.SendMessage(msg); Recver x = new Recver(); x.name = name; x.handler = handler; x.recver = recver; recvers.Add(x); } public void removeRecver(GameObject recver, string name) { foreach (Recver obj in recvers) { if (name == obj.name && recver == obj.recver) { recvers.Remove(obj); } } } public void sendMessage(string msg, System.Object arg) { foreach (Recver obj in recvers) { if (msg == obj.name) { obj.InVoke(arg); } } } }

软件开发

2016-04-10 09:45:00

Storm 实现滑动窗口计数和TopN排序【转】

计算top N words的topology, 用于比如trending topics or trending images on Twitter.

实现了滑动窗口计数和TopN排序, 比较有意思, 具体分析一下代码

Topology

这是一个稍微复杂些的topology, 主要体现在使用不同的grouping方式, fieldsGrouping和globalGrouping

String spoutId = ""; String counterId = ""; String intermediateRankerId = ""; String totalRankerId = ""; builder.setSpout(spoutId, TestWordSpout(), 5); builder.setBolt(counterId, RollingCountBolt(9, 3), 4).fieldsGrouping(spoutId, Fields("")); builder.setBolt(intermediateRankerId, IntermediateRankingsBolt(TOP_N), 4).fieldsGrouping(counterId, Fields("")); builder.setBolt(totalRankerId, TotalRankingsBolt TOP_N)).globalGrouping(intermediateRankerId);

RollingCountBolt
首先使用RollingCountBolt, 并且此处是按照word进行fieldsGrouping的, 所以相同的word会被发送到同一个bolt, 这个field id是在上一级的declareOutputFields时指定的
RollingCountBolt, 用于基于时间窗口的counting, 所以需要两个参数, the length of the sliding window in seconds和the emit frequency in seconds
new RollingCountBolt(9, 3), 意味着output the latest 9 minutes sliding window every 3 minutes
1. 创建SlidingWindowCounter(SlidingWindowCounter和SlotBasedCounter参考下面)
counter = new SlidingWindowCounter(this.windowLengthInSeconds / this.windowUpdateFrequencyInSeconds);
如何定义slot数? 对于9 min的时间窗口, 每3 min emit一次数据, 那么就需要9/3=3个slot
那么在3 min以内, 不停的调用countObjAndAck(tuple)来递增所有对象该slot上的计数
每3分钟会触发调用emitCurrentWindowCounts, 用于滑动窗口(通过getCountsThenAdvanceWindow), 并emit (Map, 实际使用时间)
因为实际emit触发时间, 不可能刚好是3 min, 会有误差, 所以需要给出实际使用时间

2. TupleHelpers.isTickTuple(tuple), TickTuple
前面没有说的一点是, 如何触发emit? 这是比较值得说明的一点, 因为其使用Storm的TickTuple特性.
这个功能挺有用, 比如数据库批量存储, 或者这里的时间窗口的统计等应用
"__system" component会定时往task发送 "__tick" stream的tuple
发送频率由TOPOLOGY_TICK_TUPLE_FREQ_SECS来配置, 可以在default.ymal里面配置
也可以在代码里面通过getComponentConfiguration()来进行配置,
Map getComponentConfiguration() { Map conf = HashMap(); conf.put(Config.TOPOLOGY_TICK_TUPLE_FREQ_SECS, emitFrequencyInSeconds); conf;
配置完成后, storm就会定期的往task发送ticktuple
只需要通过isTickTuple来判断是否为tickTuple, 就可以完成定时触发的功能
isTickTuple(Tuple tuple) { tuple.getSourceComponent().equals(Constants.SYSTEM_COMPONENT_ID) \\ SYSTEM_COMPONENT_ID == "" && tuple.getSourceStreamId().equals(Constants.SYSTEM_TICK_STREAM_ID); \\ SYSTEM_TICK_STREAM_ID == "" }

最终, 这个blot的输出为, collector.emit(new Values(obj, count, actualWindowLengthInSeconds));
obj, count(窗口内的计数和), 实际使用时间

SlotBasedCounter
基于slot的counter, 模板类, 可以指定被计数对象的类型T
这个类其实很简单, 实现计数对象和一组slot(用long数组实现)的map, 并可以对任意slot做increment或reset等操作
关键结构为Map objToCounts, 为每个obj都对应于一个大小为numSlots的long数组, 所以对每个obj可以计numSlots个数
incrementCount, 递增某个obj的某个slot, 如果是第一次需要创建counts数组
getCount, getCounts, 获取某obj的某slot值, 或某obj的所有slot值的和
wipeSlot, resetSlotCountToZero, reset所有对象的某solt为0, reset某obj的某slot为0
wipeZeros, 删除所有total count为0的obj, 以释放空间
SlotBasedCounter Serializable { serialVersionUID = 4858185737378394432L; Map objToCounts = HashMap(); numSlots; SlotBasedCounter( numSlots) { (numSlots <= 0) { IllegalArgumentException("" + numSlots + ""); } .numSlots = numSlots; } incrementCount(T obj, slot) { [] counts = objToCounts.get(obj); (counts == ) { counts = [.numSlots]; objToCounts.put(obj, counts); } counts[slot]++; } getCount(T obj, slot) { [] counts = objToCounts.get(obj); (counts == ) { 0; } { counts[slot]; } } Map getCounts() { Map result = HashMap(); (T obj : objToCounts.keySet()) { result.put(obj, computeTotalCount(obj)); } result; } computeTotalCount(T obj) { [] curr = objToCounts.get(obj); total = 0; ( l : curr) { total += l; } total; } wipeSlot( slot) { (T obj : objToCounts.keySet()) { resetSlotCountToZero(obj, slot); } } resetSlotCountToZero(T obj, slot) { [] counts = objToCounts.get(obj); counts[slot] = 0; } shouldBeRemovedFromCounter(T obj) { computeTotalCount(obj) == 0; } wipeZeros() { Set objToBeRemoved = HashSet(); (T obj : objToCounts.keySet()) { (shouldBeRemovedFromCounter(obj)) { objToBeRemoved.add(obj); } } (T obj : objToBeRemoved) { objToCounts.remove(obj); } } }

SlidingWindowCounter
SlidingWindowCounter只是对SlotBasedCounter做了进一步的封装, 通过headSlot和tailSlot提供sliding window的概念
incrementCount, 只能对headSlot进行increment, 其他slot作为窗口中的历史数据
核心的操作为, getCountsThenAdvanceWindow
1. 取出Map counts, 对象和窗口内所有slots求和值的map
2. 调用wipeZeros, 删除已经不被使用的obj, 释放空间
3. 最重要的一步, 清除tailSlot, 并advanceHead, 以实现滑动窗口
advanceHead的实现, 如何在数组实现循环的滑动窗口
SlidingWindowCounter Serializable { serialVersionUID = -2645063988768785810L; SlotBasedCounter objCounter; headSlot; tailSlot; windowLengthInSlots; SlidingWindowCounter( windowLengthInSlots) { (windowLengthInSlots < 2) { IllegalArgumentException("" + windowLengthInSlots + ""); } .windowLengthInSlots = windowLengthInSlots; .objCounter = SlotBasedCounter(.windowLengthInSlots); .headSlot = 0; .tailSlot = slotAfter(headSlot); } incrementCount(T obj) { objCounter.incrementCount(obj, headSlot); } Map getCountsThenAdvanceWindow() { Map counts = objCounter.getCounts(); objCounter.wipeZeros(); objCounter.wipeSlot(tailSlot); advanceHead(); counts; } advanceHead() { headSlot = tailSlot; tailSlot = slotAfter(tailSlot); } slotAfter( slot) { (slot + 1) % windowLengthInSlots; } }

IntermediateRankingsBolt
这个bolt作用就是对于中间结果的排序, 为什么要增加这步, 应为数据量比较大, 如果直接全放到一个节点上排序, 会负载太重
所以先通过IntermediateRankingsBolt, 过滤掉一些
这里仍然使用, 对于obj进行fieldsGrouping, 保证对于同一个obj, 不同时间段emit的统计数据会被发送到同一个task
IntermediateRankingsBolt继承自AbstractRankerBolt(参考下面)
并实现了updateRankingsWithTuple,
updateRankingsWithTuple(Tuple tuple) { Rankable rankable = RankableObjectWithFields.from(tuple); .getRankings().updateWith(rankable); }
逻辑很简单, 将Tuple转化Rankable, 并更新Rankings列表
参考AbstractRankerBolt, 该bolt会定时将Ranking列表emit出去

Rankable
Rankable除了继承Comparable接口, 还增加getObject()和getCount()接口
Rankable Comparable { Object getObject(); getCount(); }
RankableObjectWithFields
RankableObjectWithFields实现Rankable接口
1. 提供将Tuple转化为RankableObject
Tuple由若干field组成, 第一个field作为obj, 第二个field作为count, 其余的都放到List

cc.RepeatForever.create(action)	action.repeatForever()
cc.Speed.create(action, speed)	action.speed(speed)
cc.Speed.setSpeed(speed)	action.setSpeed(speed)
cc.Speed.getSpeed()	action.getSpeed()
cc.EaseIn.create(action, rate)	action.easing(cc.easeIn(rate))
cc.EaseOut.create(action, rate)	action.easing(cc.easeOut(rate))
cc.EaseInOut.create(action, rate)	action.easing(cc.easeInOut(rate))
cc.EaseExponentialIn.create(action)	action.easing(cc.easeExponentialIn())
cc.EaseExponentialOut.create(action)	action.easing(cc.easeExponentialOut())
cc.EaseExponentialInOut.create(action)	action.easing(cc.easeExponentialInOut())
cc.EaseSineIn.create(action)	action.easing(cc.easeSineIn())
cc.EaseSineOut.create(action)	action.easing(cc.easeSineOut())
cc.EaseSineInOut.create(action)	action.easing(cc.easeSineInOut())
cc.EaseElasticIn.create(action)	action.easing(cc.easeElasticIn())
cc.EaseElasticOut.create(action)	action.easing(cc.easeElasticOut())
cc.EaseElasticInOut.create(action, rate)	action.easing(cc.easeElasticInOut(rate))
cc.EaseBounceIn.create(action)	action.easing(cc.easeBounceIn())
cc.EaseBounceOut.create(action)	action.easing(cc.easeBounceOut())
cc.EaseBounceInOut.create(action)	action.easing(cc.easeBounceInOut())
cc.EaseBackIn.create(action)	action.easing(cc.easeBackIn()) cc.EaseBackOut.create(action)	cc.EaseBackInOut.create(action) action.easing(cc.easeBackOut())	action.easing(cc.easeBackInOut())

咨询电话(周一至周五9：00-18：00)