数据专栏

智能大数据搬运工,你想要的我们都有

科技资讯:

科技学院:

科技百科:

科技书籍:

网站大全:

软件大全:

超级计算机如何组建?看看网友们的智慧!!
来源: 中国大数据产业观察网 时间:2015-08-21 16:43:17 作者:
  最近在网上看到一个有趣的帖子:如何将手中20多台旧电脑,组建一台超级计算机?下面和大家一起分享下。小编选取了几个比较有意思的回答展示。
  提问:如何将手中20多台旧电脑,组建一台超级计算机?
  背景:
  1 手里有20多台 台式旧电脑,奔四 CPU 512MB 内存,板载显卡声卡独立网卡。
  2 前两年云计算开始火,自己的学校建立了云计算中心,偶然体验了一下觉得很刺激,但体验和远程登陆没有区别。
  3 学校领导不满足我的计算机需求,反而说都给你 20 多台电脑了,还要新的?
  4 听过一位两院院士的学术报告,听到了分布式计算的概念
  5 听说 Google 机房和我的情况类似,采用旧的机器来分担服务器压力
  问:我可否用这些破电脑来组建一台超级计算机,当然也不需要太强,做电设的软件不卡就行。
  谢谢。
    
  下面是网友们的回答:
   网友1: 很明显,你所提到的学校领导在智商、诚实和友爱三者之中最多只拥有一样,而且很有可能三者都缺。
  下图是P4 3.0GHz CPU同其他目前常见的中高端CPU的计算性能比较(CPU Mark),就算你花了九牛二虎之力把这20多个CPU组装到一起,并且奇迹般地没有任何通讯开销和效率损失,这20多台计算机的计算能力也只有勉强达到一个i7-2600主机的水平。某宝告诉我这种主机目前大约价钱4000元。
  如果这种“超级计算机”是你追求的目标,或者你希望通过这样一个活动来提高自己对并行计算的认识,不妨玩玩。否则我能给的最好的建议就是——把所有机器放淘宝上一个200卖掉,赚到的5000元钱买一个性能强劲新的主机回来。
  忍不住:你的领导真不知道IT设备5年价值归零吗?
    
   网友2: 我是不太认为20头狗和一头牛的耕地效果能一样。
    
   网友3 大家说的都非常好了,我这里补充一点:
    
   网友4: 老大(你们学校的领导),您到底会不会算经济账啊?
  20台P4,当年流行的是400瓦的电源,一共就是8000瓦。
  一台i7-2600K,主流是250瓦 ~ 350瓦的电源,就算它也是400瓦好了。
  8000瓦 PK 400瓦,就算你的分布式计算搞得再好,再负载均衡,进行同样计算的时候,
  i7-2600需要400瓦峰值供电的时候,你的“集群”2000瓦的功耗是跑不掉的。。。。。。
  这样算起来,一天你要多出至少30千瓦时的电费。。。。。。。
  不出一个月,一台顶配的i7-2600的电脑就出来了。。。。。。(这还是粗略估计,我觉得实际情况下可能半个月就够了)
  当然,如果楼主的学校是电力局的三产,当我没说哈。。。。。。。。。。。。
  ===================自行打脸的分割线============
  计算失误,电费算错了。。。。。。应该是不出半年,而不是一个月。。。。。。。。
  自行打脸ing
   
   网友5. 首先,明确需求。你组建一个分布式网络到底是用来干嘛?
  其次,构建测试平台。你看看你要解决的问题是否可以被拆分多个任务,是否存在计算损耗。是否可以估算出计算成本。
  再次,进行风险预估,看看这件事做了,技术上最大的风险是什么?增加了哪些难题?是否划得来?
  然后,在动手。
  唉,想当年没钱,用了接近100台PC,搞了个sun grid EDA计算农场,真的很惨呀!
    
  下面是一些相关资料的推荐,也许能帮到你。
    
   云计算概念详解:共享软硬件资源信息
  云计算概念维基百科解释
  云计算(英语:Cloud Computing),是一种基于互联网的计算方式,通过这种方式,共享的软硬件资源和信息可以按需求提供给计算机和其他设备。
  云计算是继1980年代大型计算机到客户端-服务器的大转变之后的又一种巨变。用户不再需要了解“云”中基础设施的细节,不必具有相应的专业知识,也无需直接进行控制。云计算描述了一种基于互联网的新的IT服务增加、使用和交付模式,通常涉及通过互联网来提供动态易扩展而且经常是虚拟化的资源。
  在“软件即服务(SaaS)”的服务模式当中,用户能够访问服务软件及数据。服务提供者则维护基础设施及平台以维持服务正常运作。SaaS常被称为“随选软件”,并且通常是基于使用时数来收费,有时也会有采用订阅制的服务。
  推广者认为,SaaS使得企业能够借由外包硬件、软件维护及支持服务给服务提供者来降低IT营运费用。另外,由于应用程序是集中供应的,更新可以实时的发布,无需用户手动更新或是安装新的软件。SaaS的缺陷在于用户的数据是存放在服务提供者的服务器之上,使得服务提供者有能力对这些数据进行未经授权的访问。
  用户通过浏览器、桌面应用程序或是移动应用程序来访问云的服务。推广者认为云计算使得企业能够更迅速的部署应用程序,并降低管理的复杂度及维护成本,及允许IT资源的迅速重新分配以因应企业需求的快速改变。
  云计算依赖资源的共享以达成规模经济,类似基础设施(如电力网)。服务提供者集成大量的资源供多个用户使用,用户可以轻易的请求(租借)更多资源,并随时调整使用量,将不需要的资源释放回整个架构,因此用户不需要因为短暂尖峰的需求就购买大量的资源,仅需提升租借量,需求降低时便退租。服务提供者得以将目前无人租用的资源重新租给其他用户,甚至依照整体的需求量调整租金。
    
   云平台详解:可分为三类 简单理解为仓库
  云平台也称为云计算平台。云计算平台可以划分为3类:以数据存储为主的存储型云平台,以数据处理为主的计算型云平台以及计算和数据存储处理兼顾的综合云计算平台。
  云平台是什么意思?
  简单的理解就是仓库了!
  给你提供存储运转的空间:比如你查询的任何网络内容都是在某一网络的平台上,大家都可以同时不同地点看到一样的东西!
  转向云计算(cloud computing),是业界将要面临的一个重大改变。各种云平台(cloud platforms)的出现是该转变的最重要环节之一。顾名思义,这种平台允许开发者们或是将写好的程序放在“云”里运行,或是使用“云”里提供的服务,或二者皆是。至于这种平台的名称,现在我们可以听到不止一种称呼,比如按需平台(on-demand platform)、平台即服务(platform as a service,PaaS)等等。但无论称呼它什么,这种新的支持应用的方式有着巨大的潜力。
  应用平台(application platforms)是如何被使用的。开发团队在创建一个户内应用(on-premises application,即在机构内运行的应用)时,该应用所需的许多基础都已经事先存在了:操作系统为执行应用和访问存储等提供了基础支持;机构里的其他计算机提供了诸如远程存储之类的服务。倘若每创建一个户内应用都得首先构建所有这些基础的话,那么恐怕我们今天看到的应用会少很多。
  同理,倘若每一个希望创建云应用 (cloud application)的开发团队都得首先构建自己的云平台的话,那么我们今后看到的云应用将寥寥无几。幸运的是出现了一些致力于解决此问题的厂商,今天有很多云平台技术可供我们使用。
    
   相关阅读
  hadoop是什么:分布式系统基础架构
  分布式文件系统满足安防视频监控新要求
    
  知乎原帖地址: 如何将手中 20 多台旧电脑,组建一台超级计算机?
  注:本文系 数据观原创稿件,转载请注明来源:www.cbdio.com,百度一下“数据观”,获取更多大数据相关资讯
产业观察
2015-08-21 16:43:17
可视化效果解读:将数据转成图形图像显示
来源: 中国大数据产业观察网 时间:2015-04-23 11:10:34 作者:
    
  可视化效果具体是什么意思?小编再网上搜集了相关资料,希望能对大家有所帮助。   可视化效果什么意思-百度知道解释
  在网上搜了一下。。应该是播放音乐时的效果
  下面是一个关于这种效果的介绍
  使用 Windows Media Player,可以观看不同的可视化效果—色彩画面和几何形状—其图案随着正在播放的音乐移动。可视化效果根据特定主题组成集合,例如:氛围或条形。某些可视化效果可能有不同的外观,这取决于播放机的显示模式(完整、最小播放机、全屏或外观)。有关模式的详细信息,请参阅切换显示模式。请注意,并非所有的可视化效果都能以全屏查看。播放机包括许多可视化效果。还可从 Internet 下载更多可视化效果。
  针对 可视化效果 ,网上资料有限,我们不妨对 可视化这个词语详细解释,从而深刻理解
  可视化-百度百科解释
  2个概念:
  1. 可视化(Visualization)是利用计算机图形学和图像处理技术,将数据转换成图形或图像在屏幕上显示出来,并进行交互处理的理论、方法和技术。它涉及到计算机图形学、图像处理、计算机视觉、计算机辅助设计等多个领域,成为研究数据表示、数据处理、决策分析等一系列问题的综合技术。目前正在飞速发展的虚拟现实技术也是以图形图像的可视化技术为依托的。
  2. 引导技术中,可视化又称为“可视思考/视觉化思考”,是将声音转化为可视的图或文字,便于简化复杂性,以增强研讨过程中的思考。可视化可改善:理解、对话、探索和交流。
  应用领域
  可视化技术最早运用于计算机科学中,并形成了可视化技术的一个重要分支——科学计算可视化(Visualization in Scientific Computing)。科学计算可视化能够把科学数据,包括测量获得的数值、图像或是计算中涉及、产生的数字信息变为直观的、以图形图像信息表示的、随时间和空间变化的物理现象或物理量呈现在研究者面前,使他们能够观察、模拟和计算。
  数据可视化-维基百科解释
  数据可视化是关于数据之视觉表现形式的研究;其中,这种数据的视觉表现形式被定义为一种以某种概要形式抽提出来的信息,包括相应信息单位的各种属性和变量。
  数据可视化主要旨在借助于图形化手段,清晰有效地传达与沟通信息。但是,这并不就意味着,数据可视化就一定因为要实现其功能用途而令人感到枯燥乏味,或者是为了看上去绚丽多彩而显得极端复杂。为了有效地传达思想概念,美学形式与功能需要齐头并进,通过直观地传达关键的方面与特征,从而实现对于相当稀疏而又复杂的数据集的深入洞察。然而,设计人员往往并不能很好地把握设计与功能之间的平衡,从而创造出华而不实的数据可视化形式,无法达到其主要目的,也就是传达与沟通信息。
  数据可视化与信息图形、信息可视化、科学可视化以及统计图形密切相关。当前,在研究、教学和开发领域,数据可视化乃是一个极为活跃而又关键的方面。“数据可视化”这条术语实现了成熟的科学可视化领域与较年轻的信息可视化领域的统一。
   可视化相关新闻
  克拉玛依将实现地下管线可视化管理
  4月14日,记者从克拉玛依市建设局获悉,克拉玛依市地下管线综合分析应用系统进入试运行阶段,预计今年8月完成一期项目建设。由此,油城克拉玛依的“智慧地下管线管理平台”将实现地下管线的可视化。
  石油行业已进入微利时代,单一的石油产业不仅利润薄,而且抵御市场风险的能力弱,受全球石油市场价格波动的影响较大。克拉玛依要实现打造“世界石油城”的目标,还需要其他产业的支撑。因此,克拉玛依市构建“智慧城市”的目标,是这座城市的发展梦想。
  这座以石油开采加工为命脉的城市,需要信息化建设和“智慧城市”的打造。而全称为“智慧地下管线与空间综合管理平台”的系统,是克拉玛依市城市地下管线信息化工作的新举措,也是曾经风吹石头跑的西北油城构建“智慧城市”的重要环节。
  这一系统采用二维和三维一体化地理信息系统技术,经过前期探测和信息采集工作,将克拉玛依市区里包括自来水、污水、雨水、移动、电信、天然气、电力在内的七大类17小类、总长度达3657.77公里的地下管线,以三维立体的画面呈现出来,实现了地下管线基于地图的可视化、直观化的展示,使地下管线布局一目了然、便于随时应对突发事件。
  长春:85台4G可视化警车 24小时全天候开展巡防工作
  4月22日,长春市第十四届人大常委会第十七次会议听取和审议了长春市政府关于社会治安防控体系建设情况的报告,并在此基础上表决通过了《长春市人民代表大会常务委员会关于加强社会治安防控体系建设的决定》,这是长春市人大常委会以法治为引领深入推进法治长春、平安长春建设的重要举措。
  据了解,近年来,长春社会治安防控体系建设已经迈上了新台阶,多角度防控,全方位管理为打造安全稳定和谐的社会环境提供了坚强保障。全市有285个警务责任区、85台4G可视化警车,24小时全天候开展巡防工作;高清监控探头,全天候、全覆盖的视频监控系统,提高了长春动态环境下打防管控能力;“平安E家”电子报警系统,科学划分12095个网格,把“安全”送到基层百姓身边;特种行业有效监管等有效举措,让市民安全感满意度不断提升。
   可视化效果其实也可广泛理解为可以看到的图像、视频的一种效果。
  注:本文为 数据观-大数据新闻门户 原创精编,转载请注明出处:数据观 www.cbdio.com,并附上原文链接。
产业观察
2015-04-23 11:10:34
Google's BigTable 原理 (翻译)
来源:csdn 时间:2015-09-16 11:04:57 作者:
   Google's BigTable 原理 (翻译)
  题记:google 的成功除了一个个出色的创意外,还因为有 Jeff Dean 这样的软件架构天才。
  官方的Google Reader blog中有对BigTable 的解释。这是Google 内部开发的一个用来处理大数据量的系统。这种系统适合处理半结构化的数据比如 RSS 数据源。以下发言 是Andrew Hitchcock 在 2005 年10月18号 基于: Google 的工程师 Jeff Dean 在华盛顿大学的一次谈话 (Creative Commons License).
  首先,BigTable 从 2004 年初就开始研发了,到现在为止已经用了将近8个月。(2005年2月) 目前大概有100个左右的服务使用BigTable,比如: Print,Search History,Maps和 Orkut。 根据Google的一贯做法,内部开发的BigTable是为跑在廉价的PC机上设计的。BigTable 让Google在提供新服务时的运行成本降低,最大限度地利用了计算能力。 BigTable 是建立在 GFS ,Scheduler ,Lock Service 和 MapReduce 之上的。
  每个Table都是一个 多维的稀疏图 sparse map 。Table 由行和列组成,并且每个存储单元 cell 都有一个时间戳。在不同的时间对同一个存储单元cell有多份拷贝,这样就可以记录数据的变动情况。在他的例子中,行是URLs ,列可以定义一个名字,比如:contents。Contents 字段就可以存储文件的数据。或者列名是:”language”,可以存储一个“EN”的语言代码字符串。
   为了管理巨大的Table,把Table根据行分割,这些分割后的数据统称为:Tablets。 每个Tablets大概有 100-200 MB,每个机器存储100个左右的 Tablets。底层的架构是:GFS。由于GFS是一种分布式的文件系统,采用Tablets的机制后,可以获得很好的负载均衡。比如:可以把经常响应的表移动到其他空闲机器上,然后快速重建。
   Tablets在系统中的存储方式是不可修改的 immutable 的SSTables,一台机器一个日志文件。 当系统的内存满后,系统会压缩一些Tablets。由于Jeff在论述这点的时候说的很快,所以我没有时间把听到的都记录下来,因此下面是一个大概的说明:
  压缩分为:主要和次要的两部分。次要的压缩仅仅包括几个Tablets,而主要的压缩时关于整个系统的压缩。 主压缩有回收硬盘空间的功能。 Tablets的位置实际上是存储在几个特殊的BigTable的存储单元cell中。看起来这是一个三层的系统。
  客户端有一个指向METAO的Tablets的指针。如果METAO的Tablets被频繁使用,那个这台机器就会放弃其他的tablets专门支持METAO这个Tablets。METAO tablets 保持着所有的META1的tablets的记录。这些tablets中包含着查找tablets的实际位置。(老实说翻译到这里,我也不太明白。)在这个系统中不存在大的瓶颈,因为被频繁调用的数据已经被提前获得并进行了缓存。
  现在我们返回到对 列的说明:列是类似下面的形式: family:optional_qualifier。在他的例子中,行:www.search-analysis.com 也许有列:”contents:其中包含html页面的代码。 “ anchor:cnn.com/news” 中包含着相对应的url,”anchor:www.search-analysis.com/” 包含着链接的文字部分。列中包含着类型信息。
  (翻译到这里我要插一句,以前我看过一个关于万能数据库的文章,当时很激动,就联系了作者,现在回想起来,或许google的 bigtable 才是更好的方案,切不说分布式的特性,就是这种建华的表结构就很有用处。)
  注意这里说的是列信息,而不是列类型。列的信息是如下信息,一般是:属性/规则。 比如:保存n份数据的拷贝 或者保存数据n天长等等。当 tablets 重新建立的时候,就运用上面的规则,剔出不符合条件的记录。由于设计上的原因,列本身的创建是很容易的,但是跟列相关的功能确实非常复杂的,比如上文提到的类型和规则信息等。为了优化读取速度,列的功能被分割然后以组的方式存储在所建索引的机器上。这些被分割后的组作用于 列 ,然后被分割成不同的 SSTables。这种方式可以提高系统的性能,因为小的,频繁读取的列可以被单独存储,和那些大的不经常访问的列隔离开来。
  在一台机器上的所有的 tablets 共享一个log,在一个包含1亿的tablets的集群中,这将会导致非常多的文件被打开和写操作。新的log块经常被创建,一般是64M大小,这个GFS的块大小相等。当一个机器down掉后,控制机器就会重新发布他的log块到其他机器上继续进行处理。这台机器重建tablets然后询问控制机器处理结构的存储位置,然后直接对重建后的数据进行处理。
  这个系统中有很多冗余数据,因此在系统中大量使用了压缩技术。
  Dean 对压缩的部分说的很快,我没有完全记下来,所以我还是说个大概吧:压缩前先寻找相似的 行,列,和时间 数据。
   他们使用不同版本的: BMDiff 和 Zippy 技术。
   BMDiff 提供给他们非常快的写速度: 100MB/s – 1000MB/s 。Zippy 是和 LZW 类似的。Zippy 并不像 LZW 或者 gzip 那样压缩比高,但是他处理速度非常快。
  Dean 还给了一个关于压缩 web 蜘蛛数据的例子。这个例子的蜘蛛 包含 2.1B 的页面,行按照以下的方式命名:“com.cnn.www/index.html:http”.在未压缩前的web page 页面大小是:45.1 TB ,压缩后的大小是:4.2 TB , 只是原来的 9.2%。Links 数据压缩到原来的 13.9% , 链接文本数据压缩到原来的 12.7%。
  Google 还有很多没有添加但是已经考虑的功能。
  1. 数据操作表达式,这样可以把脚本发送到客户端来提供修改数据的功能。
  2.多行数据的事物支持。
  3. 提高大数据存储单元的效率。
  4. BigTable 作为服务运行。
  好像:每个服务比如: maps 和 search history 历史搜索记录都有他们自己的集群运行 BigTable。
  他们还考虑运行一个全局的 BigTable 系统,但这需要比较公平的分割资源和计算时间。
产业观察
2015-09-16 11:04:57
大数据和云计算到底是何关系?
来源:和讯 时间:2015-08-25 16:01:34 作者:
  关于大数据和云计算的关系人们通常会有误解。而且也会把它们混起来说,分别做一句话直白解释就是:云计算就是硬件资源的虚拟化;大数据就是海量数据的高效处理。
  虽然上面的一句话解释不是非常的贴切,但是可以帮助你简单的理解二者的区别。另外,如果做一个更形象的解释,云计算相当于我们的计算机和操作系统,将大量的硬件资源虚拟化之后再进行分配使用,在云计算领域目前的老大应该算是Amazon,可以说为云计算提供了商业化的标准,另外值得关注的还有VMware(其实从这一点可以帮助你理解云计算和虚拟化的关系),开源的云平台最有活力的就是Openstack了;
  大数据相当于海量数据的“数据库”,而且通观大数据领域的发展也能看出,当前的大数据处理一直在向着近似于传统数据库体验的方向发展,Hadoop的产生使我们能够用普通机器建立稳定的处理TB级数据的集群,把传统而昂贵的并行计算等概念一下就拉到了我们的面前,但是其不适合数据分析人员使用(因为MapReduce开发复杂),所以PigLatin和Hive出现了(分别是Yahoo!和facebook发起的项目,说到这补充一下,在大数据领域Google、facebook、twitter等前沿的互联网公司作出了很积极和强大的贡献),为我们带来了类SQL的操作,到这里操作方式像SQL了,但是处理效率很慢,绝对和传统的数据库的处理效率有天壤之别,所以人们又在想怎样在大数据处理上不只是操作方式类SQL,而处理速度也能“类SQL”,Google为我们带来了Dremel/PowerDrill等技术,Cloudera(Hadoop商业化最强的公司,Hadoop之父cutting就在这里负责技术领导)的Impala也出现了。
  整体来看,未来的趋势是,云计算作为计算资源的底层,支撑着上层的大数据处理,而大数据的发展趋势是,实时交互式的查询效率和分析能力,借用Google一篇技术论文中的话,“动一下鼠标就可以在秒级操作PB级别的数据”难道不让人兴奋吗?(田原)
    
  在谈大数据的时候,首先谈到的就是大数据的4V特性,即类型复杂,海量,快速和价值。IBM原来谈大数据的时候谈3V,没有价值这个V。而实际我们来看4V更加恰当,价值才是大数据问题解决的最终目标,其它3V都是为价值目标服务。在有了4V的概念后,就很容易简化的来理解大数据的核心,即大数据的总体架构包括三层,数据存储,数据处理和数据分析。类型复杂和海量由数据存储层解决,快速和时效性要求由数据处理层解决,价值由数据分析层解决。
  数据先要通过存储层存储下来,然后根据数据需求和目标来建立相应的数据模型和数据分析指标体系对数据进行分析产生价值。而中间的时效性又通过中间数据处理层提供的强大的并行计算和分布式计算能力来完成。三层相互配合,让大数据最终产生价值。
  数据存储层
  数据有很多分法,有结构化,半结构化,非结构化;也有元数据,主数据,业务数据;还可以分为GIS,视频,文件,语音,业务交易类各种数据。传统的结构化数据库已经无法满足数据多样性的存储要求,因此在RDBMS基础上增加了两种类型,一种是hdfs可以直接应用于非结构化文件存储,一种是nosql类数据库,可以应用于结构化和半结构化数据存储。
  从存储层的搭建来说,关系型数据库,NoSQL数据库和hdfs分布式文件系统三种存储方式都需要。业务应用根据实际的情况选择不同的存储模式,但是为了业务的存储和读取方便性,我们可以对存储层进一步的封装,形成一个统一的共享存储服务层,简化这种操作。从用户来讲并不关心底层存储细节,只关心数据的存储和读取的方便性,通过共享数据存储层可以实现在存储上的应用和存储基础设置的彻底解耦。
  数据处理层
  数据处理层核心解决问题在于数据存储出现分布式后带来的数据处理上的复杂度,海量存储后带来了数据处理上的时效性要求,这些都是数据处理层要解决的问题。
  在传统的云相关技术架构上,可以将hive,pig和hadoop-mapreduce框架相关的技术内容全部划入到数据处理层的能力。原来我思考的是将hive划入到数据分析层能力不合适,因为hive重点还是在真正处理下的复杂查询的拆分,查询结果的重新聚合,而mapreduce本身又实现真正的分布式处理能力。
  mapreduce只是实现了一个分布式计算的框架和逻辑,而真正的分析需求的拆分,分析结果的汇总和合并还是需要hive层的能力整合。最终的目的很简单,即支持分布式架构下的时效性要求。
  数据分析层
  最后回到分析层,分析层重点是真正挖掘大数据的价值所在,而价值的挖掘核心又在于数据分析和挖掘。那么数据分析层核心仍然在于传统的BI分析的内容。包括数据的维度分析,数据的切片,数据的上钻和下钻,cube等。
  数据分析我只关注两个内容,一个就是传统数据仓库下的数据建模,在该数据模型下需要支持上面各种分析方法和分析策略;其次是根据业务目标和业务需求建立的KPI指标体系,对应指标体系的分析模型和分析方法。解决这两个问题基本解决数据分析的问题。
  传统的BI分析通过大量的ETL数据抽取和集中化,形成一个完整的数据仓库,而基于大数据的BI分析,可能并没有一个集中化的数据仓库,或者将数据仓库本身也是分布式的了,BI分析的基本方法和思路并没有变化,但是落地到执行的数据存储和数据处理方法却发生了大变化。
  谈了这么多,核心还是想说明大数据两大核心为云技术和BI,离开云技术大数据没有根基和落地可能,离开BI和价值,大数据又变化为舍本逐末,丢弃关键目标。简单总结就是大数据目标驱动是BI,大数据实施落地式云技术。
产业观察
2015-08-25 16:01:34
HDFS概念解读:Hadoop分布式文件系统
来源: 数据观 时间:2015-09-15 16:42:19 作者:
HDFS(Hadoop分布式文件系统被)设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统。它和现有的分布式文件系统有很多共同点。但同时,它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统,适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问,非常适合大规模数据集上的应用。HDFS放宽了一部分POSIX约束,来实现流式读取文件系统数据的目的。HDFS在最开始是作为Apache Nutch搜索引擎项目的基础架构而开发的。HDFS是Apache Hadoop Core项目的一部分。
HDFS有着高容错性(fault-tolerant)的特点,并且设计用来部署在低廉的(low-cost)硬件上。而且它提供高吞吐量(high throughput)来访问应用程序的数据,适合那些有着超大数据集(large data set)的应用程序。HDFS放宽了(relax)POSIX的要求(requirements)这样可以实现流的形式访问(streaming access)文件系统中的数据。
特点和目标
硬件故障
硬件故障是常态,而不是异常。整个HDFS系统将由数百或数千个存储着文件数据片断的服务器组成。实际上它里面有非常巨大的组成部分,每一个组成部分都很可能出现故障,这就意味着HDFS里的总是有一些部件是失效的,因此,故障的检测和自动快速恢复是HDFS一个很核心的设计目标。
数据访问
运行在HDFS之上的应用程序必须流式地访问它们的数据集,它不是运行在普通文件系统之上的普通程序。HDFS被设计成适合批量处理的,而不是用户交互式的。重点是在数据吞吐量,而不是数据访问的反应时间,POSIX的很多硬性需求对于HDFS应用都是非必须的,去掉POSIX一小部分关键语义可以获得更好的数据吞吐率。
大数据集
运行在HDFS之上的程序有很大量的数据集。典型的HDFS文件大小是GB到TB的级别。所以,HDFS被调整成支持大文件。它应该提供很高的聚合数据带宽,一个集群中支持数百个节点,一个集群中还应该支持千万级别的文件。
简单一致性模型
大部分的HDFS程序对文件操作需要的是一次写多次读取的操作模式。一个文件一旦创建、写入、关闭之后就不需要修改了。这个假定简单化了数据一致的问题和并使高吞吐量的数据访问变得可能。一个Map-Reduce程序或者网络爬虫程序都可以完美地适合这个模型。
移动计算比移动数据更经济
在靠近计算数据所存储的位置来进行计算是最理想的状态,尤其是在数据集特别巨大的时候。这样消除了网络的拥堵,提高了系统的整体吞吐量。一个假定就是迁移计算到离数据更近的位置比将数据移动到程序运行更近的位置要更好。HDFS提供了接口,来让程序将自己移动到离数据存储更近的位置。
异构软硬件平台间的可移植性
HDFS被设计成可以简便地实现平台间的迁移,这将推动需要大数据集的应用更广泛地采用HDFS作为平台。
名字节点和数据节点
HDFS是一个的主从结构,一个HDFS集群是由一个名字节点,它是一个管理文件命名空间和调节客户端访问文件的主服务器,当然还有一些数据节点,通常是一个节点一个机器,它来管理对应节点的存储。HDFS对外开放文件命名空间并允许用户数据以文件形式存储。
内部机制是将一个文件分割成一个或多个块,这些块被存储在一组数据节点中。名字节点用来操作文件命名空间的文件或目录操作,如打开,关闭,重命名等等。它同时确定块与数据节点的映射。数据节点来负责来自文件系统客户的读写请求。数据节点同时还要执行块的创建,删除,和来自名字节点的块复制指令。
名字节点和数据节点都是运行在普通的机器之上的软件,机器典型的都是GNU/Linux,HDFS是用java编写的,任何支持java的机器都可以运行名字节点或数据节点,利用java语言的超轻便型,很容易将HDFS部署到大范围的机器上。典型的部署是由一个专门的机器来运行名字节点软件,集群中的其他每台机器运行一个数据节点实例。体系结构不排斥在一个机器上运行多个数据节点的实例,但是实际的部署不会有这种情况。
集群中只有一个名字节点极大地简单化了系统的体系结构。名字节点是仲裁者和所有HDFS元数据的仓库,用户的实际数据不经过名字节点。
HDFS的缺点及改进策略
HDFS是一个不错的分布式文件系统,它有很多的优点,但也存在有一些缺点。目前而言,它在以下几个方面就效率不佳:
低延时访问
HDFS不太适合于那些要求低延时(数十毫秒)访问的应用程序,因为HDFS是设计用于大吞吐量数据的,这是以一定延时为代价的。HDFS是单Master的,所有的对文件的请求都要经过它,当请求多时,肯定会有延时。当前,对于那些有低延时要求的应用程序,HBase是一个更好的选择。现在HBase的版本是0.20,相对于以前的版本,在性能上有了很大的提升,它的口号就是goes real time。
使用缓存或多master设计可以降低client的数据请求压力,以减少延时。还有就是对HDFS系统内部的修改,这就得权衡大吞吐量与低延时了,HDFS不是万能的银弹。
大量小文件
因为Namenode把文件系统的元数据放置在内存中,所以文件系统所能容纳的文件数目是由Namenode的内存大小来决定。一般来说,每一个文件、文件夹和Block需要占据150字节左右的空间,所以,如果你有100万个文件,每一个占据一个Block,你就至少需要300MB内存。当前来说,数百万的文件还是可行的,当扩展到数十亿时,对于当前的硬件水平来说就没法实现了。还有一个问题就是,因为Map task的数量是由splits来决定的,所以用MR处理大量的小文件时,就会产生过多的Maptask,线程管理开销将会增加作业时间。举个例子,处理10000M的文件,若每个split为1M,那就会有10000个Maptasks,会有很大的线程开销;若每个split为100M,则只有100个Maptasks,每个Maptask将会有更多的事情做,而线程的管理开销也将减小很多。
要想让HDFS能处理好小文件,有不少方法:
1、利用SequenceFile、MapFile、Har等方式归档小文件,这个方法的原理就是把小文件归档起来管理,HBase就是基于此的。对于这种方法,如果想找回原来的小文件内容,那就必须得知道与归档文件的映射关系。
2、横向扩展,一个Hadoop集群能管理的小文件有限,那就把几个Hadoop集群拖在一个虚拟服务器后面,形成一个大的Hadoop集群。google也是这么干过的。
3、多Master设计,这个作用显而易见了。正在研发中的GFS II也要改为分布式多Master设计,还支持Master的Failover,而且Block大小改为1M,有意要调优处理小文件啊。
附带个Alibaba DFS的设计,也是多Master设计,它把Metadata的映射存储和管理分开了,由多个Metadata存储节点和一个查询Master节点组成。
多用户写,任意文件修改
目前Hadoop只支持单用户写,不支持并发多用户写。可以使用Append操作在文件的末尾添加数据,但不支持在文件的任意位置进行修改。这些特性可能会在将来的版本中加入,但是这些特性的加入将会降低Hadoop的效率,就拿GFS来说吧,这篇文章里就说了google自己的人都用着Multiple Writers很不爽。
利用Chubby、ZooKeeper之类的分布式协调服务来解决一致性问题。
HDFS和GFS
GFS:Google File System
HDFS:Hadoop Distribute File System
首先,有一点要确认的是,作为GFS的一个最重要的实现,HDFS设计目标和GFS是高度一致的。在架构、块大小、元数据等的实现上,HDFS与GFS大致一致。但是,在某些地方,HDFS与GFS又有些不同。如:
1、 快照(Snapshot):
GFS中的快照功能是非常强大的,可以非常快的对文件或者目录进行拷贝,并且不影响当前操作(读/写/复制)。GFS中生成快照的方式叫copy-on-write。也就是说,文件的备份在某些时候只是将快照文件指向原chunk,增加对chunk的引用计数而已,等到chunk上进行了写操作时,Chunk Server才会拷贝chunk块,后续的修改操作落到新生成的chunk上。
而HDFS暂时并不支持快照功能,而是运用最基础的复制来完成。想象一下,当HBase上的数据在进行重新划分时(过程类似于hash平衡),HDFS需要对其中的所有数据(P/T级的)进行复制迁移,而GFS只需要快照,多不方便!
2、 记录追加操作(append):
在数据一致性方面,GFS在理论上相对HDFS更加完善。
a) GFS提供了一个相对宽松的一致性模型。GFS同时支持写和记录追加操作。写操作使得我们可以随机写文件。记录追加操作使得并行操作更加安全可靠。
b) HDFS对于写操作的数据流和GFS的功能一样。但是,HDFS并不支持记录追加和并行写操作。NameNode用INodeFileUnderConstruction属性标记正在进行操作的文件块,而不关注是读还是写。DataNode甚至看不到租约!一个文件一旦创建、写入、关闭之后就不需要修改了。这样的简单模型适合于Map/Reduce编程。
3、 垃圾回收(GC):
a) GFS垃圾回收采用惰性回收策略,即master并不会立即回收程序所删除的文件资源。 GFS选择以一种特定的形式标记删除文件(通常是将文件名改为一个包含时间信息的隐藏名字),这样的文件不再被普通用户所访问。Master会定期对文件的命名空间进行检查,并删除一段时间前的隐藏文件(默认3天)。
b) HDFS并没有采用这样的垃圾回收机制,而是采取了一种更加简单但是更容易实现的直接删除方式。
c) 应该说延迟回收和直接删除各有优势。延迟回收为那些“不小心“的删除操作留了后路。同时,回收资源的具体操作时在Master结点空闲时候完成,对GFS的性能有很好的提高。但是延迟回收会占用很大的存储空间,假如某些可恶的用户无聊了一直创建删除文件怎么办?
试分析下这种不同。有人说,GFS在功能上非常完善,非常强大,而HDFS在策略上较之简单些,主要是为了有利于实现。但实际上,GFS作为存储平台早已经被广泛的部署在Google内部,存储Google服务产生或者要处理的数据,同时用于大规模数据集的研究与开发工作。因此GFS并不仅仅是理论上的研究,而是具体实现。作为GFS的后辈与开源实现,HDFS在技术上应该是更加成熟的,不可能为了“偷懒”而简化功能。因此,简化说应该是不成立的。
个人认为,GFS与HDFS的不同是由于“专”与“通”的区别。众所周知,Hadoop是一个开源软件/框架,在设计之初就考虑到了用户(面向世界上的所有个人、企业)在需求上的差异,比如数据密集型(如淘宝的数据存储)、计算密集型(百度的PR算法)、混合型等等。而GFS在设计之初就对目标比较明确,都是Google的嘛,因此GFS可以对其主要功能进行性能上的优化。
说到这里,突然想起了某件事。曾经某个公司的Boss吹牛B:“我不关心J2EE,实际上在大公司里面用J2EE的很少,都有自己的一些框架。测试过了,我们在用自己开发的框架时候性能就是以前用J2EE的时候的7倍左右。”唬的我一跳一跳的,好牛啊!!后来想了一下,其实不是这个公司技术比SUN要强,而是J2EE是一个开源框架,其应用范围非常广,因此不能做到面面俱到。而他们公司自己开发的框架肯定是对其主要业务逻辑方面做了专门的优化和改进,甚至删除了或者弱化了许多对他们来说作用不大的模块。
2003年到2004年间,Google发表了MapReduce、GFS(Google File System)和BigTable三篇技术论文,提出了一套全新的分布式计算理论。
   MapReduce是分布式计算框架,GFS(Google File System)是分布式文件系统,BigTable是基于Google File System的数据存储系统,这三大组件组成了Google的分布式计算模型。
  Google的分布式计算模型相比于传统的分布式计算模型有三大优势:首先,它简化了传统的分布式计算理论,降低了技术实现的难度,可以进行实际的应用。其次,它可以应用在廉价的计算设备上,只需增加计算设备的数量就可以提升整体的计算能力,应用成本十分低廉。最后,它被Google应用在Google的计算中心,取得了很好的效果,有了实际应用的证明。
  后来,各家互联网公司开始利用Google的分布式计算模型搭建自己的分布式计算系统,Google的这三篇论文也就成为了大数据时代的技术核心。
  当时谷歌采用分布式计算理论也是为了利用廉价的资源,发挥出更大的效用,他的成功使人们开始效仿,因此而产生了Hadoop。
  相关阅读
  Hadoop技术全解析 深度挖掘大数据背后的秘密
  hadoop是什么:分布式系统基础架构
  本文来自 数据观原创精编,百度一下“数据观”,获取更多大数据相关资讯
产业观察
2015-09-15 16:42:19
云计算概念详解:共享软硬件资源信息
来源: 中国大数据产业观察网 时间:2015-04-22 17:40:39 作者:
  云计算概念是什么呢?下面我们展开详细叙述。
  云计算概念百度百科解释
  云计算(cloud computing)是基于互联网的相关服务的增加、使用和交付模式,通常涉及通过互联网来提供动态易扩展且经常是虚拟化的资源。云是网络、互联网的一种比喻说法。过去在图中往往用云来表示电信网,后来也用来表示互联网和底层基础设施的抽象。因此,云计算甚至可以让你体验每秒10万亿次的运算能力,拥有这么强大的计算能力可以模拟核爆炸、预测气候变化和市场发展趋势。用户通过电脑、笔记本、手机等方式接入数据中心,按自己的需求进行运算。
  对云计算的定义有多种说法。对于到底什么是云计算,至少可以找到100种解释。现阶段广为接受的是美国国家标准与技术研究院(NIST)定义:云计算是一种按使用量付费的模式,这种模式提供可用的、便捷的、按需的网络访问, 进入可配置的计算资源共享池(资源包括网络,服务器,存储,应用软件,服务),这些资源能够被快速提供,只需投入很少的管理工作,或与服务供应商进行很少的交互。
  云计算(cloudcomputing)是基于互联网的相关服务的增加、使用和交付模式,通常涉及通过互联网来提供动态易扩展且经常是虚拟化的资源。
  美国国家标准与技术研究院(NIST)定义:云计算是一种按使用量付费的模式,这种模式提供可用的、便捷的、按需的网络访问, 进入可配置的计算资源共享池(资源包括网络,服务器,存储,应用软件,服务),这些资源能够被快速提供,只需投入很少的管理工作,或与服务供应商进行很少的交互。XenSystem,以及在国外已经非常成熟的Intel 和IBM,各种“云计算”的应用服务范围正日渐扩大,影响力也无可估量。
  云计算概念维基百科解释
  云计算(英语:Cloud Computing),是一种基于互联网的计算方式,通过这种方式,共享的软硬件资源和信息可以按需求提供给计算机和其他设备。
  云计算是继1980年代大型计算机到客户端-服务器的大转变之后的又一种巨变。用户不再需要了解“云”中基础设施的细节,不必具有相应的专业知识,也无需直接进行控制。云计算描述了一种基于互联网的新的IT服务增加、使用和交付模式,通常涉及通过互联网来提供动态易扩展而且经常是虚拟化的资源。
  在“软件即服务(SaaS)”的服务模式当中,用户能够访问服务软件及数据。服务提供者则维护基础设施及平台以维持服务正常运作。SaaS常被称为“随选软件”,并且通常是基于使用时数来收费,有时也会有采用订阅制的服务。
  推广者认为,SaaS使得企业能够借由外包硬件、软件维护及支持服务给服务提供者来降低IT营运费用。另外,由于应用程序是集中供应的,更新可以实时的发布,无需用户手动更新或是安装新的软件。SaaS的缺陷在于用户的数据是存放在服务提供者的服务器之上,使得服务提供者有能力对这些数据进行未经授权的访问。
  用户通过浏览器、桌面应用程序或是移动应用程序来访问云的服务。推广者认为云计算使得企业能够更迅速的部署应用程序,并降低管理的复杂度及维护成本,及允许IT资源的迅速重新分配以因应企业需求的快速改变。
  云计算依赖资源的共享以达成规模经济,类似基础设施(如电力网)。服务提供者集成大量的资源供多个用户使用,用户可以轻易的请求(租借)更多资源,并随时调整使用量,将不需要的资源释放回整个架构,因此用户不需要因为短暂尖峰的需求就购买大量的资源,仅需提升租借量,需求降低时便退租。服务提供者得以将目前无人租用的资源重新租给其他用户,甚至依照整体的需求量调整租金。
  云计算应用实例
  1、Google的云计算平台应用实例
  Google公司有一套专属的云计算平台,这个平台先是为Google最重要的搜索应用提供服务,现在已经扩展到其他应用程序。Google的云计算基础架构模式包括4个相互独立又紧密结合在一起的系统:Google File Systemt分布式文件系统,针对Google应用程序的特点提出的MapReduce编程模式,分布式的锁机制Chubby以及Google开发的模型简化的大规模分布式数据库BigTable。
  Google File System文件系统(GFS):除了性能,可伸缩性、可靠性以及可用性以外,GFS设计还受到Google应用负载和技术环境的影响。体现在4个方面:1)充分考虑到大量节点的失效问题,需要通过软件将容错以及自动恢复功能集成在系统中;2)构造特殊的文件系统参数,文件通常大小以G字节计,并包含大量小文件;3)充分考虑应用的特性,增加文件追加操作,优化顺序读写速度;4)文件系统的某些具体操作不再透明,需要应用程序的协助完成。
  MapReduce分布式编程环境:Google构造MapReduce编程规范来简化分布式系统的编程。应用程序编写人员只需将精力放在应用程序本身,而关于集群的处理问题,包括可靠性和可扩展性,则交由平台来处理。MapReduce通过“Map(映射)”和“Reduce(化简)”这样两个简单的概念来构成运算基本单元,用户只需提供自己的Map函数以及Reduce函数即可并行处理海量数据。为了进一步理解MapReduce的编程方式,下面给出一个基于MapReduce编程方式的程序伪代码。程序功能是统计文本中所有单词出现的次数。
  分布式的大规模数据库管理系统BigTable:由于一部分Google应用程序需要处理大量的格式化以及半格式化数据,Google构建了弱一致性要求的大规模数据库系统BigTablet。BigTable的应用包括Search History,Maps,Orkut,RSS阅读器等。
  BigTable是客户端和服务器端的联合设计,使得性能能够最大程度地符合应用的需求。BigTable系统依赖于集群系统的底层结构。一个是分布式的集群任务调度器,一个是前述的Google文件系统,还有一个分布式的锁服务Chubby。
  Chubby是一个非常鲁棒的粗粒度锁,BigTable使用Chubby来保存根数据表格的指针,即用户可以首先从Chubby锁服务器中获得根表的位置,进而对数据进行访问。BigTable使用一台服务器作为主服务器,用来保存和操作元数据。主服务器除了管理元数据之外,还负责对tablet服务器(即一般意义上的数据服务器)进行远程管理与负载调配。客户端通过编程接口与主服务器进行元数据通信,与tablet服务器进行数据通信。
  以上是Google内部云计算基础平台的4个主要部分。Google还构建其他云计算组件,包括一个领域描述语言以及分布式锁服务机制等。
  2、IBM“蓝云"计算平台应用实例
  IBM的“蓝云”计算平台是一套软、硬件平台,将Internet上使用的技术扩展到企业平台上,使得数据中心使用类似于互联网的计算环境。“蓝云”大量使用了IBM先进的大规模计算技术,结合了IBM自身的软、硬件系统以及服务技术,支持开放标准与开放源代码软件。“蓝云”基于IBM Almaden研究中心的云基础架构,采用了Xen和PowerVM虚拟化软件,Linux操作系统映像以及Hadoop软件(Google File System以及MapReduce的开源实现)。IBM已经正式推出了基于x86芯片服务器系统的“蓝云”产品。
  “蓝云”计算平台由一个数据中心、IBM Tivoli部署管理软件(Tivoli provisioning manager)、IBMTivoli监控软件(IBM Tivoli monitoring)、IBM WebSphere应用服务器、IBM DB2数据库以及一些开源信息处理软件和开源虚拟化软件共同组成。“蓝云”的硬件平台环境与一般的x86服务器集群类似,使用刀片的方式增加了计算密度。“蓝云”软件平台的特点主要体现在虚拟机以及对于大规模数据处理软件Apache Hadoop的使用上。Hadoop是开源版本的Google File System软件和MapReduce编程规范。
  “蓝云”计算平台中的虚拟化技术:“蓝云”软件的一个重要特点是虚拟化技术的使用。虚拟化的方式在“蓝云”中有两个级别,一个是在硬件级别上实现虚拟化,另一个是通过开源软件实现虚拟化。硬件级别的虚拟化可以使用IBM P系列的服务器,获得硬件的逻辑分区LPAR(logic partition)。逻辑分区的CPU资源能够通过IBM Enterprise Workload Manager来管理。通过这样的方式加上在实际使用过程中的资源分配策略,能够使相应的资源合理地分配到各个逻辑分区。P系列系统的逻辑分区最小粒度是1/10颗中央处理器(CPU)。Xen则是软件级别上的虚拟化,能够在Linux基础上运行另外一个操作系统。
  虚拟机是一类特殊的软件,能够完全模拟硬件的执行,运行不经修改的完整的操作系统,保留了一整套运行环境语义。通过虚拟机的方式。在云计算平台上获得如下一些优点:
  (1)云计算的管理平台能够动态地将计算平台定位到所需要的物理节点上,而无须停止运行在虚拟机平台上的应用程序,进程迁移方法更加灵活;
  (2)降低集群电能消耗,将多个负载不是很重的虚拟机计算节点合并到同一个物理节点上,从而能够关闭空闲的物理节点,达到节约电能的目的;
  (3)通过虚拟机在不同物理节点上的动态迁移,迁移了整体的虚拟运行环境,能够获得与应用无关的负载平衡性能;
  (4)在部署上也更加灵活,即可以将虚拟机直接部署到物理计算平台上,而虚拟机本身就包括了相应的操作系统以及相应的应用软件,直接将大量的虚拟机映像复制到对应的物理节点即可。
  “蓝云”计算平台中的存储体系结构:“蓝云”计算平台中的存储体系结构对于云计算来说也是非常重要的,无论是操作系统、服务程序还是用户的应用程序的数据都保存在存储体系中。“蓝云”存储体系结构包含类似于Google File System的集群文件系统以及基于块设备方式的存储区域网络SAN。
  在设计云计算平台的存储体系结构时,不仅仅是需要考虑存储容最的问题。实际上,随着硬盘容量的不断扩充以及硬盘价格的不断下降。可以通过组合多个磁盘获得很大的磁盘容量。相对于磁盘的容量,在云计算平台的存储中,磁盘数据的读写速度是一个更重要的问题,因此需要对多个磁盘进行同时读写。这种方式要求将数据分配到多个节点的多个磁盘当中。为达到这一目的,存储技术有两个选择,一个是使用类似于Google File System的集群文件系统。另一个是基于块设备的存储区域网络SAN系统。
  在蓝云计算平台上,SAN系统与分布式文件系统(例如Google File System)并不是相互对立的系统,SAN提供的是块设备接口。需要在此基础上构建文件系统,才能被上层应用程序所使用。而Google File System正好是一个分布式的文件系统,能够建立在SAN之上。两者都能提供可靠性、可扩展性,至于如何使用还需要由建立在云计算平台上的应用程序来决定,这也体现了计算平台与上层应用相互协作的关系。
  云计算产业发展前景
  云计算作为当前最为火热的技术应用之一,已经被越来越多的行业用户所欢迎,当然,不同行业当中的行业云应用作为未来IT行业的一个重要发展趋势,在工具应用、技术服务和商业服务等诸多方面也开始飞速发展。
  根据权威市场调查机构对行业云应用用户调查的数据结果来看,38%企业已经在使用行业云服务,19%计划在未来12个月内采用云服务,使得大概可以有57%使用或计划使用行业云服务。而另外23%的用户表示正在考虑,但并没有具体使用时间表。
  从企业规模来看,有多半小企业正在使用不同规模的行业云服务,但中型企业有略微变化,20至249名员工规模的中型企业中的54%正在使用或将使用行业云,而拥有250到999名员工的企业仅46%使用,或者打算使用它。
  那么用户究竟为什么选择行业云呢?根据调查结果显示,用户对于数据安全和保护以及运营成本等方面的考虑成为了选择行业云服务的主要原因,对于那些配有专用的云预算,53%的用户花费高达10万美元/年。而报告中29%没有行业云服务预算的用户并不表示不使用云服务,或者有可能依靠免费服务。
  我们都知道,目前云计算产业已经在很多行业当中有了非常深入的应用,对于用户来说,尤其是行业用户来说,利用云平台所提供的服务解决行业当中的问题成为了未来云计算的一大模式.
   云计算概念需要深入去了解,在未来它会发挥巨大的作用。
  注:本文为 数据观-大数据新闻门户原创精编,转载请注明出处:数据观 www.cbdio.com,并附上原文链接。
产业观察
2015-04-22 17:40:39
人工智能的应用及概念解读:人类智慧的容器
来源: 中国大数据产业观察网 时间:2015-05-06 18:30:13 作者:
  人工智能是什么概念? 人工智能的应用又展现在哪些方面?下面我们将详细解释。
  人工智能(计算机科学的一个分支) ——百度百科
  人工智能(Artificial Intelligence) ,英文缩写为AI。它是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。 人工智能是计算机科学的一个分支,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器,该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等。人工智能从诞生以来,理论和技术日益成熟,应用领域也不断扩大,可以设想,未来人工智能带来的科技产品,将会是人类智慧的“容器”。
  人工智能是对人的意识、思维的信息过程的模拟。人工智能不是人的智能,但能像人那样思考、也可能超过人的智能。
  人工智能是一门极富挑战性的科学,从事这项工作的人必须懂得计算机知识,心理学和哲学。人工智能是包括十分广泛的科学,它由不同的领域组成,如机器学习,计算机视觉等等,总的说来,人工智能研究的一个主要目标是使机器能够胜任一些通常需要人类智能才能完成的复杂工作。但不同的时代、不同的人对这种“复杂工作”的理解是不同的。
  人工智能的定义可以分为两部分,即“人工”和“智能”。“人工”比较好理解,争议性也不大。有时我们会要考虑什么是人力所能及制造的,或者人自身的智能程度有没有高到可以创造人工智能的地步,等等。但总的来说,“人工系统”就是通常意义下的人工系统。
  关于什么是“智能”,就问题多多了。这涉及到其它诸如意识(CONSCIOUSNESS)、自我(SELF)、思维(MIND)(包括无意识的思维(UNCONSCIOUS_MIND))等等问题。人唯一了解的智能是人本身的智能,这是普遍认同的观点。但是我们对我们自身智能的理解都非常有限,对构成人的智能的必要元素也了解有限,所以就很难定义什么是“人工”制造的“智能”了。因此人工智能的研究往往涉及对人的智能本身的研究。其它关于动物或其它人造系统的智能也普遍被认为是人工智能相关的研究课题。
  人工智能在计算机领域内,得到了愈加广泛的重视。并在机器人,经济政治决策,控制系统,仿真系统中得到应用。
  著名的美国斯坦福大学人工智能研究中心尼尔逊教授对人工智能下了这样一个定义:“人工智能是关于知识的学科――怎样表示知识以及怎样获得知识并使用知识的科学。”而另一个美国麻省理工学院的温斯顿教授认为:“人工智能就是研究如何使计算机去做过去只有人才能做的智能工作。”这些说法反映了人工智能学科的基本思想和基本内容。即人工智能是研究人类智能活动的规律,构造具有一定智能的人工系统,研究如何让计算机去完成以往需要人的智力才能胜任的工作,也就是研究如何应用计算机的软硬件来模拟人类某些智能行为的基本理论、方法和技术。[5]
  人工智能是计算机学科的一个分支,二十世纪七十年代以来被称为世界三大尖端技术之一(空间技术、能源技术、人工智能)。也被认为是二十一世纪三大尖端技术(基因工程、纳米科学、人工智能)之一。这是因为近三十年来它获得了迅速的发展,在很多学科领域都获得了广泛应用,并取得了丰硕的成果,人工智能已逐步成为一个独立的分支,无论在理论和实践上都已自成一个系统。
  人工智能是研究使计算机来模拟人的某些思维过程和智能行为(如学习、推理、思考、规划等)的学科,主要包括计算机实现智能的原理、制造类似于人脑智能的计算机,使计算机能实现更高层次的应用。人工智能将涉及到计算机科学、心理学、哲学和语言学等学科。可以说几乎是自然科学和社会科学的所有学科,其范围已远远超出了计算机科学的范畴,人工智能与思维科学的关系是实践和理论的关系,人工智能是处于思维科学的技术应用层次,是它的一个应用分支。从思维观点看,人工智能不仅限于逻辑思维,要考虑形象思维、灵感思维才能促进人工智能的突破性的发展,数学常被认为是多种学科的基础科学,数学也进入语言、思维领域,人工智能学科也必须借用数学工具,数学不仅在标准逻辑、模糊数学等范围发挥作用,数学进入人工智能学科,它们将互相促进而更快地发展。
  人工智能——维基百科
  人工智能(英语:Artificial Intelligence, AI)亦称机器智能,是指由人工制造出来的系统所表现出来的智能。通常人工智能是指通过普通电脑实现的智能。该词同时也指研究这样的智能系统是否能够实现,以及如何实现的科学领域。
  一般教材中的定义领域是“智能代理(intelligent agent)的研究与设计”,智能代理是指一个可以观察周遭环境并作出行动以达致目标的系统。约翰·麦卡锡于1955年的定义是“制造智能机器的科学与工程。”
  人工智能的研究是高度技术性和专业的,各分支领域都是深入且各不相通的。
  人工智能的研究可以分为几个技术问题。其分支领域主要集中在解决具体问题,其中之一是,如何使用各种不同的工具完成特定的应用程序。AI的核心问题包括推理,知识,规划,学习,交流,感知,移动和操作物体的能力等。强人工智能目前仍然是该领域的长远目标。目前比较流行的方法包括统计方法,计算智能和传统意义的AI。目前有大量的工具应用了人工智能,其中包括搜索和数学优化,逻辑,基于概率论和经济学的方法等等。
  人工智能的定义可以分为两部分,即“人工”和“智能”。“人工”比较好理解,争议性也不大。有时我们会要考虑什么是人力所能及制造的,或者人自身的智能程度有没有高到可以创造人工智能的地步,等等。但总的来说,“人工系统”就是通常意义下的人工系统。
  关于什么是“智能”,就问题多多了。这涉及到其它诸如意识(consciousness)、自我(self)、心灵(mind,包括无意识的精神(unconscious_mind))等等问题。人唯一了解的智能是人本身的智能,这是普遍认同的观点。但是我们对我们自身智能的理解都非常有限,对构成人的智能的必要元素也了解有限,所以就很难定义什么是“人工”制造的“智能”了。因此人工智能的研究往往涉及对人的智能本身的研究。其它关于动物或其它人造系统的智能也普遍被认为是人工智能相关的研究课题。
  人工智能目前在计算机领域内,得到了愈加广泛的发挥。并在机器人,经济政治决策,控制系统,仿真系统中得到应用。
  早期的人工智能研究人员直接模仿人类进行逐步的推理,就像是玩棋盘游戏或进行逻辑推理时人类的思考模式。到了1980和1990年代,利用概率和经济学上的概念,人工智能研究还发展了非常成功的方法处理不确定或不完整的资讯。
  对于困难的问题,有可能需要大量的运算资源,也就是发生了“可能组合爆增”:当问题超过一定的规模时,电脑会需要天文数量级的存储器或是运算时间。寻找更有效的算法是优先的人工智能研究项目。
  人类解决问题的模式通常是用最快捷,直观的判断,而不是有意识的,一步一步的推导,早期人工智能研究通常使用逐步推导的方式。人工智能研究已经于这种“次表征性的”解决问题方法获取进展:实体化Agent研究强调感知运动的重要性。神经网络研究试图以模拟人类和动物的大脑结构重现这种技能。
  人工智能的应用
  1.在管理系统中的应用
  (1)人工智能应用于企业管理的意义主要不在于提高效率,而是用计算机实现人们非常需要做,但 工业工程信息技术是靠人工却做不了或是很难做到的事情。在《谈谈人工智能在企业管理中的应用》一文中刘玉然指出把人工智能应用于企业管理中,以数据管理和处理为中心,围绕企业的核心业务和主导流程建立若干个主题数据库,而所有的应用系统应该围绕主题数据库来建立和运行。换句话说,就是将企业各部门的数据进行统一集成管理,搭建人工智能的应用平台,使之成为企业管理与决策中的关键因子。
  2.在工程领域的应用
  (1)医学专家系统是人工智能和专家系统理论和技术在医学领域的重要应用,具有极大的科研和应用价值,它可以帮助医生解决复杂的医学问题,作为医生诊断、治疗的辅助工具。事实上,早在1982年,美国匹兹堡大学的Miller就发表了著名的作为内科医生咨询的Internist 2Ⅰ内科计算机辅助诊断系统的研究成果,由此,掀起了医学智能系统开发与应用的高潮。目前,医学智能系统已通过其在医学影像方面的重要作用,从而应用于内科、骨科等多个医学领域中,并在不断发展完善中。
  (2)地质勘探、石油化工等领域是人工智能的主要作用发挥领地。1978年美国斯坦福国际研究所就研发制成矿藏勘探和评价专家系统“PROSPECTOR”,该系统用于勘探评价、区域资源估值和钻井井位选择等,是工业领域的首个人工智能专家系统,其发现了一个钼矿沉积,价值超过1亿美元。
  3.在技术研究中的应用
  (1)在超声无损检测(NDT)与无损评价(NDE)领域中,目前主要广泛采用专家系统方法对超声损伤(UT)中缺陷的性质、形状和大小进行判断和归类;专家运用超声无损检测仪器,以其高精度的运算、控制和逻辑判断力代替大量人的体力与脑力劳动,减少了任务因素造成的无擦,提高了检测的可靠性,实现了超声检测和评价的自动化、智能化。
  (2)人工智能在电子技术领域的应用可谓由来已久。随着网络的迅速发展,网络技术的安全是我们关心的重点,因此我们必须在传统技术的基础上进行网络安全技术的改进和变更,大力发展数据挖掘技术、人工免疫技术等高效的AI技术,开发更高级AI通用和专用语言,和应用环境以及开发专用机器,而与人工智能技术则为我们提供了可能性。
  人工智能的应用可谓在多个方面,给科技工作们提供了许多方便。
  本文由 中国大数据产业观察网原创精编,转载请注明链接:www.cbdio.com
产业观察
2015-05-06 18:30:13
大数据技术与应用案例详解:获取有价值信息
来源: 中国大数据产业观察网 时间:2015-04-20 17:44:44 作者:
  大数据技术与应用是人们值得关注的事情,因为它很有可能对你的生活带来友好的改变。
  大数据技术,就是从各种类型的数据中快速获得有价值信息的技术。大数据领域已经涌现出了大量新的技术,它们成为大数据采集、存储、处理和呈现的有力武器。
  大数据处理关键技术一般包括:大数据采集、大数据预处理、大数据存储及管理、大数据分析及挖掘、大数据展现和应用(大数据检索、大数据可视化、大数据应用、大数据安全等)。
  一、大数据采集技术
  数据是指通过RFID射频数据、传感器数据、社交网络交互数据及移动互联网数据等方式获得的各种类型的结构化、半结构化(或称之为弱结构化)及非结构化的海量数据,是大数据知识服务模型的根本。重点要突破分布式高速高可靠数据爬取或采集、高速数据全映像等大数据收集技术;突破高速数据解析、转换与装载等大数据整合技术;设计质量评估模型,开发数据质量技术。
  大数据采集一般分为大数据智能感知层:主要包括数据传感体系、网络通信体系、传感适配体系、智能识别体系及软硬件资源接入系统,实现对结构化、半结构化、非结构化的海量数据的智能化识别、定位、跟踪、接入、传输、信号转换、监控、初步处理和管理等。必须着重攻克针对大数据源的智能识别、感知、适配、传输、接入等技术。基础支撑层:提供大数据服务平台所需的虚拟服务器,结构化、半结构化及非结构化数据的数据库及物联网络资源等基础支撑环境。重点攻克分布式虚拟存储技术,大数据获取、存储、组织、分析和决策操作的可视化接口技术,大数据的网络传输与压缩技术,大数据隐私保护技术等。
  二、大数据预处理技术
  主要完成对已接收数据的辨析、抽取、清洗等操作。1)抽取:因获取的数据可能具有多种结构和类型,数据抽取过程可以帮助我们将这些复杂的数据转化为单一的或者便于处理的构型,以达到快速分析处理的目的。2)清洗:对于大数据,并不全是有价值的,有些数据并不是我们所关心的内容,而另一些数据则是完全错误的干扰项,因此要对数据通过过滤“去噪”从而提取出有效数据。
  三、大数据存储及管理技术
  大数据存储与管理要用存储器把采集到的数据存储起来,建立相应的数据库,并进行管理和调用。重点解决复杂结构化、半结构化和非结构化大数据管理与处理技术。主要解决大数据的可存储、可表示、可处理、可靠性及有效传输等几个关键问题。开发可靠的分布式文件系统(DFS)、能效优化的存储、计算融入存储、大数据的去冗余及高效低成本的大数据存储技术;突破分布式非关系型大数据管理与处理技术,异构数据的数据融合技术,数据组织技术,研究大数据建模技术;突破大数据索引技术;突破大数据移动、备份、复制等技术;开发大数据可视化技术。
  开发新型数据库技术,数据库分为关系型数据库、非关系型数据库以及数据库缓存系统。其中,非关系型数据库主要指的是NoSQL数据库,分为:键值数据库、列存数据库、图存数据库以及文档数据库等类型。关系型数据库包含了传统关系数据库系统以及NewSQL数据库。
  开发大数据安全技术。改进数据销毁、透明加解密、分布式访问控制、数据审计等技术;突破隐私保护和推理控制、数据真伪识别和取证、数据持有完整性验证等技术。
  四、大数据分析及挖掘技术
  大数据分析技术。改进已有数据挖掘和机器学习技术;开发数据网络挖掘、特异群组挖掘、图挖掘等新型数据挖掘技术;突破基于对象的数据连接、相似性连接等大数据融合技术;突破用户兴趣分析、网络行为分析、情感语义分析等面向领域的大数据挖掘技术。
  数据挖掘就是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中,提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。数据挖掘涉及的技术方法很多,有多种分类法。根据挖掘任务可分为分类或预测模型发现、数据总结、聚类、关联规则发现、序列模式发现、依赖关系或依赖模型发现、异常和趋势发现等等;根据挖掘对象可分为关系数据库、面向对象数据库、空间数据库、时态数据库、文本数据源、多媒体数据库、异质数据库、遗产数据库以及环球网Web;根据挖掘方法分,可粗分为:机器学习方法、统计方法、神经网络方法和数据库方法。机器学习中,可细分为:归纳学习方法(决策树、规则归纳等)、基于范例学习、遗传算法等。统计方法中,可细分为:回归分析(多元回归、自回归等)、判别分析(贝叶斯判别、费歇尔判别、非参数判别等)、聚类分析(系统聚类、动态聚类等)、探索性分析(主元分析法、相关分析法等)等。神经网络方法中,可细分为:前向神经网络(BP算法等)、自组织神经网络(自组织特征映射、竞争学习等)等。数据库方法主要是多维数据分析或OLAP方法,另外还有面向属性的归纳方法。
  从挖掘任务和挖掘方法的角度,着重突破:1.可视化分析。数据可视化无论对于普通用户或是数据分析专家,都是最基本的功能。数据图像化可以让数据自己说话,让用户直观的感受到结果。2.数据挖掘算法。图像化是将机器语言翻译给人看,而数据挖掘就是机器的母语。分割、集群、孤立点分析还有各种各样五花八门的算法让我们精炼数据,挖掘价值。这些算法一定要能够应付大数据的量,同时还具有很高的处理速度。3.预测性分析。预测性分析可以让分析师根据图像化分析和数据挖掘的结果做出一些前瞻性判断。4.语义引擎。语义引擎需要设计到有足够的人工智能以足以从数据中主动地提取信息。语言处理技术包括机器翻译、情感分析、舆情分析、智能输入、问答系统等。5.数据质量和数据管理。数据质量与管理是管理的最佳实践,透过标准化流程和机器对数据进行处理可以确保获得一个预设质量的分析结果。
  六、大数据展现与应用技术
  大数据技术能够将隐藏于海量数据中的信息和知识挖掘出来,为人类的社会经济活动提供依据,从而提高各个领域的运行效率,大大提高整个社会经济的集约化程度。在我国,大数据将重点应用于以下三大领域:商业智能、政府决策、公共服务。例如:商业智能技术,政府决策技术,电信数据信息处理与挖掘技术,电网数据信息处理与挖掘技术,气象信息分析技术,环境监测技术,警务云应用系统(道路监控、视频监控、网络监控、智能交通、反电信诈骗、指挥调度等公安信息系统),大规模基因序列分析比对技术,Web信息挖掘技术,多媒体数据并行化处理技术,影视制作渲染技术,其他各种行业的云计算和海量数据处理应用技术等。
   大数据应用的九个领域
  大数据应用在生活中可以帮助我们获取到有用的价值。
  随着大数据的应用越来越广泛,应用的行业也越来越低,我们每日都可以看到大数据的一些新颖的应用,从而帮助人们从中获取到真正有用的价值。许多组织或者个人都会受到大数据的剖析影响,但是大数据是怎样帮助人们挖掘出有价值的信息呢?下面就让我们一起来看看九个价值极度高的大数据的应用,这些都是大数据在剖析应用上的关键领域:
  1.理解客户、满足客户服务需求
  大数据的应用现在在这领域是最广为人知的。重点是怎样应用大数据更好的了解客户以及他们的喜好和行为。企业极度喜欢搜集社交方面的数据、浏览器的日志、剖析出文本和传感器的数据,为了更加全面的了解客户。在通常情况下,创建出数据模型进行预测。好比美国的著名零售商Target就是通过大数据的剖析,获得有价值的信息,精准得预测到客户在什么时间想要小孩。另外,通过大数据的应用,电信公司可以更好预测出流失的客户,沃尔玛则更加精准的预测哪个产品会大卖,汽车保险行业会了解客户的需求和驾驶水平,政府也能了解到选民的偏好。
  2.业务流程优化
  大数据也更多的帮助业务流程的优化。可以通过利用社交媒体数据、网络搜索以及天气预告挖掘出有价值的数据,其中大数据的应用最广泛的就是供应链以及配送路线的优化。在这2个方面,地理定位和无线电频率的识别追踪货物和送货车,利用实时交通路线数据制订更加优化的路线。人力资源业务也通过大数据的剖析来进行改良,这其中就包括了人才招聘的优化。
  3.大数据正在改善我们的生活
  大数据不但单只是应用于企业和政府,同样也适用我们生活当中的每个人。我们可以利用穿着的装备(如智能手表或者智能手环)生成最新的数据,这让我们可以凭据我们热量的消耗以及睡眠模式来进行追踪。而且还利用利用大数据剖析来寻找属于我们的爱情,大多数时间交友网站就是大数据应用工具来帮助需要的人匹配合适的对象。
1 2 显示全文
产业观察
2015-04-20 17:44:44
大数据与Hadoop之间是什么关系?
来源: 数据观 时间:2015-07-31 17:09:22 作者:
  大数据在近些年来越来越火热,人们在提到大数据遇到了很多相关概念上的问题,比如云计算、 Hadoop等等。那么, 大数据是什么、Hadoop是什么,大数据和Hadoop有什么关系呢?
  大数据概念早在1980年,著名未来学家阿尔文·托夫勒提出的概念。2009年美国互联网数据中心证实大数据时代的来临。随着谷歌MapReduce和 GoogleFile System (GFS)的发布,大数据不再仅用来描述大量的数据,还涵盖了处理数据的速度。目前定义:大数据(big data),或称巨量资料,指的是所涉及的资料量规模巨大到无法透过目前主流软件工具在合理时间内获取、管理、处理、并整理为帮助企业经营决策。
  大数据目前分为四大块:大数据技术、大数据工程、大数据科学和大数据应用。其中云计算是属于大数据技术的范畴,是一种通过Internet以服务 的方式提供动态可伸缩的虚拟化的资源的计算模式。那么这种计算模式如何实现呢,Hadoop的来临解决了这个问题,Hadoop是Apache(阿帕切) 的一个开源项目,它是一个对大量数据进行分布式处理的软件架构,在这个架构下组织的成员HDFS(Hadoop分布式文件系统),MapReduce、 Hbase 、Zookeeper(一个针对大型分布式系统的可靠协调系统),hive(基于Hadoop的一个数据仓库工具)等。
  1. 云计算属于大数据中的大数据技术范畴。
  2.云计算包含大数据。
  3.云和大数据是两个领域。
  云计算是指利用由大量计算节点构成的可动态调整的虚拟化计算资源,通过并行化和分布式计算技术,实现业务质量的可控的大数据处理的计算技术。而作为云计算技术中的佼佼者,Hadoop以其低成本和高效率的特性赢得了市场的认可。Hadoop项目名称来源于创立者Doung Cutting儿子的一个玩具,一头黄色的大象。
  Hadoop项目的目标是建立一个可扩展开源软件框架,能够对大数据进行可靠的分布式处理。
   Hadoop的框架最核心的设计就是:HDFS和MapReduce。HDFS为海量的数据提供了存储,则MapReduce为海量的数据提供了计算 。HDFS是一个分布式文件系统,具有低成本、高可靠性性、高吞吐量的特点。MapReduce是一个变成模型和软件框架。
   简单理解,Hadoop是一个开源的大数据分析软件,或者说编程模式。它是通过分布式的方式处理大数据的 ,因为开元的原因现在很多的企业或多或少的在运用hadoop的技术来解决一些大数据的问题,在数据仓库方面hadoop是非常强大的。但在数据集市以及实时的分析展现层面,hadoop也有着明显的不足,现在一个比较好的解决方案是架设hadoop的数据仓库而数据集市以及实时分析展现层面使用永洪科技的大数据产品,能够很好地解决hadoop的分时间长以及其他的问题。
  Hadoop大数据技术案例
  让 Hadoop和其他大数据技术如此引人注目的部分原因是,他们让企业找到问题的答案,而在此之前他们甚至不知道问题是什么。这可能会产生引出新产品的想法,或者帮助确定改善运营效率的方法。不过,也有一些已经明确的大数据用例,无论是互联网巨头如谷歌,Facebook和LinkedIn还是更多的传统企业。它们包括:
  情感分析 : Hadoop与先进的文本分析工具结合,分析社会化媒体和社交网络发布的非结构化的文本,包括Tweets和Facebook,以确定用户对特定公司,品牌或产品的情绪。分析既可以专注于宏观层面的情绪,也可以细分到个人用户的情绪。
  风险建模 : 财务公司、银行等公司使用Hadoop和下一代数据仓库分析大量交易数据,以确定金融资产的风险,模拟市场行为为潜在的“假设”方案做准备,并根据风险为潜在客户打分。
  欺诈检测 : 金融公司、零售商等使用大数据技术将客户行为与历史交易数据结合来检测欺诈行为。例如,信用卡公司使用大数据技术识别可能的被盗卡的交易行为。
  客户流失分析 : 企业使用Hadoop和大数据技术分析客户行为数据并确定分析模型,该模型指出哪些客户最有可能流向存在竞争关系的供应商或服务商。企业就能采取最有效的措施挽留欲流失客户。
   用户体验分析 : 面向消费者的企业使用Hadoop和其他大数据技术将之前单一 客户互动渠道(如呼叫中心,网上聊天,微博等)数据整合在一起, 以获得对客户体验的完整视图。这使企业能够了解客户交互渠道之间的相互影响,从而优化整个客户生命周期的用户体验。
   当然,上述这些都只是大数据用例的举例。事实上,在所有企业中大数据最引人注目的用例可能尚未被发现。这就是大数据的希望。
  相关阅读:
  hadoop是什么:分布式系统基础架构
  大数据概念:史上最全大数据解析
  本文为 中国大数据产业观察网原创精编,转载请注明来源:www.cbdio.com
责任编辑:陈卓阳
产业观察
2015-07-31 17:09:22
互联网数据分析师职位介绍及职业规划
来源: 中国大数据产业观察网 时间:2015-05-13 15:54:04 作者:
  互联网分析师这种职位哪些公司有?具体是干什么的?互联网分析师招聘需要哪些条件?这种职位的职业规划又是怎样?怎样才能成为合格的互联网数据分析师呢?下面我们将围绕着五个问题详细回答。
  互联网分析师都哪有?
  1、国外针对二级市场投资的基金机构
  通俗点讲国外人想投资中国的美股股票,但不了解中国这些互联网公司;
  那这些外国的基金机构就必然有人了解;这些分析师有常驻国内的,有常驻美国的;
  2、国内针对二级市场投资的基金机构
  基础逻辑和1一样,随着国内 互联网 相关的上市公司开始多了,国内一些基金也有了专门针对互联网方向的分析师;当然国内的互联网相关上市公司还不是太多,按照他们的说法就是标的不够多,所以国内一般的基金机构都是说IT行业分析师,互联网隶属IT行业;
  3、咨询机构、咨询公司
  也称顾问公司,国内的咨询行业由来已久;越来越多的行业开始和互联网相结合,在咨询结构服务各行各业的企业过程中也是需要有人了解互联网行业,了解这个行业的打法的;
  4、第三方调研机构
  比如艾瑞、DCCI、易观这样的以数据、行业信息为主的提供方,这些机构一般出具各种数据、行业发展报告,组织行业沙龙聚会,这里面必然也是需要有人分析的;
  5、大互联网公司
  一般国内的大互联网公司都有所谓的行业分析部门、战略部门、战略投资部;(百度、阿里、腾讯、盛大、网易、新浪、搜狐等都有),这样的部门里的基础分析工作也是要有人做的;
  6、针对一级市场的VC
  我的工作就是,这类分析师做的事情主要根据VC所处的阶段不同;早期VC更多要求分析师对行业的理解、对项目的把握,偏后期一点的基金公司则更侧重财务模型、资本市场运作一些;
  除此之外,自然还有一些江湖上的砖家们自称分析师,这里不展开了。
  那么这么多地方有互联网分析师,他们工作都干吗呢?
  1、国外针对二级市场投资的基金机构
  分析已经上市的互联网公司股票、公司财务状况、业务状况 、竞争对手态势和预测可能的走势;所以他们主要的工作是看已经上市公司及相关的竞争对手/细分领域的信息;
  工作的交付物更多是投行出的分析报告,比如这种:
  德意志银行-中国互联网行业研究报告2011年12月(109页).pdf
  《 德意志银行-中国互联网行业研究报告2011年12月(109页).pdf 》
  编写这个报告的分析师之一我认识,就在上海,他日常工作就是和国内的互联网公司的投资者关系部门沟通、参与这些公司的财报电话会议、提出问题、分析、给出总结、趋势和预测等;
  2、国内针对二级市场投资的基金机构
  其实和上面的类似,但他们更关注国内的上市互联网公司相关情况,他们的工作内容也是和各大上市公司董秘了解公司情况,参与财报发布等;至于交付物就是各种类型的研究报告:http://data.eastmoney.com/report/79_0.html可以看下这里,我说过国内因为上市互联网公司不多,所以更多基金采用的TMT的分类方式;
  3、咨询公司
  这类公司内的分析师更多承担的工作是信息搜集,而搜集的目的一般根据雇主的行业、阶段、要求来;比如一家传统做服装的公司想做电商,就有可能找咨询公司做做参谋;咨询公司能提供的服务就是讲解行业、参与公司、一些特定公司案例等;他们的交付物可能是PPT、可能是学习材料,也可能是咨询师的一个讲座。
1 2 3 4 显示全文
产业观察
2015-05-13 15:54:04
hadoop是什么:分布式系统基础架构
来源: 中国大数据产业观察网 时间:2015-05-11 11:14:58 作者:
  hadoop是什么?hadoop能有哪些应用?hadoop和大数据是什么关系?下面我们将围绕这几个问题详细阐述。
  hadoop是什么?
   Hadoop是一个由Apache基金会所开发的分布式系统基础架构。
  用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。
  Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS。HDFS有高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上;而且它提供高吞吐量(high throughput)来访问应用程序的数据,适合那些有着超大数据集(large data set)的应用程序。HDFS放宽了(relax)POSIX的要求,可以以流的形式访问(streaming access)文件系统中的数据。
  Hadoop的框架最核心的设计就是:HDFS和MapReduce。HDFS为海量的数据提供了存储,则MapReduce为海量的数据提供了计算。
  项目起源
  Hadoop由 Apache Software Foundation 公司于 2005 年秋天作为Lucene的子项目Nutch的一部分正式引入。它受到最先由 Google Lab 开发的 Map/Reduce 和 Google File System(GFS) 的启发。
  2006 年 3 月份,Map/Reduce 和 Nutch Distributed File System (NDFS) 分别被纳入称为 Hadoop 的项目中。
  Hadoop 是最受欢迎的在 Internet 上对搜索关键字进行内容分类的工具,但它也可以解决许多要求极大伸缩性的问题。例如,如果您要 grep 一个 10TB 的巨型文件,会出现什么情况?在传统的系统上,这将需要很长的时间。但是 Hadoop 在设计时就考虑到这些问题,采用并行执行机制,因此能大大提高效率。
  发展历程
  Hadoop原本来自于谷歌一款名为MapReduce的编程模型包。谷歌的MapReduce框架可以把一个应用程序分解为许多并行计算指令,跨大量的计算节点运行非常巨大的数据集。使用该框架的一个典型例子就是在网络数据上运行的搜索算法。Hadoop 最初只与网页索引有关,迅速发展成为分析大数据的领先平台。
  目前有很多公司开始提供基于Hadoop的商业软件、支持、服务以及培训。Cloudera是一家美国的企业软件公司,该公司在2008年开始提供基于Hadoop的软件和服务。GoGrid是一家云计算基础设施公司,在2012年,该公司与Cloudera合作加速了企业采纳基于Hadoop应用的步伐。Dataguise公司是一家数据安全公司,同样在2012年该公司推出了一款针对Hadoop的数据保护和风险评估。
  Hadoop应用案例—全球著名企业应用案例
  美国国会图书馆是全球最大的图书馆,自1800年设立至今,收藏了超过1.5亿个实体对象,包括书籍、影音、老地图、胶卷等,数字数据量也达到了235TB,但美国eBay拍卖网站,8千万名用户每天产生的数据量就有50TB,5天就相当于1座美国国会图书馆的容量。
  在国外,不只eBay这种跨国电子商务业者感受到巨量数据的冲击,其他如美国连锁超市龙头Wal-Mart、发行信用卡的Visa公司等,在台湾如台湾集成电路(台积电)、中华电信等手上拥有大量顾客资料的企业,都纷纷感受到这股如海啸般来袭的Big Data巨量资料浪潮。这样的巨量数据并非是没有价值的数据,其中潜藏了许多使用者亲身经验的第一手原始数据,不少企业更是从中嗅到了商机。
  这些企业纷纷向最早面临大数据挑战的搜索引擎业者Google、Yahoo取经,学习处理巨量数据的技术和经验,其中,最受这些企业青睐,用来解决巨量数据难题的技术就是Apache基金会的分布式计算技术Hadoop项目。
  Hadoop应用案例1-全球最大超市业者 Wal-Mart
  Wal-Mart分析顾客商品搜索行为,找出超越竞争对手的商机
  全球最大连锁超市Wal-Mart利用Hadoop来分析顾客搜寻商品的行为,以及用户透过搜索引擎寻找到Wal-Mart网站的关键词,利用这些关键词的分析结果发掘顾客需求,以规画下一季商品的促销策略,甚至打算分析顾客在Facebook、Twitter等社交网站上对商品的讨论,期望能比竞争对手提前一步发现顾客需求。
  Wal-Mart虽然十年前就投入在线电子商务,但在线销售的营收远远落后于Amazon。后来,Wal-Mart决定采用Hadoop来分析顾客搜寻商品的行为,以及用户透过搜索引擎寻找到Wal-Mart网站的关键词,利用这些关键词的分析结果发掘顾客需求,以规画下一季商品的促销策略。他们并进一步打算要分析顾客在Facebook、Twitter等社交网站上对商品的讨论,甚至Wal-Mart能比父亲更快知道女儿怀孕的消息,并且主动寄送相关商品的促销邮件,可说是比竞争对手提前一步发现顾客。
  Hadoop应用案例2-全球最大拍卖网站 eBay
  eBay用Hadoop拆解非结构性巨量数据,降低数据仓储负载
  经营拍卖业务的eBay则是用Hadoop来分析买卖双方在网站上的行为。eBay拥有全世界最大的数据仓储系统,每天增加的数据量有50TB,光是储存就是一大挑战,更遑论要分析这些数据,而且更困难的挑战是这些数据报括了结构化的数据和非结构化的数据,如照片、影片、电子邮件、用户的网站浏览Log记录等。
  eBay是全球最大的拍卖网站,8千万名用户每天产生的数据量就达到50TB,相当于五天就增加了1座美国国会图书馆的数据量。这些数据报括了结构化的数据,和非结构化的数据如照片、影片、电子邮件、用户的网站浏览Log记录等。eBay正是用Hadoop来解决同时要分析大量结构化数据和非结构化的难题。
  eBay分析平台高级总监Oliver Ratzesberger也坦言, 大数据分析最大的挑战就是要同时处理结构化以及非结构化的数据。
  eBay在5年多前就另外建置了一个软硬件整合的平台Singularity,搭配压缩技术来解决结构化数据和半结构化数据分析问题,3年前更在这个平台整合了Hadoop来处理非结构化数据,透过Hadoop来进行数据预先处理,将大块结构的非结构化数据拆解成小型数据,再放入数据仓储系统的数据模型中分析,来加快分析速度,也减轻对数据仓储系统的分析负载。
  Hadoop应用案例3-全球最大信用卡公司 Visa
  Visa快速发现可疑交易,1个月分析时间缩短成13分钟
  Visa公司则是拥有一个全球最大的付费网络系统VisaNet,作为信用卡付款验证之用。2009年时,每天就要处理1.3亿次授权交易和140万台ATM的联机存取。为了降低信用卡各种诈骗、盗领事件的损失,Visa公司得分析每一笔事务数据,来找出可疑的交易。虽然每笔交易的数据记录只有短短200位,但每天VisaNet要处理全球上亿笔交易,2年累积的资料多达36TB,过去光是要分析5亿个用户账号之间的关联,得等1个月才能得到结果,所以,Visa也在2009年时导入了Hadoop,建置了2套Hadoop丛集(每套不到50个节点),让分析时间从1个月缩短到13分钟,更快速地找出了可疑交易,也能更快对银行提出预警,甚至能及时阻止诈骗交易。
  这套被众多企业赖以解决大数据难题的分布式计算技术,并不是一项全新的技术,早在2006年就出现了,而且Hadoop的核心技术原理,更是源自Google打造搜索引擎的关键技术,后来由Yahoo支持的开源开发团队发展成一套Hadoop分布式计算平台,也成为Yahoo内部打造搜索引擎的关键技术。
  大数据与Hadoop之间的关系
   大数据,一种新兴的数据挖掘技术,它正在让数据处理和分析变得更便宜更快速。大数据技术一旦进入超级计算时代,很快便可应用于普通企业,在遍地开花的过程中,它将改变许多行业业务经营的模式。但是很多人对大数据存在误解,下面就来缕一缕大数据与Hadoop之间的关系。
  我们都听过这个预测:到2020年,电子数据存储量将在2009年的基础上增加44倍,达到35万亿GB。根据IDC数据显示,截止到2010年,这个数字已经达到了120万PB,或1.2ZB。如果把所有这些数据都存入DVD光盘,光盘高度将等同于从地球到月球的一个来回也就是大约 480,000英里。
  对于那些喜欢杞人忧天的人来说,这是数据存储的末日即将到来的不祥预兆。而对于机会主义者们而言,这就好比是个信息金矿,随着技术的进步,金矿开采会变得越来越容易。
  走进大数据,一种新兴的数据挖掘技术,它正在让数据处理和分析变得更便宜更快速。大数据技术一旦进入超级计算时代,很快便可应用于普通企业,在遍地开花的过程中,它将改变许多行业业务经营的模式。
  在计算机世界里,大数据被定义为一种使用非传统的数据过滤工具,对大量有序或无序数据集合进行的挖掘过程,它包括但不仅限于分布式计算(Hadoop)。
  大数据已经站在了数据存储宣传的风口浪尖,也存在着大量不确定因素,这点上非常像“云”。我们请教了一些分析人士和大数据爱好者,请他们解释一下大数据究竟是什么,以及它对于未来数据存储的意义。
  大数据走进历史舞台
  适用于企业的大数据已经出现,这在部分程度上要归功于计算能耗的降低以及系统已具备执行多重处理的能力这样一个事实。而且随着主存储器成本的不断下降,和过去相比,公司可以将更多的数据存到存储器中。并且,将多台计算机连到服务器集群也变得更容易了。这三个变化加在一起成就了大数据,IDC 数据库管理分析师Carl Olofson如是说。
  “我们不仅要把这些事情做好,还要能承受得起相应的开支”,他说。 “过去的某些超级计算机也具有执行系统多重处理的能力,(这些系统紧密相连,形成了一个集群)但因为要使用专门的硬件,它的成本高达几十万美元甚至更多。”现在我们可以使用普通硬件完成相同的配置。正因为这样,我们能更快更省得处理更多数据。"
  大数据技术还没有在有大型数据仓库的公司中得到广泛普及。IDC认为,想让大数据技术得到认可,首先技术本身一定要足够便宜,然后,必须满足IBM称之为3V标准中的2V,即:类型(variety),量(volume)和速度(velocity)。
  种类要求指的是待存储数据的类型分为结构化数据和非结构化数据。量是指存储和分析的数据量可以很庞大。 “数据量不只是几百TB,”
  Olofson说: “要视具体情况而定,因为速度和时间的关系,有时几百GB可能就算很多了。如果我现在一秒能完成过去要花一小时才能完成的300GB的数据分析,那结果将大为不同。大数据就是这样一种技术,它可以满足这三个要求中的至少两个,并且普通企业也能够部署。”
  关于大数据的三大误解
  对于大数据是什么以及大数据能干什么存在很多误会。下面就是有关大数据的三个误解:
  1、关系数据库无法大幅增容,因此不能被认为是大数据技术(不对)
  2、无需考虑工作负载或具体使用情况,Hadoop或以此类推的任何MapReduce都是大数据的最佳选择。(也不对)
  3、图解式管理系统时代已经结束。图解的发展只会成为大数据应用的拦路虎。(可笑的错误)
  大数据与开源的关系
  “很多人认为Hadoop和大数据基本上是一个意思。这是错误的,”Olofson说。并解释道: Teradata, MySQL和“智能聚合技术”的某些安装启用都用不到Hadoop,但它们也可以被认为是大数据。
  Hadoop是一种用于大数据的应用程序,因为它是建立在MapReduce基础上的,所以引起了极大的关注。(MapReduce是一种用于超级计算的普通方法,之后经过了主要由Google资助的一个项目的优化,因此被简化并变得考究了。) Hadoop是几个紧密关联的Apache项目组成的混合体的主要安装启用程序,其中包括MapReduce环境中的HBase数据库。
  为了充分利用Hadoop和类似的先进技术,软件开发商们绞尽脑汁研发出了各种各样的技术,其中很多都是在开源社区里开发出来的。
  Olofson 说“他们已经开发出了大量的所谓noSQL数据库,种类之多让人眼花缭乱,其中大部分都是键值配对数据库,能利用多种技术对性能或种类或容量进行优化。”
  开源技术还没有得到商业支持。“所以在这方面还需要经过一段时间的发展完善,这一过程可能需要几年。基于这个原因,大数据可能需要一些时日才能在市场上走向成熟”他补充道。
  据IDC预计,年内至少有三家商业公司能以某种方式给予Hadoop支持。同时,包括Datameer 在内的几家企业将发布配有Hadoop组件的分析工具,这种工具能帮助企业开发自己的应用程序。Cloudera和Tableau公司的产品清单里已经出现了Hadoop。
  hadoop是什么?在阅读完上面的资料后,相信读者对hadoop有了一定了解。  
   相关阅读
   应该在什么时候使用Hadoop
   2015年有关Hadoop的10个预测
  本文为 中国大数据产业观察网原创精编文章,转载请注明链接 www.cbdio.com
责任编辑:陈卓阳
产业观察
2015-05-11 11:14:58
医疗大数据概念解读:大数据应用在医疗行业
来源: 中国大数据产业观察网 时间:2015-05-15 18:20:19 作者:
  医疗大数据概念是什么? 医疗大数据能够给人们的生活带来怎样的影响?下面我们将详细介绍。
  大数据技术已经应用在电信、金融、教育、医疗、军事、电子商务甚至政府决策等几乎所有的领域,尤其在医疗领域的应用越来越多,因此,大数据技术在医疗领域的项目管理逐渐引起人们的重视。针对大数据技术在医疗领域的发展趋势和当前面临的问题,研究大数据技术在医疗领域项目的工程实施过程中的管理调整及解决措施,从而引导和促进大数据技术在医疗领域应用的快速、健康发展。
  大数据(big data)如何用于互联网医疗
  大数据(big data)在医疗领域中所扮演的角色正在被不断地放大,Big Data在医疗领域的基本应用过程如下:
  1、搜集和聚合来自各个来源的巨量患者信息;
  2、以各种目的导向出发,分析搜集到的信息,比如优化患者的诊疗、提高医疗体系的效率;
  3、应用数据分析的结果,改善患者的治疗,提高医疗系统的投资回报率;
   大数据在医疗领域中的应用正在被逐渐铺开,其好处也将日益凸显,当前主要的意义在于:
  1、通过对临床数据q的分析,对患者进行更有前瞻性的治疗和照护,提高疾病的治疗效果;
  2、通过对最新的数据库的分析提高对临床决策的支持;
  3、通过对统计工具和算法的使用来改善临床试验的设计;
  4、通过对大数据集的分析为个性化医疗提供支持;
  5、通过优化业务决策支持,以确保医疗资源的适当分配;
  大数据(big data)的风暴其实早已席卷全球除医疗外的各个领域,而伴随其在医疗领域的迅速扩张,将会有越来越多的机构意识到big data对服务患者、医疗人员甚至是他们自己所起到的重要作用。
  大数据技术在医疗领域的发展趋势
  除了较早前就开始利用大数据的互联网公司,医疗行业是让大数据分析最先发扬光大的传统行业之一。医疗行业早就遇到了海量数据和非结构化数据的挑战,而近年来很多国家都在积极推进医疗信息化发展,因此,医疗行业将和银行、电信、保险等行业一起首先迈入大数据时代。麦肯锡在其报告中指出,排除体制障碍,大数据分析可以帮助美国的医疗服务业一年创造3000亿美元的附加价值。
  通过大数据技术可以加速医学的猜想、发现到医疗实践的转化:借助于不断增长的私密和公开医疗数据,大数据技术帮助人们存储管理好医疗大数据并从大体量、高复杂的数据中提取价值,相关的医疗技术、产品将不断涌现,将有可能给医疗行业开拓一个新的黄金时代。大数据技术在医疗行业的应用将包含以下方向:临床数据对比;药品研发;临床决策支持;实时统计分析;基本药物临床应用分析;远程病人数据分析;人口统计学分析;新农合基金数据分析;就诊行为分析;新的服务模式。目前,发达国家已经占据了先机,取得了一些成果,如谷歌在H1N1流感预测方面的成功等,大数据在我国医疗领域的应用相对比较保守,但相关部署也已经开始启动。
  大数据技术在医疗领域的发展将呈现以下趋势:
  1)大数据技术在未来为决策提供更多的支持
  随着医疗和健康数据的急剧扩容和几何级的增长,利用包括影像数据,病历数据、检验检查结果、诊疗费用等在内的各种数据,运用大数据技术对各种数据进行筛选、分析,为广大患者,医务人员,科研人员及政府决策者提供服务和协助,必将成为未来医疗领域工作的重要方向。
  2)提供越来越多个性化的服务
  利用“大数据”,公共卫生研究机构能够更早地预测即将爆发的传染病及其传播范围和规模。对于个体而言,大数据就是全数据,通过集中全部诊疗信息、体检信息形成个体的全健康档案,可以使患者得到更有针对性的治疗方案。
  3)催生新的业务模式和服务模式
  除了一般的为诊断提供支持服务外,运用大数据技术还可以解决“看病难”的问题,例如通过“ 云计算+大数据”就可以相助其成通过网络平台,患者可以实现网络预约、异地就诊、医疗保险信息即时结算;医疗机构之间能够实现同级检查结果互认,节省医疗资源,减轻患者负担。大数据技术在医疗领域将不断催生新的业务模式和服务模式。
  4)处理过程及传输的实时化、及时化
  大数据技术未来在医疗领域的应用会越来越多,许多服务都需要实时的统计分析结果,为决策提供支持。处理过程及传输的实时化、及时化是未来大数据技术在医疗领域发展的重要趋势之一。
  5)大数据技术在医疗领域的不断创新
  目前,大数据相关的技术和工具非常多,给企业提供了更多的选择。在未来,为了使大数据技术在医疗领域使用更方便,还会继续出现新的技术和工具,如新的数据及分析模型与技术、 Hadoop分发、下一代数据仓库等,这也是大数据领域的创新热点。
  提到医疗大数据的发展趋势,移动医疗大数据也许是一个方向。那么,我们来了解下它的一些情况。

  移动医疗大数据,掘金在何方?
  现有的医疗体系广受诟病,众多互联网巨头纷纷紧盯,用户对医疗业的需求量庞大,移动医疗成为移动互联网重要的入口之一。2014,作为国内移动医疗发展的元年,2015,移动医疗如何落地与规划发展,一瞬间变成了整个互联网行业的焦点。
  而对于移动医疗大数据,却是谈得多,见得少。究竟在未来的发展趋势中,它又会扮演几重角色?医疗数据,最重要的是病历和保险报销数据。对这些数据的挖掘正是对医学本身和医疗服务的二次发现和感知,在移动医疗领域,它们的价值正日渐突现。
  移动医疗领域的 大数据分析有可能提供以下一些应用场景:
  为更好的临床决策提供服务
  平台趋势和垂直深耕,是目前国内移动医疗的两大趋势。做平台的多,成熟之如好大夫、丁香园、春雨医生,均着重于平台的搭建;而杏树林是唯一一款为医生用户提供服务的软件。深耕医生用户,使之行医更方便,杏树林的病历夹是其明星产品,通过医生上传的海量病历,从而掌握大量数据,而这些数据日后的最大的价值可能是为医生提供更好的临床决策分析,给予医生用户更佳的服务。比如,一个患有负责疾病的患者因为得不到确诊,而他的主诊医生在上传其病历后,能够获得几个与之类似的病历,供参考学习。而且对海量病历数据的分析,可以提示医生诊断是哪种病的概率是多少。
  目前来看,作为深耕医生用户的杏树林,它也存在一定的局限性。比如,在病历夹的使用上,目前医生或科室之间尚处于各自为战的状态,未来杏树林将搭建起一个“云平台”,让医生对患者的治疗过程以及治疗措施,能够在“云平台”上存储及共享。此时,大数据就将发挥其特有的优势,为医生在诊治过程中提供参考价值,对于医生的临床决策将提供更好的服务。甚至通过大数据,能够筛选出最佳的诊疗方案。
  药企与科研机构的“金钥匙”
  杏树林的“云平台”建立之后,对药企和科研机构将提供更加精准的科研数据,从而作为市场分析的依据。药企或医疗器械的厂商可以根据某类病症的数据反映,定向地研发和定量地生产,避免资源浪费。
  对于科研机构来说,大数据的集中反映,可以使科研机构的研发更加有针对性,甚至可以准确地定位到患者,或某类病症,从而实现精确医疗。
  药企和科研单位打开患者市场需要一把“钥匙”,而大数据可以把患者的各类需求精确地呈现出来。对于医疗行业而言,最强的数据亦是最标准的数据。
  病人建立自己的“病历夹”
  如果一个人从他出生开始,他的身体呈现出来的数据,一直到其生命终结都会完整地呈现在他面前以及医生对他每一次的诊治中。可以想象,这将对病人的健康提供多大的帮助,而这正是未来医疗大数据应用可能实现的愿景。
  杏树林目前在做的即是这样的数据积累,它将搭建的“云平台”将完整地保留这些资料和数据,而未来,不仅是医生可以调用这些数据进行诊治,患者亦可通过这些数据建立自己的病历资料,从而实现为自身健康的个性化定制服务。
  让天下没有难做的“医生”!让每一个病历都发挥其数据的价值。而对于国内的移动医疗来说,先实现其社会价值,再讨论其可能带来的商业盈利模式,大数据掘金,已经在路上。
  医疗大数据概念是什么?上面的资料也许无法立刻让大家明白,不过通过上面的介绍,可能会让大家有个初略的认识。如果想了解更多医疗大数据的资讯,请关注 中国大数据产业观察网。
  相关阅读
   医疗数据到底该不该公开
  大数据技术与应用案例详解:获取有价值信息
  本文资料出自动脉网、赛迪网、ZDNetserver频道
  本文为中国大数据产业观察网原创精编,转载请注明链接:www.cbdio.com
产业观察
2015-05-15 18:20:19
大数据是什么意思
来源: 中国大数据产业观察网 时间:2015-04-30 17:48:53 作者:
  大数据是什么意思?下面我们会详细介绍。
  大数据-百度百科
  大数据(big data,mega data),或称巨量资料,指的是需要新处理模式才能具有更强的决策力、洞察力和流程优化能力的海量、高增长率和多样化的信息资产。
  在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》 中大数据指不用随机分析法(抽样调查)这样的捷径,而采用所有数据进行分析处理。大数据的4V特点:Volume(大量)、Velocity(高速)、Variety(多样)、Value(价值)。
  对于“大数据”(Big data)研究机构Gartner给出了这样的定义。“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。
  大数据技术的战略意义不在于掌握庞大的数据信息,而在于对这些含有意义的数据进行专业化处理。换言之,如果把大数据比作一种产业,那么这种产业实现盈利的关键,在于提高对数据的“加工能力”,通过“加工”实现数据的“增值”。
  从技术上看,大数据与云计算的关系就像一枚硬币的正反面一样密不可分。大数据必然无法用单台的计算机进行处理,必须采用分布式架构。它的特色在于对海量数据进行分布式数据挖掘,但它必须依托云计算的分布式处理、分布式数据库和云存储、虚拟化技术。
  随着云时代的来临,大数据(Big data)也吸引了越来越多的关注。《著云台》的分析师团队认为,大数据(Big data)通常用来形容一个公司创造的大量非结构化数据和半结构化数据,这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱。大数据分析常和云计算联系到一起,因为实时的大型数据集分析需要像MapReduce一样的框架来向数十、数百或甚至数千的电脑分配工作。
  大数据需要特殊的技术,以有效地处理大量的容忍经过时间内的数据。适用于大数据的技术,包括大规模并行处理(MPP)数据库、数据挖掘电网、分布式文件系统、分布式数据库、云计算平台、互联网和可扩展的存储系统。
  大数据-维基百科
  大数据(英语:Big data或Megadata),或称巨量数据、海量数据、大资料,指的是所涉及的数据量规模巨大到无法通过人工,在合理时间内达到截取、管理、处理、并整理成为人类所能解读的信息[3][4]。在总数据量相同的情况下,与个别分析独立的小型数据集(data set)相比,将各个小型数据集合并后进行分析可得出许多额外的信息和数据关系性,可用来察觉商业趋势、判定研究质量、避免疾病扩散、打击犯罪或测定实时交通路况等;这样的用途正是大型数据集盛行的原因。
  截至2012年,技术上可在合理时间内分析处理的数据集大小单位为艾字节(exabytes)。在许多领域,由于数据集过度庞大,科学家经常在分析处理上遭遇限制和阻碍;这些领域包括气象学、基因组学[9]、神经网络体学、复杂的物理模拟,以及生物和环境研究。这样的限制也对网络搜索、金融与经济信息学造成影响。数据集大小增长的部分原因来自于信息持续从各种来源被广泛收集,这些来源包括搭载感测设备的移动设备、高空感测科技(遥感)、软件记录、相机、麦克风、无线射频辨识(RFID)和无线感测网络。自1980年代起,现代科技可存储数据的容量每40个月即增加一倍;截至2012年,全世界每天产生2.5艾字节(2.5×1018)的数据。
  大数据几乎无法使用大多数的数据库管理系统处理,而必须使用“在数十、数百甚至数千台服务器上同时平行运行的软件”。大数据的定义取决于持有数据组的机构之能力,以及其平常用来处理分析数据的软件之能力。“对某些组织来说,第一次面对数百GB的数据集可能让他们需要重新思考数据管理的选项。对于其他组织来说,数据集可能需要达到数十或数百兆字节才会对他们造成困扰。”
  随着大数据被越来越多的提及,有些人惊呼大数据时代已经到来了,2012年《纽约时报》的一篇专栏中写到,“大数据”时代已经降临,在商业、经济及其他领域中,决策将日益基于数据和分析而作出,而并非基于经验和直觉。但是并不是所有人都对big data感兴趣,有些人甚至认为这是商学院或咨询公司用来哗众取宠的buzzword,看起来很新颖,但只是把传统重新包装,之前在学术研究或者政策决策中也有海量数据的支撑,大数据并不是一件新兴事物。
  大数据时代的来临带来无数的机遇,但是与此同时个人或机构的隐私权也极有可能受到冲击,大数据包含了各种个人信息数据,现有的隐私保护法律或政策无力解决这些新出现的问题。有人提出,大数据时代,个人是否拥有“被遗忘权”,被遗忘权即是否有权利要求数据商不保留自己的某些信息,大数据时代信息为某些互联网巨头所控制,但是数据商收集任何数据未必都获得用户的许可,其对数据的控制权不具有合法性。2014年5月13日欧盟法院就“被遗忘权”(right to be forgotten)一案作出裁定,判决Google应根据用户请求删除不完整的、无关紧要的、不相关的数据以保证数据不出现在搜索结果中。这说明在大数据时代,加强对用户个人权利的尊重才是时势所趋的潮流。
  大数据的应用
   大数据应用在生活中可以帮助我们获取到有用的价值。
  随着大数据的应用越来越广泛,应用的行业也越来越低,我们每日都可以看到大数据的一些新颖的应用,从而帮助人们从中获取到真正有用的价值。许多组织或者个人都会受到大数据的剖析影响,但是大数据是怎样帮助人们挖掘出有价值的信息呢?下面就让我们一起来看看九个价值极度高的大数据的应用,这些都是大数据在剖析应用上的关键领域:
  1.理解客户、满足客户服务需求
  大数据的应用现在在这领域是最广为人知的。重点是怎样应用大数据更好的了解客户以及他们的喜好和行为。企业极度喜欢搜集社交方面的数据、浏览器的日志、剖析出文本和传感器的数据,为了更加全面的了解客户。在通常情况下,创建出数据模型进行预测。好比美国的著名零售商Target就是通过大数据的剖析,获得有价值的信息,精准得预测到客户在什么时间想要小孩。另外,通过大数据的应用,电信公司可以更好预测出流失的客户,沃尔玛则更加精准的预测哪个产品会大卖,汽车保险行业会了解客户的需求和驾驶水平,政府也能了解到选民的偏好。
  2.业务流程优化
  大数据也更多的帮助业务流程的优化。可以通过利用社交媒体数据、网络搜索以及天气预告挖掘出有价值的数据,其中大数据的应用最广泛的就是供应链以及配送路线的优化。在这2个方面,地理定位和无线电频率的识别追踪货物和送货车,利用实时交通路线数据制订更加优化的路线。人力资源业务也通过大数据的剖析来进行改良,这其中就包括了人才招聘的优化。
  3.大数据正在改善我们的生活
  大数据不但单只是应用于企业和政府,同样也适用我们生活当中的每个人。我们可以利用穿着的装备(如智能手表或者智能手环)生成最新的数据,这让我们可以凭据我们热量的消耗以及睡眠模式来进行追踪。而且还利用利用大数据剖析来寻找属于我们的爱情,大多数时间交友网站就是大数据应用工具来帮助需要的人匹配合适的对象。
  4.提高医疗和研发
  大数据剖析应用的计算能力可以让我们能够在几分钟内就可以解码整个DNA。而且让我们可以制订出最新的治疗方案。同时可以更好的去理解和预测疾病。就好像人们戴上智能手表等可以形成的数据一样,大数据同样可以帮助病人对于病情进行更好的治疗。大数据技术现在已经在医院应用监视早产婴儿和患病婴儿的情况,通过记录和剖析婴儿的心跳,医生针对婴儿的身体可能会出现不适症状做出预测。这样可以帮助医生更好的救助婴儿。
   相关阅读: 大数据应用案例:改善人们生活
  大数据是什么意思?相信大家通过上面的文字有了一定了解。如果有更多大数据相关资讯,请关注: 中国大数据产业观察网
  注:本文为中国大数据产业观察网原创精编稿件,转载请注明链接:www.cbdio.com
责任编辑:陈卓阳
产业观察
2015-04-30 17:48:53
大数据知识科普:什么叫大数据
来源: 数据观 时间:2015-07-23 15:08:21 作者:
  近些年来,大数据越来越火热,但是有不少网友对大数据基本的概念还有些模糊。从字面上来看,大数据就是比较大的数据。那么这个“大”到底是指形状大,还是数量大呢?同时,这个大数据是怎么来的,它到底又有什么样的作用呢?下面我们将一一解答。
  大数据产生的背景
  进入2012年,大数据(big data)一词越来越多地被提及,人们用它来描述和定义信息爆炸时代产生的海量数据,并命名与之相关的技术发展与创新。它已经上过《纽约时报》《华尔街日报》的专栏封面,进入美国白宫官网的新闻,现身在国内一些互联网主题的讲座沙龙中,甚至被嗅觉灵敏的国金证券、国泰君安、银河证券等写进了投资推荐报告。
  最早提出“大数据”时代到来的是全球知名咨询公司麦肯锡,麦肯锡称:“ 数据,已经渗透到当今每一个行业和业务职能领域,成为重要的生产因素。人们对于海量数据的挖掘和运用,预示着新一波生产率增长和消费者盈余浪潮的到来。” “大数据”在物理学、生物学、环境生态学等领域以及军事、金融、通讯等行业存在已有时日,却因为近年来互联网和信息行业的发展而引起人们关注。
  大数据到底是什么
  对于“大数据”(Big data)研究机构Gartner给出了这样的定义。“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。维基百科的定义,大数据是指无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合。
  简单来说,大数据具有4V的特点:Volume(大量)、Velocity(高速)、Variety(多样)、Value(价值)。
  根据国际数据公司(IDC)的《数据宇宙》报告显示:2008年全球数量为0.5ZB,2010年为1.2ZB,人类正式进入ZB时代。更为惊人的是,2020年以前全球数据量仍将保持每年40%多的高速增长,大约每两年就翻一倍,这与IT界的摩尔定律极为相似,姑且称之为“大数据爆炸定律”。
  上面内容中提到了“ZB”的概念,那么它具体是指什么意思呢?
  我们平常所熟知的数据的大小是“G”、"M"等,比如说,一部高清电影大约1个G左右,一首歌曲的大小为几M。
  1G=1024M
  1M=1024KB
  1B=8bit
  bit中文名称是位,音译“比特”,是用以描述电脑数据量的最小单位。
  bit 来自binary digit (二进制数字),由数学家John Wilder Tukey提出(可能是1946年提出,但有资料称1943年就提出了)。这个术语第一次被正式使用,是在香农著名的论文《通信的数学理论》(A Mathematical Theory of Communication)第1页中。[1]
  二进制数系统中,每个0或1就是一个位(bit)。
  上面KB中的“B”就是字节的意思,英文为“byte”.我们电脑文档中的汉字占两个字节,英文字母占一个字节。路遥先生的《平凡的世界》这本书约有一百万字,换算成字节就是两百万个字节,为2000000B。
  而具体的换算方法为
  1KB=1024B;1MB=1024KB=1024×1024B。其中1024=210。
  1B(byte,字节)= 8 bit(见下文);
  1KB(Kibibyte,千字节)=1024B= 2^10 B;
  1MB(Mebibyte,兆字节,百万字节,简称“兆”)=1024KB= 2^20 B;
  1GB(Gigabyte,吉字节,十亿字节,又称“千兆”)=1024MB= 2^30 B;
  1TB(Terabyte,万亿字节,太字节)=1024GB= 2^40 B;
  1PB(Petabyte,千万亿字节,拍字节)=1024TB= 2^50 B;
  1EB(Exabyte,百亿亿字节,艾字节)=1024PB= 2^60 B;
  1ZB(Zettabyte,十万亿亿字节,泽字节)= 1024EB= 2^70 B;
  1YB(Yottabyte,一亿亿亿字节,尧字节)= 1024ZB= 2^80 B;
  1BB(Brontobyte,一千亿亿亿字节)= 1024YB= 2^90 B;
  1NB(NonaByte,一百万亿亿亿字节) = 1024 BB = 2^100 B;
  1DB(DoggaByte,十亿亿亿亿字节) = 1024 NB = 2^110 B;
  从上面可知, 1ZB(Zettabyte,十万亿亿字节,泽字节)= 1024EB= 2^70 B;,这个数量级实在是恐怖,可想而知大数据到底有多大。
   大数据有什么用呢?
  大数据的应用其实早已渗透到人们生活中的方方面面:亚马逊运用大数据为客户推荐商品信息,阿里用大数据成立了小微金融服务集团,而谷歌更是计划用大数据接管世界??当下,很多行业都开始增加对大数据的需求。大数据时代不仅处理着海量的数据,同时也加工、传播、分享它们。不知不觉中,数据可视化已经遍布我们生活的每一个角落,毕竟普通用户往往更关心结果的展示。伴随去年底百度地图采用LBS定位春运的可视化大数据,就引起了学界对新闻创新和大数据可视化的热议。
  就拿我们手中的智能手机来说吧,它既是一款数据采集工具,同时也是一个多媒体的数据可视化展示平台;现在的新闻播报也越来越多的用到数据图表,动态演示且立体化的呈现报道内容;影视剧和电子游戏频繁出现的数据可视化元素,无疑让作品的科技与未来感更加丰满;教育与科普方面则是数据可视化更大的应用领域,人们开始对单调保守的讲述方式失去兴趣,期待更加直观、高效的信息呈现形式,数据可视化正好弥补了这项需求。在智能手机、平板电脑和车载电脑等平台日渐普及的当下,新的交互手段将会成为数据可视化的趋势。
  数据 可视化起源于1960年计算机图形学,那时候人们使用计算机创建图形图表,可视化提取出来的数据,可以将数据的各种属性和变量呈现出来。随着计算机硬件的发展,人们创建更复杂规模更大的数字模型,于是乎发展了数据采集设备和数据保存设备,而此时也需要更高级的计算机图形学技术及方法来创建这些规模庞大的数据集。随着数据可视化平台的拓展,应用领域的增加,表现形式的不断变化,以及增加了诸如实时动态效果、用户交互使用等,数据可视化像所有新兴概念一样边界不断扩大。
  相关阅读
   大数据是什么意思
   大数据技术与应用案例详解:获取有价值信息
   云计算概念详解:共享软硬件资源信息
   本文为 中国大数据产业观察网原创精编,转载请注明来源:www.cbdio.com
产业观察
2015-07-23 15:08:21
软通智慧:打造工业云平台 助力智能制造产业发展
来源: 软通智慧 时间:2018-10-16 18:37:17 作者:
由江苏省人民政府、工业和信息化部、中国工程院、中国科学技术协会共同主办的2018世界智能制造大会近日在南京拉开帷幕。本次大会以“赋能升级,智造未来”为主题,并由智领全球发布会、智领全球高峰会、智领全球嘉年华和智领全球博览会四大板块组成,是全球智能制造领域又一次大规模、国际性交流研讨的高端峰会。软通智慧副总裁曹晓兵以战略市场与生态中心总经理以及边缘计算产业联盟副秘书长的双重身份,受邀出席此次世界智能制造大会,并与来自国内外智能制造领域的专家、学者、两院院士进行对话、研讨和交流。  
此次大会先后发布了《2017-2018中国智能制造发展年度报告》、《2018世界智能制造十大科技进展》和《2018中国智能制造十大科技进展》。相关报告显示,2017年,全球智能制造主要的支撑产业规模已经达到了4300亿美元,预计到2025年将突破万亿美元,中国或将成为全球最大的智能制造市场。
智能制造未来商业模式 :从B2C向C2B
曹晓兵在高端对话环节中表示,智能制造可以从狭义和广义两个纬度进行理解。狭义的智能制造是一种由机器和人类共同组成的人机一体化智能系统,它在生产制造过程中能进行信息采集、数据分析、逻辑判断、自动控制、自主决策等活动。通过人与智能机器的协作,去扩大、延伸和部分地取代人类在生产制造过程中的脑力和体力劳动。而广义的智能制造不仅是生产制造过程的自动化、信息化、数字化和智能化,也是整个生产制造产业链条乃至产业生态的信息化、数字化和智能化,涉及设计、生产、采购、物流、仓储、营销、服务等一系列环节。智能制造在制造业领域的突出作用是可以提升效率、增加产能、保证质量、提高效益,更使得技术创新、产品创新、服务创新以及商业模式创新成为可能。未来的商业模式从B2C向C2B转变也已不再是天方夜谭。过去都讲B2C,企业制造什么,消费者就买什么,未来的尝试一定是C2B,将按照个性化的需求去生产,去制造。谈到目前智能制造的建设实施中,企业面临的困难与挑战,曹晓兵认为主要有三个方面:
一是我国的制造业整体水平较之世界先进水平还有一定差距,主要表现在我国的生产制造型企业大都还处在从自动化向信息化发展的初期阶段,距离真正的数字化、智能化还有较长的路要走。二是在智能制造的建设和实施过程中,还没有形成一套行之有效的标准体系,更缺乏标准化的产品和解决方案。三是智能制造产业链条中,上下游企业之间的利益分配和共享机制还不够合理,大都还是简单的买和卖的关系,没有建立长期的合作、共享与分享机制,比如信息技术和通信企业在通过科技手段帮助制造型企业提升生产效率、保障生产质量和提高生产效益的同时,并不能合理地、长期地分享制造企业因为效益提升而带来的成果和收益,因而不能真正有效地刺激IT、CT和OT的深度融合和联合创新,必然迟滞和阻碍智能制造产业的发展进程。“软通智慧正试图通过云计算、物联网、大数据以及人工智能等新一代信息技术结合产品、服务和模式创新,解决和突破上述困难与挑战,助力中国智能制造产业健康、有序发展。”曹晓兵表示。  
打造工业云平台 赋能智能制造产业
当前,以制造业为支柱的中国经济发展能否保持高增速,能否跳出中等收入陷阱,是事关国运兴衰的重要指标,制造业在城市中扮演至关重要的作用,中国很多城市制造业占据超过一半的GDP,智能制造与智慧城市拥有不可分割的密切关系。
软通智慧在智慧城市和城市数字建设领域是行业领军企业,在智能制造领域也早有布局,并结合物联网、互联网、云计算、大数据等相关信息技术,打造了“工业云平台”解决方案。该方案主要包括设计协同、制造协同、资源协同三个方面:设计协同平台提供云服务设计软件,支持不同设计人员之间实现相互之间在线交流。客户也能参与设计过程,一方面减少相互之间沟通的时间成本,另一方面满足客户的定制化需求;制造协同平台实现零部件生产之间的线上协同,工厂之间共享信息,实现制造过程的紧密配合,减少中间的协调沟通时间,减少中间环节的等待时间和存储仓库,实现快速交付产品;资源协同平台撮合企业之间的制造资源,将企业的生产能力和企业的生产资源一起提供服务,帮助把客户的需求和企业的服务快速匹配。该平台能优化城市的生产资源配置,提高制造资源的利用率,还能帮助中小创新型制造企业低成本获取制造资源。“工业云平台”解决方案不仅提供了生产智慧化、产品智能化、云设计、设备监测、生产服务化转型、个性化定制、协同制造等云服务,更具意义的是与产业企业深度融合,形成新的生产方式、服务方式、产业形态和商业模式。
于企业自身而言,“工业云平台”为企业获取基于信息技术提升经营管理能力提供持续先进、及时有效的服务平台;于政府而言,为政府职能部门提供数据汇聚、数据模型、智能算法、数据分析、数据决策服务;于产业而言,为传统制造业实现网络化、数字化、智能化转型升级提供了资源丰富、服务及时的服务平台。
强强联合 打造智能制造产业生态
要想实现智慧城市,一方面制造业的智能升级必不可少,另一方面,制造业并不是孤立的,要实现智能制造,需要各个领域的共同参与。基于此,软通智慧通过联合政府、组建联盟、携手华为、西门子、汉得等合作伙伴,共同打造智能制造产业生态,并联合华为、Intel、ARM、中科院沈阳自动化研究所以及工信部信通院等机构共同发起边缘计算产业联盟(ECC),共同推进IT、CT与OT产业的深度融合。
为了践行“中国制造2025”, 在铸造行业、汽车行业和机械加工行业,软通智慧与华为强强联合,华为负责方案设计、产品选型、产品研发等工作,软通智慧负责工业云平台、云资源、云应用以及物联网建设相关的技术服务,双方共同拓展区域和行业市场,重点推进湖北、宁夏和沈阳等省市的落地试点工作。在电子制造行业,与华为也在不断推动智能制造的落地、实施及应用。
此外,与德国 Siemens PLM Software的合作,双方依托软通智慧在云计算、大数据、物联网、人工智能等方面的技术能力和服务百余个城市的资源和经验,以及西门子在全球智能制造领域领先的软件技术能力、专家资源以及制造行业的服务经验,发挥在各自领域的综合优势,整合各地制造业优势资源,开展智能制造相关技术研发,推广智能制造融合解决方案,共同助力制造业的升级转型及深入发展。
当前,以智能制造为核心的第四次工业革命已经爆发,各个国家均在利用新一代信息技术,抢占制造业智能制造先机。2018年“两会”期间,中国首次把“发展工业互联网平台”写入政府工作报告,国内工业转型发展沃土已成。未来,云计算、大数据、人工智能等新技术能为中国的制造业带来高达6万亿的额外附加值;工业互联网2020年将达到万亿规模;工业企业上云市场预计1200亿以上。软通智慧将持续探寻新技术的驱动力,并赋能制造产业,助力中国智能制造扬帆远航。
责任编辑:陈近梅
产业观察
2018-10-16 18:37:17
湖北:178家部门仅38家提供数据 政府大数据共享到底卡在哪
来源:湖北日报 时间:2018-10-16 18:17:32 作者:沈都
  深化“互联网+政务服务”的一项基础是建立大数据中心,实现各部门、各层级数据互通互联。今年6月,咸宁市政府大数据中心建成,然而全市178家部门中仅有38家共享了数据,大部分单位至今未接入数据。9月25日,省政府第十一督查组在咸宁组织召开优化营商环境座谈会上,打破信息孤岛、共建互联海洋的呼声强烈。
  近年来,为深入推进“放管服”改革,国家、省以及各市相继制订“互联网+政务服务”配套制度。2016年底,我省出台《关于加快推进“互联网+政务服务”工作的实施意见》,明确要求省、市、县三级人民政府及其工作部门初步建成一体化网上政务服务平台,实现各部门、各层级数据信息互联互通、充分共享。前不久,省政府再次下发文件,要求推进“一网、一门、一次”改革,强化数据共享,打通信息孤岛,最大限度利企便民。
  咸宁市政务服务中心相关负责人介绍,该市于3年前启动大数据中心建设,今年正式建成,形成了大数据平台、政务云平台、数据共享交换平台三大平台,并与省信息中心进行了互联互通。按要求,该市178家部门中,今年应有78家给大数据中心接入数据,但至今只有38家提供,大部分单位接入数据行动迟缓。
  互通互联咋这么难?该负责人分析,一些部门如海关、税务、工商等属于中央或省垂直管理,他们采取单独的政务系统,数据只提供给省信息中心,再根据地市发起需求由省信息中心进行回传,其流程复杂、耗时漫长。还有一些部门将数据资源视为自有资产,怕数据共享后招惹麻烦,不愿担责,采取软磨硬泡能拖则拖,导致数据互联困难重重。
  实行数据共享,利民效果明显。咸宁市今年在精准扶贫过程中,需对2万多条个人信息核查,以给予优惠帮扶。按传统人工核对方法,起码得几周时间,然而采用现有大数据中心技术,仅用2个多小时比对完毕,查出2000多条问题线索。“这还只是利用了现有38家单位的数据,如果提供的数据越多,比对准确率还会提高。大数据中心就像是建好的图书馆,图书越多受惠面就越大。没有足够的数据,就像是没有书的图书馆,共享也就成了空想。”
  咸宁市相关人士建议,要推进各级、各部门数据互联互通,首先要建立全市统一的管理体制,明确数据化建设的标准。其次,建立奖惩机制,划定各部门数据互通互联的时间底限,严格限制不能共享的数据种类,让利企便民真正驶上数据高速公路。(记者 沈都)
 
责任编辑:陈近梅
产业观察
2018-10-16 18:17:32
京津冀首个区块链产业园落户曹妃甸
来源:首都建设报 时间:2018-10-16 17:12:48 作者:李晓鹏
  10月12日,在第三届曹妃甸海洋发展大会上,曹妃甸区政府与唐山创到区块链科技有限公司举办曹妃甸大数据区块链产业园签约仪式。标志着京津冀地区首个区块链产业园正式成立,意味着曹妃甸发展区块链等数字产业正式拉开序幕。
  区块链技术可以用于解决传统行业的痛点难点,智能合约解决了信任问题、贡献机制解决激励问题以及去中心化解决中介问题。此次合作旨在将曹妃甸大数据区块链产业园打造为区块链技术行业的标杆,京津冀地区区块链产业加速最好的示范样本,京津冀地区大数据和区块链人才和工业聚集地。目前,曹妃甸大数据区块链产业园已经全面开放注册和入驻申请。
  由中国海洋工程咨询协会、首钢集团和曹妃甸区人民政府共同举办的“第三届曹妃甸海洋发展大会”围绕“坚持陆海统筹,加强海洋资源保护利用,推动海洋经济高质量发展”主题,在海洋发展规划、海洋生态保护修复、海洋资源保护利用和滨海城市建设等方面,进行政策解读、趋势分析和实践分享。
  首钢集团总公司副总经理韩庆表示,首钢搬迁,实现了从“山”到“海”的跨越,实现了钢铁产品由传统长材向高端板材转变、由低附加值向高附加值转变,实现了钢铁业全面升级。通过打造全新的资本运营平台,实现钢铁和城市综合服务商两大主导产业并重和协同发展。以北京、曹妃甸和秦皇岛三大园区为载体,以“园区+新产业”为途径,打造首钢发展城市服务业的新模式和新优势。(记者 李晓鹏)
 
责任编辑:陈近梅
产业观察
2018-10-16 17:12:48
神策数据2018数据驱动大会在京成功举办
“场景赋能•驱动有数”
来源:神策数据 时间:2018-10-16 17:00:01 作者:
10月16日,以“场景赋能•驱动有数”为主题的神策数据 2018 数据驱动大会在北京丽亭华苑酒店如期举行,来自全球大数据各大行业的领袖人物聚首北京,融合国际前沿技术与行业经验,从全球视野与中国本地实践的角度聚焦大数据最佳场景化应用,深入探讨时代浪潮下的新生态、新洞察、新实践。
“场景赋能,驱动有数”中,“场景”是本次大会核心,嘉宾演讲主题、星斗奖奖项的评选条件,以至神策数据新产品矩阵的背后理念,无一不贯穿“数据驱动的落地场景”这一核心思想;“驱动有数”通“驱动有术”,旨在强调数据价值和数据驱动方法论体系。
大会为期两天,设立 20+ 场主题演讲、数据精英训练营等环节,包括东方明珠、太平洋保险集团、奥美中国、APUS、中商惠民等在内的 30+ 家国内外神策数据的客户、合作伙伴及支持者出席演讲。
聚焦前沿,Ian Thiel 国内首谈“所到之处必增长”秘籍
以全球视野萃取本土智慧。神策•数据驱动大会一直是行业内展现数据驱动理论实践的前沿阵地,以全球视野聚焦国内本土企业数据化建设升级转型,构建中外创新交流平台,为中国创新数据驱动道路提供真知灼见。就市场容量、科技发达程度和市场活跃度而言,硅谷始终是全球大数据行业发展的风向标。
继精益数据分析鼻祖阿利斯泰尔•克罗尔(Alistair Croll)做客 2017 数据驱动大会后,硅谷增长专家 Ian Thiel 的国内首次亮相,再次为业界所瞩目。
Ian Thiel 是硅谷首席增长顾问,任职 Optimizely 4 年内让营收增长超 30 倍,现任硅谷知名创业项目 Alto Pharmacy 的增长负责人,2 年内将 4 千万元营收提升至 5.5 亿元,因此被誉为“所到之处必增长”的增长黑客。  
Ian Thiel 神策2018数据驱动演讲
他现场指出,“增长”不是一个人的力量,商业成功总是有迹可循。他分享了多年来所沉淀的数据驱动增长的精髓,从 0 到 1 介绍如何搭建增长模型,并以 Tesla、 Amazon、 Airtable 为例,详解搭建增长模型的几大原则——目标、测试、价值、量化。同时他指出,增长模型一定要随着公司的发展而不断地迭代,就像一台 F1 赛车需要一群后勤维修人员定期维护一样。
Ian Thiel 表示,这是个人首次应允出席中国国内大数据行业会议。当被问及参与此次大会感受时,他表示:“中国市场规模极其巨大,仍具有很开阔的市场待开发,虽中美环境差异较大,但数据驱动的理念有很多是相通的,我对神策数据有很高的期待。”
顺势聚变,如何把握大数据时代机遇
在大会现场,神策数据创始人 & CEO 桑文锋发表名为《数据化建设的时代机遇》的主题演讲,他分享了新时代数据化建设面临的挑战和机遇,并指出了企业落地数据驱动的方法论。  
神策数据创始人& CEO桑文锋演讲
他指出,纵观我国企业信息化与数据化建设,信息传输方面存在三方面的问题,包括数据传输不及时、数据传递不准确、数据收集不全面。
在我国 IT 化建设过程中,企业要完成以业务流为中心到以数据流为中心的核心建设思路的转变。他认为,企业 IT 化过程在源源不断地产生一些数据,曾经的业务流程的思路并未考虑到数据的收集与应用,导致在数据驱动决策方面,数据采集的全面性、处理效率都存在突出问题。
他认为,一家企业落地数据驱动包括三个层面:第一层是从企业高层开始,老板的数据驱动意识; 第二层是公司的整体业务流程的改造,包括产品、市场、运营等,并把数据驱动引入到实际的工作流程之中;第三层是真正的落地层面,包括数据基础平台的建设,以及如何围绕数据驱动决策和智能让数据发挥更大的价值。
场景赋能,神策数据宣布新产品矩阵
产品技术实力是神策数据引领数据浪潮的内生动力。在践行理念与使命的过程中,作为大数据核心技术和资源优势的掌控者,神策数据不断打磨产品的宽度和精度,在产品结构、产品功能等方面不断演进。
2017 年至今,神策数据重点完善服务体系,新增咨询服务。对有复杂业务咨询需求的客户,提供专业的咨询服务,针对不同时期、不同阶段的客户,提供相应的产品+标准服务,以及解决方案+项目制管理服务的方式。
在大会现场,神策数据联合创始人&CTO曹犟发布了神策数据的新产品矩阵。  
神策数据产品矩阵
新产品矩阵的宣布印证了神策数据一直以来的产品理念:在 2017 数据驱动大会现场,桑文锋介绍神策数据一直在扮演的是 Windows 的角色,他以 Windows 作类比,Windows 提供了一层 API,可以让第三层应用层开发 QQ、Outlook 等应用。“大家所看到以神策分析(Sensors Analytics)为代表的数据分析工具,只是 PaaS 平台中的应用之一。”  
神策数据联合创始人&CTO 曹犟现场演讲
曹犟介绍,神策数据一切迭代均从客户需求出发,产品打磨始终围绕企业业务场景,追求深度行业化。以解决客户业务诉求为根本目标,保证客户能够以最低的成本,挖掘最高的数据价值,他说:“在服务客户过程中,我们发现单一产品线已无法满足企业多样化的业务需求,为解决不同行业、不同企业的场景化需求,我们会不断进行前沿的应用探索。”
其中,神策自动化运营是基于分群标签的全流程运营闭环分析系统,通过用户精准分群、灵活创建并管理营销活动计划,一键执行计划触达用户,并实时分析活动效果,真正形成自动化、精细化的运营闭环,帮助企业更精准、更高效的盘活用户,实现存量增长。
神策客景是针对 ToB 企业推出的基于行为数据的客户全生命周期分析平台,通过构建客户分级体系,洞悉客群健康状态,预知客户流失风险,让服务变被动为主动,并持续挖掘客户生命周期价值。
神策推荐是基于用户行为分析的全流程智能推荐系统。该系统从用户行为数据的采集、建模、挖掘到效果分析,帮助企业实现对用户“千人千面”的个性化内容推荐,改善用户体验,持续提升核心业务指标。
“星斗奖”揭晓:瑞幸咖啡杨飞、四川航空分别入选先锋人物与企业
从国内“数据驱动”概念风行,到国内多应用逐渐崭露头角,神策数据作为行业的参与者,目睹大数据在潜移默化地改变和影响着各行业的全盘棋局。
“重构中国互联网数据根基”始终是神策数据的愿景,三年历练与成长让公司在中国大数据领域稳固扎根,并致力于将数据驱动理念与实操经验传播分享至各行业企业。
桑文锋介绍,该奖项的诞生旨在鼓励国内众多已经走在数据驱动实践前沿的企业机构以及突出贡献者,积极传播交流数据驱动行业发展的新态势,分享典型的数据应用案例成果,进而推动整个中国大数据基础建设与行业应用进程。
经过17位专家,为期2个月的评审工作,星斗奖之9大类重要奖项,39位年度驱动先锋人物和49家年度驱动先锋企业奖项在现场全部揭晓。  
星斗奖数据驱动先锋企业颁奖合影
星斗奖取义“胸藏星斗,阵扫千军”。大数据应突破时空的限制,如浩瀚繁星,“星斗”比喻超群的才华。
在这次评选过程中,神策数据看到一批行业领袖人物,乃至一线数据应用者都在推动行业发展、赋能自身专业领域中发挥着举足轻重的贡献,数据已成为一种人人都认知的模式。
纷析数据创始人宋星、luckin coffee 联合创始人 & CMO 杨飞、奥美集团数据分析总监王泽蕴、中青旅移动事业部运营管理部执行总经理张晓磊等入选年度驱动先锋人物,他们所传递的思维闪光点为中国创新数据驱动道路提供切实的真知灼见;四川航空、智慧树、好未来、中原银行、纵横文学、VIPKID、华创证券、合众财富、纷享销客等凭借前沿的数据驱动应用和场景入选数据驱动先锋企业,其落地场景对全行业不乏借鉴意义。
当天下午同时进行三大分论坛,分别是“数据驱动下的新金融业态”“企业服务正当时”“后互联网时代的数据驱动实践”,主讲嘉宾来自中原银行、东方明珠、太平洋保险集团、纷享销客、硅谷销售研究院、中商惠民等,直述行业实战,赋予驱动大会参与性、专业性和多元化。
责任编辑:陈近梅
产业观察
2018-10-16 17:00:01
云南进一步深化“互联网+政务服务” 让“数据多跑路”
打造“一部手机办事通”
来源:都市时报 时间:2018-10-16 16:40:55 作者:朱勋航
  据云南省政府网站消息,省政府办公厅近日印发 《进一步深化“互联网+政务服务”推进政务服务“一网、一门、一次”改革工作方案》(以下简称方案),让“数据多跑路”,打造“一部手机办事通”。
   企业和群众办事
  “一次登录、全网通办”
  方案要求,2018年底,直接面向企业和群众、依申请办理的各类政务服务事项(包括行政权力事项和公共服务事项,除法律法规另有规定或涉及国家秘密等外)全部进驻网上平台并提供办事服务,实现“应上尽上、全程在线”,做到企业和群众办事“一次登录、全网通办”;省级政务服务事项网上可办率不低于80%,州市、县级政务服务事项网上可办率不低于75%。2019年底,实现与国家政务服务平台(以下简称国家平台)互联互通,省级政务服务事项网上可办率不低于90%,州市、县级政务服务事项网上可办率不低于85%。
  为达到上述目标,要升级完善网上平台,完善“一次认证、全网通行”的统一身份认证体系;统建统一申办受理平台;推动实现网上平台与国家平台对接;建设可汇聚、可共享、可管理的电子证照库;整合畅通网上咨询投诉渠道。
  此外,还要推动更多政务服务事项网上办理,切实提高政务服务事项网上办理比例,拓展网上办事广度和深度。大力推行“智慧”服务,综合运用互联网、物联网、大数据、云计算、人工智能等技术,对适宜的事项开展智能审批,实现即报即批、即批即得。
   实现更多政务服务事项
  “掌上办”“指尖办”
  此外,云南省要打造“一部手机办事通”移动应用,推动政务服务向“两微一端”等延伸拓展,为企业和群众提供多样化、多渠道、便利化服务。结合国家平台建设,加强和规范政务服务移动应用建设管理。
  全力打造“一部手机办事通”移动APP应用,以公安、人力资源和社会保障、教育、卫生健康、民政、住房和城乡建设等领域为重点,优先将覆盖范围广的高频政务服务事项向移动端延伸,推动实现更多政务服务事项“掌上办”“指尖办”;充分集成整合各行业主管部门推广应用的APP,实现用户统一、业务融合;采用无感支付、人脸识别、智能语音等技术,提升“一机在手、服务无忧”的办事体验,让企业和群众办事“机不可失”。鼓励开展第三方便民服务应用,加强政务新媒体监管,提升服务水平。
   加强实体大厅建设
  推动线下“只进一扇门”
  2018年底,州市、县级政务服务事项进驻实体大厅比例不低于70%,50%以上政务服务事项实现“一窗”分类受理;2019年底,除因涉密、安全和对场地有特殊要求的事项外,政务服务事项进驻实体大厅基本实现“应进必进”,70%以上政务服务事项实现“一窗”分类受理。
  为此,要加强实体大厅建设,实现“多门”变“一门”;整合设置综合窗口,实现“多窗”变“一窗”;统筹整合服务渠道,实现线上线下融合发展。加强实体大厅网络基础设施建设,健全智能引导、智能辅助、自助服务等功能,加快提升智能化服务水平。依托网上平台,实时汇入网上申报、排队预约、现场排队叫号、服务评价、事项受理、审批(审查)结果和审批证照等信息,实现线上线下功能互补、无缝衔接、全过程留痕,做到政务服务事项清单、办事指南、办理状态等有关信息在网上平台、移动终端、实体大厅、自助终端、政府网站和第三方互联网入口等服务渠道同源管理发布,确保线上线下服务窗口匹配、办事指南吻合和企业群众办事体验高度一致。
   推行政务服务事项标准化
  规范“跑一次”事项清单
  根据方案,2018年底,企业和群众到政府办事提供的材料减少30%以上,省、州市、县各级30个以上高频事项实现“最多跑一次”;2019年底,企业和群众到政府办事提供的材料减少60%以上,省、州市、县各级100个以上高频事项实现“最多跑一次”。
  为此,要全面推行政务服务事项标准化;简化办事材料,精简办事环节;梳理规范“最多跑一次”事项清单;打通基层服务“最后一公里”。
  此外,还要完善政务服务数据共享交换平台建设;加强政务信息系统改造对接;强化数据对接成果运用;推进事中事后监管与政务服务业务融合;加强数据共享安全保障。推动数据共享与业务协同,让“数据多跑路”。(都市时报全媒体记者 朱勋航)
责任编辑:陈近梅
产业观察
2018-10-16 16:40:55
2017年我国数字经济规模达到27.2万亿元
数字经济释放红利 赋能企业转型升级
来源:科技日报 时间:2018-10-16 15:05:33 作者:刘垠
  “数字经济不是虚拟经济,数字经济本身就应该是一个实体经济。数字经济更多地采用了数字化的手段和智能化的方式,比如大数据、人工智能等技术服务实体经济,驱动传统产业的数字化转型升级和新业态的培育发展。”10月12日,以“数字经济与服务创新”为主题的第八届信永中和论坛在京召开,在接受科技日报记者采访时,北京国双科技有限公司(以下简称国双)董事长兼CEO祁国晟发表上述观点。
  祁国晟说,中国已成为全球数字中心,在这个从信息化到数字化的转型时代,混合型人工智能将会是解决企业转型和治理问题的发展方向,帮助企业从粗放型和人力密集型转向高精尖和智能驱动,并推动供给侧改革。
   深度融合形成新动能
  发展数字经济已成为全球共识,很多国家都在数字经济领域加紧布局,纷纷出台促进数字经济发展的相关政策,以提升国家竞争力、促进经济增长和社会发展。
  党的十九大报告提出,加快建设制造强国,加快发展先进制造业,推动互联网、大数据、人工智能和实体经济深度融合,在中高端消费、创新引领、绿色低碳、共享经济、现代供应链、人力资本服务等领域培育新增长点、形成新动能。
  “数字经济的发展是中国面临的巨大的战略机遇,因为中国是经济大国,也是信息技术大国,这两者叠加一定会给中国带来全新的发展动能。”中国信息通信研究院政策与经济研究所所长鲁春丛说,中国是仅次于美国的第二大数字经济体,该所最新统计数据显示,2017年,我国数字经济规模是27.2万亿元,占当年GDP比重约为30%。
  2018年,美国高德纳咨询公司对全球3000位CIO(首席信息官)的调查数据显示,当前企业数字化转型仍处于初始阶段。业界评论,迎接数字化、智能化发展中的挑战,促进传统产业转型升级,不仅需要技术、服务和商业模式创新,还需要新理念、新方法。
  如何根据企业、产业发展需要,利用大数据、人工智能等新兴技术,弹性地配置全产业链资源,探讨产业升级的有效途径,正是信永中和集团联合国双举办此次论坛的初衷。
   产业需要智能化转型
  就在9月底,国家发改委、教育部、科技部、工信部等19部门联合印发《关于发展数字经济稳定并扩大就业的指导意见》,从加快培育数字经济新兴就业机会、持续提升劳动者数字技能、大力推进就业创业服务数字化转型等方面提出了多条措施,支持数字经济发展。
  “数字经济被认为是继工业经济、农业经济后的新型经济形态,已成为世界公认的新经济、新业态、新动能、新引擎。”信永中和集团董事长张克认为,数字经济的本质在于信息化的深入与升华。
  作为国内首家赴美上市的大数据和人工智能企业“掌门人”,祁国晟对如何更高效地驱动产业企业乃至实体经济智能化转型深有体会。“如果大家开过新能源汽车尤其是混合动力的新能源车,可能对智能化转型会有感触,燃油车在反馈车还能跑多少公里方面会比较准确,但新能源车反馈的还能跑多少里程并不准确。因为,混合动力新能源车的里程数不只和驾驶习惯、多少油、多少电有关,还和当时的天气、气温、城市坡度、红绿灯数量有非常大的关系。”祁国晟解释说,仅靠油量传感器解决不了问题,必须要为每一台车的每一条路线与当天的天气做一个预测模型。为此,国双根据过去收集的海量数据做了一个预测模型,可以准确地提供油耗量(油耗准确度达95%以上),极大改善了用户体验。
  祁国晟表示,数字经济更好地为实体经济发展服务,需要内行的专家以及丰富的行业经验,没有这些,做得再好的大数据、人工智能平台系统都是空中楼阁。
  工信部部长苗圩日前表示,中国政府高度重视数字经济发展,先后出台一系列政策举措,推动在信息基础设施、传统数字化转型、新技术新业态、信息服务等方面的发展。下一步,中国将夯实数字经济发展基础,增强安全保障能力,完善数字经济治理体系,进一步释放数字经济发展红利。(记者 刘垠)
责任编辑:陈近梅
产业观察
2018-10-16 15:05:33
为防人工智能成“人工智障” 美军方拟向AI传授基本常识
来源:科技日报 时间:2018-10-16 14:50:20 作者:房琳琳
  即使最好的AI程序也会犯愚蠢的错误。美国国防高级研究计划局(DARPA)正在开展一场竞赛,以弥补该领域最明显的缺陷——缺乏常识。
  随着人工智能(AI)越来越多地被用于危急情况,例如驾驶自动汽车、进行医疗诊断等,人们需要从情报信息中得出生死攸关的结论,且不会再被看作笑料。
  科技公司忙于商业化机器学习技术,虽然强大,但基础常识有限。相比之下,人类婴儿很快会形成对世界的直观理解,这是他们智力发展的基础。
  例如,深度学习可以识别语音中的单词或图像中的对象,通常需要令人难以置信的准确性。但该方法通常依赖于将大量标记数据(原始音频信号或图像中的像素)输送到大型神经网络中。系统可以学会经过挑选的重要模式,但它容易在更广阔的常识世界一塌糊涂。
  缺乏常识的问题仍可能最终导致灾难事件。DARPA新机器常识计划项目经理戴夫·甘宁发布声明说:“常识缺乏可能是弱人工智能与强人工智能之间最重要的障碍。”
  然而,解决这一问题并不轻松。以前帮助机器了解世界的尝试,都集中在手工构建大型知识数据库上。这是一项笨拙且基本上永无止境的任务。最著名的要数开展了数十年的Cyc数据库。
  现在,DARPA的新机器常识(MCS)计划将举办一场竞赛,要求AI算法理解如下问题:两种相同的植物放在同样类型和数量的土壤中,浇灌同样多的水,一个靠近窗户,一个放在黑暗房间中。靠近窗户的植物将产生更多的(A)氧气(B)二氧化碳(C)水。计算机程序需要对光合作用有一定了解,才能给出答案。
  “常识是人工智能领域的‘暗物质’。”美国著名非营利组织艾伦研究所首席执行官奥伦·艾奇奥尼说,这类研究试图探索人工智能技术的局限性。这些基准测试将专注于语义理解,未来不断提供这种衡量常识理解进展的问题是至关重要的。(记者 房琳琳)
   总编辑圈点
  没有常识,让人工智能在很多时候表现得如同“人工智障”。它们能做大数据分析,能在各种复杂局面中运筹帷幄,但碰上连人类5岁小孩都能理解的情境时,它们却会茫然不知所措。“盒子里的牛奶满了吗?”“怎么拿鸡蛋不会碎”……这些小问题,对人工智能来说都是大难题。业界也认为,如果所有问题都要靠“投喂”大量数据来训练解决,通用人工智能实现起来实在太难。不知美方打算如何让人工智能拥有常识,如果找到了方法,那可能真的有了让人工智能成长的“金手指”。
 
责任编辑:陈近梅
产业观察
2018-10-16 14:50:20
应用区块链技术“试水”全球贸易 IBM联姻网际元通建跨境贸易生态圈
来源:经济参考报 时间:2018-10-16 11:41:22 作者:侯云龙
  为积极践行“一带一路”倡议,推动全球经济贸易一体化进程,日前,IBM(中国)公司与网际元通(北京)科技股份公司(以下简称“网际元通”)在京签订了战略合作协议,共同开发建设全球数字化智能贸易服务平台——新华国贸网。此举标志着新华国贸网的建设步入了快车道。
   “联姻”建全球贸易协作数字化平台
  “一带一路”倡议提出五年来,我国同沿线国家贸易往来不断扩大。数据显示,五年来,我国同沿线国家贸易总额超过5万亿美元,年均增长1.1%。目前已成为25个沿线国家最大贸易伙伴,与13个沿线国家签署或升级了5个自贸协定,立足周边、覆盖“一带一路”、面向全球的高标准自由贸易网络正在加快形成。
  跨境电子贸易是当今互联网时代发展最为迅速的贸易方式。跨境电子贸易不仅为“一带一路”沿线国家,也为更多企业、更多群体带来新的发展机遇,是构建开放型世界经济的重要支撑。同时,也为推动全球贸易自由化、便利化,打破信息“孤岛”提供了重要技术手段。
  新华国贸网是网际元通面向国际打造的集贸易、经济技术交流与合作、文化、教育、艺术等方面的服务平台,可为企业提供贸易交易全产业链的一站式综合服务。
  此次与网际元通的全面战略合作,IBM(中国)公司将组建专业团队,充分发挥IBM在区块链、大数据、人工智能和云计算等领域的优势,打造创新的跨平台、跨行业、跨国界的开放型产业生态和绿色贸易生态系统,引领全球智能贸易,建设全球贸易协作体系新格局。同时,也为国内企业参与国际产业合作与竞争提供发展平台。
  “数字化智能贸易服务平台建好后,最大的优势就是可以极大提高贸易的成功率和交易效率,让世界不再有难做的贸易。”网际元通董事长胡占武表示,平台将在功能上涵盖商品、技术、服务贸易和贸易融资的交易流程,包括交易撮合、信用证、进出口结算、海关、质检、物流、保险和关税等业务。完备的平台还可提供大宗商品、交易和农产品供求信息、市场分析、产品认证、企业认证等诸多服务。同时,还为上下游企业的互联,企业与客户的直接对接,链接实体与金融产业,促进产业联盟和生态体系的建立提供支撑。
  国家发改委国际合作中心双创办公室主任邓智华认为,通过B to B服务模式,该数字化平台将在货物进出口、技术进出口和国际服务贸易方面吸引全世界优质商品和服务,对于助力构建覆盖全球的进出口贸易促进网络,营造更加高效便捷的贸易环境,促进贸易自由化、便利化,提升国际市场影响力有着重要的作用。“期待IBM与网际元通的牵手对全球贸易合作体系的创新产生示范效应。”
   利用区块链技术引领智能贸易
  IBM作为世界科技行业巨头,长期应用信息化、数字化技术为企业提供端到端的咨询服务,利用大数据、人工智能技术为企业提供解决方案。
  近日,IBM大中华区董事长陈黎明首次向国内媒体披露了IBM中国“3+3”战略2.0版最新战略蓝图,继续巩固核心业务。比如系统硬件、认知解决方案、云计算、企业咨询服务、信息科技服务等核心业务;加速推进云计算、人工智能、Watson健康、物联网、区块链业务的进程;将智慧供应链、车联网、量子体验、最小的计算机等最新科技引入中国,成为新的战略支柱。这意味着,IBM在云计算、人工智能、区块链等业务板块已全面进入“成熟期”。
  近年来,IBM尤其在区块链领域的发展异常迅猛。目前,IBM已经占据区块链全球市场很大份额,业务范围涵盖非常广泛,在银行、制造、保险、零售、物流以及能源等领域都有涉足。
  在此次与网际元通合作之前,IBM就已经应用区块链技术“试水”全球贸易。今年1月,丹麦哥本哈根航运巨头马士基集团和IBM宣布将联合开发全球贸易数字化平台,通过区块链技术为开展全球贸易及供应链数字化提供更为高效、安全的端到端数字化服务。该平台建立在开放的标准基础上,全球航运生态系统中的各方均可使用。它将解决在跨境和贸易区内货物运输方面的需求,使信息流更透明、更简化。
  据了解,新华国贸网将与马士基区块链物流平台联通,实现跨链协作,这将推动全球贸易产业链大闭环局面,促进贸易便利化和高效率。同时,新华国贸网还将与十多个国外类似平台联通,形成全球贸易布局辐射能力,促进全球贸易一体化。
  中国民营科技促进会副会长陈明宣认为,IBM具有长期积累的跨境跨行业的经验,利用IBM的大数据平台、人工智能、区块链和云计算形成数字化智能国际贸易平台——新华国贸网,尤其是应用区块链技术将交易过程链上的重要信息高效存储、准确记录和智慧应用,从而优化流程,减少差错,降低成本,提高交易效率。同时,也能有效促进产业链优化,对于企业生产计划、库存管理、物流系统实现精细化管控,特别是在安全管理,风险管理,减少污染,减少从生产到消费过程中的损失,提供直接的帮助。
   绿色地平线系统“催化”可持续发展
  国际贸易中的大宗商品、农产品以及交通运输等经济活动,不仅与全球政治、经济等因素相关,还与天气、气候密切相关。根据新华国贸网整体战略布局的需要,IBM和网际元通将共同建设大数据分析及业务应用平台,接入IBM绿色地平线节能大数据分析和气象预测应用系统,优化供需匹配和物流,提供市场分析、行业资讯等增值服务。
  在胡占武看来,通过将这些数据应用到客户的商业流程和即时决策当中,新华国贸网可以让客户的供应链、库存管理、应急管理变得更加具有预见性,更具适应性,并且更为高效。
  “绿色地平线计划”是 IBM整合全球实验室的研发力量于2014年推出的一个长达10年的研究计划。该计划利用IBM最前沿的大数据分析、认知技术、物联网、云计算等领域的技术,致力于大气污染防治、环境保护、提升民众健康保障等可持续发展难题。该计划由IBM中国研究院牵头,与合作伙伴协同推进,共建创新生态系统。
  陈明宣认为,在国际贸易业务中,通过应用IBM绿色地平线提供的天气数据服务,可以进一步提升需求与供应匹配的精准性,使得交易更加有的放矢,减少交易的盲目性,也在一定程度上优化了商品转输运的途径和过程、减少在途损失和运输风险,提高了安全性,减少了交易成本和保险费用,从而在宏观上总体减少能源消费和碳排放,同时可以使得社会交通资源得到更为高效的使用。
  “以认知计算和物联网为代表的信息技术,将成为对环境治理最有力的科技支撑。我们希望通过‘绿色地平线’计划的不断拓展与推进,让更多的国家和地区受益。”IBM“绿色地平线计划”全球研发负责人、中国研究院副院长董进表示。
责任编辑:陈近梅
产业观察
2018-10-16 11:41:22
深挖数字经济“钻石矿”
来源:天眼新闻 时间:2020-08-13 10:19:35 作者:赖盈盈
  “店铺开在手机上,仓库就在孵化园,技术研发自己来。”这是贵州迪优电子商务有限公司市场总监侯江海计划的创业“蓝图”。
  侯江海是贵州师范学院2020年应届毕业生,3月份,他和其他5位团队成员,共同创建了贵州迪优电子商务有限公司,搭建了“迪优优品”电子商城,“相比线下实体店,互联网创业的人力物力成本低,大大减少了创业风险。”
   侯江海与刘甫甫在贵州师范学院商学院电子商务孵化园讨论项目推进情况
  记者在贵州师范学院商学院电子商务孵化园见到侯江海时,他提到,“迪优优品”旨在以校园为核心,满足老师和学生对高性价比产品的需求,比学生更懂学生,创建平台的初衷就是帮学弟学妹省钱。
  生活用品、社团活动服装道具、农特产品……点开“迪优优品”微信小程序,100多种产品已经上架。
  随着平台的日趋完善,从学院许多初创企业中,侯江海还发现了能够互联网化的商机。“产品新颖、价格实在,退换货还能立马找到人。”侯江海认为,拉学院其他初创企业“入伙”,能够有效丰富平台货源。
  众人拾柴火焰高。从定制服装到文创产品,目前公司已与贵州梦拓衫客科技有限公司等7家初创企业合作,在平台上架了一系列“干货”。
  下一步,“迪优优品”将从学校走进农村,以学院3000多名建档立卡贫困生为桥梁,带货下乡,搭建一个既“扶农”又“惠校”的电商平台。  
   “迪优优品”商城平台
  随着大数据战略行动的深入推进,贵州数字经济快速发展,为高校毕业生创业就业搭建了宽广舞台。中国信息通信研究院近日发布的《中国数字经济发展白皮书(2020年)》显示,2019年贵州数字经济连续5年排名全国第一。
  在公共服务领域,深挖区域电商“钻石矿”,是不少高校毕业生的兴趣所在。在贵州财经大学“双创一条街”,记者见到“贵州高校通”平台创业团队。
  “贵州高校通”平台由贵州财经大学资源与环境经济学应届毕业生、贵州新突进科技有限公司负责人杨通成创建。这是一款专为贵州高校师生打造的区域性校园服务平台,涵盖校园公交信息实时共享、校园资讯、外卖配送和代取快递等业务。
  灵感源于校园,成于疫情期间的“生活痛点”。在大二专业课调研时,杨通成发现“搭校车难、就餐排队难、寝室送水难”困扰同学已久。疫情期间,“取外卖难、拿快递难”问题突出。
  如何促进校园信息共享,提升生活便捷度?杨通成决定开发“贵州高校通”,平台于6月16日正式上线。
   “贵州高校通”配送员深夜处理订单
  从大型电商平台到区域性电商平台,疫情让数字经济创业危中寻机。杨通成认为,大型网电商平台进不了校门,线下实体店开不了门,为公司发展创造了契机。
  如今,公司共招募了86位同学担任配送员。每个月,穿梭在校园里的“小蓝车”和“黄背心”能够有五百多元的收入。
  “我们争取在9月份让平台覆盖整个大学城。”杨通成希望,年底平台能覆盖整个清镇职教城,成为真真正正的“贵州高校通”。
  连点成面,串珠成链。连续举办五届的中国国际“互联网+”大学生创新创业大赛,更为大学生互联网创业项目焕发光彩提供了广阔平台。去年,贵州民族大学人文科技学院的“银凤钗头——‘互联网’非物质文化遗产西江控拜苗银”项目团队,斩获了总决赛高校主赛道金奖,实现了贵州省金奖零的突破。
   暑期仍在营业的贵州高校通创业园48号
  2015年以来,贵州共成功举办了5届省级“互联网+”大学生创新创业大赛,并在国家级“互联网+”大学生创新创业大赛中获得国家级奖项54项。
  以赛促学,培养创新创业生力军;以赛促教,探索素质教育新途径。即将举办的第六届贵州省“互联网+”大学生创新创业大赛,将围绕互联网、云计算、大数据等新一代信息技术,服务新型基础设施建设,培育新产品、新服务、新业态、新模式。
  “学校不是创业梦想的终结,而是创业梦想的起点。”贵州师范学院商学院双创教师许笛认为,无论创业成功与否,学生在过程中培养的综合素质和成果转化能力,都将为以后的职业生涯书写浓墨重彩的一笔。
责任编辑:姚治
产业观察
2020-08-13 10:19:35
贵州已建成5G基站万余个
来源:贵州日报 时间:2020-08-17 09:32:48 作者:陈玲
  记者日前从贵州省通信管理局获悉,截至8月初,全省已建成5G基站10219个,进一步夯实了数字经济发展基石。
  据悉,今年以来,省通信管理局与省大数据管理局从争取政策、进展督促、专班落地等多方面推进5G工作,按下5G基站建设“快进键”。
  政策方面,推动全面免费开放各类社会公共资源、5G建设财政资金补贴、降低我省5G基站用电成本政策措施、商业楼宇及住宅小区支持5G网络建设、建筑物信息基础设施建设规范等扶持支持政策落地落实。
  同时,建立5G疑难问题解决及通报机制、开展5G大战90天督导检查、实施5G推进情况周动态跟踪督促等。
  此外,成立专班、加强政企联动。目前共计成立市、县两级5G建设协调专班106个,疑难站址清单分解到主管行政单位及街道办、社区等落实解决。在5G应用上,引导各通信运营企业、各市(州)积极寻求突破。建立市(州)5G创新实验基地,开启“5G创新技术”在市(州)各行业的实验及应用等。今年5月,贵州移动公司在全省率先实现“5G网络县县通”。
  省通信管理局相关负责人介绍,下一步,将继续抓牢5G机遇,发挥5G新型基础设施的引领和带动作用,助推千行百业数字化转型升级、释放内生动力,助力经济高质量发展。
责任编辑:姚治
产业观察
2020-08-17 09:32:48
勇立开放发展潮头 打造物流枢纽高地——清镇市物流新城高质量发展走笔
来源:贵阳日报 时间:2020-08-14 14:44:32 作者:李春明
   物流新城一景。 (资料图片)
  规划面积31.64平方公里的清镇市物流新城已连续三年获得“全国优秀物流园区”殊荣,形成了汽车贸易、工程机械、粮油食品、现代物流、生态文化旅游、智能家居、农产品交易等7大战略性产业,去年交易额突破200亿元。
  眼下,伴随着“一带一路”陆港复兴,国家新一轮对外开放、西部陆海新通道建设和贵阳贵安协同融合发展带来的机遇,清镇市不断构筑物流产业大格局,全力推进清镇国家级优秀物流园区建设,奏响了一曲打造千亿级商贸服务型物流枢纽的交响曲。
   瞄准更高标准 打造千亿级商贸新城
  8月11日,走进位于清镇市物流园的贵阳华丰国际食品城,随处可见前来进货的车辆,一派欣欣向荣的景象。
  负责食品城管理的贵阳清镇华丰市场置业有限公司副总王利剑介绍,食品城旧址位于甘荫塘,当时正临贵阳“疏老城、建新城”,必须重新选址。公司几经考察,最终选择落户清镇市物流园。
  “批发市场不能离城区太远,清镇市正好符合条件,加上清镇市区域内有沪昆、夏蓉高速,以及沪昆高铁等,便捷交通,物流成本较低,适合批发业态的发展。”王利剑说,占地540余亩的食品城自2017年开业运营,已由最初的200多户商铺增加到800余户,去年,食品城交易额约70亿元。
  食品城47栋20号商铺龙亿食品从甘荫塘搬迁而来,今年已是第四个年头,“在老市场时,铺面小、道路窄,自家的车都不敢开进市场,遇到年关生意好时,市场里的车堵得根本走不动。搬到清镇后,道路宽了不少,门面更是以前的两倍大,经营范围也从只卖奶粉、麦片等冲调食品增加了小吃类食品,营业额翻了好几倍。”商铺老板娘林瑞妹说。
  基于华丰食品城里的兴旺人气,二期建设现已正式开工。“二期距离一期不到五百米,占地60亩,建设的东盟产品交易中心,主要经营红酒、热带水果、家具、珠宝玉器等东盟产品,同时助力黔货出山,预计明年年底建成。”王利剑说。
  借贵阳贵安融合发展机遇,清镇市“一百双千”工作正加快推进,一百,即打造百万人口区域中心城市;双千,即打造千亿级生态循环铝产业新城和千亿级具有山水园林特色的商贸新城。而清镇市物流园正是千亿级商贸新城的主战场之一。
  瞄准千亿级商贸新城,清镇市物流园正积极整合西南商贸城、金华物流园及清镇物流园区现有汽车、工程机械、粮油副食品、家居、建材、铝制产品及服装等大宗商品物流,探索粮油等生活性物资集装箱化运输流通资源,打造一体化的大宗商品物流中心,推动大宗商品物流集约运行,构建在线交易、实物交割、物流服务、金融服务于一体的国际大宗商品交易平台,通过整合商贸流通资源,实现大物流促进大商贸。
   完善产业布局 谋求“开放兴市”
  如今,位于物流园内的清镇工程机械市场已发展成贵州省规模最大、品牌最齐全的工程机械市场,汇聚全球80%的工程机械一流品牌,整机年销售在500台以上。
  “在搬来清镇物流园之前,省内销售工程机械公司零星分散在贵阳各地,采购商要跑很多地方才能买到合适的机器设备。现在,清镇市物流园内汇聚了占据全省八成以上市场份额的销售公司,采购商跑一趟基本就能买到所需的设备。”清镇开源机械城招商运营部长唐刚介绍,开源机械城落地清镇物流园后已完成一期建设并投入运营,现正开工二期建设,建成后将继续完善工程机械产业链,在整机销售的基础上拓宽零配件环节。
  发展至今,开源机械城已入驻20余家企业,主要销售博士、中联重科、CAT、三一重工等十多个知名品牌。“项目的快速发展既离不开当地政府的大力支持,更离不开配套的物流服务。工程机械体型庞大又极重,配套完善的物流服务,既能满足行业需求,更能降低运输成本。”唐刚说。
  距离开源机械城不远处是马上到公路港,这里汇聚着承载运输业务的众多物流公司。
  据了解,马上到公路港是清镇市物流新城现代物流板块的龙头项目,占地532.3亩,总投资5.5亿元,该项目于2014年11月部分建成试运营,为入驻企业提供运营、政务、社会中介等一站式服务,高峰期集聚了数百家物流企业。贵阳易斯通公路港管理有限公司副总经理李秉澄介绍,目前以车为核心,公路港已衍生出二手货车交易、汽配、维修、保养、车检等一条完整的生态链,在保持现有物流运输的基础上全方位做好“一站式”物流服务,未来,结合清镇市建设的“陆海国际物流港”,公路铁路联动将促进物流产业经济腾飞。
   把握历史机遇 建设物流枢纽高地
  今年上半年,清镇市与中国铁建、中铁二十三局签署“陆海国际物流港项目”战略合作协议,8月份,又与贵州现代物流产业(集团)公司签署“冷链物流、循环经济、食品加工”战略合作协议,清镇将成为贵阳市进出口货物的又一个重要节点。
  陆海国际物流港项目拟选址位于清镇市物流园区南部,规划面积约1900亩,首期投资15亿元,计划利用现有土地及火车站场资源,规划建设铁路专用线,扩建货运战场、专业作业区、保税仓等。
  项目以普洛斯铁路港及清镇火车站作为支点,将与双龙——改貌、综保区——都拉营一同成为贵阳市现代物流“三足鼎立”及西部陆海通道重要支撑,成为贵阳市进出口货物的重要节点,加速贵阳、贵安对外开放,促进物流产业经济腾飞。
  “陆海国际物流港项目在清镇市火车站的基础上进行改造扩建,这将实现铁路货场仓储无缝链接,降低物流成本,最终达到与改貌口岸联动,助推实现高水平开放、高质量发展。”清镇市物流新城管委会副主任彭松介绍,陆海国际物流港项目建成后不仅能扩大铁路港的辐射范围,更能凸显公路铁路联动的物流优势。
  初步估算,清镇市物流园一年铁路运输量为400万吨,公路运输量包括汽贸、工程机械、粮油副食品、家居、零单运输等约600万吨,整个物流园内一年1000余万吨的运输量让物流园作为物流枢纽大有可为。
  与此同时,伴随着“一带一路”陆港复兴,贵阳市将清镇纳入重点物流发展区域规划,构建起物流枢纽“三足鼎立”区域战略互动格局,清镇市围绕“一区双城三平台”和“文商旅一体化山水园林商贸新中心”既定战略部署,竭力打造大贵阳发展的战略支撑地和重要增长极。
  清镇市物流新城管委会主任兰大贵介绍,为充分发挥“全国优秀物流园区”辐射带动作用,清镇市国家级物流新城将积极抢抓贵广、沪昆、渝黔、成贵等铁路开通及“陆海新通道”“粤港澳大湾区”建设契机,依托现有公路、铁路、货运场站及仓储优势,大力引进商贸物流企业,整合优势物流资源,建设铁路专线作业区、大型专业市场,实现铁路、货场、仓储无缝连接,构建区域联动机制,主动融入贵阳贵安同城化发展,与湖潮铁路货运基地建立互动机制,强化产业聚集能力和产业链拓展,高品质建设贵阳西部现代化枢纽经济区,融入“一带一路”发展战略,打造立足贵阳贵安,面向全省,服务全国,辐射东盟的商贸服务型国家物流枢纽。
责任编辑:姚治
产业观察
2020-08-14 14:44:32
如何学以致用?贵州大数据实践基地又迎来29名清华学子!
来源:动静贵州 时间:2020-08-14 10:30:32 作者:
  近日,贵阳高新区召开“清华-贵州大数据研究生实践教育基地筑梦启航”活动,欢迎29名2019 级清华大学研究生的到来,同时送别已顺利完成一年半学习实践任务的30名2018级清华大学研究生。商讨基地未来的建设与发展。
  活动现场,清华大学2018级大数据工程硕士生杨帆等6名同学获得了优秀研究生的荣誉。在当天的成果汇报展示中,杨帆还介绍了他的实践成果——“基于可穿戴设备的心电房颤检测算法研究”项目。这是他在贵阳朗玛信息技术股份有限公司,结合自身专业优势完成的比较有代表性的研究项目。
  杨帆告诉记者:“我在朗玛信息开展了为期一年半的企业实践,这种学习方式对我们来说是非常重要的。因为我们需要在理论之外有一个落脚点,而企业实践对我们寻找这个落脚点是很有帮助的。”
  此次活动,高新区除了对优秀研究生颁发纪念证书外,还对来自贵州航天云网科技有限公司、贵州交建投资有限公司、贵州东方世纪股份有限公司等公司的5位企业导师颁发了优秀导师纪念证书。据了解,为进一步培养具有较强实践性、开放性和职业性的大数据人才,高新区今年特意从14家贵州省大数据企业中遴选出16名优秀导师,对2019级的29名清华大学研究生进行教研辅导。
  清华大学自动化系学术委员会主席张学工说:“怎么样更有效地培养研究生,是一个一直在探索的问题。基地是一个非常有意义的探索,就是怎么样更直接地把技术的需求和技术的研发能更早地结合起来,对同学们来说,也是一种非常新颖的体验。通过这种方式,能够更好地把象牙塔里的研究和实际结合起来。”
  据了解,清华—贵州大数据研究生实践教育基地成立于 2019 年 2 月 ,采用的是“2+1+N”的人才培养模式,“2”是指清华大学本部导师和贵州实习实践基地的双导师制;“1”是指一个学生,“N”是贵州本地高校一批学生组成的课题组。基地自正式运营以来,在推动产学研协同创新、聚集创新资源及要素等方面取得显著成效,充分发挥了科技创新载体的辐射示范作用,在全省范围内形成了一定影响力。
  贵阳高新区科技创新创业局局长陆秀峰说:“通过清华—贵州大数据研究生实践教育基地的建设,我们成功地引入30名研究生作为高层次人才加入高新区大数据产业发展的集体中,不仅如此,通过这30名学生,又嫁接了10名清华大学优秀青年教师资源,成为高新区企业的智囊,这些研究生导师带来了国际前沿技术,是企业有力的智力保障。”
责任编辑:姚治
产业观察
2020-08-14 10:30:32
校企合作共论人才培育 贵阳高新区举行大数据企业导师交流会
来源:动静贵州 时间:2020-08-14 10:23:44 作者:
  8月10日,由贵阳高新区组织与人力资源部、区科技创新创业局联合主办的清华-贵州大数据研究生实践教育基地“筑梦 启航”大数据企业导师交流会在贵阳高新区召开。贵州省大数据局、清华大学六位老师、贵阳高新区21位企业导师等出席,现场就基地发展、基地人才培育等进行交流探讨。
  清华-贵州大数据研究生实践教育基地,旨在探索政府、高校、企业联合培养高水平工程人才的创新模式,是打造政产学研用协同创新、创新资源及要素聚集的重要载体,为贵州省大数据产业可持续发展提供人才支撑与智力保障。在贵州省大数据发展管理局的指导下,基地自2019年2月25日正式运营以来,首批大数据相关学科30名全日制研究生已入驻基地开展学习实践,第二批30名全日制研究生也已陆续抵达基地。在产学研协同创新、引才留才等方面取得了显著成效,充分发挥了基地重要载体的示范带动作用。
  与传统学校教学方式不同的是,基地采用双导师制的模式培养,即清华大学本部的导师和贵州实践基地的导师组成。鉴于基地前期发展成效显著,新一批学生入学在即,清华大学预计新增20位硕士研究生,共计50名研究生。
  交流会现场,省分析测试院、省电网电科院、中国联通、中南交科、航天云网、朗玛信息等21家国企、科研院所、高成长性大数据企业导师发表自己的建议,并与清华大学六位老师,就学生选题机制、导师交流机制、如何促进学校与企业双方项目和科研成果转化、如何建立学生在企业开展实践长效激励机制等问题展开交流讨论。
  下一步,基地将不断完善各项规章制度,充分发挥资源优势,为构建大数据产业可持续发展提供人才支撑与智力支撑。
责任编辑:姚治
产业观察
2020-08-14 10:23:44
“万名青年看贵阳——大数据背景下企业发展的机遇与挑战”主题沙龙活动即将开启
来源:动静贵州 时间:2020-08-14 10:18:55 作者:
  2020年8月14日,“万名青年看贵阳——大数据背景下企业发展的机遇与挑战”主题沙龙活动将在贵州饭店举行。此次活动由共青团贵阳市委、贵阳市青年联合会主办,贵阳市青年企业家协会、共青团云岩区委,云岩区工商联承办,贵阳市青年联合会委员、贵阳市青年企业家协会会员、全球贵商总会会员、云岩区工商联会员及贵阳市部分青年企业家120余人参加。
  活动以“大数据解析”、“新基建的机遇与挑战”为主题为大家授课,并围绕 “大数据背景下企业发展的机遇与挑战”开展嘉宾对话。全体与会人员还会前往云岩区大数据京玖大厦党建服务阵地、贵阳思普信息技术有限公司、亨达科技集团股份有限公司、云岩区非公经济发展中心进行交流参访。

责任编辑:姚治
产业观察
2020-08-14 10:18:55
贵州省利用信用大数据为中小企业提供融资服务
来源:国家发展和改革委员会网站 时间:2020-08-14 10:12:07 作者:
  贵州省充分利用大数据技术服务于实体中小企业,为中小企业提供融资综合信用服务,使大数据成为加强对企业服务的新动力,助力营商环境优化取得新突破,深化政府服务转型。
    一、中小企业融资综合信用服务平台建设内容
  贵州省中小企业融资综合信用服务平台依靠大数据处理采集技术、大数据处理技术、数据挖掘技术以及云计算模式,实现对数据资源配置、企业服务相关信息采集与处理,并通过对数据资源的深度开发和利用,基于大数据挖掘分析技术支撑企业经营行为分析、企业服务需求分析、企业关联关系分析等应用体系。
  通过建设智能基础平台,打造企业服务的数字化核心,完成贵州省全渠道服务门户,面向政府、企业、金融机构三大角色统一入口和出口,将所有的企业资源数据、服务参与方数据、市场环境、经营行为、从业人员、信用信息等数据都纳入这个核心,实现数据资源、应用资源、服务资源、门户资源的立体式聚合,并能通过智能业务引擎为核心应用提供数据服务。
  通过建设综合管理应用,打造行政管理部门数据应用和展示的数字化窗口,提供数据分析的可视化和交互性,为科学决策、企业服务提供实时的数据支撑。将政府提供的公共服务处于服务的核心地位,为中小企业和金融机构提供经过初级整理的资源、信息和服务,推动中小企业公共服务的数字化转型,发挥中小企业公共服务的带动效应,促进全社会服务的提质增效。
  通过建设企业服务应用,实现更为便捷、精准、高效的公共服务体验。企业与服务应用互动产生的数据,为中小企业后续的金融服务提供支撑,帮助金融机构提供更为个性化的产品和服务,从而实现促进中小企业的金融服务。
  通过建设产业协同应用,打通行业间的信息流、资金流和人才流,实现新的产业链和价值链发展,形成“一业兴百业旺”的局面。
   二、中小企业融资综合信用服务平台建设意义
  贵州省中小企业融资综合信用服务平台需要解决全省中小企业服务数据的聚、通、用问题,一方面需要覆盖贵州省大数据综合金融服务平台和已有中小企业网和中小企业服务平台,对接已建成的企业服务业务办理平台,并对代建的应用系统提供数据、接口标准。另一方面,在使用对象上,需要满足全省的中小企业、银行、金融机构等的应用需求以及全省企业服务部门的日常服务管理需求。同时,面对全省大众创业万众创新的环境,平台需要满足企业的公共服务需求和金融服务需求。
  平台总体应用建设将实现以中小企业服务的数字化为核心动力,激发企业创新活力,促进经济增量提质,推动金融资源和相关产业的有机整合、融合发展,形成“企业+金融服务”的贵州企业服务新模式。
   三、中小企业融资综合信用服务平台实际成效
   (一)以服务提升为导向
  发挥政府部门先导作用,为中小企业服务相关参与方提供高效的公共服务。做好服务资源的综合规划和开发,活跃贵州省数据创新氛围,提升公共服务的经济效益和社会效益。
   (二)以应用创新为驱动
  形成模块化、服务化的核心应用,通过业务服务宗新自动调用业务流程,实现全方位的协同合作。创新大数据应用,融入数据再生、行为分析的元素提升服务的企业体验,在行业内和全国形成领先示范作用。
   (三)以中小企业融资服务为特色
  以中小企业金融服务为核心通过整合政、银、征信资源、社会、公共资源交易中心等数据,建立以中小微企业为服务主体,以企业信用信息为基础,以大数据技术为依托,以大数据融资服务平台为载体实施“政府+服务机构+大数据征信”的新企业服务新模式,服务企业全生命周期每个环节,助力中小企业持续发展。
责任编辑:姚治
产业观察
2020-08-14 10:12:07
贵州强力推进基础设施“六网会战” 1至7月完成投资1176.6亿元
来源:天眼新闻 时间:2020-08-14 10:04:56 作者:王淑宜
  8月12日,记者从贵州省发展改革委获悉,按照省委、省政府的安排部署,贵州强力实施基础设施“六网会战”,进一步加强战略性、网络型基础设施建设,2020年基础设施“六网会战”计划完成投资2200亿元,1至7月已完成投资1176.6亿元,占目标任务的53.5%。
   如今的贵州“县县通高速、村村通公路”,交通建设为山村人民铺就了奔向小康的康庄大道。图为杭瑞高速印江段。王文 摄
  路网方面,计划完成投资1505亿元,1至7月完成投资790.53亿元,占目标任务52.5%。安六铁路开通运营,瓮马铁路通过静态验收,贵南铁路加快建设,县乡公路路面改善提升工程开工建设6849公里、建成4669公里。
  水网方面,计划完成投资250亿元,1至7月完成投资143.81亿元,占目标任务57.5%。新开工骨干水源工程25个,黔中水利枢纽、马岭水库建成投运,夹岩、黄家湾水库大坝已封顶。
  电网方面,计划完成投资125亿元,1至7月完成投资51.77亿元,占目标任务41.4%。南方电网云贵互联通道工程竣工投产,建成华为1号等变电站。
  地下管网方面,计划完成投资100亿元,1至7月完成投资55.79亿元,占目标任务55.8%。建成或改造地下管网315.21公里。
  油气网方面,计划完成投资80亿元,1至7月完成投资59.7亿元,占目标任务74.6%。新开工天然气输气管道项目8个,铺设管道205公里;建成投运加油站3座,投入试运行2万立方米成品油油库1座。
  互联网方面,计划完成投资140亿元,1至7月完成投资75亿元,占目标任务53.6%。建成5G基站10513个,实现5G“县县通”,贵阳·贵安国际互联网专用通道、腾讯数据中心项目一期工程建成。
责任编辑:姚治
产业观察
2020-08-14 10:04:56
贵州大数据发展取得明显成效
数字经济增速 5年排名全国第一
来源:贵阳晚报 时间:2020-08-14 09:57:51 作者:陈问菩
  8月13日,记者从“华为中国生态之行2020·贵州数字峰会”上获悉,经过几年探索,贵州大数据发展取得明显成效,数字经济增速连续5年排名全国第一。
  据悉,经过几年探索,贵州数字经济吸纳就业增速连续两年排名全国第一,有力支撑全省GDP增速连续十年位居全国前列;“一云一网一平台”建设提升“一网通办”效能做法得到国务院表彰。下一步,贵州省将抢抓国家政策机遇,紧紧围绕数字经济发展,共建“立足贵州、辐射全国”的鲲鹏产业生态,做好国内国际“双循环”大文章。
  贵州省根据国家公共安全建设要求,借力“一云一网一平台”,全面开展贵州应急管理云建设,在推动应急管理智慧化、数字化方面做了积极探索,如遵循应急管理部的标准体系,打造贵州特色标准;依托贵州大数据战略和云上贵州系统平台的发展优势,打造贵州特色应急管理云。
  目前,华为已经深度融入到贵州的创新发展中,相互交融、密不可分。面向未来,华为将坚持“平台+AI+生态”的战略,打造智能时代命运共同体。
责任编辑:姚治
产业观察
2020-08-14 09:57:51
“互联网+党建” 助推离退休党员管理
来源:贵阳日报 时间:2020-08-14 09:52:22 作者:
  今年以来,清镇市流长乡运用“互联网+党建”思维,助推离退休党员干部管理,有效巩固了基层党组织战斗堡垒作用。
  据了解,为解决离退休党员干部多随子女在外居住,党支部对离退休党员干部教育管理困难等问题。流长乡通过夯实网络学习阵地,丰富网上党建活动,规范管理组织生活等形式,架起了党支部与离退休党员干部的连心桥,提升了党支部的凝聚力和向心力。
  各党支部组建支部党员微信群,帮助离退休党员干部下载使用“筑红云”“学习强国”等APP,让老同志通过掌上媒介“足不出户”就可以参与学习,全面提升学习覆盖面、学习效率。组织离退休党员干部在线分享经验、畅谈体会,提升离退休党员干部的组织荣誉感、获得感。发挥“筑红云”智能通知监管等功能,让基层组织生活实现历史可溯、过程可视、效果可评。
  截至目前,流长乡离退休党员干部90%加入微信群,80%下载使用“筑红云”“学习强国”等网络学习平台,有效促进离退休党员干部学习教育常态化。
责任编辑:姚治
产业观察
2020-08-14 09:52:22
数据宝公司发布政务大数据解决方案
来源:贵阳日报 时间:2020-06-16 15:47:10 作者:谢孟航
  日前,位于贵安新区花溪大学城双创园区的数据宝公司发布了政务大数据解决方案,以打造“聚、享、用”为一体化的政务数据中台,帮助政府部门治理数据资产。
  作为国家大数据(贵州)综合试验区的十大重点企业之一,数据宝公司承担了国有大数据资产增值共享开放流通先行试点的重任。自2016年在贵安新区成立以来,该公司在国有数据增值运营模式探索、国有数据价值挖掘、数据安全体系建设、数据产品开发等方面取得了丰硕成果,有力地推动了国有数据资源的开放、共享、应用落地。
  目前,数据宝公司已为70个部委局、96家央企的大数据产品流通承担了“审核员、服务员、监督员”的角色,把好了数据安全关。
  盘活政府数据资产,发挥政府大数据的价值是一项系统工程,需要专业的机构进行整合管理。数据宝公司副总裁高培德介绍,目前,很多政府部门之间仍存在“信息孤岛”“数据烟囱”等情况,如果将政府数据利用起来,数据开发者能利用政府大数据开发创新性应用,提供更好的服务,创造更多的价值,能推动经济增长乃至整个经济增长方式转型。数据宝政务大数据解决方案就是帮助政府打通各部门之间的“数据孤岛”。在打通“数据孤岛”前,数据宝会先摸清该部门的数据家底,具体是有多少数据存量、是什么类型的数据、更新频率如何、是否涉密等,然后通过数据集合、加工清洗、目录管理、交换管理、数据安全等步骤,实现各部门之间的数据互通、共享、交换。
  目前,数据宝“国数通”平台已经上线并服务多家政府部门,提升了其社会治理能力。
  据介绍,数据宝运用“堡垒机”机制,确保国有数据资源安全和脱敏脱密。同时,引入“三真”准入审核监控系统,验证真实的企业、真实的应用场景、真实的用户授权,确保国有数据产品的合法合规使用。
责任编辑:陈近梅
产业观察
2020-06-16 15:47:10
树精英:开发大数据服务教育产业“勾勾”让教学更智能
来源:贵州日报 时间:2020-06-11 10:08:53 作者:彭耀永
  作为贵安新区大数据特色企业,贵州树精英教育科技有限责任公司(以下简称:树精英)是最早一批入驻贵安新区数字经济产业园的企业,借着贵州大力发展大数据的东风,抢占先机,在短短几年的时间内,不断发展壮大,占领市场。
  作为以教育大数据为主营业务的公司,树精英公司近年推出了旗下两款核心产品——“云择校”和“勾勾”。
  “云择校”是利用高考录取大数据,通过算法预测大学及专业的录取分数线,指导考生填报高考志愿。该产品已经为150万学生提供服务。“云择校APP”是全国首个基于‘大数据+云计算+保险承保’的高考志愿填报辅助平台。“云择校”为考生、家长们提供开放式的录取大数据、招生计划数据为用户提供免费服务。旨在帮助考生挑选提供数据参考,辅助考生设计一套科学、合理、有效的志愿填报方案。
  另一款核心产品“勾勾”教学系统是基于智能题库和学情数据,学生利用智能笔答题,采集作答数据,经过数据算法分析出学生学习能力值,挖掘出提分点,推送题目、微课给学生进行精准学习,专项提分训练,高效的提高教学成绩,帮助老师减轻教学负担的同时提高教学效果,学生通过精准学习、补强薄弱点,高效的提高学习成绩。家长可以实时了解孩子的学习状况。
  树精英公司研发的产品曾获得2016年“云上贵州大数据”商业模式大赛云创奖、中国创新创业大赛二等奖、全国创新创业教育专场赛十强。
责任编辑:陈近梅
产业观察
2020-06-11 10:08:53
贵州天义技术有限公司:加速打造装备制造业“无人工厂”
科技为核 大数据驱动
来源:贵州日报 时间:2020-06-11 09:44:15 作者:段超木
  6月9日,记者走进贵州天义技术有限公司遵义V谷5号的新厂房,技术员正通过屏幕观察“无人工厂”智能化生产线生产情况,并通过数据平台记录实时数据进行操控。“经过升级后的这条生产线,能生产原有两条生产线的4种73个型号产品,且型号产品生产之间自动换线时间不大于15分钟。这就是目前实现的多品种、小批次的‘柔性制造’。预期产线产能将提升2.4倍,达到年产1200万件。”贵州天义技术有限公司总经理田刚说。
  无人工厂(典型机电组件多品种大批量柔性制造)关键技术研究集成及应用示范项目,作为省科技厅“三无”科技地标科技重大专项,自2019年4月项目启动以来,瞄准工业4.0目标,贵州天义技术有限公司与深圳市德富莱智能科技股份有限公司、贵州科赛德智能制造研究股份有限公司共同研制了智能化设备、制造执行系统,集成企业资源计划系统、产品数据管理系统、智能数据采集系统、仓储物流系统等系统和设备,实现了“点睛”式升级。截至目前,该项目关键技术难点“柔性制造”研究已取得成效,于6月10日进行智能产线二次跑机验收。
   “柔性制造”
  实现工厂内无人化
  对于传统制造工厂来说,当一天工作结束,机器关闭、工人离去,生产能力就闲置了,一年下来,不确定性事件的影响,设备利用率被拉低,大量生产力被浪费的情况无可避免,机器设备真正用于生产的时间不足1/3。
  “无人工厂”,其内涵是节约生产力、减少人工干预、降低人工成本,核心便是“柔性制造”。柔性制造的功能就是根据制造企业的实际加工需求将多台机床设备集合起来,在最少人的干预下,能够生产范围内的所有产品族,实现“多样化、小规模、周期可控”的生产效率,不仅降低了人力成本,也能提高产能。
  在偌大的工厂里,没有一个产线工人,仅有机械臂、机器人有序而高效地忙碌着。这宛若科幻电影中出现的画面正在该项目示范场景中上演。
  贵州天义技术有限公司以其现有自动化生产线为基础,展开机械化自动化设备研发、设备数字化开发、智能化技术应用研究,定制开发自动挂簧设备,提高机械化自动化水平;实现整条生产线的数字化控制,提升信息化水平;通过以机器视觉、机器人等人工智能技术和装备升级关键工位,完成产线智能化改造,从而实现无人工厂模式。
  传统工厂转型无人工厂让工人获得成长。贵州天义技术有限公司负责人田刚说,原本从事流水线体力工作的工人转变为管理机器人的技术工人,工人劳动强度大大降低,工作也变得没那么枯燥,工人生产积极性因此变得更高。
   以“数”驱动
  厂内厂外互联互通到系统集成
  “在生产车间内,通过查询智能数据采集系统,当天的生产计划一目了然。”田刚说,“这个智能系统还可以实现无人化的监管,现场有什么问题可以实时通过系统数据体现出来,方便追溯、查找。”
  项目实施以来,德富莱智能科技股份有限公司根据该项目的实施情况,通过原有软件算法的升级研究,加强生产计划的智能排产和生产过程数据信息的监控,使智能化制造设备数据与信息平台之间实现数据实时联通,将产业链上下游的智能制造软件与硬件系统进行互联互通与融合协同,对人、机、料、法、环、测等生产要素实现闭环式监督和管理,从而最终实现上游供应链、本企业、下游客户三级系统的覆盖。依靠这样的智能系统,颠覆了企业过去落后的数据统计收集模式,大力提高了生产效率,扩大了产能。
  “机器取代人”,少人化,乃至无人化,是“无人工厂”最为直观的一个特征。该项目实施者为实现“无人工厂”的目标,正在积极探索用科技赋能实现装备制造业的“智造”,在实现“无人工厂”的路上阔步前行。
  “目前已经完成了‘柔性制造’场景实操演练,在此基础上,下一步将由互联互通提升到系统集成,将产品生产周期由生产向前扩展到设计,向后扩展到物流、销售,建立离散型智能制造科普基地,让项目研究过程中所形成的标准与协议能够广泛推广开来。”田刚说。
责任编辑:陈近梅
产业观察
2020-06-11 09:44:15
贵州航天电器股份有限公司:“大数据+工业”助高端制造高质量发展
来源:贵阳晚报 时间:2020-06-10 10:33:22 作者:黄菊
  设备利用率提高了18%以上、生产计划执行率提升了30%、产品均衡生产率提高20%以上……这几组数据,是贵州航天电器股份有限公司加快大数据与制造深度融合取得的成果。
  6月9日下午,在贵州航天电器股份有限公司麻花针生产车间,自动化设备有条不紊地运转着。在车间内的一块屏幕上,麻花针完成数量、完成率等数据一目了然,生产数据实时变动着。这些如发丝般粗细的麻花针,广泛用于载人航天、探月、北斗等国家重大工程中,它是航天电器生产的连接器的关键配件,能起到接通光信号、电信号的关键作用。
  除了变动的数据,车间另一个数据比较显眼:设备当前利用率为81.84%。通过屏幕,设备运行状况清晰可见。
  航天电器是我国高端电子元器件制造的领军企业,也是贵阳、贵州高端制造的企业代表,其生产的电子元器件广泛用于神舟飞船、嫦娥探月等航天航空工程。然而,与大批量生产的产品不同,航天电器的产品具有多品种、小批量的特点。
  “有些客户只需要几十个甚至几个产品,这种对柔性化生产的要求很高,因此,如何实现柔性化生产,最大限度降低成本,实现效益最大化,是必须解决的问题。”航天电器智能制造工程部综合管理处处长吕江涛说。
  为解决问题,从2016年“中德智能制造示范项目”落地航天电器,公司打造中德智能制造样板间开始,航天电器对大数据的重视程度提到了前所未有的高度。
  对大数据的应用,从打通数据“壁垒”开始。公司积极引进和研发数据平台,结合自身实际“量身定制”平台,实现了产品全生命周期管理系统PLM、企业资源计划管理系统ERP、计算机辅助设计系统CAD、分布式控制管理系统DCS、设备数据采集与分析系统SCADA、自动化生产与检测设备等软硬件的无缝集成,打通了之前单个的数据“孤岛”。
  “以前,产品的研发、生产和管理各个环节是分开的,研发出的模型要送到生产车间,需要晒图员将模型打印出来,送到生产车间,现在,所有环节均在线上完成,晒图员这一岗位已不存在。”吕江涛说,大数据的应用为企业的管理和生产带来极大改变。
  公司前期统计数据显示,在公司接到的订单中,少于10支连接器的订单占据了公司订单量的80%,而一个订单便要制定一个生产计划。而每天入库的产品批次达2000多批。
  “如果依靠人工或是ERP这种适用于大批量生产计划的系统来制定计划,很多计划是完不成的:生产小批量订单时,会存在设备闲置的情况,生产大批量订单时,又会出现产品积压,所以我们在应用大数据时,不仅要考虑生产计划的均衡性,还要考虑每条产线的产能。”吕江涛介绍,公司打造的“企业驾驶舱”生产计划调度管理系统,通过持续采集和分析产线数据,根据产能精准制定生产计划,不仅使生产计划执行率提升了30%,均衡生产率也提高了20%以上。
  对企业而言,设备停运、设备开机却空转都会造成成本的损耗。如何确保设备不空转?让设备发挥最大效益?针对这些问题,航天电器成功研发了设备在线管理系统。前期,平台对设备运行状态、停运时长、停运原因等大数据进行大量采集和分析,为企业精准制定策略提供了支撑,提高设备利用率,生产车间设备利用率从之前的50%提升到了目前的70%以上。
  同时,系统还会为设备维护提供数据支撑,设备一旦出现故障,系统便会自动报警,报警信息直接传输到设备维保人员的电脑上去,确保维修及时、高效。
  在航天电器,大数据的应用体现在生产的每一个环节上,以麻花针的外观检测环节为例,通过大数据、人工智能的高度协同,数据平台会对收集到的检测数据进行算法分析,实现外观检测的精准化。吕江涛介绍,通过对百万级的大数据进行分析后,目前,设备已能够100%自动剔除不合格产品,确保麻花针质量。
  
责任编辑:陈近梅
产业观察
2020-06-10 10:33:22
贵州人和致远数据服务有限责任公司:以“数据”为笔,为脱贫“画像”
来源:知知贵阳 时间:2020-06-04 14:47:38 作者:
        2015年,贵州人和致远数据服务有限责任公司在贵阳高新区启林创客小镇落地孵化,公司以大数据为发展路线,以民生服务为发展基调,构建起“人”和“数据”的交互联通,让“大数据”在我省农村社保、易地搬迁、就业扶贫等方面,发挥了强大的功效。4年时间,公司的海量的数据覆盖了省内9个市州和1个新区的740多万人。
  走进人和致远,醒目地摆放着7块电子大屏,清晰地显示“职业技能培训”、“乡村振兴·就业扶贫数据管理”各个项目的数据。职业技能培训63662人、就业推荐132196人、成功就业7384人。
  
  近年来,人和致远基于前期掌握的海量数据基础,对贫困户按年龄、喜好进行职业技能培训,用数据为贫困户画像,精准推荐岗位,保障人员和岗位智能化匹配,在全省各地易地搬迁户和精准贫困户劳动力就业等工作中,发挥了积极作用。
  
  贵州人和致远数据服务有限责任公司CEO 胡耀:我们现在掌握的数据和给当地人社部门服务的情况来看,现在服务于老百姓最直接最快速的方式就是帮他们就业。
  
  目前,该平台共收录了 18至65岁之间的16,406 位学员,开设了畜牧业、软件开发、美容美发等292 个培训班,记录学员实名制考勤 492,180 次。
  
  贵州人和致远数据服务有限责任公司CEO 胡耀:我们平台上有二十几万个岗位,通过他的个人信息,可以智能化匹配5至10个工作岗位给他,同时所有的数据会给当地政府建立数据库。
  
  为方便各贫困户便捷就业,人和致远还推出了大数据精准就业服务平台,打开企业开发的微信小程序——友工,即可看到正在筹备中的创业项目、实时的政策咨询、就业管理等板块。
  
  目前,友工已录入外出返乡务工人员信息43万条,用工企业录入2535家,岗位录入6346个,计划招聘177720人,已就业36596人。
  
  友工小程序使用者 周女士:今年看村里很多人都用友工小程序找工作,我自己弄了份简历,推荐的都是很实在的岗位。 
  通过走访贵州60余个区县,20317个自然村落,当人和致远用腿跑出来的信息转换成数据,便发挥出了巨大的能量。目前,公司自主研发的“易地搬迁及贫困人口管理平台”,对区域范围内所有的帮扶干部以及帮扶单位进行映射管理,通过平台,可随时了解帮扶信息,掌握帮扶人口动态。
  
  2019年,人和致远的易地搬迁平台就已累计覆盖了40个贫困区县,服务了1,937,723贫困及易地搬迁人员,实现了1,044,902人脱贫,支撑了1,318,823人完成搬迁,帮助了755,661人就业。
  
  而公司专为农民工打造的“工地实名制平台”,截至目前累计服务了 9,907家企业11,276个项目,记录实名制考勤99,145,785人次,帮助了333,140 位农民工解决工资发放和工伤认定等问题。
  
  贵州人和致远数据服务有限责任公司CEO 胡耀:我们平台帮助当地政府进行服务帮扶,通过数据反馈人员的工资收入情况。他需要我们支持,包括异地搬迁或贫困对象,他还需不需要工作帮扶,这些事情在后续计划都要执行,力争实现动态管理和动态帮扶。
责任编辑:陈近梅
产业观察
2020-06-04 14:47:38
贵州易荣德尚网络科技服务有限责任公司创业故事
有梦想 拼必达
来源:贵阳日报 时间:2020-06-04 14:32:51 作者:李雯文
  “公司运营仅半年,接单量就增长了20倍。”6月2日,贵州易荣德尚网络科技服务有限责任公司市场运营总监吴祥康对记者说道,作为一个由留学人员创业团队创立的公司,利用自身的创新实力,实现了快速成长。
  2019年11月1日,该公司自主设计开发的“拼必达”APP正式上线。这个APP主打跑腿配送业务,却比同类型APP设计更为精细,配送范围不受3公里限制,特有拼单功能。系统有着独特算法,可自动将同类型顾客配对拼单,帮助顾客实现节省时间或是节省费用的诉求。此外,根据贵阳本土消费特性,该公司安排骑手24小时待命,满足顾客宵夜等各种需求。
  APP上线以来,经受住了突如其来的疫情考验,实现了快速增长。年前,公司的接单量是每月1000单左右;公司2月13日恢复经营后,每天接单量上升到近200单。“我们对疫情防控工作尤为重视,骑手体温一小时检测一次,全车消毒一天两次,每位骑手都配备有健康卡片,每天随时监控身体情况。”该公司总经理助理罗丹说,公司通过实行严格的监测、防控措施,得到了更多商家和顾客的信任和认同。
  “拼必达”APP上线仅半年时间,目前每月接单量达到近20000单,贵阳本地已有300多商家入驻。
  在贵阳高新区国家数字内容产业园,记者见到了该公司四位创始人:张田云、吴祥康、张学识、罗丹。其中,张田云、吴祥康、罗丹是一同在新加坡留学的同学,留学期间还联手创业代理连锁餐饮店两年。公司四位创始人中,有学管理的,有学电子商务的,有学IT的,有学金融的。“毕业后大家在国外发展其实都还是不错的,但看到家乡快速发展,我也想回来创业,做点新的事情。”罗丹说。
  罗丹进行过市场调查,发现若是成立团队自己做APP,并以此为基础打造网购即时配送平台,在贵州省是首创。从国际、国内来看,网购已经成为很多人的一种生活习惯,并在不断扩大影响,本地即时配送业务大有可为。
  罗丹给另外几个合伙人打电话讲述创业思路,通过沟通,志趣相投的四个人形成共识,决定共同到贵阳创业打拼。2018年冬,贵州易荣德尚网络科技服务有限责任公司成立。
  公司成立后,四位创始人根据各自的专业和特点,明确分工,各司其责,组成了一个比较理想的团队。四人中唯一的女性张田云担任公司执行董事及总经理,吴祥康担任技术总监及售后服务经理,张学识担任人事部总经理,罗丹担任运营总监。
  回首创业初期,张田云说,公司招聘的第一个小伙伴叫邓黔林。他来应聘时看见房间里随意摆放的桌子、椅子和电脑,忍不住疑惑地问了一句:“你们是不是在做传销哦?”但是听完项目介绍后,邓黔林毫不犹豫地决定加入创业团队。“因为在项目介绍的过程中,感受到了团队对创业目标的真诚和执着。”邓黔林说。现在,他已经是公司运营部经理。
  张田云说:“正是因为有像邓黔林这样的同事的信任和努力,有高新区创业服务中心尽心尽力给予公司的帮助,我们才能度过创业最困难的时期。”
  在贵阳高新区创业服务中心工作人员的热情帮助下,该公司申请到人社部2018年中国留学人员回国创业启动支持计划。“与国外相比,国内的行政效率更高,给予创业人员的帮扶政策更多。”吴祥康说。
  梦想不停、创业不止。未来,该公司还将为商家开发独立接单小程序等,让公司与合作伙伴共同发展壮大。
  
责任编辑:陈近梅
产业观察
2020-06-04 14:32:51
朗玛信息:运用大数据深耕智慧医疗 “互联网+”打通基层医疗“神经末端”
来源:贵阳晚报 时间:2020-06-03 09:43:42 作者:杨婷
  “听说今天有专家过来给我们看病,而且来了就不走喽。”“真的假的?我们赶紧过去看看……”5月27日,在罗甸县茂井镇布江村,听说村里来了大医院的专家,村民们纷纷赶往村卫生室,都想让专家给自己瞧一瞧。
  来到村卫生室,找了一圈也没看到专家的身影,只多了台电脑显示器。“咦,专家到底在哪儿呢?”面对满脸疑惑的村民,布江村驻村医生王家语赶紧向大家解释:“大家别急,专家就在显示器里。”
  原来,为贯彻落实贵州省脱贫攻坚“冲刺90天打赢歼灭战”动员大会会议精神,贵阳高新区组织辖区企业贵阳朗玛信息技术股份有限公司(以下简称朗玛信息)前往罗甸县茂井镇开展结对帮扶工作,分别在布江村、八达村建立远程互联网医疗点,为贫困群众提供常见病、多发病首诊及慢病等健康咨询服务,让当地村民“足不出村”也能享受到省级优质医疗资源,缓解贫困地区“看病难、看病贵”的问题。
  “通过这次两村互联网医疗点建设,能为周边村落3800余人提供远程医疗服务,茂井镇实现问诊服务全覆盖。”茂井镇政法委书记李贵福说道。
  村医王家语表示,问诊平台不仅有效拓展了线上医疗服务空间,更使得“互联网+医疗”覆盖人群得到有效增加,百姓认可度得到显著提升,对于医生的专业知识技能也是一种极大的帮助。
  据了解,此次为布江村搭建远程互联网医疗系统的正是贵阳高新区孵化出生的企业朗玛信息。作为国内唯一一家连续四年入围“中国互联网100强”的互联网医疗企业,2015年,朗玛信息“互联网远程医疗平台”正式上线,该平台是一种全新的O2O医疗服务模式,将部分诊疗环节转移到线上完成,优化就医流程,缩短诊疗等候时间,推进分级诊疗制度的开展。该业务面向基层提供下沉式的医疗服务,由贵阳市六医互联网慢病管理科为用户提供服务,用户可通过在便民药店、社区服务中心、乡镇卫生所等场所部署的远程医疗视频设备进行问诊。
  开通至今,朗玛信息已在全省累计铺设问诊点近300个,覆盖各地州,累计问诊总量近400万人次,注册用户累计超过200万,日问诊量最高达到7千人次。同时,该平台积极实践“互联网+医疗精准扶贫”模式,借助贵阳市六医互联网科全科医生以及各科室专家的资源,对各村村医实现一对一帮。截至目前,该平台已在贵州省134个贫困村铺设了远程问诊设备。
  不仅如此,自新冠肺炎疫情发生以来,朗玛信息还积极发挥“互联网+医疗”优势,依托旗下39健康网、贵健康、39健康——IPTV、39互联网医院联合中国志愿医生及相关学科,为患者和医生搭建起问诊桥梁,实现专家与病人、专家与医护人员之间异地“面对面”会诊。
  “专家你好,我们有个新冠肺炎确诊病人经过一个月的治疗,所有复查指标均已正常,但是核酸检测结果一直呈阳性,想向你请教一下接下来该如何治疗?”
  “呈阳性还是存在传染风险的,现在需要给病人持续提供营养支持,并做好密切监测,注意病人的指标变化……”
  在疫情最吃紧的时候,四川省蓬安县人民医院在朗玛信息的牵头下,连线到了身在武汉的首都医科大学附属北京朝阳医院呼吸内科专家,开展了一次跨越800多公里的会诊,地方小医院通过互联网与北京医疗专家“面对面”,共同探讨新冠肺炎确诊病人的治疗方案。
  很快,专家在详细了解病人情况以及医院对患者开展的治疗内容后,为四川省蓬安县人民医院提供了治疗方案,实现了优质医疗资源的共通共享,可快速解决基层医疗组织的疑难杂症。
  据统计,疫情以来截至5月中旬,朗玛信息共为广西工人医院、海东市第一人民医院、河池市人民医院、南部县人民医院等12家医院连线专家开展线上会诊14146次。朗玛信息利用便捷的移动终端设备,通过远程医疗模式,高效利用优质医疗资源,助力落实国家的分级诊疗,促进优质医疗资源落实到基层医院,为县市医院、民营医院提供智能、优质、规范的医疗服务和解决方案,使基层老百姓享受到优质的医疗服务。
 
责任编辑:陈近梅
产业观察
2020-06-03 09:43:42
贵阳市大数据集团:布局数字新基建,积极拓展新业态
来源:贵阳头条 时间:2020-06-02 15:06:44 作者:
  今年以来,贵阳市大数据集团布局数字新基建,构建了“万物互联、融生数据、无缝智能、全面安全”的新型数字基础设施四大支撑体系。
  今年的全国两会,新基建首次写入政府工作报告。贵阳市大数据集团紧抓当前数字化、网络化、智能化的发展机遇,积极探索新技术、新业态、新模式,形成了技术全面、层级架构、场景丰富、模式创新的“端—网—平台”一体化新型数字基础设施格局,围绕“数据”这一生产要素,在数字基建、数据生产、数据流通、数据安全、数据治理、数据应用生态等数据全生命周期,积极谋划并落地项目。
  在“端”侧,全面推进万物互联。一方面,结合实际需求,充分利用物联网、5G等新技术,打造新的信息基础设施,如新型充电桩、智慧灯杆等;另一方面,以数博大道为试验场,将城市所有可见实体,桥梁、井盖、电梯、公交站、停车场、产业大厦等进行数字化镜像,构建数字孪生城市,形成新的融合基础设施。
  在“网”侧,积极推进城市直联。通过租赁跨省传输通道,结合骨干网,搭建出省“高速公路”,打通贵阳•贵安与成都、重庆、长沙、南宁、福州、上海、广州等地主要互联网节点城市之间大数据直联链路,一方面实现贵阳贵安数据融合发展,另一方面构建整个城市及与外围的互联互通底座。
  在“平台”侧,打造块数据(城市)综合服务平台,夯实数据中台,支撑政务应用、民生应用、行业应用生态建设。打造工业互联网应用展示中心,大力推广工业云平台、工业APP,赋能工业企业,实现数字化转型;
  在“应用”侧,推进政法大脑和城市大应急管理平台、智慧校园和智慧教育、互联网医院和智慧社区,完善新型智慧城市建设的版图,创新行业和领域的服务模式、服务业态,形成创新应用基础设施。
  在“产业”侧,布局数据中心产业,建设新型高通量数据中心,应对万物互联时代的高通量、高品质、低延迟的海量数据传输、处理、响应的需求;布局数据增值产业,推进数博大道资产数字化,探索城市资产数字化和数据资产化运营模式和路径,为大力发挥数据这一生产要素的积极作用而构建完整的产业链和生态圈。
  
责任编辑:陈近梅
产业观察
2020-06-02 15:06:44