【围观】麒麟芯片遭打压成绝版,华为亿元投入又砸向了哪里？>>>
StringIndexer (文本特征索引转换)
描述：StringIndexer 是一个Estimator,只能对DataFrame进行单特征转换。
参数信息 setInputCol setOutputCol
参数描述 String String
备注 DF中待变换的特征名称 变换后的特征名称,转换后的类型为：vector
其他
程序示例： override def getDataFrame(sparkSession: SparkSession = this.getSparkSession()): DataFrame = { sparkSession.createDataFrame(Seq( (0, "a"), (1, "b"), (2, "c"), (3, "a"), (4, "a"), (5, "c") )) .toDF("id", "category") } override def execute(dataFrame: DataFrame) = { //设置模型 val indexer = new StringIndexer() .setInputCol("category") .setOutputCol("categoryIndex") //获取模型 var model: StringIndexerModel = indexer.fit(dataFrame) //映射关系 println(model.labels.mkString(",")) //转换数据 val indexed = model.transform(dataFrame) //show indexed.show() }
模型字典： a,c,b
数据结果： +---+--------+-------------+ | id|category|categoryIndex| +---+--------+-------------+ | 0| a| 0.0| | 1| b| 2.0| | 2| c| 1.0| | 3| a| 0.0| | 4| a| 0.0| | 5| c| 1.0| +---+--------+-------------+
实际应用例子：
文本索引,加快计算。
更多博客推荐：
SparkML（2.1.0）机器学习库指南
本文链接：SparkMl-StringIndexer (文本特征索引转换)

【围观】麒麟芯片遭打压成绝版,华为亿元投入又砸向了哪里？>>>
前言
事业部是公司商业变现部门,重要收入来源,主导产品为商业广告,通过找到『用户』和『广告』的最佳匹配帮助媒体网站实现流量价值最大化,提升广告主投资回报率,提升用户体验,平衡各方利益,建立可持续发展生态圈。
案例背景
深圳某集团,主营业务包括日用消费品制造与分销、地产及相关行业、基础设施及公用事业三块领域（以下简称“HD事业部”）,HD事业部800多人,每年200多项目,改进前采用传统瀑布式开发,以项目规划版本和组织资源,项目周期平均3个多月。当时面临业务的迅猛发展,产品线数量从10+条需要扩张到20+条。如何在业务迅猛发展下,实现新业务需求的快速交付并灵活响应新需求变化？如何提高研发效率并更好地协调研发资源,满足更多产品线的并行需求,是当时事业部面临的很大挑战。
直到他们遇到 CORNERSTOEN ,才彻底解决了当时状况。客户选择 CORNERSTONE 作为公司的项目管理平台后,通过为产品、研发、运营等部门带来的新协同工作方式,将开发迭代周期缩短三分之二,切实有效地提升了研发效能。
如何快速突破挑战？
确定目标：事业部整体实现敏捷转型,在最短时间内提升事业部整体的研发效率、产品迭代速度、资源使用效率,以支撑业务的迅猛发展并最大化资源投入产出。
改进思路：整体从项目视角切换到产品视角,产品目标驱动,自上而下推进,以前端切入拉动后端,完成事业部整体敏捷转型,提升新需求响应速度和资源使用效率,实现业务价值快速交付和资源投入产出最大化。
CORNERSTONE 整体方案：
1、整体从项目视角切换到产品视角,以产品视角创建需求池,每个产品确定唯一产品责任人,以产品视角按特性价值确定优先级规划产品级迭代版本,双周快速交付产品级高优需求；
2、按产品方向建立跨角色团队,打破原有资源池管理模式,对齐各角色目标,提升资源管理效率和各角色目标一致性；
3、按产品方向组建的团队进行团队建设和能力培养,提升跨职能团队协作能力和专业技术能力,提高团队协作效率；
4、各角色以小粒度需求进行并行协作配套可视化看板,提升每个需求流动效率,降低等待,释放资源产能；
5、在产品代码主干上开发和持续集成,自上而下推进持续集成和配套工具链,实现自动化研发流水线,提高效率；
6、前后端以产品视角同步迭代周期和需求优先级,同步发布迭代版本,以最短周期交付业务价值。
打破一切边界,建立开放高效的协作体系 外部业务的延伸让HD长成了如今市值千亿的一流企业,但在真正落地「开放」的过程中,「信息协同」成为一大难点。为此,HD不断梳理内部工作规范的方法论,再加上 CORNERSTONE 工具的大力协助,小HD事业部已建立起一套坚实的底层业务流程基础。 来看看HD事业部是如何与 CORNERSTONE 通力协作的。 建立全局视野,再多项目并行也能及时把控 HD事业部最多有超过 50 多个项目在同时进行,因此,随时掌握所有项目进展,及时有效把控项目风险,这两点变得尤为重要,当然,CORNERSTONE也轻而易举地满足了这两点需求。
在 CORNERSTONE 任务列表页,所有项目的进展一目了然,其中： 当项目在某个进度出现停滞时,系统会适时对管理者预知资源风险。比如当大部分项目都集中停留在「未开始」阶段,开发人员可能会出现紧缺状况,这时系统就会进行提示。
另外,当某个项目出现逾期情况后,系统会及时告知管理者,此时任务卡会显示成红色,以更醒目的方式让成员获知时间风险。 每个任务代表一个具体项目,进度、资源和时间节点在看板上一目了然。
跨企业成员在一个系统中协作,共享可视化的工作台
HD事业部的项目几乎都需要与外部合作伙伴共同完成,HD团队可以把合作伙伴成员邀请到一个具体项目中,在统一组织体系中协作, CORNERSTONE 成为「一切团队协作开始的地方」。在可视化的看板上,按照项目流程建立任务阶段和合作伙伴成员,可以随时协同所有事务,知道在每个阶段具体做哪些事情、谁在负责、是否完成等等。 比如在「产品方案沟通」阶段,点开任务详情页界面,可以看到跟所有利益人相关的沟通、需要的重要文件可以在任务里上传文件、表格、图片、任务联项等以保证沟通阶段文件的存留。
内外部成员共享一个可视化的工作台。
打破组织和地域边界,内外部成员随时 @ 对方讨论关键事务。
为项目组建「虚拟团队」,让组织保持敏捷
为了提升项目开发效率,HD内部主张建立一个个无部门边界的虚拟组织,以达到灵活调配资源的敏捷开发目的。而 CORNERSTONE 恰好适用于这种打破部门边界、基于项目自由组合成员的协作场景。 为项目组建「虚拟团队」,邀请产品、开发、测试等部门的成员加入其中。
打破跨部门协同壁垒,建立高效协同流程
传统只能通过QQ、微信、钉钉等下发任务,不知道工作的进展,口头承诺、口头协作,任务协作比较杂乱、流程比较随意、风险比较大。用「 CORNERSTONE 」则集成企业微信端口,帮助团队碎片化操作,打造移动工作平台；绑定个人微信,项目动态即时触达,无缝接收消息通知。
那么HD事业部使用 CORNERSTONE 效果如何？
业务迅猛发展下,实现了事业部的整体敏捷转型,建立了事业部自身快速前进的能力；
产品发布周期和新需求响应<10天；
整体开发时间占比提升到70%以上；
资源管理和协调成本下降到20%；
在业务迅猛发展过程中各团队有效协同并快速灵活响应高优需求,实现新产品快速迭代,最大化了资源投入产出。

【围观】麒麟芯片遭打压成绝版,华为亿元投入又砸向了哪里？>>>
Authors
Shujun Wang1(B), Lequan Yu1, Kang Li1, Xin Yang1, Chi-Wing Fu1,2, and Pheng-Ann Heng 1,2
Department of Computer Science and Engineering,The Chinese University of Hong Kong,
代码链接 https://github.com/EmmaW8/BEAL
Motivation
1、眼底图像中视盘（OD）和视杯（OC）的自动分割有助于青光眼的筛查和诊断。
2、深度学习在OD和OC的分割任务中已经有了非常卓越的进步,但由于跨域差异（domain shift）而未能对新的数据集产生令人满意的预测
3、提出一种有效的domain自适应方法来提高目标区域图像soft边界区域的预测性能仍然是一个具有挑战性的问题。
Observations. 在source domain上训练的深层网络往往会对target domain图像产生模糊和不准确的边界,而source domain的边界预测更具结构化（即相对位置和形状）；文章认为一种有效的提高目标区域预测精度的方法是进行边界驱动的对抗学习,在source domain和target domain之间实施domain-invariant的边界结构。 网络容易在source domain图像上产生确定性（低熵）预测,从而产生仅沿object边界具有高熵值的清晰预测熵图；但是target domain的预测是不确定的,而mask预测的熵图是具有高熵输出；在target domain上实施certainty predictions（低熵）成为提高目标区域分割性能的可行方案。
Contribution
1、提出了一种边界和熵驱动的对抗学习方法,通过产生精确的边界和抑制高不确定性区域,从目标区域眼底图像中分割OD和OC。
在RIM-ONE-r3和DrishtiGS数据集上测试
Net Structure
Boundary-Driven Adversarial Learning (BAL)
source domain , ground truth 另一个target domain
每张source图为 网络提供边界预测 以及mask probability 预测 同样道理,给每张target图 生成 , 。为了使用边界信息去驱动对抗学习,作者使用了辨别器 ,用来对齐boundary prediction 。
其中LD是binary cross-entropy loss,N和M是source and target domain 图像的数量。
Entropy-Driven Adversarial Learning (EAL)
BAL仍然是有high-entropy (under-confident) on the soft boundary regions,因此作者使用如下策略,新加入一个entropy-driven adversarial learning的discriminator De, 其中De的目标函数为
其中
那么adversarial loss就是
综上,整个网络的loss function如下
是source domain mask的pridction loss, 是source domain boundary regression loss, 和 是mask和boundary的ground truth。
和 是在target domain上的。

实验结果,略

【围观】麒麟芯片遭打压成绝版,华为亿元投入又砸向了哪里？>>>
为了降本增效,近来世界范围内掀起一股流程优化的热潮,转型升级成为众多企业时刻挂在嘴边的热词。不过在企业数字化转型的过程中,信息孤岛的出现,往往成为了企业升级的绊脚石。

信息孤岛：数字时代企业之痛
信息孤岛,又称“数据孤岛”,是广泛存在于每个企业中的一种信息隔离现象。
随着企业信息化建设突飞猛进,企业管理职能精细划分,信息系统围绕不同的管理阶段和管理职能展开,如客户管理系统、生产系统、销售系统、采购系统、订单系统、仓储系统和财务系统等,所有数据被封存在各系统中,让完整的业务链上“孤岛林立”。信息的共享、反馈难,使企业无法适应当今快速多变、全球化竞争的市场环境,企业的生存和发展将面临极大的挑战。

如今,越来越多的企业已经意识到,实现流程优化升级,降低运营成本,并从信息和数据中获得更有价值的洞察,必须要打通“数据孤岛”。但另一方面,数据接口的高投入、难协调、长周期等特点,让众多企业望而却步。

RPA如何打通信息孤岛
企业业务流程的良好运行,需要这些功能各异的系统或工具的来回切换与相互配合。如何实现这一过程的自动化运行？RPA则给出了答案。
传统解决信息孤岛问题只有两种方式。一是统一双方数据对接；二是人力手工操作跨系统跨应用的数据维护。然而人力手工处理大量的数据从安全、效率、准确率的角度看都不是一个最好的选择。这个时候RPA就派上了用场。作为解决企业信息化“最后一公里”的推手,RPA担任起了打通企业信息烟囱,连接企业信息断点的职能。

RPA机器人可以像人类员工一样使用操作系统。RPA的工作原理是基于计算机操作系统的工作桌面。可以自动识别UI、从而完成预先设定的工作流程。它有能力启动和使用各种应用程序,包括打开电子邮件和附件、登录应用程序、移动文件和文件夹,甚至从网络（包括社交媒体）上抓取数据。
RPA是基于既有的用户界面操作,部署周期快,并且不受制于底层IT基础设施。RPA可以实现所有的数据处理,包括数据的复制和粘贴、合并来自多个来源的数据、从文档中提取数据、向表单输入数据、运算、将数据提取并重新格式化为报告或仪表板。实现与企业原有工具的集成,读写数据库、连接到系统API。
RPA能有效解决企业常见的信息资源管理系统（如ERP、CRM等）及办公软件（Excel、word等）集成难等问题,弥补系统之间的差距。相比于人力手工操作,更为安全、高效、精准,对数据传输的质量起到了更好的保障作用。
RPA的出现,一定程度上解放了被困在各个系统孤岛上的人类。随着公司寻求新的业务效率,今后RPA市场将会更快地增长。据德勤的一份RPA调查报告显示,当前已有超过53%的大型企业开始实施 RPA。预计2020年,将有超过72%的大型企业使用RPA技术。对于越来越多的企业而言,RPA正在成为其自动化战略的根本部分。

【围观】麒麟芯片遭打压成绝版,华为亿元投入又砸向了哪里？>>>
随着流程自动化机器人（RPA）、人工智能（AI）等创新技术向财务领域不断的深入扩展,其在带来组织架构、人员及管理变革的同时,也不禁引起了财会、税务、审计等人员的困惑,在以机器人技术为牵引的数字化财务时代下,财会人员该如何重塑自己的知识结构,获得核心竞争力？
智能时代,初级财务人员面临的风险
财务人员,讲求5门基本功课,即“票、账、表、钱、税”。比如,如何开具及审核查验发票、记账、出具报表、收付款、纳税申报以及税务筹划等。掌握这5门功课的财务人员,一般称之为初级财务,主要做的就是大量重复的、程式化的、规则统一的命令执行工作。
在RPA时代,如果仍只守着这5门课,而不向前走,恐怕将有会被取代的风险。
会计工作的本质 决定了其 最终会采用 RPA 自动化的 这种 方式。而 票、账、表、钱、税这5项所涉及的操作,正是RPA所擅长的领域。RPA工具虽然不是专门为财务工作而开发出来的,但其在财务工作中的应用场景却异常丰富。
账单管理、报表管理、预算管理、信用管理、税务管理、流程控制 ……目前, RPA 技术基本覆盖了财务管理的方方面面 。 这也很好的解释了,为什么RPA技术会首先在财会领域刮起一阵旋风,以及四大会计师事务所为何都在力推RPA。
从取代到升级 ,RPA给财务提供了新机遇
不可否认 ,随着RPA机器人在财务领域的持续应用,一部分从事简单、基础、重复性和规则性都极强工作的财务人员确实有被机器替代的危险。但这并不意味着,RPA机器人是在抢财务人员的饭碗。
实际上,RPA的出现,给那些有意从中低端财务人员向高端财务管理人员迈进的员工,提供了一个良好的成长机会。
当代的财务管理正在发生这样一种变革：财务管理将其关注的焦点,由交易的过程和控制,逐步转向提供决策支持和更深入的全球战略制定等方面。而高水平的财务管理人员,必然要站在战略的高度,在分析各种因素对资金流动影响的基础上对企业的财务活动进行全局性、长期性和创造性的谋划。
RPA机器人的出现,并非取代人,而是为了释放人力。将基础的财务工作交给RPA机器人完成,财务人员得以抽出更多时间和精力从事更为复杂、有难度、但更具价值的工作。

当财会人员不用再把时间放在记账、录入等低附加值的工作上后,他们可以投入更多的时间和精力,深入分析企业或组织的财务数据以改进经营决策；并在预算制定和分析、成本核算和控制、绩效管理和提升、投资评估和决策等方面发挥更多的价值与功能,最终晋级成为高级财务人员。

【围观】麒麟芯片遭打压成绝版,华为亿元投入又砸向了哪里？>>>
智能信息过滤和图片鉴别 让不良信息无处遁形

互联网的高速发展,让人们享受到网络技术带来的便捷美好生活,但网络是把双刃剑,网络在给人们认识世界带来便利的同时也为有害信息的广泛传播提供了广泛的途径。如今,色情、暴力、反动等不良信息充斥互联网,严重影响了网络环境,让网络信息安全问题成为世界各国共同面对的难题和挑战。人工智能技术的发展,让智能信息过滤和图片鉴别变得更简单,运用华为云函数工作流服务,网络不良信息将无处遁形。
人工智能助力信息过滤
我们日常上网的时候,会经常遇到这样的情况：有人在聊天中发涉黄的文字及图片；有人在论坛评论里发一些无关的广告；有人使用非法图片作为自己的头像来吸引流量；有些网站会利用色情视频、图片等牟利。这些无疑会对青少年造成不好的影响,如果利用人工去进行识别并删除,必然耗费大量人力财力。利用人工智能等新技术,可以对未知威胁检测、可视化、分析和处置,保持健康的网络环境。
FunctionGraph服务 信息鉴别更高效
如何才能进行信息过滤和图片鉴别呢？华为推出函数工作流（FunctionGraph）服务,让上网环境更干净。函数工作流是一项基于事件驱动的函数托管计算服务,通过函数工作流,无需配置和管理服务器等基础设施,只需编写业务函数代码并设置运行的条件,函数便可以以弹性、免运维、高可靠的方式运行。
FunctionGraph服务具有以下几大优势： 灵活扩展：业务爆发时可以自动调度资源运行更多函数实例以满足处理需求； 事件触发：通过上传文件到OBS,触发FunctionGraph函数进行文件处理。 按需收费： 只有对函数处理文件数据的时间进行计费,无需购买冗余的资源用于非峰值处理。
函数工作流的使用流程也极其简单,只需要两个步骤即可实现：一、创建函数并编辑好相关代码；二、创建触发函数运行的函数触发器。如果需要识别色情、暴力、反动等不良信息,同样只需执行好以上两大步骤即可解决。
想知道具体如何进行信息过滤吗？想体验“和谐”不良图片时的操控感吗？面向对信息过滤感兴趣的人员,社会大众和高校师生,华为推出云微认证“智能信息过滤和图片鉴别“。通过学习华为函数工作流技术理论结合信息过滤实践,学员将掌握实现信息过滤的原理,了解华为云服务的相关概念,通过实践提升信息过滤操作的能力。
学习“智能信息过滤和图片鉴别“,请登录：https://edu.huaweicloud.com/certifications/b3dcef0e9bbb4f4394bb397dce58f971,你也可以体验一下网络安全管理员的角色哦！

【围观】麒麟芯片遭打压成绝版,华为亿元投入又砸向了哪里？>>>
It seems like every few days there’s another example of a convincing deepfake going viral or another free, easy-to-use piece of software (some even made for mobile) that can generate convincing video or audio that’s designed to trick someone into believing a piece of virtual artifice is real. But according to The Wall Street Journal, there may soon be serious financial and legal ramifications to the proliferation of deepfake technology.
The publication reported last week that a UK energy company’s chief executive was tricked into wiring €200,000 (or about $220,000 USD) to a Hungarian supplier because he believed his boss was instructing him to do so. But the energy company’s insurance firm, Euler Hermes Group SA, told the WSJ that a clever AI-equipped fraudster was using deepfake software to mimic the voice of the executive and demand his underling pay him within the hour.
“The software was able to imitate the voice, and not only the voice: the tonality, the punctuation, the German accent,” a Euler Hermes spokesperson later told The Washington Post. The phone call was matched with an email, and the energy firm CEO obliged. The money is now gone, having been moved through accounts in Hungary and Mexico and dispersed around the world, the Post reports.
Later, after a second request from the thieves was made, the energy firm CEO called up his actual boss, only to find himself handling calls from both the fake and the real versions of the man simultaneously, which alerted the CEO to the ongoing theft. Euler Hermes declined to name the energy firm or its German parent company.
This may not be the first time this has happened. According to the Post, cybersecurity firm Symantec says it has come across at least three cases of deepfake voice fraud used to trick companies into sending money to a fraudulent account. Symantec told the Post that at least one of the cases, which appears to be distinct from the one Euler Hermes has confirmed, resulted in millions of dollars in losses.
The situation highlights the fraught nature of AI research, especially around the artificial creation of video and audio. While none of the big Silicon Valley companies with large, capable AI research institutions are openly developing deepfake video software, some are working diligently in the audio realm.
Google’s controversial Duplex service uses AI to mimic the voice of a real human being so that it can make phone calls on a user’s behalf. A number of smaller startups, many of which are located in China, are offering up similar services for free on smartphones, sometimes under questionable privacy and topplay data collection terms. Meanwhile, researchers at tech companies and in academia are trying to develop deepfake-detecting software. Other researchers are unearthing the extent to which a convincing deepfake can be generated and purposed using even smaller amounts of data.
In other words, deepfakes are here, and they can be dangerous. We’re just going to need better tools to sort out the real from the fake.

【围观】麒麟芯片遭打压成绝版,华为亿元投入又砸向了哪里？>>>
个性推荐算法说的很多了,常用的模型是：
U*V= Q
其中Q是评分表,一般共3列：用户id,物品id,评分值
U是用户特征表,V是物品特征表。
算法的最终目标就是从Q算出U和V。那么Spark Mllib里有ALS算法可以做矩阵分解,其基本原理是最小交叉二乘法,用到了Breeze库的矩阵函数库。所谓交叉二乘就是轮流固定U或V,来算出V或U。比如第一轮固定U,来算出V,第二轮固定算出的V,来算出U。直到最后误差收敛。
Spark里主要是用RDD框架来对数据分块计算,达到并行的特点。
而Tensorflow里用深度学习的方法来实现矩阵分解就更简便了,其基本原理是根据U*V和Q的差值来自动优化,深度学习的特点就是只要你搭建好了学习模型,那么只要自动训练就可以找到最优解,因此实现起来也很方便。
TensorFlow的代码可以参考如下。
1、 收集原始数据 import pandas as pd import numpy as np import tensorflow as tf # 第一步：------------------------收集和清洗数据 ratings_df = pd.read_csv('F:\Machine\data_sets\ml-latest-small/ratings.csv') # print(ratings_df.tail()) # tail命令用于输入文件中的尾部内容。tail命令默认在屏幕上显示指定文件的末尾5行。 # 相对应的有：ratings_df.head() movies_df = pd.read_csv('F:\Machine\data_sets\ml-latest-small/movies.csv') movies_df['movieRow'] = movies_df.index # 生成一列‘movieRow’,等于索引值index # print(movies_df.tail()) movies_df = movies_df[['movieRow', 'movieId', 'title']] # 筛选三列出来 movies_df.to_csv('F:\Machine\data_sets\ml-latest-small/moviesProcessed.csv', index=False, header=True, encoding='utf-8') # 生成一个新的文件moviesProcessed.csv print(movies_df.tail()) ratings_df = pd.merge(ratings_df, movies_df, on='movieId') # print(ratings_df.head()) ratings_df = ratings_df[['userId', 'movieRow', 'rating']] # 筛选出三列 ratings_df.to_csv('F:\Machine\data_sets\ml-latest-small/ratingsProcessed.csv', index=False, header=True, encoding='utf-8') # 导出一个新的文件ratingsProcessed.csv print(ratings_df.head())

​​​​​​​ 2、创建用户矩阵和电影矩阵 # 第二步：-----------------------创建电影评分矩阵rating和评分纪录矩阵record userNo = ratings_df['userId'].max() + 1 # userNo的最大值 movieNo = ratings_df['movieRow'].max() + 1 # movieNo的最大值 rating = np.zeros((movieNo, userNo)) print(rating.shape) # 创建一个值都是0的数据 flag = 0 ratings_df_length = np.shape(ratings_df)[0] print(np.shape(ratings_df)) # 查看矩阵ratings_df的第一维度是多少 for index, row in ratings_df.iterrows(): # interrows（）,对表格ratings_df进行遍历 # rating[int(row['movieRow']), int(row['userId'])] = row['rating'] # 等价于： rating[int(row['movieRow'])][int(row['userId'])] = row['rating'] # 在rating表里的'movieRow'行和'userId'列处,填上row的‘评分’,即ratings_df对应的评分 flag += 1 # if (ratings_df_length-flag) % 5000 == 0: # print(u'还剩多少待处理：%d' %(ratings_df_length-flag)) # print(rating[3][450]) record = rating > 0 record = np.array(record, dtype=int) print(record)

3、预处理数据
对上一步的数据进行归一化处理。 # 第三步：----------------------------预处理数据 def normalizeRatings(rating, record): m, n = rating.shape #m代表电影数量,n代表用户数量 rating_mean = np.zeros((m, 1)) #每部电影的平均得分 rating_norm = np.zeros((m, n)) #处理过的评分 for i in range(m): idx = (record[i, :] != 0) #每部电影的评分,[i,:]表示每一行的所有列 rating_mean[i] = np.mean(rating[i, idx]) # 第i行,评过份idx的用户的平均得分 # np.mean() 对所有元素求均值 rating_norm[i, idx] = rating[i, idx] - rating_mean[i] #rating_norm = 原始得分-平均得分 return rating_norm, rating_mean rating_norm, rating_mean = normalizeRatings(rating, record) rating_norm = np.nan_to_num(rating_norm) # 对值为NaNN进行处理,改成数值0 # print(rating_norm) rating_mean = np.nan_to_num(rating_mean) # 对值为NaNN进行处理,改成数值0 # print(rating_mean)

4、构建模型和损失函数 # 构建模型 num_features = 12 X_parameters = tf.Variable(tf.random_normal([movieNo, num_features], stddev = 0.35)) Theta_parameters = tf.Variable(tf.random_normal([userNo, num_features], stddev = 0.35)) # tf.Variables()初始化变量 # tf.random_normal()函数用于从服从指定正太分布的数值中取出指定个数的值,mean: 正态分布的均值。stddev: 正态分布的标准差。dtype: 输出的类型 loss = 1/2 * tf.reduce_sum(((tf.matmul(X_parameters, Theta_parameters, transpose_b=True) - rating_norm) * record) ** 2) + \ 0.5*(1/2 * (tf.reduce_sum(X_parameters ** 2) + tf.reduce_sum(Theta_parameters ** 2))) # 基于内容的推荐算法模型 train = tf.train.AdamOptimizer(1e-3).minimize(loss)

5、训练模型 # 第四步：------------------------------------训练模型 tf.summary.scalar('train_loss', loss) # 用来显示标量信息 summaryMerged = tf.summary.merge_all() # merge_all 可以将所有summary全部保存到磁盘,以便tensorboard显示。 filename = 'F:\Machine\data_sets\ml-latest-small/movie_tensorborad.csv' writer = tf.summary.FileWriter(filename) # 指定一个文件用来保存图。 sess = tf.Session() init = tf.global_variables_initializer() sess.run(init) # 运行 for i in range(2000): _, movie_summary = sess.run([train, summaryMerged]) # 把训练的结果summaryMerged存在movie里 writer.add_summary(movie_summary, i) # 把训练的结果保存下来

6、评估模型 # 第五步：-------------------------------------评估模型 Current_X_parameters, Current_Theta_parameters = sess.run([X_parameters, Theta_parameters]) # Current_X_parameters为电影内容矩阵,Current_Theta_parameters用户喜好矩阵 predicts = np.dot(Current_X_parameters, Current_Theta_parameters.T) + rating_mean # dot函数是np中的矩阵乘法,np.dot(x,y) 等价于 x.dot(y) errors = np.sqrt(np.sum(((predicts - rating) * record)**2)) # sqrt(arr) ,计算各元素的平方根 print(u'模型评估errors：', errors)

7、推荐电影 # 第六步：--------------------------------------构建完整的电影推荐系统 user_id = input(u'您要想哪位用户进行推荐？请输入用户编号：') sortedResult = predicts[:, int(user_id)].argsort()[::-1] # argsort()函数返回的是数组值从小到大的索引值; argsort()[::-1] 返回的是数组值从大到小的索引值 print(u'为该用户推荐的评分最高的20部电影是：'.center(80, '=')) # center() 返回一个原字符串居中,并使用空格填充至长度 width 的新字符串。默认填充字符为空格。 idx = 0 for i in sortedResult: print(u'评分: %.2f, 电影名: %s' % (predicts[i, int(user_id)]-2, movies_df.iloc[i]['title'])) # .iloc的用法：https://www.cnblogs.com/harvey888/p/6006200.html idx += 1 if idx == 20: break

【围观】麒麟芯片遭打压成绝版,华为亿元投入又砸向了哪里？>>>
“64%的开心、21%的疲惫、8%的惊讶……”你有想过你的情绪能被一秒识别出来吗？在2019世界人工智能大会现场,当一连串分析结果显示到屏幕上时,金融壹账通的“微表情识别技术”让体验者纷纷感到惊奇不已。
作为聚集世界前沿的人工智能技术的盛会,2019世界人工智能大会于8月29日正式拉开序幕。大会云集了国内外大咖与前沿科技,作为国内领先的金融科技服务云平台,金融壹账通携带多项“黑科技”亮相,向行业展示自身科技能力以及赋能成果。
会议上,科技部副部长李萌宣布了十个国家级人工智能开放平台。平安作为唯一一个金融机构获批国家新一代人工智能开放平台（普惠金融）。金融壹账通将是这个国家级开放平台的主要参与方。
“这样的微表情识别技术,可以做到识别人类开心、愤怒、厌恶、恐惧、伤心、惊讶和面无表情这七大类情绪,总计54种情绪的识别能力、39种面部动作单元,可以识别90%以上表情变化”,在展览现场,金融壹账通技术人员介绍到。该微表情识别技术曾斩获国际面部动作单元识别竞赛世界第一,并大量运用在贷款面审环节中,帮助面审人员提示骗贷风险。
“不仅是表情上的情绪,就连文字,机器都可以识别出文字的情绪。”现场人员介绍到,体验者打开Gamma O开放平台,其中有各式各样的人工智能技术,其中有一项文字情绪识别,只要体验者输入一段话,就可以智能识别出体验者输入文字的情绪。
还有参观者对现场展示的文本理解体验非常感兴趣,体验者对非常复杂的法律条文进行了大胆尝试,纷纷客串一把当律师的感觉。比如,拿到手上几千字的法律文件,没有专业知识的人很难短时间内看懂内容,而在文本理解体验展台上,只需拿起手机,对文件拍照,立马就会将文件内的文字扫描并进行分析,根据既定的逻辑,分析出文案的关键词、关键类,清晰易懂。
智能客服也是很多观众感同身受的另一项科技,在生活中,和你打电话的可能不是人,而是机器。金融壹账通在大会上还展示了多轮对话、语义理解技术等技术,无论是体验者说的、写的,聪明的机器都能理解,并通过对应逻辑分析所需结果。相关工作人员向体验者介绍到,多轮对话、语义理解技术可以应用到智能外呼机器人中,通过搭建AI机器人代替人工完成基础工作。在智能外呼机器人中,增加情绪识别技术,还可以感知客户的情绪变化,减少人工投诉的同时,能够找到业务突破口。该服务可应用于多个金融业务场景,包括存量客户经营、新产品推荐、还款提醒、客户回访调研等。通过机器人取代大量人工客服,从而大幅降低呼叫中心的人力成本,提高服务效率。
这些微表情、文本理解、智能客服等技术,都是金融壹账通运用人工智能技术,整合了各项金融业务场景,运用在了保险、海关以及投资等各方面,比如在智能闪赔、跨境贸易融资、智慧合约等方面,获得了在场体验者的高度关注和频频询问。
除了人工智能,金融壹账通还展示了一项“黑科技”——运用在区块链技术的3D零知识验证技术。该技术可以在保证隐私的前提下实现“数据可用”,解决AI模型训练中大量数据涉及的隐私问题,广泛应用于供应链金融、贸易融资、经营投资等场景中。
金融壹账通作为平安集团“金融+科技”开放战略的重要承载者,将领先的技术与方案向行业开放,对金融机构不仅进行业务赋能,更是进行经营管理赋能,帮助金融机构“内外兼修”,全面推动金融机构智慧化转型升级。

【围观】麒麟芯片遭打压成绝版,华为亿元投入又砸向了哪里？>>>
PS是在工作中经常使用的平面设计软件,利用ps可以实现很多操作。换天,换发色,添加亮灯等操作都是比较常见的,今天将为大家分享怎样在ps中制作对话气泡的方法,希望能给大家带来帮助。

绘制工具：PS
绘制方法：
1.在新建文件中创建一个线的画布,设定需要的像素大小,开始下一步的编辑。

2.在左侧的工具栏中选择形状工具确定所要绘制气泡的样式,长按鼠标左键在面板中画出相同形状的图形。

3.这时要对颜色进行选择,选择前景色中的RGB颜色按住AIL+Delete对气泡颜色进行填充。

4.在左侧工具栏中选择字体操作,对字体进行输入,可以设定在气泡内也可以在气泡外,根据需要对字体进行输入。

5.按住Ctyl+T键可以对添加的字体间距,字体大小进行设置可以将字体设置为3D样式,增强立体感。

6.对字体位置的移动需要借助左侧工具栏中的移动操作,点击字体图层即可进行任何位置转移。

以上的操作步骤就是利用ps制作对话气泡的简单方法,熟练掌握ps可以对工作有很大的帮助,不同的创意所绘制出的成品也是不同的,希望上面的操作方法能给大家带来帮助。

【围观】麒麟芯片遭打压成绝版,华为亿元投入又砸向了哪里？>>>
随着公司积累大量数据并寻找合适的技术进行分析和利用,人工智能（AI）逐渐成为主流。这就是为什么Gartner预测到2021年80％的新兴技术将拥有AI基础。
随着预测分析,机器学习和其他数据科学的趋势已经开始,营销人员需要开始关注如何利用这些技术来形成以数据为驱动力的营销策略。考虑到这一点,我们询问了AI行业专家,为什么营销领导者需要开始考虑AI,以及一些最好的开源AI框架来保持关注。
这里有6个最受欢迎的创新开源AI框架。
1. TensorFlow: Google的开源框架
TensorFlow是一个由工具,库和资源组成的生态系统,许多受欢迎的公司（如Airbnb,eBay,DropBox等）都在使用它。TensorFlow旨在简化和简化机器学习算法的复杂性以简化开发。使用视觉模型和流程图,开发人员和数据科学家可以快速创建神经网络和其他机器学习模型来利用数据。例如,Airbnb正在使用TensorFlow对公寓列表中的照片进行分类,以确保它们准确代表特定的空间。
2.亚马逊SageMaker Neo
亚马逊最近将其机器学习平台的功能Amazon SageMaker Neo开源,作为服务产品。新发布的Neo-AI项目代码将使AI开发人员能够训练机器学习模型并在云中的任何地方运行它们。Neo-AI项目针对需要快速和低延迟预测的边缘计算设备和物联网（IoT）传感器进行了优化。
例如,专门从事数字娱乐产品的公司先锋公司（Pioneer Corp）使用Amazon SageMaker Neo进行实时图像检测和汽车内摄像头的分类。同样,野村综合研究所（NRI）正在使用Amazon SageMaker Neo来检测便利商店,机场和其他企业中安装的相机中的物体,以优化运营。
3. Scikit-learn
Scikit-learn是一个基于Python的开源机器学习库,专注于数据挖掘和分析。它建立在NumPy,SciPy和matplotlib之上,并具有精选的一组高质量的机器学习模型,可用于最受欢迎的用例。Morgan和Evernote等知名品牌使用Scikit-learn进行预测分析,个性化推荐和其他数据驱动的任务。
4. Microsoft认知工具包
Microsoft认知工具包（CNTK）是一个开源的深度学习框架。 CNTK可以以各种语言的库形式包含在项目中,也可以通过自己的称为BrainScript的模型描述语言用作独立的机器学习工具。 Bing,Cortana和其他品牌的商业级工具包使用的海量数据集需要可扩展且高度优化的机器学习平台。
5. Theano
Theano是与NumPy紧密集成的深度学习Python库。这意味着其主要用例是使用相对简单的Python脚本定义和评估复杂的数学表达式,同时利用高级计算来优化性能。即便如此,Theano仍被认为是低级框架,许多品牌选择使用在其之上构建的框架如Keras或Blocks。
6.Keras
Keras是可以在TensorFlow,Microsoft Cognitive Toolkit和Theano之上运行的高级机器学习API。它的易用性和对开发人员体验的关注使Keras成为快速制作新应用程序原型的首选。 Netflix,Uber和Yelp等许多品牌以及规模较小的创业公司已将Keras集成到其核心产品和服务中。
例如,Netflix利用深度学习来预测客户流失,这对于基于订阅的业务至关重要。该公司拥有大量的客户数据,并且能够识别他们怀疑会取消其服务的客户,从而为他们提供折扣或其他续订奖励措施。
人工智能市场的主要驱动力是基于云的服务的日益普及和数字化的增长。AI在各个行业中的大量应用是另一个主要的增长诱因。
例如,在金融行业中,人工智能用于检测和标记银行和金融流程中的活动。除此之外,它还被用于医疗保健行业,以对患者进行药物治疗和不同的治疗,并在手术室中进行手术。此外,领先的组织正在使用AI来识别和审查视觉内容以获得更深刻的见解。除此之外,企业正在大力投资以改善现有的AI基础架构,并开发AI驱动的工业和外科手术机器人,预计这将在未来几年为市场提供积极动力。
人工智能如何改变业务
SmarterHQ的首席数据科学家兼联合创始人Dean Abbott认为,对于大多数企业领导人来说,人工智能应该是首要考虑因素。对于营销人员,Abbot解释说：“人工智能意味着集成更多数据源,并使用这些数据通过机器学习算法来改善营销活动的优先级,个性化和内容。”
尽管许多组织刚刚开始了解AI如何适应其数字战略,但迅速成为有效利用数据的必要条件。Abott表示：“但最重要的是,有效使用AI的领导者将取代那些在实施AI方面遇到障碍的领导者,因为有效的AI最终将成为成功,盈利业务不可或缺的一部分。”
近期,Gravitylink 基于 Edge TPU 软硬件以及国内 AI 行业生态,打造出全球化 AI 算法及解决方案交易市场——「钛灵 AI 市场」,致力于帮助来自全球的优秀 AI 服务商与需求方建立更加高效的直连对接,加速 AI 技术在各领域的落地、应用。这里不仅有基于企业需求对接的 AI 商业平台,更提供了 AI 产业所需的多维度机器学习模型、算法及硬件。基于同 Google 的合作关系,平台将会提供优质的企业采购及对接服务,构建一站式 AI 赋能平台。

【围观】麒麟芯片遭打压成绝版,华为亿元投入又砸向了哪里？>>>
远程桌面是微软公司为了便于网络管理员管理维护服务器推出的一项服务。从windows 2000 server版本开始引入,网络管理员时候远程桌面连接器连接到网络任意一台开启了远程桌面控制功能的计算机上,就像是自己操作该计算机一样,运行程序,维护数据库等。远程桌面采用的是一种类似TELNET的技术,它是从TELNET协议发展而来的,通俗的讲远程桌面就是图形化的TELNET。那么如何批量管理我们的多台服务器呢？下面向大家介绍一款远程桌面连接工具——IIS7远程桌面连接工具。
查看地址： iis7远程桌面管理工具下载
首先,下载解压软件：
点击右上角的【添加】添加服务器的相关信息：
下面是你必须要添加的服务器信息：
【注意】
1 、 输入服务器端口后用冒号分隔再填写端口号（一般默认为 3389 ）；
2 、 服务器账号一般默认为 administrator ；
3 、 服务器密码就是在购买服务器时所给的密码或者自己设置的密码。
其他信息是为了方便大批量管理服务器信息的时候添加的分组信息,根据个人情况和喜好做分类。
添加完毕核对无误后就可以点击右下角的添加,就可以看到添加的服务器信息,双击就可以打开啦！
添加多台服务器之后打开：
批量打开之后,最厉害的功能就是它可以同时控制全部的电脑：
同时鼠标操作,键盘操作等等：
这就是这个软件如何批量管理服务器,vps,云服务器的方法,以后还会做到更好,请大家多多关注！

【围观】麒麟芯片遭打压成绝版,华为亿元投入又砸向了哪里？>>>
> 论文提出使用进化算法来进行神经网络结构搜索,整体搜索逻辑十分简单,结合权重继承,搜索速度很快,从实验结果来看,搜索的网络准确率挺不错的。由于论文是个比较早期的想法,所以可以有很大的改进空间,后面的很大算法也是基于这种想法进行更好的补充
 
来源：晓飞的算法工程笔记 公众号
论文: Large-Scale Evolution of Image Classifiers
论文地址： https://arxiv.org/abs/1703.01041
Introduction
  论文对当前的进化算法进行少量地改造,结合前所未有的算力进行神经网络结构搜索,在CIFAR-10上达到了很不错的准确率。论文十分注重搜索算法的简单性,从性能很差的无卷积模型开始,进化算法需要在一个几乎不受约束的搜索空间中进化成复杂的卷积网络
Methods
Evolutionary Algorithm
  基于锦标赛选择(tournament selection)进行进化算法,定义如下概念： 种群(population),模型集合 个体(individual),训练完的单个模型 适应值(fitness),模型在测试集上的准确率 工作者(worker),每次从种群中选取两个个体进行适应值计算 消灭(killed),将worker挑选的个体中,适应值低的去掉 繁殖(reproduction),将worker挑选的个体中,适应值高的作为父代(parent),拷贝并进行变异(mutation)得到子代(child),将子代放回种群中(alive)
  为了加速计算,使用massively-parallel, lock-free的并行计算,许多worker在不同电脑上进行独立的异步操作,仅使用共享文件系统来保证种群内容一致,每个个体为一个文件夹。种群数量为1000,worker一般为种群数量的$\frac{1}{4}$
Encoding and Mutations
  网络结构表示为图(DNA),节点表示3维tensor或激活方法,tensor的3维分别表示图片的空间坐标以及channel数,激活方法作用与节点上,可以为BN+RELU或无激活,边表示identity connections或卷积(包含可变异参数)。当节点连接多条边时,将其中一条非identity connection的边作为主边,对其它边进行像素的最近邻差值以及维度的裁剪和填充,最后进行element-wise sum。在每次繁衍过程中,随机选取以下一种变异方式： 调整学习率 不变 重置权重,子代重新训练 随机位置插入卷积层 删除卷积层 修改stride,2的倍数 修改channel数,修改范围为原值的一半至两倍 卷积核大小,奇数 添加skip connection 删除skip connection
Initial Conditions
  种群的初始化为仅包含global average pool的简单个体,学习率为0.1
Training and Validation
  在CIFAR-10上进行4万5张图的训练和5千张图的测试,共训练25600轮,batch size为50
Computation cost
  每个进行训练的模型,记录其单batch训练的计算量$F_t$FLOPs和验证的计算量$F_v$FLOPs,乘以batch数得到最终的计算量为$F_tN_t+F_vN_v$,
Weight Inheritance
  由于模型完整的训练需要更多的迭代次数,这十分耗费时间,为了解决这一问题,允许子代默认继承父代的权重,如果层有相同的shape,则继承,但如果是重置权重突变,则全部不继承
Reporting Methodology
  为了防止过拟合,训练集和测试集不能有交集,准确率表现最好的模型称为“the best model”
Experiments and Results


  从实验来看,论文提出的搜索方法比目前的同体积的网络性能要高,但比SOTA略差一点,整体搜索时间很快。对于两个超参数,种群大小和迭代次数,则是越大越好,太小容易陷入局部最优
CONCLUSION
  论文提出使用进化算法来进行神经网络结构搜索,整体搜索逻辑十分简单,结合权重继承,搜索速度很快,从实验结果来看,搜索的网络准确率挺不错的。由于论文是个比较早期的想法,所以可以有很大的改进空间,后面的很大算法也是基于这种想法进行更好的补充,所以这篇论文也是值得一读的
 
 
 
> 如果本文对你有帮助,麻烦点个赞或在看呗～
更多内容请关注 微信公众号【晓飞的算法工程笔记】

【围观】麒麟芯片遭打压成绝版,华为亿元投入又砸向了哪里？>>>
论文超级大合集下载,整理好累,拿走不谢！！！
————————————————————————————————————
CVPR-2020
AAAI-2020
CVPR-2019
NIPS-2019
ICCV-2019
IJCAI-2019
————————————————————————————————————
独木难成林,寡林不成森,
要从整体上把握学术动向,
还是得快速查阅 论文合集！
————————————————————————————————————
百度网盘链接： https://pan.baidu.com/s/1gFTife9yX2WgG2GBvWvErw
提取码：f9y5
解压密码：(一定要) 左键双击压缩包,再点击那张 “查看解压密码.png” 即可。
PS：整理太累,请尽快收藏或下载,防止过期 ~ ^-^
PS： 全论文分类汇总表正在整理中,关注公号,马上发布 ~ ^-^

【围观】麒麟芯片遭打压成绝版,华为亿元投入又砸向了哪里？>>>
深度学习高端人才不仅是AI发展的重要养分,也是企业转型AI巨大推动力。2019年1月19日,百度黄埔学院——深度学习架构师培养计划在百度科技园举行开学典礼,深度学习技术及应用国家工程实验室副主任、百度AI技术平台体系执行总监吴甜,中国信息通信研究院副总工史德年,中国软件行业协会常务副秘书长陈宝国出席了典礼。吴甜表示,百度希望能帮助业界培养第一批“首席AI架构师”。
35位来自业界的高端深度学习人才作为“黄埔学院”首期学员,迎来第一课,与20余位担当导师的百度重量级科学家和技术负责人享受“AI知识盛宴”,中国深度学习第一核心技术圈初现雏形。
深度学习“人才荒”,培养稀缺人才正当时
近年来,中国的发展已经从高速增长向高质量发展转变,从粗放型增长向创新驱动增长转变,史德年表示,“在人工智能浪潮席卷全球的当下,深度学习作为核心技术,对于企业向AI转型的重要性不言而喻。”深度学习作为人工智能发展的重要一环,能让人工智能技术更快速地普及到各行各业,推动融合创新,推动经济、社会和文化等变革。

然而,据领英大数据显示,全球AI人才整体供给在340万人左右,而其中深度学习人才仅9.5万人,且流动性较大,进一步加大了缺口。
陈宝国谈到,软件将会成为人类社会的基础设施,应用软件的人才也是关键。2018年7月,中国软件行业协会就发布了国内首个AI产业专业技术人才培养标准——《深度学习工程师能力评估标准》,将深度学习工程师能力评估分为初、中、高三个级别。同时,深度学习技术及应用国家工程实验室、中国软件行业协会、百度公司联合发布了中国AI领域第一个深度学习工程师认证考试方案和第一个体系化的深度学习人才培养方案,意在培养更多、更高水平的工程师,加速推动产业发展。
事实上,高端人才需要更细化、更有针对性的定向培养,培养难度与高端人才对行业的价值成正比。
在这样的大形势下,国家深度学习技术及应用国家工程实验室和百度联合发起创办“黄埔学院——深度学习架构师培养计划”,正当其时。
吴甜这样提及黄埔学院人才培养方向,“我们希望培养产业中极度稀缺的AI高端人才,能深谙细分领域思路和模式、了解并能分析产业业务核心问题和杠杆点,还能够有扎实的深度学习理论基础去分析和规划问题解决办法,并将之付诸于工程实践落地执行。我们认为这些都是通往‘首席AI架构师’之路上必备的能力。”

黄埔学院云集精兵强将,课程直击业界要害
学生生源方面,黄埔学院面向全行业招募、严格选拔出了35位企业深度学习业务决策人。从数百名报名者中脱颖而出的35名学员,可谓是真正的“精兵强将”。他们来自国家卫星气象中心、中油瑞飞、中信银行、顺丰同城、奇瑞汽车、神思电子、OPPO、广东电网、广东长隆集团、中国联通软件研究院等,这些企业都具备丰富的AI应用和落地场景,拥有深度学习所需的数据和技术条件。学员都具备两年以上深度学习从业经验,并在企业中担任关键技术岗位或技术管理职位。
从学员反馈中发现,这些高端人才也面对着深度学习带来的诸多挑战,有三大主要方面：一是缺乏系统的深度学习理念,导致企业对未来AI技术的研究方向不够明确；二是缺乏成熟的深度学习应用,企业难以发现适用深度学习去解决的问题和场景；三是深度学习技术的各个环节,包括数据的采集、标注,模型搭建、训练及测试,调参技巧,以及深度学习算法工程化软件架构等都存在难题。
自2012年以来,无论是在业务应用方面还是前沿技术研究方面,百度都在深度学习领域深耕已久。2013年百度成立了深度学习研究院IDL,并在世界上率先将深度学习技术应用于大规模搜索引擎；2016年,百度开源了国内最早的、也是目前唯一的深度学习框架PaddlePaddle；2017年,百度承建了“深度学习技术及应用国家工程实验室”。
同时,百度在赋能AI生态企业落地的过程中,也积累了多个业务需求与AI技术结合的实际成功案例。比如招聘领域,云脑科技利用百度PaddlePaddle深度学习框架优化算法,帮助HR们从海量简历中进行初筛和精准排序,大大提升HR挑选面试人选的效率和质量；农林领域,北京林业大学基于PaddlePaddle研发了面向信息素诱捕器的智能虫情监测系统,该系统大幅降低虫情监测的人力成本,原本研究院一周的观察时间可缩短至30分钟。
种种成功落地实践,都证明了百度拥有足够强劲的实力,领头培养深度学习高端人才。因此,抱着“为中国产业界培养第一批首席AI架构师”的宗旨,黄埔学院建立的首期,就汇集了百度AI的顶尖业界技术与教研资源,从最具前瞻性的百度研究院、经验最丰富的深度学习框架研发团队与应用技术团队,集中选出20余位科学家与高T作为导师,这些导师兼具强大理论基础、多年技术底蕴和丰富的应用经验,都将在黄埔的课程中为各位学员授课。其中Baidu Research Fellow Kenneth Church、百度深度学习技术平台总监马艳军、百度PaddlePaddle总架构师于佃海在第一次课程中率先登场。
PaddlePaddle技术加持,完善人才培养体系
开学典礼第一课,Kenneth Church带来了“学术突破与商业落地之间的鸿沟”的主题演讲,他回顾了人工智能发展中,理性主义和经验主义各领风骚此消彼长的历史规律,90年代至今,经验主义带来的人工智能的商业化发展；马艳军和于佃海从深度学习三大发展趋势切入,结合公司业务实践、深度学习技术应用等层层递进,阐述了深度学习助力产业发展的重要意义。

（Baidu Research Fellow Kenneth Church）
脱离了实践的土壤,再多高大上的课程都只是理论和空谈。针对目前企业在实际应用中存在的以上种种挑战,黄埔学院给出了完善的课程体系,学员将参与为期6个月、共4次的面对面的北京进修授课,与百度深度学习架构师面对面授课交流。此外,还有定制的线上交互式学习课程,辅助其升级技术知识,快速拆解业务问题,并可能参与行业解决方案的联合研发等专项支持。最终,从深度学习的理论基础、应用案例和具体技术三大方面直击深度学习实际应用的要害。
现场充斥着学员们热烈的讨论声,不难看出,大家对黄埔学院打造中国深度学习第一核心技术圈的蓝图充满期待。学员代表也从自己的企业应用角度分享了对黄埔学院这场“知识盛宴”的理解。金玮,来自中国石油下属的信息技术公司——中油瑞飞,是一名数据分析工程师,他分享到,中油瑞飞已经落地了钻井事故复杂预警、管道泄露告警、合同文本识别与管理、油卡盗刷识别等人工智能解决方案,促进了企业对数据的重视,节省了大量人力。他谈到,此次参加“黄埔学院”是希望能了解深度学习项目落地的历程以及困难,借鉴到公司未来项目中。
来自京东方的计算机视觉科研发主管唐小军,他目前主要负责计算机视觉技术研发以及落地应用,例如在画屏产品中实现画作标签自动识别、以图搜图,以及在标牌产品中实现人脸识别和人脸属性识别进行用户细粒度统计。他分享到,他参加这次培训主要想学习百度在深度学习方面的技术经验,提升技术能力并了解相关研发成果,希望在产品开发中能采用百度的AI技术。
黄埔学院第一期就在企业之中获得了热烈的反响。从更长远的时间线来看,百度的黄埔学院也将进一步完善百度的深度学习人才培养体系。
在深度学习人才的培养上,百度也早有系统化的建设规划。发展指引方面,百度联合中国软件行业协会发布了国内首个AI产业专业技术人才培养标准《深度学习工程师能力评估标准》；教学辅导方面,百度提供了线上、线下全面的官方深度学习普及教育课程；高校支持方面,百度联合多个国家有关部门瞄准高校,成立首个AI师资培训班,支持人工智能学科建设；平台支持方面,推出了线上一站式开发平台AI Studio,为深度学习人才提供实训平台。
此次黄埔学院开学,也标志着百度聚焦企业支持,在培养中高端深度学习人才的成功经验上,向高精尖人才的培养再度迈进,也体现出百度致力于打造中国深度学习第一核心技术圈的决心,以及通过深度学习技术引领中国产业变革的美好愿景。
>> 访问 PaddlePaddle 官网, 了解更多相关内容 。

【围观】麒麟芯片遭打压成绝版,华为亿元投入又砸向了哪里？>>>
课程描述 本课程由中科院一线精英教师团队研发,自2018年经教育部新工科深度学习师资培训班多次打磨迭代,理论讲解透彻深入,知识点层层递进,并形成了一课一练的有效学习模式。每节课程配套相应实践案例,从调参到补代码到写完整的模型一体化训练,帮助学习者摆脱纸上谈兵,学以致用。
前置知识 《零基础入门深度学习》https://aistudio.baidu.com/aistudio/course/introduce/801 入门必备数学知识 Python必备基础
课程目标 计划开设深度学习课程的专业教师 希望夯实理论理解,帮助更有效实践的学习者
课程列表 Python入门 [实践：豆瓣高分电影爬取] 飞桨 使用入门 [实践：波士顿房价预测] 机器学习入门 [实践：鸢尾花分类] 深度学习入门 [实践：手写数字识别] 卷积神经网络 [实践：猫狗分类] 计算机视觉应用 [实践：目标检测]
参考资料 参考教材：《深度学习导论与应用实践》清华大学出版社
本课程基于 PaddlePaddle v1.5版本进行讲解。
该课程已帮助150+位高校专业教师开设深度学习相关课程,更多了解请点击：教育合作

直达链接： 飞桨 官网：https://www. paddlepaddle .org.cn 飞桨 GitHub：https://github.com/ paddlepaddle / paddle
关注 飞桨 官方公众号,第一时间获取 飞桨 及师资培训最新资讯。
课程获取链接及详情,请点击： https://aistudio.baidu.com/aistudio/course/introduce/789
>> 访问 PaddlePaddle 官网, 了解更多相关内容 。 下载安装命令 ## CPU版本安装命令 pip install -f https://paddlepaddle.org.cn/pip/oschina/cpu paddlepaddle ## GPU版本安装命令 pip install -f https://paddlepaddle.org.cn/pip/oschina/gpu paddlepaddle-gpu

【围观】麒麟芯片遭打压成绝版,华为亿元投入又砸向了哪里？>>>
你知道吗？ 人类有 70%的信息获取来自于视觉。但目前存在两个问题： ①人眼本身只能看到物理世界,无法看到其背后复杂的信息世界； ②人类的记忆力有限,视野有限,于是会出现看了就忘、视野窄等各种问题。

科幻片里常见这样一种“人肉外挂”：通过一系列的技术改造,主人公（比如史塔克）眼前出现的一切物体都会被自动识别,什么名称、用途、用法用量,全都可以秒速反馈回来,并被即时载入到记忆中,过目不忘。

如今, 百度识图 在百度 App 和简单搜索 App 上推出的最新版,通过应用 Lens技术 把这种科幻场景往现实生活中拉得更近了一点！ 下载安装命令 ## CPU版本安装命令 pip install -f https://paddlepaddle.org.cn/pip/oschina/cpu paddlepaddle ## GPU版本安装命令 pip install -f https://paddlepaddle.org.cn/pip/oschina/gpu paddlepaddle-gpu

一、 百度识图可 以做什么？

作为目前全球识别能力最广的AI视觉产品, 百度识图已支持超 过 30+场景的认知。
例如：扫商品找同款比价格,扫植物学辨认技巧看养护知识,扫人脸测面相运势,扫菜品/食材看热量知功效做法、扫明星看八卦追行程、扫汽车了解型号价格、扫红酒查酒庄年份、扫题目搜答案看解析。

此外还有 AR 翻译、文字、图书、海报、药品、货币、电影 等多品类的认知能力。
点击查看演示视频




二、Lens技术是什么？

Lens技术是一 种基于移动端实时感知和云端视觉搜索的类人眼视觉 AI 能力, 能够实现所见即所得的信息浏览体验。
应用Lens技术后,打开百度识图,无需拍照, 毫秒内自动扫描并锁定镜头内检测到的全部物体, 即刻反馈“它是什么”,“它背后的相关信息”,让你随时随地拥有“移动的百科全书”。

三、本次升级有什么重要意义？

1. 从行为层面,它将深度强化人眼视觉理解能力,改变人类认知事物的习惯并为未来的智能眼镜奠定坚实基础。 你可以借 助百度识图真正 实现边走边看,不间断浏览,同时,依托于百 度识图背后的超级百 度大脑,将确保为每个实物提供精准、深度的信息介绍,让你边看边学。

2. 从技术层面,它首次实现了类人眼的对实时视频流数据的感知和认知能力。 百度 识图 具备了目前全球最快最稳定的跨平台实时视觉 AI 能力,可以嵌入到 Android/iOS 系统部署,依靠百度移动端深度学习预测框架 Paddle -mobile,支持 ios,android,linux-arm,fpga等平台的编译和部署,使深度学习模型能够在移动端和智能硬件中运行,并保持业内遥遥领先的性能和效果指标。


四 、百度识图的Lens 技术攻克了哪些难题？

为了达到类人眼的视力,人工智能必须充分调动起复杂且涉及众多环节的能力。在这一过程中, 百度识图 的 Lens 技术 遇到并解决了4个核心问题。

1 、快速连续稳定地发现新物体

人眼对视觉信号反应时间170ms~400ms, 新进入视野的物体能够被快速的看见,当视角发生变化时新视野的物体在被发现的同时,也能够建立与旧视野内物体的对应关系。具体到技术上,分为两个问题：单帧图像的物体检测的性能和连续帧图像物体检测的稳定性。

① 单帧物体检测 的性能包含准确率、召回率和检测速度。过深的 CNN,相应地耗时也都较长。而且终端 GPU 相比服务器 GPU 的性能还要拉开十倍以上的差距,耗时更长。

因此,我们选择构建 轻量级的 MobileNet 网络 结构实现移动端物体检测,并且构建覆盖通用场景的百万级别通用物体检测图片数据集。针对基础模型进行压缩,进一步提升预测速度,同时模型运行在百度自研的移动端深度学习预测框架 Paddle -mobile上,作为 PaddlePaddle 的移动端预测引擎,针对嵌入式手机等平台的计算芯片做了大量优化,最终可支持在手机端实现 单帧多目标检测耗时60 ms 以内,主要物体检测准确率和召回率均在95%以上。

② 连续帧图像物体检测 的稳定性是我们面临的一个新挑战,它关注解决的问题是如何量化衡量在连续帧上不断的进行物体检测时,物体是否被检测到的状态变化。


在图像上物体的微小平移、尺度、姿态变换,都导致 CNN 输出变化剧烈

百度提出了一种移动终端基于视觉跟踪的连续帧多目标检测方法专利, 在实时连续帧数据上,用跟踪完成短时的物体状态保持,并在视野物体发生变化时,在检测模型中融合跟踪算法的输出,给出最终的稳定的连续帧物体检测结果。 最终帧错误率从16.7%降低到2%。

2 、连续实时跟踪物体

为了让反馈信息像放置在真实世界中的一样稳定,百度采用了 SLAM（Simultaneous Localization and Mapping）技术。在未知环境中,通过对环境的观测确定自身的运动轨迹,同时构建出环境三维地图。
对文字跟踪的场景,还涵盖了 Texture Mapping 技术,将文字的翻译结果,无缝地融合到源语言文字位置处,达到原生视觉效果。


3 、视觉信号多层认知,
先粗看再细看

人眼会对视野内的物体先产生初步理解,例如左前方有辆汽车。当眼睛注意力集中到汽车时,再由具体认知环节分辨是宝马320还是奔驰C200。

粗粒度语义理解模型的训练,整理构建涵盖办公、家庭生活、商场、超市、户外园区和街道等主要场景的300+标签分类标签体系,包含百万级物体局部图的数据集。

细粒度物体认知是由一整套复杂的云端系统构成,包含万级别大规模细粒度分类模型,以及基于 ANN 最近邻向量检索构建的百度新一代视觉检索技术,支持相似图、同款商品、名人脸等检索。

4 、无缝连接以上三个环节

人眼在接收到视觉信号后,由大脑完美地调度,发现、跟踪和多层认知三个环节实现无缝衔接。在技术实现上,却需要考虑非常多的因素,包括用户 注意力判断、注意力集中时的选帧算法、跟踪和检测算法的调度切换策略。

通过精细的组合调度算法,我们 将百度识图 的 耗电量控制在 2%/10min 以内, 满足了移动端部署对能耗的要求。

最终,物体的发现感知、连续跟踪、粗粒度语义理解,以及根据用户行为和视觉场景动态组合和调度以上模型的 multi-task planning 算法,整体构成感知计算模块 Walle SDK,可以支持在IOS、Android 以及服务器等多种平台部署。


五、未来还有哪些新期待？

1. 在用户行为及信息理解层面,未来 的百度识图,将会融合：多模态的交互方式、多形态的信息呈现方式以及多纵深角度的信息识别结果,带来更聪明的 视觉理解体验。那个时候,借助智能设备, 我们只需要动动眼睛,说一句话,我们所需要的信息就会以 AR 的方式叠加到我们面前。

2. 在技术应用层面,百度 识图将会成为 跨平台应用、并持续丰富物体高级感知能力的维度,促进全人类的人眼视觉能力强化。目前 百度识图能力由纯C++ 实现的跨平台运行库, 核心库大小300KB, 几乎可以嵌入任何支持深度学习模型运行的终端平台,例如智能硬件、一些智能摄像头、无人驾驶汽车等等。

六、怎样体 验百度识图黑科技？

说了这么多,你是不是也想赶紧体验一下呢？升级到最新 版百度识图,就可以体验 黑科技啦, iPhone用户可以在百度 App（11.2版本） 和简单搜索App（3.1版本） 的“自动拍” 入口体验,安卓用户需要耐心等待一下哦,百度App 安卓端将在1月份发布的11.3版本上线黑科技,简单搜索的安卓版后续也会很快上线！后续还会推广到其他场景。
下面以 百度 App 为 例, 带你一起体验！


未来,我们会将 百度识图的Lens技术 开放给开发者,帮助大家以极小的开发成本
即可让自己的摄像头具备类人眼能力。
而今天,你可以打开百度 App 和简单搜索 App,体验移动端深度学习框架 Paddle Mobile的应用,运用 Paddle Mobile重新认识你身边的视界。
>> 访问 PaddlePaddle 官网, 了解更多相关内容 。 下载安装命令 ## CPU版本安装命令 pip install -f https://paddlepaddle.org.cn/pip/oschina/cpu paddlepaddle ## GPU版本安装命令 pip install -f https://paddlepaddle.org.cn/pip/oschina/gpu paddlepaddle-gpu

【围观】麒麟芯片遭打压成绝版,华为亿元投入又砸向了哪里？>>>
飞机目标检测 参考 源码notebook, https://github.com/databooks/databook/tree/master/gis/iobjectspy10 iObjects 10使用, 使用SuperMap iObjects for python 10.0 #!/usr/bin/env python3 # coding=utf-8 import os import time from iobjectspy.ml.vision import Inference Using TensorFlow backend.
设置输入数据路径 curr_dir = '' data_dir = os.path.join(curr_dir, '..','..','example_data') input_data = os.path.join(data_dir, 'inference/plane_infer.tif')
设置输出数据路径 out_dir = os.path.join(curr_dir, '..','..','out') out_data = os.path.join(curr_dir, '..','..','out','plane.udbx') if not os.path.exists(out_dir): os.makedirs(out_dir)
设置模型路径 model_path = os.path.join(curr_dir, '..','..','model','obj_det_plane','obj_det_plane.sdm')
目标检测类型 category_name = "plane"
基于影像文件进行飞机目标检测
影像文件格式支持 ‘tif’、‘img’(Erdas Image)、'jpg'、'png' 等,目标检测结果为GeoJSON文件,包含目标位置、类型等信息 目标检测类别支持 'plane', 'ship', 'tennis-court', 'vehicle' """ 影像文件格式支持 ‘tif’、‘img’(Erdas Image)、'jpg'、'png' 等 目标检测结果为GeoJSON文件,包含目标位置、类型等信息 """ start_time = time.time() result = Inference(input_data, model_path, out_data=out_data, out_dataset_name='out_plane').object_detect_infer( category_name, nms_thresh=0.3, score_thresh=0.3) end_time = time.time() print('耗时{}s'.format(end_time - start_time)) print('结果为{}'.format(result)) java -cp /home/data/hou/workspaces/iobjectspy/venv/lib/python3.6/site-packages/iobjectspy-10.0.0-py3.6.egg/iobjectspy/_jsuperpy/jars/iobjects-py4j.jar com.supermap.jsuperpy.ApplicationExample 127.0.0.1 51759 [iObjectsPy]: Connection gateway-service successful, Python callback port bind 40351 耗时8.400574445724487s 结果为out_plane_R

【围观】麒麟芯片遭打压成绝版,华为亿元投入又砸向了哪里？>>>
//LingShun LAB #define Trig 2 //引脚Tring 连接 IO D2 #define Echo 3 //引脚Echo 连接 IO D3 float cm; //距离变量 float temp; // void setup() { Serial.begin(9600); pinMode(Trig, OUTPUT); pinMode(Echo, INPUT); } void loop() { //给Trig发送一个低高低的短时间脉冲,触发测距 digitalWrite(Trig, LOW); //给Trig发送一个低电平 delayMicroseconds(2); //等待 2微妙 digitalWrite(Trig,HIGH); //给Trig发送一个高电平 delayMicroseconds(10); //等待 10微妙 digitalWrite(Trig, LOW); //给Trig发送一个低电平 temp = float(pulseIn(Echo, HIGH)); //存储回波等待时间, //pulseIn函数会等待引脚变为HIGH,开始计算时间,再等待变为LOW并停止计时 //返回脉冲的长度 //声速是:340m/1s 换算成 34000cm / 1000000μs => 34 / 1000 //因为发送到接收,实际是相同距离走了2回,所以要除以2 //距离(厘米) = (回波时间 * (34 / 1000)) / 2 //简化后的计算公式为 (回波时间 * 17)/ 1000 cm = (temp * 17 )/1000; //把回波时间换算成cm Serial.print("Echo ="); Serial.print(temp);//串口输出等待时间的原始数据 Serial.print(" | | Distance = "); Serial.print(cm);//串口输出距离换算成cm的结果 Serial.println("cm"); delay(100); }

【围观】麒麟芯片遭打压成绝版,华为亿元投入又砸向了哪里？>>>
70年代末,随着计算机的应用和传感技术的发展,移动机器人研究又出现了新的高潮。特别是在80年代中期,设计和制造机器人的浪潮席卷全世界。一大批世界著名的公司开始研制移动机器人平台,这些移动机器人主要作为大学实验室及研究机构的移动机器人实验平台,从而促进了移动机器人学多种研究方向的出现。
移动机器人目前已经遍布军事、工业、民用等各大领域,并还在不断的发展中,目前移动机器人技术已获得了可喜的进展,研究成果令人鼓舞,但对于实际中的应用需求还需要长时间的发展,相信随着传感技术、智能技术和计算技术等的不断提高,智能移动机器人一定能够在生产和生活中扮演人的角色。那么移动机器人定位技术主要涉及到哪些呢?经总结目前移动机器人主要有这5大定位技术。
一、移动机器人超声波导航定位技术
超声波导航定位的工作原理也与激光和红外类似,通常是由超声波传感器的发射探头发射出超声波,超声波在介质中遇到障碍物而返回到接收装置。
通过接收自身发射的超声波反射信号,根据超声波发出及回波接收时间差及传播速度,计算出传播距离S,就能得到障碍物到机器人的距离,即有公式：S=Tv/2式中,T—超声波发射和接收的时间差;v—超声波在介质中传播的波速。
当然,也有不少移动机器人导航定位技术中用到的是分开的发射和接收装置,在环境地图中布置多个接收装置,而在移动机器人上安装发射探头。
在移动机器人的导航定位中,因为超声波传感器自身的缺陷,如：镜面反射、有限的波束角等,给充分获得周边环境信息造成了困难,因此,通常采用多传感器组成的超声波传感系统,建立相应的环境模型,通过串行通信把传感器采集到的信息传递给移动机器人的控制系统,控制系统再根据采集的信号和建立的数学模型采取一定的算法进行对应数据处理便可以得到机器人的位置环境信息。
由于超声波传感器具有成本低廉、采集信息速率快、距离分辨率高等优点,长期以来被广泛地应用到移动机器人的导航定位中。而且它采集环境信息时不需要复杂的图像配备技术,因此测距速度快、实时性好。
同时,超声波传感器也不易受到如天气条件、环境光照及障碍物阴影、表面粗糙度等外界环境条件的影响。超声波进行导航定位已经被广泛应用到各种移动机器人的感知系统中。
二、移动机器人视觉导航定位技术
在视觉导航定位系统中,目前国内外应用较多的是基于局部视觉的在机器人中安装车载摄像机的导航方式。在这种导航方式中,控制设备和传感装置装载在机器人车体上,图像识别、路径规划等高层决策都由车载控制计算机完成。
视觉导航定位系统主要包括：摄像机(或CCD图像传感器)、视频信号数字化设备、基于DSP的快速信号处理器、计算机及其外设等。现在有很多机器人系统采用CCD图像传感器,其基本元件是一行硅成像元素,在一个衬底上配置光敏元件和电荷转移器件,通过电荷的依次转移,将多个象素的视频信号分时、顺序地取出来,如面阵CCD传感器采集的图像的分辨率可以从32×32到1024×1024像素等。
视觉导航定位系统的工作原理简单说来就是对机器人周边的环境进行光学处理,先用摄像头进行图像信息采集,将采集的信息进行压缩,然后将它反馈到一个由神经网络和统计学方法构成的学习子系统,再由学习子系统将采集到的图像信息和机器人的实际位置联系起来,完成机器人的自主导航定位功能。
三、GPS全球定位系统
如今,在智能机器人的导航定位技术应用中,一般采用伪距差分动态定位法,用基准接收机和动态接收机共同观测4颗GPS卫星,按照一定的算法即可求出某时某刻机器人的三维位置坐标。差分动态定位消除了星钟误差,对于在距离基准站1000km的用户,可以消除星钟误差和对流层引起的误差,因而可以显着提高动态定位精度。
但是因为在移动导航中,移动GPS接收机定位精度受到卫星信号状况和道路环境的影响,同时还受到时钟误差、传播误差、接收机噪声等诸多因素的影响,因此,单纯利用GPS导航存在定位精度比较低、可靠性不高的问题,所以在机器人的导航应用中通常还辅以磁罗盘、光码盘和GPS的数据进行导航。另外,GPS导航系统也不适应用在室内或者水下机器人的导航中以及对于位置精度要求较高的机器人系统。
四、移动机器人光反射导航定位技术
典型的光反射导航定位方法主要是利用激光或红外传感器来测距。激光和红外都是利用光反射技术来进行导航定位的。
激光全局定位系统一般由激光器旋转机构、反射镜、光电接收装置和数据采集与传输装置等部分组成。
工作时,激光经过旋转镜面机构向外发射,当扫描到由后向反射器构成的合作路标时,反射光经光电接收器件处理作为检测信号,启动数据采集程序读取旋转机构的码盘数据(目标的测量角度值),然后通过通讯传递到上位机进行数据处理,根据已知路标的位置和检测到的信息,就可以计算出传感器当前在路标坐标系下的位置和方向,从而达到进一步导航定位的目的。
激光测距具有光束窄、平行性好、散射小、测距方向分辨率高等优点,但同时它也受环境因素干扰比较大,因此采用激光测距时怎样对采集的信号进行去噪等也是一个比较大的难题,另外激光测距也存在盲区,所以光靠激光进行导航定位实现起来比较困难,在工业应用中,一般还是在特定范围内的工业现场检测,如检测管道裂缝等场合应用较多。
红外传感技术经常被用在多关节机器人避障系统中,用来构成大面积机器人“敏感皮肤”,覆盖在机器人手臂表面,可以检测机器人手臂运行过程中遇到的各种物体。
典型的红外传感器包括一个可以发射红外光的固态发光二极管和一个用作接收器的固态光敏二极管。由红外发光管发射经过调制的信号,红外光敏管接收目标物反射的红外调制信号,环境红外光干扰的消除由信号调制和专用红外滤光片保证。设输出信号Vo代表反射光强度的电压输出,则Vo是探头至工件间距离的函数：Vo=f(x,p)式中,p—工件反射系数。p与目标物表面颜色、粗糙度有关。x—探头至工件间距离。
当工件为p值一致的同类目标物时,x和Vo一一对应。x可通过对各种目标物的接近测量实验数据进行插值得到。这样通过红外传感器就可以测出机器人距离目标物体的位置,进而通过其他的信息处理方法也就可以对移动机器人进行导航定位。
虽然红外传感定位同样具有灵敏度高、结构简单、成本低等优点,但因为它们角度分辨率高,而距离分辨率低,因此在移动机器人中,常用作接近觉传感器,探测临近或突发运动障碍,便于机器人紧急停障。
五、目前主流的机器人定位技术是SLAM技术(Simultaneous Localization and Mapping即时定位与地图构建)。
行业领先的服务机器人企业,大多都采用了SLAM技术。唯有(SLAMTEC)思岚科技在SLAM技术上独占优势,到底什么是SLAM技术呢?简单来说,SLAM技术是指机器人在未知环境中,完成定位、建图、路径规划的整套流程。
SLAM(Simultaneous Localization and Mapping,即时定位与地图构建),自1988年被提出以来,主要用于研究机器人移动的智能化。对于完全未知的室内环境,配备激光雷达等核心传感器后,SLAM技术可以帮助机器人构建室内环境地图,助力机器人的自主行走。
SLAM问题可以描述为：机器人在未知环境中从一个未知位置开始移动,在移动过程中根据位置估计和传感器数据进行自身定位,同时建造增量式地图。
SLAM技术的实现途径主要包括VSLAM、Wifi-SLAM与Lidar SLAM。
1.VSLAM(视觉SLAM)
指在室内环境下,用摄像机、Kinect等深度相机来做导航和探索。其工作原 理简单来说就是对机器人周边的环境进行光学处理,先用摄像头进行图像信息采集,将采集的信息进行压缩,然后将它反馈到一个由神经网络和统计学方法构成的学习子系统,再由学习子系统将采集到的图像信息和机器人的实际位置联系起来,完成机器人的自主导航定位功能。
但是,室内的VSLAM仍处于研究阶段,远未到实际应用的程度。一方面,计算量太大,对机器人系统的性能要求较高;另一方面,VSLAM生成的地图(多数是点云)还不能用来做机器人的路径规划,需要进一步探索和研究。
2.Wifi-SLAM
指利用智能手机中的多种传感设备进行定位,包括Wifi、GPS、陀螺仪、加 速计和磁力计,并通过机器学习和模式识别等算法将获得的数据绘制出准确的室内地图。该技术的提供商已于2013年被苹果公司收购,苹果公司是否已经把 Wifi-SLAM 的科技用到iPhone上,使所有 iPhone 用户相当于携带了一个绘图小机器人,这一切暂未可知。毋庸置疑的是,更精准的定位不仅有利于地图,它会让所有依赖地理位置的应用(LBS) 更加精准。
3.Lidar SLAM
指利用激光雷达作为传感器,获取地图数据,使机器人实现同步定位与地图构建。就技术本身而言,经过多年验证,已相当成熟,但Lidar成本昂贵这一瓶颈问题亟待解决。
Google无人驾驶汽车正是采用该项技术,车顶安装的激光雷达来自美国 Velodyne公司,售价高达7万美元以上。这款激光雷达可以在高速旋转时向周围发射64束激光,激光碰到周围物体并返回,便可计算出车体与周边物体的距离。计算机系统再根据这些数据描绘出精细的3D地形图,然后与高分辨率地图相结合,生成不同的数据模型供车载计算机系统使用。激光雷达占去了整车成本的一半,这可能也是 Google 无人车迟迟无法量产的原因之一。
激光雷达具有指向性强的特点,使得导航的精度得到有效保障,能很好地适应室内环境。但是,Lidar SLAM却并未在机器人室内导航领域有出色表现,原因就在于激光雷达的价格过于昂贵。

【围观】麒麟芯片遭打压成绝版,华为亿元投入又砸向了哪里？>>>

作者：京东AI研究院 张建浩
炼丹师在转换模型的时候,经常会发现给转换前后的模型输入同样的图片,模型结果有微小的差别。其中的原因有数值算法的误差、不同 jpeg 解码库产生的结果不同等等,也有不同框架内部对某些算子的实现差异。
在给 ONNX 贡献 Resize 算子的 spec 的时候,我发现 Resize 是一个突出体现了框架实现差异的算子——多种 Resize 类型、不统一的超参数、将错就错的历史遗留 bug 和其它极易被忽略的问题集中在一起,导致几乎每个框架的 Resize 操作的结果都有差异,而 ONNX 是一个神经网络模型的中间格式,它应该尽量保留原始框架的算子的语义。经过查看相关论文和各种框架的源代码,我分析和总结了 Resize 操作众多的实现方式。最终为 ONNX 贡献了一个较为完善的、标准化的 Resize 算子的 spec,它包含多个（基本）正交的参数,TensorFlow 1.x、TensorFlow 2.x、PyTorch、OpenCV 的 resize/interpolation 方法都可以用这个算子 100% 无损的表达。 本文将简单介绍各种 resize 操作的共同流程,并分析是哪些因素引起了不同框架 resize 操作的不同。
多维 tensor （例如二维图像）的 resize 操作是用多个在一维 tensor 上进行的 resize 操作组合出来的,所以我们只讨论一维 tensor 上的 resize 操作,经过分析各个框架的源代码,我发现它的流程可以总结如下：
1
先讨论w和f,w(i)是第 i 个像素点的坐标,乍一看, w(i)完全可以等于i本身,其实没有这么简单。例如一个长度为 3 的 tensor,如果第i个像素点的坐标等于i本身,那么三个像素点在tensor 中的位置就如下图中最左边的样子,横线的长度代表一维 tensor 的长度,圆圈代表像素点：
三个像素点没有对称地分布在 tensor 上,而是往左偏了。出于直觉,我们觉得这不是一件特别好的事情。在各种框架中,有两种常见的方法来解决这个问题：
一个是选取w(i)=i+0.5,以一个长度为 3 的一维 tensor 为例,它第 0 个像素点在 0.5 位置,第 1 个像素点在 1.5 位置,第 2 个像素点在 2.5 位置,这称为 half_pixel,也就是上图中中间的方法。这种方法中,
（这很符合直觉）。另一个是仍让w(i)=i,但改变函数f,使
仍以长度为 3 的一维 tensor 为例,这种方法相当于在 resize 时砍掉了最右边长度为 1 的部分,使像素点的分布“被”对称了。这称为 align_corner,也就是上图中最右边的方法,在各种框架的 resize 方法的参数里常见的 align_corner=True/False 就是它了,它的名字来源于它可以让 tensor 中第一个和最后一个像素（即 corner）在缩放后保持不变。
那如果我们不采用这两种方法,一定要使用“直觉不好”的 asymmetric 方法,究竟会发生什么呢？TensorFlow 1.x 就给我们提供了这样一个反面典型,它在 align_corner=False 时的实现是错的,原因就是使用了上图中错误的 asymmetric 方法,这会导致奇怪的缩放结果,这篇博客中🔗 https://hackernoon.com/how-tensorflows-tf-image-resize-stole-60-days-of-my-life-aba5eb093f35,
作者用 TensorFlow 1.x 训练的超分辨率神经网络总是出现奇怪的问题,最终他发现问题根源是 TensorFlow 错误的 resize 实现,他还给了一个形象的例子：把 16x16 的下图左侧图像缩小到 4x4,本应得到如下图右侧所示的图像,而 TensorFlow 1.x 却给出了下图中间的奇怪结果,图像的对称性被完全破坏了,其中的原因就如上文所述。TensorFlow 1.x 的 resize 结果和其它框架不同的一大原因就是它错误的 resize 实现,好在 TensorFlow 2.x 已经修复了这个问题。
2
接下来讨论另外两个函数g和h,nearest, linear, cubic 这三种常见的 resize 的不同方式,是在g和h上有所不同。如上文所述,函数 得到离 最近的像素点,nearest 只需要找最近的一个像素点,linear 要找最近的两个（左右各一个）,cubic 要找最近的四个（左右各两个）；函数h(a,r)是计算这一个/两个/四个像素点的加权平均值,其中权值是由r确定的（如上文所述,r是 距左侧像素点的距离）。对 nearest/linear/cubic 的每一种来说,如何从r得到各个像素点的权值都有各自标准的实现,nearest resize 不必说,对于 linear resize,两个像素点的权值是 。对 cubic 来说,四个像素点的权值是

[1] 其中A是一个固定的参数,它的取值却是每个框架不同,两个常见的选择是 -0.5 （TensorFlow 部分版本的实现）和 -0.75（PyTorch）。因为A没有统一的标准取值,所以各个框架的 cubic resize 结果不同是常见的事情。
补充一句题外话：cubic resize 的权值计算起来比 linear resize 复杂的多,所以它的耗时肯定会长一些,但产生的图像性质更好（这篇 paper 🔗 https:// arxiv.org/abs/1812.0118 7 发现图片预处理使用 cubic resize 可以提升分类网络准确率）。
还有一个会引起 cubic resize 结果差异的细节是,cubic resize 需要找到 的左右各两个最相邻的像素点,但 左右两侧不一定能保证各有两个像素点（假设某种情况下计算得到 ,那么它左边只有一个像素点）,此时也有两种现存的不同方法,一种是对图像做 edge padding,即认为仍从左边找到了两个像素点,并且这两个像素点的值都是第一个像素点的值；另一种是认为找到了三个而不是四个像素点,并对三个像素点的权值做归一化。
3
小结
总结一下,各个框架 Resize 操作的结果不同的原因是多种多样的,例如 TensorFlow 用了自己发明的错误实现、cubic resize 中参数 A 没有固定的取值、非整数的
是否自动取整等等。
ONNX Resize 算子的 spec 就是基于上面的分析写出来的,具体的描述在🔗 https:// github.com/onnx/onnx/bl ob/master/docs/Operators.md#Resize ,
Python 版的参考实现在 🔗 https:// github.com/onnx/onnx/bl ob/master/onnx/backend/test/case/node/resize.py
其中比较核心的属性 coordinate_transformation_mode 是把w、f和 复合得到的单个函数 ,即
在这里没有用独立的函数w和f的原因除了看起来更简单之外,也有解决现实问题的考虑——有一些框架的某些 resize 实现没有使用
的形式,而是直接让
虽然这显然是不合理的（coordinate_transformation_mode=tf_half_pixel_for_nn 就描述了这样一个不合理的实现）,但也只能承认它们的存在。相比起来,上一个版本的 ONNX Resize 算子 spec 的制定者没有意识到 Resize 算子的复杂性,完全模仿了 TensorFlow 的实现,不仅和其它框架的结果不一致,而且连 TensorFlow 的 bug 也一并模仿了。
现在 TensorFlow、PyTorch 都支持了导出这一版本的 Resize 算子,TensorRT 等部署框架也支持导入和运行这个 Resize 算子。自己创造的东西能被众多知名的框架跟进,我感到非常大的成就感。
参考： https:// ieeexplore.ieee.org/doc ument/1163711
欢迎点击“ 京东智联云 ”了解更多精彩内容！

【围观】麒麟芯片遭打压成绝版,华为亿元投入又砸向了哪里？>>>
机器人流程自动化（RPA）是 2020 年最大的技术趋势之一。RPA 技术受到了领导者和企业管理者的关注,甚至在各自领域中的知名企业也向机器学习（ML）和人工智能（AI）投入了数百万美元,以进一步享受 RPA 所带来的技术红利。RPA 真的会带来财富吗？统计数据表明似乎是这样。Global Market Insights 的一项调查估计,到 2024 年,机器人流程自动化市场将超过 50 亿美元。
如今,RPA 已成为公司与企业节省时间,金钱和资源的最先进的技术工具之一。RPA 最适合用于重复性的,大批量的活动,这些工作会消耗人类的生产力。尽管 RPA 已被许多具有多种优势的行业所采用,但人们还是对 RPA 存在的一定的误解,下面就给大家讲讲 人们对 RPA 机器人有哪些误解 。
误解一、RPA 是类人机器人
这是关于 RPA 的最奇怪的误解之一,但它仍然存在。将其归咎于威尔·史密斯（Will Smith）,电影《我的机器人》（I Robot）或其他许多好莱坞电影,这些电影都显示了与现实世界一样大小的机器人。RPA 似乎让人仿佛仿人机器人接管了许多人的劳动力,但这仅仅是好莱坞的想象力。
如今,机器人流程自动化（或称机器人或机器人）主要是指可以执行手动过程（通常由人执行）并通过机器学习创建精简工作流而无需人工输入的软件代码。
误解二、机器人将替代我的工作
关于 RPA 的另一个普遍的误解是,由于担心失去生计,RPA 将取代所有工作负面新闻不断出现,但是 RPA 并不是要代替人工,而是要补充人力。尽管采用 RPA 技术将改变人们的工作方式,但 RPA 绝对不会在各个层面上替代人类工作。实际上,随着 RPA 使世俗的重复性任务自动化,新的机会将会出现,新的技术角色也会不断发展。机器学习和人工智能的发展日新月异,并且随着边缘计算的兴起,开发人员在这一变化中扮演着更加不可或缺的角色。RPA 始终如一,保持开放的胸怀以应对变化,可以确保你的工作取得更加的成功。
误解三、RPA 是完美的
就像生活中的大多数事物一样,完美只是感知的问题。机器人程序可以消除人为错误并极大地减少统计数据中的干扰,有时甚至可以 10??0% 准确。但是,它们仅与放入其中的信息一样好。机器人被编程为执行喂入它们的公式,因此,如果代码逻辑中有错误,RPA 机器人将无限期地继续复制这些错误。
从 RPA 投资中获得最大投资回报的关键在于其在组织所有部门中的一致采用。这就是为什么公司有时会选择与 RPA 托管服务提供商合作来检查流程中的错误,并在过渡到 RPA 的过程中帮助进行变更管理,以确保成功采用。
误解四、RPA 不适用于我的行业
机器人流程自动化技术的最早采用者是银行业和金融业,这在某种程度上将其标记为仅适合那些领域的公司的技术。尽管 RPA 在银行和金融领域确实有良好的记录,但在最近的几年中,我们看到 RPA 为 IT, 医疗保健,制造和运输,零售以及运输和物流等行业提供了巨大的成本收益。
例如,可以通过 RPA 自动化所有行业中常见的任务,例如后台和前台活动。RPA 可以使组织中的大多数重复性和标准化任务自动化,而与行业无关。
误解五、RPA 花费大量金钱
许多公司仍然不愿采用 RPA, 因为围绕自动化的炒作使他们对潜在成本保持警惕。在整个组织中部署 RPA 的最大优势之一就是您可以获得即时结果。
通过租用一台可以更快,更高效地完成多个人工工作的机器,您可以为组织创造巨大的成本效益。要记住的另一件重要的事情是,RPA 不需要您替换现有系统,而是可以向现有系统添加自动化以模仿人类行为,从而节省了实施新基础架构和系统的费用。
免费下载试用： https://support.i-search.com.cn/

【围观】麒麟芯片遭打压成绝版,华为亿元投入又砸向了哪里？>>>
AI芯片还可以怎么搞？最新登上Nature的研究带来新启发。
过去,我们做图像分类都是分成好几步：先用传感器收集图像模拟信号,数模转换后再交给计算机处理。整个过程既耗能又费时,就像眼睛把图像传给大脑。
试想一下,如果人类眼睛可以直接处理图像——不用劳烦大脑,那视觉图像信息的处理速度岂不是可以大大提升？
今天,Nature这篇新研究开拓性在于,直接让“眼睛”处理图像。而且效果反馈也相当震撼：
利用新感光元件,仅仅 40纳秒 即可完成图像分类,比交给计算机处理快了 几十万倍 。
真是不得了。
光电二极管网络
核心来说,研究团队在芯片上构建了一个光电二极管网络,并选择2D半导体二硒化钨（WSe2）作为光敏材料。
△单个二硒化钨光电二极管示意图
光电二极管阵列由27个具有良好均匀性、可调性和线性度的检测器组成,排列为3×3的成像阵列,像素大小约为17×17μm,每个像素由3个二硒化钨光电二极管（子像素）组成,其对光的响应度可以通过栅极电压调节。
也就是说,可以通过改变施加的电压来调节半导体对光的响应,从而调节每个二极管的灵敏度。
实际上,这就将光电传感器网络变成了神经网络,将光学传感和神经形态计算结合起来,使其能够执行简单的计算任务。
改变二极管的灵敏度,就相当于改变神经网络中的权重。
把权重放在传感器上
与其他神经不同的是,这套系统的权重不是存在计算机的内存和硬盘里,而是直接集成在图像传感器上。
实验中使用的有硒化钨光电二极管制成的特殊门电路。它的特殊就在于可以调制,相当于神经网络的训练。
随着外接偏置电压的不同,二极管对光线的敏感程度也不同,等于将网络的训练结果直接放在传感器端。
之前的神经网络都是将训练权重存储在外部存储器上,通过电路发送到每个检测器件上。
就像电脑的内存,断电后就会丢失存储信息。
而这一套设备,更像是硬盘,即使掉电后也能将权重信息存储下来。
研究人员将调制的电极也就是浮栅（floating gate）埋在氮化硼绝缘层中,一开始先对氧化铝绝缘层中的栅极加上电压,接着撤去外部电压。
浮栅依旧能在接下来的2300秒内维持对光电二极管的调制,直到改变外部偏置电压为止。
研究人员用这种方法实现了两种类型的神经网络：分类器和自动编码器。
在分类器中,光电二极管阵列、芯片感知器以及在芯片外的非线性激活函数一起运行。这种类型的神经代表一种监督学习算法,该算法能够将输入图像P分为不同的输出类别y。
实际效果如何呢？他们3×3像素制作了一组“简陋”的字母,分别是n、v、z。
图像传感器经过训练后,只需测量对应电路的电流是否为0,就能知道是哪个字母。
通过电压随时间的变化图可以看出,当传感器接受到图像40ns后,n和v两种输入产生的电压开始出现巨大的差异,约100ns后差异达到最大。
第二种神经网络是自动编码器,可以在无监督的训练过程中学习输入图像P的有效表示。它与解码器一起使用,对解码器进行训练后,就可以在其输出中重现图像。
编码器由光电二极管阵列本身构成,解码器由外部电子器件构成。
在这个过程中,图像的传输数据得到了压缩。
潜力巨大,但仍需大量后续研究
40纳秒就分辨出了两张不同的图像,AI视觉仿佛朝着人类大脑的效率更进一步。
但需要说明的是：这一令人兴奋的新技术,距离实际应用,还有很长的路要走。
首先,由于光电二极管阵列仅由27个检测器组成,最大只能处理3×3的图像。
其次,想要真正应用于自动驾驶和机器人技术,视觉系统需要捕获具有广阔视野的三维动态图像和视频。而现在,该技术是将3D视觉信息转换成2D来处理,丢失了运动信息和深度。
其图像传感器阵列的平面形状,也限制了广角相机的能力。
此外,根据Nature的报道,论文中描述的设备很难在昏暗光线下成像。并且,其设计需要高电压和大功率,相比之下,生物神经网络中每项操作消耗的能量仅为10-15到10-13焦耳。
从工艺角度上讲,芯片所采用的薄半导体目前很难大面积生产加工。
而且,尽管图像传感器兼具了采集和计算功能,减少了模数转换,但外部电路仍然存在固有延迟问题,还是会影响整个系统的等待时间。
不过,虽然还有很大的研究空间,在传感器中计算的相关研究,推动了AI硬件的进一步发展。而这样的研究思路,也不仅仅局限于计算机视觉,可以扩展到听觉、触觉等其他物理输入中。
其他尝试
人们对快速处理图像信息的要求越来越高,很多科学家都在研究在输入端处理图像的方法。
最近来自荷兰和美国学者也发明了一种在传感器端直接处理图像的方法。
不过他们不是输出图像的分类,而是输出图像的边缘,这对于目标检测和语义分割有重要的意义。
他们在传感器前方加入了一个“超表面”：不到半毫米厚的蓝宝石薄片,镀上206 nm厚、142 nm高、间距300 nm的硅长条。
把它放置在CCD感光芯片的表面上时,超表面的作用就像一个透镜,光线只能以陡峭的角度射向它,而过滤掉入射角很小的光。
图像的特征是由不同光波的组合而成,滤除了光波携带的其他细节,仅留下了较尖锐的分量,例如人脸的边缘,而不是单色的背景。
整个过程仅需要150纳秒的时间,而交给计算机处理需要几毫秒,二者相差4个数量级。
研究团队
最后介绍下研究团队,来自奥地利维也纳工业大学的Unterrainer group。
论文一作：Lukas Mennel,是电气工程与光子学专业在读博士,曾作为访问学者赴MIT交流学习,研究量子光子学。
△Lukas Mennel
论文的另一位通讯作者,是维也纳工业大学副教授 Thoms Mueller ——托马斯·穆勒,虽然不知道这位托马斯·穆勒擅不擅长踢足球,但在2D材料科学领域,穆勒教授的研究涵盖基础研究、光电设备、电子集成电路、光子集成电路等,亦是卓有成就。
△Thoms Mueller
论文地址：https://www.nature.com/articles/s41586-020-2038-x

「深度学习福利」大神带你进阶工程师,立即查看>>>
排队系统的最优化问题

M / M / 1 模型中最优服务率μ

M / M / c模型中最优的服务台数 c

「深度学习福利」大神带你进阶工程师,立即查看>>>
Pollaczek-Khintchine(P-K)公式

定长服务时间 M/D/1模型
爱尔朗服务时间 M / Ek/ 1 模型

「深度学习福利」大神带你进阶工程师,立即查看>>>
标准的 M / M / 1 模型





系统的容量有限制的情况



顾客源为有限的情形

「深度学习福利」大神带你进阶工程师,立即查看>>>
经验分布


泊松流


负指数分布

爱尔朗分布

「深度学习福利」大神带你进阶工程师,立即查看>>>
排队过程的一般表示

排队系统的组成和特征


排队模型的分类

排队问题的求解

「深度学习福利」大神带你进阶工程师,立即查看>>>
概况

编制网络计划图前的准备工作

「深度学习福利」大神带你进阶工程师,立即查看>>>
工期优化
资源优化

时间—费用优化

「深度学习福利」大神带你进阶工程师,立即查看>>>
工作持续时间 D

计算关系式

「深度学习福利」大神带你进阶工程师,立即查看>>>
基本术语

双代号网络计划图

「深度学习福利」大神带你进阶工程师,立即查看>>>

奇偶点图上作业法

「深度学习福利」大神带你进阶工程师,立即查看>>>
基本概念与基本定理




寻求最大流的标号法

「深度学习福利」大神带你进阶工程师,立即查看>>>
引例
最短路算法

「深度学习福利」大神带你进阶工程师,立即查看>>>
树及其性质


图的支撑树

最小支撑树问题

「深度学习福利」大神带你进阶工程师,立即查看>>>
人工智能技术的飞速发展给各行各业都带来了深远的影响,AI已被视为企业提升运营效能、应对市场竞争的必经之路。然而对于一些企业而言,让AI真正实现落地和应用,并且创造价值,仍是一件需要努力的事情。
近日,在个推技术沙龙TechDay深圳站,来自华为、个推、SheIn的技术大拿们在现场,对AI核心技术进行了深入的探讨。

常越峰 《浅谈AI工具链》
个推大数据研发高级主管
AI在生产环境落地的整个过程中,通常会遇到三个挑战：
第一,业务场景复杂。简单的一个算法也许只能优化某个环节,但整个业务场景的优化可能需要许多算法的相互配合。
第二,数据问题。数据是AI的重要支撑之一,许多企业都欠缺获取高质量、有标注数据的能力。
第三,技术问题。在AI落地的过程所遇到的技术问题,有四个核心：1）CPU / GPU环境的调度和管理复杂。2）AI业务的开发人员们需要一个低门槛的实验平台,使其能够进行快速的探索实验。3）拥有大规模数据的企业,需要工业级大规模分布式训练,来保证算法能够应用于全量数据中。4）企业需要提供低延迟的在线服务。
人工智能最核心的是数据 ,而数据可以分为两个部分,实时数据和离线数据。个推使用Hive方案进行离线数据的存储,注重数据的容量和扩展性；而在线用户对延时非常在意,所以个推会使用高性能KV库,保证在线特征能够及时地被访问到。
在解决了基础的数据存储和使用问题之后,对于AI落地过程中的技术问题,个推内部支持端到端的服务,能够使用标准化流程快速进行实践探索。个推也自研了一些插件和产品包,简化流程步骤和复杂度,帮助经验较少的开发者也可以在较短的时间内搭建系统。最后,个推还支持了部署发布的工具,让训练的成果能够通过标准化的方式导出到线上,进行服务部署,真正地在线上产生价值。
在 小微企业AI落地实践的过程中,可以使用Kubeflow等开源技术栈 。首先,环境的管理与调度可以使用Kubernates作为分布式环境标准；Jupyter +开源数据分析工具包+ AI框架可以进行低门槛的快速探索实验；Kubeflow + Tensorflow / PyTorch / MXNet可以快速地部署大规模的分布式训练；最后,借助Kubernates提供的快速部署、上线、扩缩容的能力,可以提供高可用的在线服务。
而在AI实际落地时,企业则需要注意以下三点：
第一, 快与高效 。企业可以借助开源工具快速落地业务,同时也要注意沉淀流程和垂直领域。
第二, 集成打通 。Kubernates方案并不是唯一的选择,企业需要考虑自身情况,与已有系统进行对接,选择适合自身的方案。
第三, 团队建设 。各个技术部门之间需要进行高效的配合,企业也可以引导研发工程师逐渐地融入AI领域。

马兴国 《个性化推荐闲聊》
SheIn 产品研发中心 副总经理
对于企业来说,如果想要做好AI个性化产品的业务,只有算法工程师是不够的,还需要工程、数据分析人员的支持,以及产品、运营人员的助力。
当企业涉及到的业务较多时,也可以将业务进行通用处理,即建设偏向系统层面的推荐平台。该推荐平台需要数据、算法和系统的共同配合。推荐平台的接入,可以带来三点功能：第一,企业在进行物料同步时,可以做到格式统一,并且同步增量和全量；第二,平台在处理用户的服务请求时,可以做到标准化、高性能和智能化；第三,平台可以格式统一、实时、离线地上报用户行为。
简单的机器学习过程是搭建环境、收集数据、分析数据、准备数据、训练算法、测试算法和使用算法。在这个过程中也隐藏着许多问题,比如如何解决冷启动问题,如何解决假曝光问题,如何清洗异常数据,如何选择正负样本,如何解决数据稀疏问题,如何从亿级特征中选择显著特征等。
在机器学习的过程中,数据是基础,理想的状态是数据的数量大且特征完备。 收集数据有“推”和“拉”两种方式,“拉”即是爬虫,“推”就是上报。而分析数据则是分析目标分布、特征分布、目标特征关系、特征间的关系和完整性等。分析数据的方式有离线分析、实时分析和融合分析,分析工具则可以在Excle、Shell(awk)、Python、Mysql、Hadoop、Spark、Matlab…当中进行选择。清洗数据需要清洗系统脏数据、业务脏数据和目标外数据。格式化数据则需要进行数据变换、采样和稀疏处理。
而机器学习可以选择的算法模型较多,如热度、贝叶斯、关联规则、LR、GBDT、AR、CF(ALS)等等。
在算法模型中,特征工程也是非常重要的一部分。 其中,特征对象有物料、用户和上下文；特征类型有静态特征、动态特征、表征特征、枚举特征、实数特征等；特征维度则有一阶独立特征、二阶交叉特征和多阶交叉特征。特征的选择也是一件需要注意的事情,企业可以在过滤型、包裹型和嵌入型三种特征进行选择,同时,企业还需要在前向、后向和StepWise三种特征过程类型中进行选择。
算法的最后还需要进行效果评估、多维度评估、实时评估和离线评估。企业还需要注意到,没有一劳永逸的模型,算法需要进行持续的关注和运营。
合适环境的搭建也是算法能够正常运行的保障之一。 算法的环境需要标准化、配置化、可扩展、高性能,同时支持立体监控和效果提升,保证用户体验。

聂鹏鹤 《AI识别,从图像到人脸》
华为算法工程师
在计算机领域,上世纪90年代就有人尝试,将图像的特征和识别的过程,通过人类的规则同步给计算机,让计算机进行“图像识别”。一直到了2012、13年,人们发现,对传统神经网络的结构方式做一些小的变化,能够大幅度地提升计算机进行图像识别的可操作性,这个改善后的神经网络被称为卷积神经网络（CNN）。CNN进行图像处理的本质是信息提取,也被称为自动的特征工程,即通过巨大的神经网络一步步地抽取到关键的图像特征,从而达到图像识别的目的。
而人脸识别则是一种基于人的脸部特征信息,进行身份识别的生物识别技术。现如今,人脸识别已经可以有效地对用户身份进行识别,并且被广泛地应用于支付、安检、考勤等场景。而随着人脸数据系统的建设,人脸识别也将成为反欺诈、风控等的有效手段之一,能够极大地缩短身份审核的确认时间。
人脸识别最大的优点是非接触性 ,可以隐蔽操作,这使得它能够适用于安全问题、罪犯监控与抓逃应用。同时,非接触性的信息采集没有侵犯性,容易被大众接受。而人脸识别方便、快捷、强大的事后追踪能力,也符合人类的识别习惯。人脸识别的不足之处,在于不同人脸的相似性小,同时识别性能受外界条件的影响大。
人脸识别的步骤主要包括人脸检测、人脸对齐校准、人脸特征提取、人脸特征模型建立、人脸特征匹配以及人脸识别结果的输出。
其中,人脸检测的目标是找出图像中,人脸所对应的位置,算法输出的则是人脸外接矩形在图像中的坐标,可能还包括姿态,如倾斜角度等信息。
人脸识别的第二步是人脸对齐,它需要在保证人脸的特征等要素没有发生扭曲和变化的前提下进行使用,在这样的情况下,输出的人脸距离才能与后期的模型进行有效对比。
人脸识别的最后一步是人脸匹配,在网络足够大,样本足够丰富的情况下,人脸匹配的准确率会非常高。
在人脸识别的领域,深度学习网络的发展会越来越好。 深度学习有其相应的优势,它强调了数据的抽象和特征的自动学习,并且它的自主学习特征更为可靠。

「深度学习福利」大神带你进阶工程师,立即查看>>> 在2018 AI开发者大会（AI NEXTCon）上,美团配送AI方向负责人何仁清,分享了美团在即时配送领域中机器学习技术的最新进展,以及如何通过大数据和机器学习手段,建立对线下真实世界各种场景的感知能力,还原并预测配送过程各个细节,从而提升整体配送系统的精度。
美团“超脑”配送系统的由来
2014年,斯嘉丽·约翰逊主演的科幻片《超体》大火,影片中主人公Lucy由于无意中摄入了大量的代号为“CPH4”的神秘药物,大脑神经元获得空前的开发,获得了异乎寻常的超能力,她能够对这个世界进行全新的感知、理解和控制（比如控制无线电波）,最终跨越时间和空间成为了一个超级个体。
这种对真实世界的深度感知、理解和控制,与配送AI系统对配送场景的感知、理解和配送环节控制的目标非常一致。可以说,美团要建设的AI就是配送系统的“超级大脑”。因此我们内部把配送的AI系统,简称为“超脑”配送系统。
即时配送在全球快速发展
最近几年,以外卖为依托,即时配送业务在全球范围内掀起了一波快速发展的浪潮,全球各地都出现了很多创业公司,其中国外知名的包括美国的Uber Eats（全球）、英国的Deliveroo、印度的Swiggy、Zomato（分别被美团和阿里投资）,印尼的go-jek等等。国内除了美团外卖、饿了么、滴滴外卖等典型代表外,而还有专注于即时配送服务创业公司,比如闪送、UU跑腿、达达、点我达等。
这种全球爆发的现象说明了两个问题： “懒”是人类的天性。平价、方便、快捷的服务是人类的普遍需求,尤其是在“吃”这个事情上,外卖成为了一种高频的刚需。 外卖的商业模式完全可行。以美团外卖为例,2018年上半年整体收入160亿,同步增长90%。根据Uber公布的数据,Uber Eats在2018第一季度占整体营业的13%。
即时配送的业务模型
即时配送,是一种配送时长1小时以内,平均配送时长约30分钟的快速配送业务。如此快速的配送时效,将传统的线上电商交易与线下物流配送（传统划分比较明确的两条业务）整合为统一整体,形成了用户、商户、骑手和平台互相交错的四元关系。
其整合力度空前紧密,几乎渗透到各个环节。以外卖搜索和排序为例,在下午时段,在用户搜索和推荐中可以看到更多的商家,因为此时运力充分,可以提供更远距离的配送服务,不仅能更好满足用户的需求,提高商家的单量,而且能够增加骑手的收入。
即时配送的核心指标是效率、成本、体验,这三者也形成了即时配送的商业模型。简单来说可以分为以下几步： 首先配送效率提升 让骑手在单位时间内配送更多订单,产生更多价值。 然后配送成本下降 更高的效率,一方面让骑手收入增加,一方面也让订单平均成本下降。 然后用户体验提升 低成本能够让用户（商户）以更低的价格享受更好的配送服务,从而保证更好的用户体验。 进一步提升效率并形成循环 更好的用户体验,让更多用户（商户）聚集过来,提升规模和密度,进一步提升配送效率。
这样,就形成了一个正向循环,不断创造更多商业价值。而技术的作用,就是加速这个正向循环。
美团“超脑”配送系统
目前互联网技术,很大部分还是针对线上产品和系统研发,整个流程可以在线上全部完成,而这也正是配送AI技术最大的不同和挑战。简单来说,类似搜索、推荐、图象和语音识别这种线上产品常用的AI技术帮助不大,因为配送必须在线下一个一个环节的进行,这就要求AI技术必须能够面对复杂的真实物理世界,必须能深度感知、正确理解与准确预测、并瞬间完成复杂决策。
为了满足这些要求,我们建设了美团“超脑”配送系统,包含以下几个方面： 大数据处理和计算能力 算法数据和计算平台：包括实时特征计算、离线数据处理、机器学习平台等。 建立对世界深度感知 LBS系统：提供正确位置（用户/商户/骑手）以及两点之间正确的骑行导航。 多传感器：提供室内定位以、精细化场景刻画、骑手运动状态识别 正确理解和准确预测 时间预估：提供所有配送环节时间的准确预估 其他预估：销量预估、运力预估等 完成复杂决策 调度系统：多人多点实时调度系统,完成派单决策：谁来送？怎么送？ 定价系统：实时动态定价系统,完成定价决策：用户收多少钱？给骑手多少钱？ 规划系统：配送网络规划系统,完成规划决策：站点如何划分？运力如何运营？
机器学习技术挑战
如何构建一个在真实物理世界运行的AI系统,就是我们最大的挑战。具体到机器学习方向而言,挑战包括以下几个方面： 精度足够高、粒度足够细 时间要求：一方面是周期性变化,比如早午晚,工作假日,季节变化；一方面是分钟级的精细度,比如一个商圈单量和运力的实时变化。 空间要求：一方面是不同商圈独有特性,比如CBD区域；一方面是要实现楼栋和楼层的精度,比如1楼和20楼,就是完全不同的配送难度。 鲁棒性要求：处理各种不确定的能力,比如天气变化、交通变化等等。 线下数据质量的巨大挑战 大噪音：比如GPS定位漂移,尤其是在高楼附近,更不要说在室内GPS基本不可用。 不完备：比如商家后厨数据、堂食数据、其他平台数据,都极难获得。 高复杂：配送场景多样而且不稳定,随着时间、天气、路况等在不断变化。
配送系统的核心参数ETA
ETA（Estimated Time of Arrival,时间送达预估）是配送系统中非常重要参数,与用户体验、配送成本有直接关系,而且会直接影响调度系统和定价系统的最终决策。
一个订单中涉及的各种时长参数(如上图右侧所示）,可以看到有十几个关键节点,其中关键时长达到七个。这些时长涉及多方,比如骑手（接-到-取-送）、商户（出餐）、用户（交付）,要经历室内室外的场景转换,因此挑战性非常高。
通过机器学习方法,我们已经将外卖配送几乎所有环节都进行了精准预估预测。用户感知比较明显是预计送达时间,贯穿多个环节,商家列表（从配送时长角度让用户更好选择商家）、订单预览（给用户一个准确的配送时间预期）、实时状态（下单后实时反馈最新的送达时间）。当然这里面还有很多用户看不到的部分,比如商家出餐时间、骑手到店时间、交付时间等。其中交付时长,与用户关系比较大,也很有意思,下文会详细展开。
精准到楼宇和楼层的预估：交付时长
交付时长是指骑手到达用户后,将外卖交付到用户手中并离开的时间,实际是需要考虑三维空间内计算（上楼-下楼）。交付时间精准预估,有两点重要的意义,首先是客观的衡量配送难度,给骑手合理补贴；其次,考虑对骑手身上后续订单的影响,防止调度不合理,导致其他订单超时。
交付时长的目标是,做到楼宇和楼层的精准颗粒度,具体可以拆解为以下几步： 地址的精准解析（精确到楼宇/单元/楼层） 地址精度需要在5级之上（4级：街道,5级：楼宇）,国内拥有这个级别精细化数据的公司屈指可数。 数据的安全级别很高,我们做了很多脱敏工作,做了各种数据保护与隔离,保证用户隐私和数据安全。 地址信息的多种表达方式、各种变形,需要较强的NLU技术能力。 交付时长预估 通过骑手轨迹进行“入客-离客”识别,并进行大量数据清洗工作。 统计各个粒度的交付时长,通过树形模型实现快速搜索各个粒度的数据。 因为预估精度是楼宇和楼层,数据很稀疏,很难直接进行统计,需要通过各种数据平滑和回归预估,处理数据稀疏和平滑的问题。 下游业务应用 给调度和定价业务,提供楼宇+楼层维度的交付时长。从上图可以看到,在不同楼宇,不同楼层交付时长的区分度还是很明显的。 尤其是楼层与交付时长并不是线性相关,我们还具体调研过骑手决策行为,发现骑手会考虑等电梯的时间,低楼层骑手倾向于走楼梯,高楼层则坐电梯。
可以看到,真实世界中影响决策因素非常多,我们目前做的还不够。比如交付时长也可以进一步细化,比如准确预估骑手上楼时间、下楼时间和等待时间,这样其实能够与商家取餐环节保持一致,之所以没这么做,主要还是数据缺失,比如骑手在商家其实有两个操作数据（到店、取餐）,这样能支持我们做精细化预估的,但是在用户环节只有（送达）一个操作。
举这个例子,其实是想说明,数据的完备性对我们到底有多重要。数据方面的挑战,线下业务与线上业务相比,要高出好几个等级。
配送中最重要的数据之一：地图
地图对配送的重要性毋庸置疑（位置和导航都不准确,配送如何进行？）,前面提到的5级地址库只是其中一部分。配送地图的目标可以概括为以下两点： 正确的位置 实时部分：骑手实时位置。 静态部分：用户和商户准确的地址和位置。 正确的导航 两点之间正确的距离和路线。 突发情况的快速反应（封路、限行）。
如果横向对比配送、快递、打车等行业对地图的要求,其实是一件很有意思的事情,这个对于配送地图技术建设来说,是一件非常有帮助的事情。
即时配送 VS 物流快递：即时配送对地图的依赖程度明显高于物流快递
即时配送 VS 出行行业：地图厂商在车载导航的优势和积累,在即时配送场景较难发挥
从这两方面对比可以看到,在即时配送业务中,骑行地图的重要性非常之高,同时很多问题确实非常具有行业特色,通过驾车地图的技术无法很有效的解决。这样就需要建设一套即时配送业务地图的解决方案。
基于签到数据的位置校正：交付点
如前文所述,配送地图的方向有很多,这次我重点讲一下用户位置相关的工作“交付点挖掘”。首先看一下目前主要问题：用户位置信息有很多错误,比如：
用户选择错误
上图左,一个小区会有1期2期~N期等,用户在选择POI的时候就可能发生错误（比如1期的选了2期）,两者地理位置相差非常远,很容易造成骑手去了错误的地方。这样在订单发送到配送系统的时候,我们需要做一次用户坐标纠正,引导骑手到达正确的位置。
POI数据不精细
上图右,用户本来在xx区xx栋,但是只选了xx区这个比较粗的位置信息。现实中在一个小区里面,找到一个具体xx栋楼还是非常困难的,大家可以想想自己小区中,随便说一个楼号你知道它在哪个角落吗,更别说如果是大晚上在一个你不熟悉的小区了。造成这种原因,一方面可能是用户选择不精细,还有一种可能,就是地图上没有具体楼栋的POI信息。
在实际配送中,我们都会要求骑手在完成交付后进行签到,这样就会积累大量的上报数据,对于后续进行精细化挖掘非常有帮助。大家可以先看看我们收集的原始数据（上图）,虽然还是非常凌乱,但是已经能看到这其中蕴含着极高的价值,具体来说有三方面： 数据量大 每天几千万订单,几十亿的轨迹数据。 可以充分覆盖每一个小区/楼栋/单元门。 维度多样 除了骑手签到和轨迹数据,我们还有大量的用户、商户和地图数据。 多种数据维度可以交叉验证,有效避免数据的噪音,提高挖掘结果精度。 数据完备 在局部（用户和商户）数据足够稠密,置信度比较高。
交付点挖掘的技术实战：挑战
在数据挖掘实际过程中,其实并没有什么“高大上”的必杀技,无法使用流行的End2End方法,基本上还是需要对各个环节进行拆解,扎扎实实的做好各种基础工作,基本整个挖掘过程,分为以下几个步骤：（1）基于地址分组；（2）数据去噪；（3）数据聚合；（4）置信度打分。其中主要技术挑战,主要在各种场景中保证数据挖掘质量和覆盖率,具体来说主要有三个挑战： 数据去噪 数据噪音来源比较多样,包括GPS的漂移、骑手误操作、违规操作等各种。一方面是针对噪音原因进行特殊处理（比如一些作弊行为）,另一方面要充分发挥数据密度和数据量的优势,在保证尽量去除Outlier后,依然保持可观的数据量。能够同时使用其他维度的数据进行验证,也是非常重要的,甚至可以说数据多样性和正交性,决定了我们能做事情的上限。 数据聚合 不同区域的楼宇密度完全不一样,具有极强的Local属性,使用常规聚类方法,比较难做到参数统一,需要找到一种不过分依赖样本集合大小,以及对去噪不敏感的聚类算法。 重名问题 这个属于POI融合的一个子问题,判断两个POI信息是否应该合并。这个在用户地址中比较常见,用户提供的地址信息一样,但实际是两个地方。这种情况下,我们的处理原则是一方面要求纠正后坐标更符合骑手签到情况,另一方面新坐标的签到数据要足够稠密。
交付点挖掘的技术实战：效果
目前,我们已经上线了一版交付点,对用户位置进行主动纠正,让骑手可以更准确更快的找到用户。目前效果上看还是非常明显的。包括几个方面： 骑手交付距离明显降低 从上图左侧部分看到,在上线前（绿色）交付距离>100M的占比很高（这个距离会导致实际位置差几栋楼,甚至不同小区）,也就是用户自己选着的位置错误率比较高,导致骑手交付难度较高,对效率影响比较大。上线后（红色）,交付距离明显缩短（均值左移）,同时>100M的长尾比例明显下降。 单元门级别的高精度位置 上图右侧部分看到,我们挖掘的交付点基本上能与楼宇的单元门对应。而且没有明显偏差比较大的部分。这个质量基本达到我们之前设定目标,也证明配送大数据的巨大潜力。 目前的问题以及后续的优化点 如何提升其作为POI挖掘和发现手段的准确率？这里面有很多优化点,比如去重（交付点-位置信息的一一映射）,POI信息补全和更新。 如何扩大数据渠道并做到信息整合？目前主要渠道还是骑手签到和轨迹数据,这个明显有更大的想象空间,毕竟每天在全国大街小巷,有几十万骑手在进行配送,除了前面（以及后面）提到的通过手机被动采集的数据,让骑手主动采集数据,也是不错的建设思路。只不过想要做好的话,需要建立一个相对闭环数据系统,包括上报、采集、清洗、加工、监控等等。
更精细化的配送场景识别：感知
前面提到的地图技术,只能解决在室外场景的位置和导航问题。但配送在商家侧（到店、取餐）和用户侧（到客、交付）两个场景中,其实是发生在室内环境。在室内的骑手位置是在哪里、在做什么以及用户和商家在做什么,如果了解这些,就能解决很多实际问题。比如：
这个技术方向可以统称为“情景感知”,目标就是还原配送场景中（主要是室内以及GPS不准确）,真实配送过程发生了什么,具体方向如下图所示：
情景感知的目标就是做到场景的精细刻画（上图的上半部分）,包含两个方面工作： 配送节点的精确刻画 在ETA预估中已经展示过一些,不过之前主要还是基于骑手上报数据,这显然无法做到很高精确,必须引入更客观的数据进行描述。目前,我们选择的是WIFI和蓝牙的地理围栏技术作为主要辅助。 配送过程的精确刻画 骑手在配送过程中经常会切换方式,比如可能某个小区不让骑电动车,那骑手必须步行,再比如骑手在商家发生长时间驻留,那应该是发生了等餐的情况（用户侧同理）。目前,我们选择使用基于传感器的运动状态识别作为主要辅助。
这些数据,大部分来至于手机,但是随着各种智能硬件的普及,比如蓝牙设备,智能电动车、智能头盔等设备的普及,我们可以收集到更多数据的数据。WiFi/蓝牙技术,以及运动状态识别的技术比较成熟,这里主要说一下概况,本文不做深入的探讨。
对于配送系统来说,比较大的挑战还是对识别精度的要求以及成本之间的平衡。我们对精度要求很高,毕竟这些识别直接影响定价、调度、判责系统,这种底层数据,精度不高带来的问题很大。
考虑成本限制,我们需要的是相对廉价和通用的解决方案,那种基于大量传感器硬件部属的技术,明显不适用我们几百万商家,几千万楼宇这种量级的要求。为此,在具体技术方面,我们选用的是WiFi指纹、蓝牙识别、运动状态识别等通用技术方案,就单个技术而言,其实学术界已经研究很充分了,而且也有很多应用（比如各种智能手环等设备）。对于我们的挑战在于要做好多种传感器数据的融合（还包括其他数据）,以确保做到高识别精度。当然为了解决“Ground Truth”问题,部署一些稳定&高精度的智能硬件还是必须的,这对技术迭代优化和评估都非常有帮助。
总结
美团外卖日订单量超过2400万单,已经占有了相对领先的市场份额。美团配送也构建了全球领先的即时配送网络,以及行业领先的美团智能配送系统,智能调度系统每小时路径计算可达29亿次。如何让配送网络运行效率更高,用户体验更好,是一项非常困难的挑战,我们需要解决大量复杂的机器学习和运筹优化等问题,包括ETA预测,智能调度、地图优化、动态定价、情景感知、智能运营等多个领域。过去三年来,美团配送AI团队研发效果显著,配送时长从一小时陆续缩短到30分钟,并且还在不断提升,我们也希望通过AI技术,帮大家吃得更好,生活更好。
招聘信息
目前,即时配送业务正处于快速发展期,新的场景、新的技术问题不断涌现,团队正在迅速扩大中,急需机器学习资深专家、运筹优化技术专家、LBS算法工程师、NLP算法工程师,我们期待你的加入。扫码可查看职位详情,或者发送简历至 yewei05@meituan.com

「深度学习福利」大神带你进阶工程师,立即查看>>>
本实验选用数据为UCI开源数据集,仅用于学习,请勿商用）
Wide&Deep推荐算法出自一篇论文《Wide&Deep Learning for RecommenderSystems》,Wide&Deep由两部分组成,分别是Wide和Deep。先来说wide,表示的是generalized的推荐系统,传统的推荐系统都是通过线性算法基于离散特征来做推荐的。Wide推荐通常是这样的：系统通过获得用户的购物日志数据,包括用户点击哪些商品,购买过哪些商品,然后通过one-hot编码的方式构成离散特征或者通过对业务的理解衍生出一些特征,并进行计算,类似于本系列文章第二篇。这种wide推荐方式有非常多的好处,比如对于大规模的稀疏数据有很好的效果,而且模型的解释性很强。什么叫模型的解释性呢？以逻辑回归为例,每个特征都对应模型中的一个权重值,每个特征的权重值的大小跟这个特征对结果的影响是有关的。那么wide方式同样有很多缺点,比如我们一直强调的,特征衍生需要很多人为操作,需要专家经验,另外这种推荐只对用户操作过的商品有效。
接着讲下deep,这里的deep表示的是通过深度学习学习出来的一些向量,这些向量是隐性特征,往往是没有明确可解释性的。这些向量也可以作为特征的一部分参与到训练中。通过deep方式产生的特征会有以下好处,其一可以拟补人为提取特征造成的人力思考维度的限制,试想下一个人可以轻易的思考出二阶乘法的结果,如果是五阶呢？其二这部分特征是深度学习框架自动生成的,无需人力干预。
既然Wide和Deep算法各有千秋,那如果可以将两种算法作为组合,那么一定可以生成更有效的推荐场景的模型,本文就介绍如何在PAI-DSW上实现基于Wide&Deep的预测。
一、业务场景描述
本节使用的是PAI-DSW云端深度学习训练平台和PAI-EAS模型服务平台,使用的是一份开源的基于人的各种背景的统计数据,解决的问题是基于人的各种基础数据预测每个人收入是否会超过50K。
本实验的全部代码和数据已经内置于PAI-DSW,只要打开DSW就可以安装下方的教程运行实验。
二、数据集介绍
数据源：引用UCI开源数据源, https://archive.ics.uci.edu/ml/datasets/Census+Income
具体特征字段如下：
字段名 含义 类型 描述 age 对象年龄 double 对象的年龄大小

workclass	工作性质	string	自由职业者、私企、企业人员、政府工作者、无业游民等
fnlwgt	连续数据	double	-
education	学历	string	学士、说是、博士、11th、10th、1s-4th等等
education-num	教育年限	double	教育年限
marital-status	婚姻状况	string	单身、未婚、离异等等
occupation	职业	string	工程师、农民、销售等等
relatonship	家庭角色	string	妻子、父亲、没家庭等等
race	人种	string	亚裔、白人、黑人等等
sex	性别	string	女性、男性
capital-gain	连续数据	double	- capital-loss	hours-per-week	native-country 连续数据	连续数据	祖籍国家 double	double	string -	-	美国、哥伦比亚、英格兰、加拿大等等

目标字段：income是否超过50k
三、数据探索流程
首先进入PAI-DSW,找到左侧的Demo文件夹,下载Wide&Deep数据集及代码包。
（1）工程描述
首先看下整个工程, 包含一个census_data文件夹,里面包含一个训练数据和一个测试数据 official文件夹是一个工具包 census_main.py为训练脚本
（2）训练模型
打开一个terminal环境,执行 python census_main.py --export_dir wide_deep_saved_model
wide_deep_saved_model为输出模型所在的文件夹训练完在文件目录下会找到相应文件,打开后可以看到checkpoint：
把这个checkpoint的号记住。
（3）模型预测
现在已经生成了模型的checkpoint输出,接下来进入terminal,运行以下脚本： saved_model_cli run --dir wide_deep_saved_model/${模型checkpoint号码}/ --tag_set serve --signature_def="predict" --input_examples='${预测数据}'
根据本文的案例可以执行以下脚本拿到预测结果： saved_model_cli run --dir wide_deep_saved_model/1542168326/ --tag_set serve --signature_def="predict" --input_examples='examples=[{"age":[46.], "education_num":[10.], "capital_gain":[7688.], "capital_loss":[0.], "hours_per_week":[38.]}, {"age":[24.], "education_num":[13.], "capital_gain":[0.], "capital_loss":[0.], "hours_per_week":[50.]}]'
输入了两条预测数据,最终拿到预测结果：
输入了两条预测数据,可以得到预测输出,第一条预测结果为1,第二条结果为0,可以通过output key probabilities判断（注：矩阵第一行对应第一个预测结果,第二列0.9599956>第一列0.04000434,所以第一个预测结果是1。同理第二个预测结果是0）。
可以通过代码official/wide_deep/census_dataset.py来看具体的特征工程的特征和目标值的构建,目标列>50k时目标值为1,目标列<50k时目标值为0。
于是预测结果第一条的人的预测收入为>50k,预测结果第二条的人的预测收入<50k。
（4）模型在线部署
生成的模型是Tensorflow的标准模型格式,可以通过PAI-EAS将模型部署成Http服务供调用。
后续流程可以参考在线预测文档： https://help.aliyun.com/document_detail/92917.html
部署成在线服务之后,这样就可以做到模型跟用户自身的业务结合,完成PAI模型训练和业务应用的打通。
原文链接

「深度学习福利」大神带你进阶工程师,立即查看>>>
相容的高斯先验


早停止

不变性


切线传播

用变换后的数据训练



卷积神经网络


软权值共享