建模正在走向实时化

法。

1.让基本概念更加快（解谜优简化）。

例如，融合系统设计、分布算出、存储器改作优简化、编写针对特定以来得网的很低机动性内核等。

2.使基本概念更加小（基本概念JPEG）。

最初，这个系列的电子技术是使基本概念更加小，以使它们适合底部仪器。使基本概念增大不一定则会使它们运转得更加快。最常用的、统一常规的基本概念JPEG电子技术是量简化，例如，用16位浮点数（半精度）或8位整数（定点）替换成32位浮点数（正因如此精度）来说明你的基本概念权重。在极端上述年前提，有些人想法用1位说明（小数点权重神经在线），例如 BinaryConnect和 Xnor-Net.Xnor-Net的作者从Xnor.ai分拆出来，这是公司总部专注于基本概念JPEG的始自母公司，它被苹果母公司以2亿美元的价格注资。

另一种源行的电子技术是 knowledge distillation 一个小的基本概念（很多学生）被锻炼来与众不同一个较大的基本概念或一个基本概念集合（教师）。尽管很多学生不一定是用事年前锻炼好的老师来锻炼的，但两者也可以同时进行时锻炼。制造之年前可用的在线的一个举例来说是 DistilBERT它将一个BERT基本概念的大小减小了40%，同时保留了97%的语言忽略能够，并且速度快了60%。

其他电子技术仅限于遮荫（找到对得出结论最没用的实例，并将其新设为0）和低秩因子简化（用紧凑的块来引入过度实例简化的变换去除，以减小实例数量并提很低速度）。不知 A Survey of Model Compression and Acceleration for Deep Neural Networks (Cheng等人，2017）的详细分析。

关于基本概念JPEG的研究课题专著的数量打算增长速度。现成的实用程序也在猛增。令人敬畏的Apache工程项目有一个列此表，其之年前仅限于 The Top 121 Model Compression Open Source Projects.

3.让以来得网更加快

这是另一个打算快速发展的研究课题领域。大母公司和始自母公司都在竞相开发计划以来得网，使大型ML基本概念都能在云端，相比之下仪器上更加快地进行时解谜，甚至锻炼。IDC得出结论，到2020年，做到解谜的底部和移动仪器的重新组合将总共37亿台，还有1.16亿台在做到锻炼。

可发挥作用的水

假设你有一个搭车运用于，想探测欺诈性买入，例如可用被窃钱包付款。当根本的同业所有者发掘出未经授权的付款时，他们则会向银行提出争论，而你则必需退还费用。为了发挥作用盈利最大简化，欺诈者确实则会连续拨打多个站内拨打，或者从多个个人信息拨打。2019年，店家据估计欺诈性买入大约占到了其年度Skype销售量的27%。你发掘出被窃钱包的时两者之间越长，你的损失就越好。

要探测一项买入显然欺诈性的，大概看该买入是不够的。你大概须要调查参与该买入的服务器在在的文简化史，他们在在在运用于之年前的旅程和举办活动，钱包在在的买入，以及在同一时两者之间暴发的其他买入。

为了快速访问这些类型的反馈，你希望尽确实多地把它们保发挥作用存储器之年前。每当你关心的重大事件暴发时便是服务器自由选择地点、预订不间断、联系车内、取消不间断、添加钱包、删除钱包等等。- 有关该重大事件的反馈就则会进到你的存储器传输之年前。只要它们是有用的（不一定以天为单位），它就则会离开那中的，然后要么进到永久传输（如S3），要么被丢弃。这方面最常用的辅助工具是 Apache Kafka，Kafka是一种源式传输：它是一种源式传输新方法，它是由Amazon Kinesis给予的。Kafka是一个源传输：它在样本源之年前传输样本。

源样本与静态样本相同便是静态样本早已非常直观地发挥作用做某处，如CSV文件。当从CSV文件之年前复制到时，你明白临时工何时结束。而样本源而则会不则会结束。

一旦你有了管理工作源媒体样本的新方法，你就想合成相同之处来匹配你的ML基本概念。除了来自源媒体样本的相同之处外，你确实还须要来自静态样本的相同之处（这个个人信息是什么时候创建的，服务器的称赞是什么，等等）。你须要一个辅助工具，受限制你处理重大事件源媒体样本以及静态样本，并将它们从各种样本源连结起来。

源处理重大事件与软件系统重大事件

人们一般用 "软件系统重大事件 "所称的是静态样本处理重大事件，因为你可以成批地处理重大事件它们。这是与 "源处理重大事件 "比起的，后者在每个重大事件到达时进行时处理重大事件。软件系统重大事件是很低效的便是你可以为了让MapReduce等辅助工具来处理重大事件大量的样本。源处理重大事件是快速的，因为你可以在每一个样本到来时立即处理重大事件。Apache Flink的PMC的组织Robert Metzger对源处理重大事件可以像软件系统重大事件一样很低效申明，因为软件系统重大事件是源处理重大事件的一个特例。

处理重大事件源样本更加加困难，因为样本量是其所的，而且样本进来的速率和速度是可变的。让一个源处理重大事件器做到软件系统重大事件比让一个软件系统重大事件器做到源处理重大事件更加容易。

Apache Kafka有一定的源处理重大事件能够，一些母公司在Kafka源传输的思路可用这种能够，但Kafka源处理重大事件在处理重大事件各种样本源方面的能够是依赖性于的。人们一直在努力构建SQL，这种用做静态样本此表的源行的检索语言，以处理重大事件样本源。然而，最源行的源处理重大事件辅助工具是 Apache Flink它具有对软件系统重大事件的本地支持。

在机器进修制造的早期，许多母公司在基本的MapReduce/Spark/Hadoop样本的水之上设立了他们的ML控制系统。当这些母公司想做到可发挥作用解谜时，他们须要为源式样本设立一个直接的的水。

有两个相同的的水来处理重大事件你的样本是ML制造之年前出现错误的常用或许，例如，一个的水的变动没无论如何地复制到另一个的水，引致两个的水合成两个相同的相同之处集。如果这两个的水由两个相同的的团队公共安正因如此，这种上述情况尤其常用，例如，开发计划的团队公共安正因如此用做锻炼的软件系统重大事件的水，而布署的团队公共安正因如此用做解谜的源的水。母公司仅限于 Uber和 Weibo等母公司早已进行时了重大的交通运输改造，用Flink统一了他们的软件系统重大事件和源处理重大事件的水。

重大事件涡轮机与允诺涡轮机

在基本上的十年中的，软件21世纪早已走向了薄服务于。其信念是将你的业务部门逻辑上分解成小的缓冲器便是每个缓冲器都是一个自足的服务于便是可以独立公共安正因如此。每个缓冲器的所有者可以快速更加新和次测试该缓冲器，而不能咨询控制系统的其他其余部分。

薄服务于往往与REST携手并进，REST是一套让这些薄服务于进行时互动的新方法。REST APIs是允诺涡轮机的。客户端（服务于）通过POST和GET等新方法发送给允诺，并不知道它的服务于器没错要做到什么，它的服务于器则会对结果作出回应。服务于器必需通话允诺，才能注册允诺。

因为在一个允诺涡轮机的21世纪中的，样本是通过对相同服务于的允诺来处理重大事件的，没人对样本如何在整个控制系统之年前源动有一个总体的确信。顾虑一个有3个服务于的直观控制系统。

A 管理工作车内的易用性B 管理工作回程需求C 在顾客每次决定站内时，得出结论确实的最佳价格，向他们演示。

因为价格依赖性于易用性和需求，服务于C的产出依赖性于服务于A和B的产出。首先，这个控制系统须要服务于两者之间的互动。C须要ping A和B进行时得出结论，A须要ping B明白是否调动更加多的车内，ping C明白给他们什么价格激励。其次，将没直观的新方法来监测A或B的逻辑上变动如何影响服务于C的机动性，或者在服务于C的机动性快要下滑时映射样本源来进行时检查和。

只有3项服务于，事情就早已普遍简化了。似乎一下，如果没成千上万的服务于，就像主要互联网母公司所拥有的那样。服务于两者之间的通信则会的。在HTTP上以JSON blobs的此表达方式发送给样本便是REST允诺不一定运用于的新方法便是也比较慢。服务于两者之间的样本传输则会视为一个瓶颈，使整个控制系统变慢。

与其让20个服务于向服务于A索取样本，不如说每当服务于A内暴发一个重大事件，这个重大事件就则会被广播到一个源之年前，任何一个想从A获得样本的服务于都可以串流这个源并挑选出它所须要的样本。如果有一个源，所有的服务于都可以广播他们的重大事件并串流，那则会怎么样？这种模式被称为pub/sub：公布和串流。这就是像Kafka这样的给予商所受限制你做到的。由于所有的样本都是通过一个源来源动的，你可以新设一个仪此表盘来监控你的样本和它在整个控制系统之年前的背离。因为它是基于服务于所广播的重大事件，这种体系结构是重大事件涡轮机的。

Beyond Microservices: Streams, State and Scalability(Gwen Shapira, QCon 2019)

允诺涡轮机的体系结构对那些更加依赖性逻辑上而非样本的控制系统来说效用很好。重大事件涡轮机体系结构对重样本的控制系统效用更加好。

再一

许多母公司打算从软件系统重大事件转向源处理重大事件，从允诺涡轮机的体系结构转向重大事件涡轮机的体系结构。我与加拿大和东亚的主要互联网母公司不知面的观感是，这种变动在加拿大即便如此很缓慢，但在东亚则快得多。源媒体体系结构的运用于与Kafka和Flink的盛行有关。Robert Metzger并不知道我，他观察到在亚洲可用Flink的机器进修临时工负载比在加拿大要多。谷歌发展趋势之年前的 "Apache Flink "与这一观察一致。

源处理重大事件没更加受欢迎的或许有很多。

母公司没看着源处理重大事件的好处他们的控制系统还没达到服务于两者之间通信视为瓶颈的规模。他们没获益于Skype得出结论的运用于。他们有确实从Skype得出结论之年前获益的运用于，但他们还不明白，因为他们实际上从未做到过Skype得出结论。

2.对交通运输的初始投资很低交通运输的更加新是昂贵的，并确实危及基本的运用于程序。管理工作者确实不愿意投资换用他们的交通运输以受限制Skype得出结论。

3.心态背离从软件系统重大事件转换到源处理重大事件须要一个心理背离。在软件系统重大事件之年前，你明白一项临时工何时进行时。而在源处理重大事件之年前，它而则会不则会进行时。你可以制定一些比赛规则，比如获得基本上2分钟内所有样本点的数值，但如果2分钟年前暴发的重大事件被延后了，还没进到样本源怎么办？在软件系统重大事件之年前，你可以有概念明确的此表并将它们连结起来，但在源处理重大事件之年前，没此表可以连结，那么对两个源进行时连结系统设计是什么意思？

4.Python的不兼容性Python是机器进修的统一常规语言，而Kafka和Flink则运转在Ja和Scala上。引入源确实则会在临时工源程之年前造成语言不兼容。Apache Beam在Flink之上给予了一个Python以来得网，用做与源进行时通信，但你即便如此须要都能可用Ja/Scala的人。

5.更加很低的处理重大事件成本的设备处理重大事件理论上你可以更加有效地可用你的算出资源。如果你的以来得网都能一次处理重大事件1000个样本点，那么用它来一次只处理重大事件1个样本点就是浪费了。

第二级：过后进修便是你的控制系统可以纳入之后样本并可发挥作用更加新

这中的的可发挥作用被概念为几分钟的时两者之间。

概念 "过后进修"

我可用了 "过后进修"，而不是 "Skype锻炼 "或 "Skype进修"，因为后两个词让人们忘记从每个传布的样本零点进修。根本做到到这一点的母公司并不、仅有，因为。

这种新方法受到毁灭性逝去的影响便是神经在线在进修之后反馈时，则会快要忘记实际上进修的反馈。在一个样本点上运转一个进修两步确实比在一个种产品上运转更加昂贵（这可以通过拥有能够强大的以来得网来处理重大事件正好一个样本点来缓和）。

即使一个基本概念在每个传布的样本点上都在进修，也不理论上每个样本点之后都则会布署之后权重。由于我们在此之年前对ML启发式如何进修的忽略依赖性于，更加之后基本概念须要首先被审核，以确信它的体现如何。

对于大多数做到所谓的Skype锻炼或Skype进修的母公司来说，他们的基本概念在薄型种产品之年前进修，并在一定时两者之间后进行时审核。只有在其机动性被审核为令人满意之后，基本概念才则会被更加广为地布署。对于薄博来说，他们从进修到布署基本概念更加之后迭代周期是10分钟。

Machine learning with Flink in Weibo(明孝宗，Flink Forward 2020)

然而，过后进修并不是所称之后锻炼的频率，而是所称之后锻炼基本概念的新方法。

大多数母公司做到的是无状态再锻炼便是基本概念每次都是从头开始锻炼。过后进修理论上受限制有状态的锻炼便是基本概念在新样本上继续锻炼（阶段性）。

一旦你的交通运输被新设为做到有状态的锻炼，锻炼频率就只是一个操纵杆。你可以每小时更加新一次基本概念，每天一次，也可以在你的控制系统探测到分布变动时更加新你的基本概念。

可用案例

TikTok是令人令人震惊的上瘾。它的秘密在于其提拔控制系统能快速进修你的偏爱，并提拔你最后确实则会看的截图，给服务器产生令人震惊的向下体验。这是确实的，因为TikTok背后的母公司小数点跳动早已设立了一个成熟的交通运输，使他们的提拔控制系统都能可发挥作用进修服务器的偏爱（用他们的都是说是 "服务器档案"）。

提拔控制系统是过后进修的完美人选。它们有自然的关键字便是如果一个服务器点击了一个提拔，那就是一个无论如何的得出结论。并非所有的提拔控制系统都须要过后的进修。服务器对住房、汽车、国内航线、酒店等物品的一般而言不来得确实从一分钟到下一分钟暴发变动，所以控制系统过后进修的意义不大。然而，服务器对Skype内容便是截图、发此表文章、报导、Instagram、帖子、协定便是的一般而言确实变动并不快（"我刚刚读到蜘蛛有时则会无缘无故地下海，如今我想看它的截图"）。由于对Skype内容的一般而言是可发挥作用变动的，广告片控制系统也须要可发挥作用更加新以显示相关的广告片。

过后的进修对于控制系统适应环境罕不知重大事件至关极其重要。顾虑一下黑色星期五的其网站食店。因为黑色星期五每年只暴发一次，亚马逊或其他电子商务网站不确实获得能够的文简化史样本来确信服务器在那一天的举动，所以他们的控制系统须要在那一天迅速地进修以适应环境。

或者顾虑当某个著名的人在Instagram上公布一些愚蠢的进去时的Instagram查找。例如，关于 "四季正因如此面美简化 "的报导一公测，很多人就则会去查找 "正因如此面美简化"。如果你的控制系统没立即确信到这中的的 "正因如此面美简化 "是所称报导公布则会，那么你的服务器就则会得到大量的园艺提拔。

过后的进修也可以希望解决冷启动问题。一个服务器刚刚投身于你的运用于程序，你还没他们的反馈。如果你没任何此表达方式的过后进修的能够，你将不得不为你的服务器给予一般的敦促，直到下一次你的基本概念被上网锻炼。

给予商

由于过后进修即便如此极其新，而且大多数打算做到的母公司还没公开谈论它的技术细节，所以没常规的给予商。

过后进修并不理论上 "没的设备锻炼"。那些最成功地可用过后进修的母公司也在上网上述年前提垂直锻炼他们的基本概念，然后将Skype正式版与上网正式版结合。

再一

过后进修面临着许多再一，仅限于概念和实践。

概念上

过后进修将我们所学到的很多关于机器进修的知识翻了个底朝天。在机器进修的初阶课上，很多学生们确实则会被教导相同正式版的 "用能够数量的长达来锻炼你的基本概念，直到取值。"在过后进修之年前，没长达，你的基本概念对每个样本点只看一次。也没所谓的取值。你的基础样本分布一直在变动。没什么一般来说的进去可以取值。

过后进修的另一个概念再一是基本概念审核。在传统的的设备锻炼之年前，你在一般来说的次测试集上审核你的基本概念。如果一个之后基本概念在相同的次测试集上比基本的基本概念体现得更加好，我们就说之后基本概念更加好。然而，过后进修的目标是让你的基本概念适应环境迅速变动的样本。如果你的更加新基本概念是为了适应环境如今的样本而锻炼的，而我们明白如今的样本与基本上的样本相同，那么用旧的样本来次测试你的更加新基本概念就没意义了。

那么我们怎么明白在基本上10分钟的样本上锻炼的基本概念比20分钟年前的样本上锻炼的基本概念要好呢？我们必需在当年前样本上非常这两个基本概念。Skype锻炼须要Skype审核，但是把一个没经过次测试的基本概念给予给服务器，听起来就像一个自然灾害的秘诀。

许多母公司还是这样做到了。之后模式首先要经过上网次测试，以确保它们不是毁灭性的，然后通过复杂的A/B次测试控制系统与基本模式立体简化审核。只有当一个基本概念被证明在母公司关心的某些量简化上强于基本基本概念时，它才能被更加广为地布署。(不要让我开始为Skype审核自由选择一个量简化）。

实用

在此之年前还没Skype培训的常规交通运输。一些母公司早已将源媒体体系结构与实例服务于器，但除此之外，与我不知面过的做到Skype锻炼的母公司必需在内部设立大量的交通运输。我不愿意在其网站争辩这个问题，因为一些母公司决定我对这些反馈进行时规避，因为他们打算为自己设立给予商便是这是他们的竞争优势。

加拿大和东亚二者之两者之间的MLOs对抗赛

我读过很多关于加拿大和东亚二者之两者之间的认知科学对抗赛的发此表文章，但大多数非常似乎都集之年前于加拿大的认知科学数量。 专著，注册商标，引述， 资金 只有在我开始与加拿大和东亚的母公司争辩可发挥作用机器进修之后，我才意识到他们的MLOps交通运输有惊人的差异。

极其多有加拿大互联网母公司想法过后进修，即使在这些母公司之年前，过后进修也是用做直观的基本概念，如逻辑上转回。通过与东亚母公司直接不知面以及与二国母公司合作的人不知面，我的观感是，过后进修在东亚更加普遍，东亚的工程师也更加渴望发挥作用这一冲刺。你可以看着一些谈及的内容。

总结

机器进修打算走向可发挥作用，无论你是否准备好了。虽然大多数母公司仍在争论中Skype解谜和过后进修是否MVP，但其之年前一些做到得无论如何的母公司早已看着了投资回报，他们的可发挥作用启发式确实是希望他们领先于竞争对手的一个主要因素。

我对可发挥作用机器进修还有很多想法，但这篇发此表文章早已很长了。如果你有兴趣聊一聊这个问题。

鸣谢

这篇发此表文章是与所列出类拔萃的工程师和学者多次谈及的区域性结果。我要说明感谢Robert Metzger, Neil Lawrence, Sin Goyal, Zhenzhong Xu, Ville Tuulos, Dat Tran, Han Xiao, Hien Luu, Ledio Ago, Peter Skomoroch, Piero Molino, Daniel Yao, Jason Sleight, Becket Qin, Tien Le, Abraham Starosta, Will Deaderick, Caleb Kaiser, Miguel Ramos。

还有几个人自由选择保持匿名。没他们，这个帖子将是不非常直观的。

说明感谢 Luke Metz昨天你视为一个实在的第一个读者!

。

血糖仪什么牌子的好
血糖仪哪个牌子准确
新冠腹泻吃肠炎宁有用吗
感冒咳嗽能吃什么
家用什么样的血糖仪好