清华、上交等联合发表Nature子刊：「分片线性数学模型」最新综述

NN拿下越来越加广泛分析方法的关注。

PWLNN对此三维及其自学方式

如上上图3表，PWLNN可包含两大类，即热力的PWLNN（如上图3当中下半均左右两上图表）和深层的PWLNN（如上图2当中上半均上图）。

热力的PWLNN主要包含两大类，即伦数组组合三维及格三维。

其当中前者通过对有着各有不同在结构上、赋值和功能性的伦数组一触即发组合，如上图4(a)(b)表，借助于必需满足各有不同桥段的有着各有不同逼有数适应性、对此适应性、赋值及在结构上的分辨方向不同相对的PWLNN

后者则通过显式枚举可行域的各个弟范围所特别联的时域表示，并依靠min-max（或max-min）的结构体概念上，借助于PWLNN的紧凑对此，如上图4(c)表。

格三维当中时域弟范围的显式表示功能性在一些特定分析方法桥段下甚为重要，例如三维得显露结论管控[25,31]。

上图4. (a) 二维页面平面三维伦数组旁观上图; (b) 二维六边形三维伦数组旁观上图;（c) 标量格三维下述上图 (含5个弟范围时域赋值)

对比而言，由于网路高度的上限，热力的PWLNN并不一定通过筛选比较必需的大脑，而日趋减小网路宽的模式，提升三维灵巧性，然而在有规律搜索必需大脑的处理过程并不一定但会牺牲者方式适应性，同时欠缺对正因如此局电弟邮件的回避。

与热力PWLNN越来越加侧重于大脑直达模式的特点各有不同，深层的PWLNN越来越加侧重于在高度仿真当中替换形同概念上有用的特罗斯季亚涅齐时域数组作为抑制各别，从而是深层PWLNN适度表现为逐级结构体的特罗斯季亚涅齐时域映射数组。

深层的PWLNN越来越偏好于减小网路高度[23]，这种模式的军事优势在于必需越来越加高效而灵巧地借助于特罗斯季亚涅齐时域弟范围的分割，并使三维有着越来越好的灵巧性，例如上图5当中的典型正因如此直达深层PWLNN三维在结构上旁观。

上图5. 一般PWLNN三维在结构上旁观上图

通过逐级的特罗斯季亚涅齐时域数组映射，子集但会被分割为越来越多的时域弟范围，如上图6表。

上图6当中(b)、(c)、(d)为(a)表网路当中第一层暗含层、第二暗含层、第三暗含层当中大脑驱动特别联的子集分割，可见随着网路高度的结构体网路子集被分割形同越来越多的弟范围，即大脑驱动由越来越多各有不同片时域弟数组构形同，因此可以拿下比较灵巧的PWLNN。

又例如上图7当中下述表，随着网路层数的加剧，子集可被灵巧的分割为一大有着时域功能性的弟范围，从而可以比较粗略的地对数据集一触即发拟合，借助于弱小的逼有数适应性。

上图6. 二维有用PWLNN（ReLU为抑制数组）网路在结构上及其子集分割旁观上图[32]

上图7. 有用的深层PWLNN子集分割旁观上图[33]

对于比较一般的原因，与热力PWLNN三维相似，深层PWLNN网路当中大脑的直达模式也可多样本土化，例如正因如此直达网路和正弦仿真CNN，以及逐级直达和残差网路ResNet。

进一步的，PWLNN当中大脑间的非时域传递数组也可以为一般概念上的倒数特罗斯季亚涅齐时域数组，不仅限于一般的标量数组，例如ReLU及Leaky ReLU[34]，也可以为多维的Maxout[26]等。

上图8旁观了有着一般概念上的PWLNN网路在结构上，原则上于上述所有热力和深层PWLNN三维。

上图8. 一般PWLNN三维在结构上旁观上图

自学方式

热力的PWLNN的赋值自学方式主要是持续性式地逐步添加大脑和/或越来越新赋值，其最大限度是自学到一个越来越宽的网路，以借助于越来越好的自学优点。

各有不同的热力PWLNN三维并不一定有其特有的自学方式，合理回避三维特有的拓扑学功能性及实际分析方法期望，例如上图4(a)当中特别联的页面平面三维特别联看看页面方式[13]，及上图4(b)当中六边形三维特别联的伦于六边形看看片的分辨不算[2]等。

以上图9为例，通过逐步添加左侧表的分辨拿下的三个伦数组，可拿下右侧特别联的PWLNN，借助于对下述当中正弦数组的逼有数。

上图9. 伦于持续性式自学的六边形看看片方式旁观上图[2]

热力的PWLNN广泛分析方法用于数组逼有数、弟系统分辨及得显露结论管控等电弟邮件技术当中的情况，但在处理庞加莱情况、大规模数据集及精细最大限度时，这些三维的灵巧性及方式适应性仍有着局限性[5]。

相比较而言，深层的PWLNN的自学则承传了高度自学当中一般高度网路的优本土化方式，即其并不一定有着预先确定的网路在结构上，并在伦于反向反向传扬方针和随机反向下降方式的自学框架下进，优本土化网路赋值，这样借助于了对优本土化处理过程的简本土化并提高了自学适应性，从而使其可以化简精细情况[16]。

值得一提的是，特罗斯季亚涅齐时域抑制数组（如ReLU）的替换形同，能必需消除反向消亡等影响高度自学分析方法优点的不利功能性[22]，因此PWLNN的蓬勃发展也在一定相对上促使了高度自学的蓬勃发展。

此外，在GPU/TPU等硬件和各类明朗的高度自学软件平台的支架下，对计不算适应性有着较低期望的深层的PWLNN必需用于越来越大规模的情况，使其在如今的大数据集一时期脱颖而显露。

特罗斯季亚涅齐时域功能性

与其他非时域数组各有不同，特罗斯季亚涅齐时域数组有着一个重要功能性，即其对子集分割和弟范围角本土化时域表示的可解释性。

除了弱小的逼有数适应性，迄今特罗斯季亚涅齐时域还被广泛分析方法的用于高度自学当中的各类概念弟系统化当中[24-30]，例如通过依靠时域弟范围边界功能性正确性对于集合驱动原因下网路驱动得显露结论的鲁棒性正确性[28-29]，以及依靠估计时域弟范围片数衡量网路灵巧性[24]等。

深层PWLNN的特罗斯季亚涅齐时域功能性随之而来的精细的弟范围分割及三维赋值但会阻碍特罗斯季亚涅齐时域数组的可解释适应性和只见来方向不同得显露结论的道德上形态。

热力的PWLNN的仿真及自学方式并不一定但会回避子集当中各弟范围的角本土化时域形态，并以借助于足够极小的三维在结构上为赋值自学最大限度。

引人注意地，有着各有不同概念上的热力PWLNN特别联了各有不同的赋值自学方式，这些方式合理回避了各三维特有的拓扑学形态，从而借助于较差的自学优点。

例如，特别联于页面平面三维的看看页面方式[13]，特别联于自适应页面平面三维的伦于子集分割的树形在结构上方式[9]等。

然而，深层的PWLNN并不一定或多或少了三维的拓扑学形态，而通过为各个神经端口配备概念上有用的特罗斯季亚涅齐时域映射数组，并结合多层在结构上只见来的非时域功能性逐级类比振荡，以借助于极其精细的弟范围分割和角本土化时域表示。

尽管在各电弟邮件技术情况的化简处理过程当中的倍数结果说明了深层PWLNN的某种程度能，但三维赋值自学方式与三维在结构上相独立国家，一般采用高度自学的常用方针，即随机反向下降方式，而或多或少了特罗斯季亚涅齐时域功能性对自学处理过程的影响。

因此，在这一点上，愿景仍有很多无助于研究社会活动的情况。

例如，如何为有着各有不同网路在结构上和大脑映射数组的PWLNN借助于特有的自学方式，在始终保持赋值极小性和三维可解释性的同时，提升自学处理过程的适应性和优点；

对于集合数据集集，是否是必需以及如何看看寻一个有着最有用在结构上和三维可解释性的深层PWLNN；

这样的PWLNN应该通过显式的借助于一个热力PWLNN或隐式的的正则本土化一个深层PWLNN此后借助于；

如何设立PWLNN与其他忽视角本土化形态自学的高度仿真当中间的区别和关系等。

综上，此流行病学对PWLNN现代生物科学一触即发了的弟系统化回顾，从热力网路和深层网路两个上都对对此三维、自学方式、伦础概念及实际分析方法等上都内容一触即发了梳理，显现出了热力的PWLNN向如今广泛分析方法使用的深层的PWLNN的蓬勃发展蓬勃发展史，正因如此面剖析了二者当中间的关联关系，并对现存情况和愿景研究社会活动方向一触即发了深入讨论。

各有不同氛围的读者可以很容易地了解到从PWLNN的先驱社会活动到如今高度自学当中最高效率的PWLNN的蓬勃发展路线。同时，通过重新思考早期的经典社会活动，可将其与月所研究社会活动计划互为结合，以促使对深层PWLNN的越来越研究形同果社会活动。

流行病学撰文阅读页面：

流行病学撰文App页面

arXiv版本App页面

编辑同期配发了PrimeView一触即发简介

参考资料：

[1] Tao, Q., Li, L., Huang, X. et al. Piecewise linear neural networks and deep learning. Nat Rev Methods Primers 2, 42 (2022).

[2] Yu, J., Wang, S. Max Li, L. Incremental design of simplex basis function model for dynamic system identification. IEEE Transactions on Neural Networks Learn. Syst. 29, 4758–4768 (2017).

[3] Chua, L. O. Max Deng, A. Canonical piecewise-linear representation. IEEE Trans. Circuits Syst. 35, 101–111 (1988). This paper presents a systematic analysis of Canonical Piecewise Linear Representations, including some crucial properties of PWLNNs.

[4] Breiman, L. Hinging hyperplanes for regression, classification, and function approximation. IEEE Trans. Inf. Theory 39, 999–1013 (1993). This paper introduces the hinging hyperplanes representation model and its hinge-finding learning algorithm. The connection with ReLU in PWL-DNNs can be referred to.

[5] Julián, P. A High Level Canonical Piecewise Linear Representation: Theory and Applications. Ph.D. thesis, Universidad Nacional del Sur (Argentina) (1999). This dissertation gives a very good view on the PWL functions and their applications mainly in circuit systems developed before the 2000s.

[6] Tarela, J. Max Martínez, M. Region configurations for realizability of lattice piecewise-linear models. Math. Computer Model. 30, 17–27 (1999). This work presents formal proofs on the universal representation ability of the lattice representation and summarizes different locally linear subregion realizations.

[7] Wang, S. General constructive representations for continuous piecewise-linear functions. IEEE Trans. Circuits Syst. I Regul. Pap. 51, 1889–1896 (2004). This paper considers a general constructive method for representing an arbitrary PWL function, in which significant differences and connections between different representation models are vigorously discussed. Many theoretical analyses on deep PWLNNs adopt the theorems and lemmas proposed.

[8] Wang, S. Max Sun, X. Generalization of hinging hyperplanes. IEEE Trans. Inf. Theory 51, 4425–4431 (2005). This paper presents the idea of inserting multiple linear functions in the hinge, and formal proofs are given for the universal representation ability for continuous PWL functions. The connection with maxout in deep PWLNNs can be referred to.

[9] Xu, J., Huang, X. Max Wang, S. Adaptive hinging hyperplanes and its applications in dynamic system identification. Automatica 45, 2325–2332 (2009).

[10] Tao, Q. et al. Learning with continuous piecewise linear decision trees. Expert. Syst. Appl. 168, 114–214 (2021).

[11] Tao, Q. et al. Toward deep adaptive hinging hyperplanes. IEEE Transactions on Neural Networks and Learning Systems (IEEE, 2022).

[12] Chien, M.-J. Piecewise-linear theory and computation of solutions of homeomorphic resistive networks. IEEE Trans. Circuits Syst. 24, 118–127 (1977)

[13] Pucar, P. Max Sjöberg, J. On the hinge-finding algorithm for hinging hyperplanes. IEEE Trans. Inf. Theory 44, 3310–3319 (1998).

[14] Huang, X., Xu, J. Max Wang, S. in Proc. American Control Conf. 4431–4936 (IEEE, 2010). This paper proposes a gradient descent learning algorithm for PWLNNs, where domain partitions and parameter optimizations are both elucidated.

[15] Hush, D. Max Horne, B. Efficient algorithms for function approximation with piecewise linear sigmoidal networks. IEEE Trans. Neural Netw. 9, 1129–1141 (1998).

[16] LeCun, Y. et al. Gradient-based learning applied to document recognition. Proc. IEEE 86, 2278–2324 (1998). This work formally introduces the basic learning framework for generic deep learning including deep PWLNNs.

[17] He, K., Zhang, X., Ren, S. Max Sun, J. in Proc. IEEE Int. Conf. Computer Vision 1026–1034 (IEEE, 2015). This paper presents modifications of optimization strategies on the PWL-DNNs and a novel PWL activation function, where PWL-DNNs can be delved into fairly deep.

[18] Tao, Q., Xu, J., Suykens, J. A. K. Max Wang, S. in Proc. IEEE Conf. Decision and Control 1482–1487 (IEEE, 2018).

[19] Wang, G., Giannakis, G. B. Max Chen, J. Learning ReLU networks on linearly separable data: algorithm, optimality, and generalization. IEEE Trans. Signal. Process. 67, 2357–2370 (2019).

[20] Tsay, C., Kronqvist, J., Thebelt, A. Max Misener, R. Partition-based formulations for mixed-integer optimization of trained ReLU neural networks. Adv. Neural Inf. Process. Syst. 34, 2993–3003 (2021).

[21] Nair, V. Max Hinton, G. in Proc. Int. Conf. on Machine Learning (eds Fürnkranz, J. Max Joachims, T.) 807–814 (2010). This paper initiates the prevalence and state-of-theart performance of PWL-DNNs, and establishes the most popular ReLU.

[22] Glorot, X., Bordes, A. Max Bengio, Y. Deep sparse rectifier neural networks. PMLR 15, 315–323 (2011).

[23] Lin, J. N. Max Unbehauen, R. Canonical piecewise-linear networks. IEEE Trans. Neural Netw. 6, 43–50 (1995). This work depicts network topology for Generalized Canonical Piecewise Linear Representations, and also discusses the idea of introducing general PWL activation functions for deep PWLNNs, yet without numerical evaluations.

[24] Pascanu, R., Montufar, G. Max Bengio, Y. in Adv. Neural Inf. Process. Syst. 2924–2932 (NIPS, 2014). This paper presents the novel perspective of measuring the capacity of deep PWLNNs, namely the number of linear sub-regions, where how to utilize the locally linear property is introduced with mathematical proofs and intuitive visualizations.

[25] Bemporad, A., Borrelli, F. Max Morari, M. Piecewise linear optimal controllers for hybrid systems. Proc. Am. Control. Conf. 2, 1190–1194 (2000). This work introduces the characteristics of PWL in control systems and the applications of PWL non-linearity.

[26] Goodfellow, I., Warde-Farley, D., Mirza, M., Courville, A. Max Bengio, Y. in Proc. Int. Conf. Machine Learning Vol. 28 (eds Dasgupta, S. Max McAllester, D.) 1319–1327 (PMLR, 2013). This paper proposes a flexible PWL activation function for deep PWLNNs, and ReLU can be regarded as its special case, and analysis on the universal approximation ability and the relations to the shallow-architectured PWLNNs are given.

[27] Yarotsky, D. Error bounds for approximations with deep ReLU networks. Neural Netw. 94, 103–114 (2017).

[28] Bunel, R., Turkaslan, I., Torr, P. H. S., Kohli, P. Max Mudigonda, P. K. in Adv. Neural Inf. Process. Syst. Vol. 31 (eds Bengio, S. et al.) 4795–4804 (2018).

[29] Jia, J., Cao, X., Wang, B. Max Gong, N. Z. in Proc. Int. Conf. Learning Representations (ICLR, 2020).

[30] DeVore, R., Hanin, B. Max Petrova, G. Neural network approximation. Acta Numerica 30, 327–444 (2021). This work describes approximation properties of neural networks as they are presently understood and also discusses their performance with other methods of approximation, where ReLU are centred in the analysis involving univariate and multivariate forms with both shallow and deep architectures.

[31] Xu, J., Boom, T., Schutter, B. Max Wang, S. Irredundant lattice representations of continuous piecewise affine functions. Automatica 70, 109–120 (2016). This paper formally describe the PWLNNs with irredundant lattice representations, which possess universal representation ability for any continuous PWL functions and yet has not been fully explored to construct the potentially promising deep architectures.

[32] Hu, Q., Zhang, H., Gao, F., Xing, C. Max An, J. Analysis on the number of linear regions of piecewise linear neural networks. IEEE Transactions on Neural Networks Learn. Syst. 33, 644–653 (2022).

[33] Zhang, X. Max Wu, D. Empirical studies on the properties of linear regions in deep neural networks. In Proceeding of the International Conference on Learning Representations (2020).

[34] Maas, A., Hannun, A. Y. Max Ng, A. Y. Rectifier nonlinearities improve neural network acoustic models. Proc. ICML 30, 3 (2013).

。

眼睛看东西重影怎么办
沈阳哪家医院专业做人流
重庆哪家医院做人流比较好
治疗肌肉酸疼用什么药
上海妇科医院哪里比较好