dc.contributor.author |
Doležel, Petr
|
cze |
dc.contributor.author |
Škrabánek, Pavel
|
cze |
dc.contributor.author |
Gago, Lumír
|
cze |
dc.date.accessioned |
2017-05-11T11:16:45Z |
|
dc.date.available |
2017-05-11T11:16:45Z |
|
dc.date.issued |
2016 |
eng |
dc.identifier.issn |
2405-8963 |
eng |
dc.identifier.uri |
http://hdl.handle.net/10195/67665 |
|
dc.description.abstract |
Initial weight choice is an important aspect of the training mechanism for feedforward neural networks. This paper deals with a particular topology of a feedforward neural network, where symmetric linear saturated activation functions are used in a hidden layer. Training of such a topology is a tricky procedure, since the activation functions are not fully differentiable. Thus, a proper initialization method for that case is even more important, than dealing with neural networks with sigmoid activation functions. Therefore, several initialization possibilities are examined and tested here. As a result, particular initialization methods are recommended for application, according to the class of the task to be solved. |
eng |
dc.format |
p. 49–54 |
eng |
dc.language.iso |
eng |
eng |
dc.publisher |
Elsevier Science BV |
eng |
dc.relation.ispartof |
IFAC Papersonline, volume 49, issue: 25 |
eng |
dc.rights |
open access |
eng |
dc.subject |
artificial neural network |
eng |
dc.subject |
initialization |
eng |
dc.subject |
linear-saturated activation function |
eng |
dc.subject |
linearization |
eng |
dc.subject |
umělá neuronová síť |
cze |
dc.subject |
inicializace |
cze |
dc.subject |
lineární saturovaná aktivační funkce |
cze |
dc.subject |
linearizace |
cze |
dc.title |
Weight Initialization Possibilities for Feedforward Neural Network with Linear Saturated Activation Functions |
eng |
dc.title.alternative |
Možnosti inicializace vah při trénování dopředné neuronové sítě s lineárními saturovanými aktivačními funkcemi |
cze |
dc.type |
article |
eng |
dc.description.abstract-translated |
Výběr algoritmu počátečního nastavení vah je důležitým aspektem při trénování neuronové sítě. V tomto článku je řešeno trénování jedné konkrétní topologie - dopředné vícevrstvé umělé neuronové sítě s lineárními saturovanými aktivačními funkcemi. Trénovaní takových topologií je netriviální úkol, protože řečené aktivační funkce nejsou hladké. Proto je úvodní inicializace vah ještě důležitější, než při použití hladkých aktivačních funkcí. V rámci článku je tedy testována množina známých inicializačních procedur a výsledkem je doporučení jednotlivých algoritmů v závislosti na typu řešené úlohy. |
cze |
dc.event |
14th IFAC Conference on Programmable Devices and Embedded Systems PDES 2016 (05.10.2016 - 07.10.2016) |
eng |
dc.peerreviewed |
yes |
eng |
dc.publicationstatus |
postprint |
eng |
dc.identifier.doi |
10.1016/j.ifacol.2016.12.009 |
|
dc.project.ID |
SGS_2016_019/Speciální topologie umělé neuronové sítě jako aproximátor a klasifikátor |
eng |
dc.identifier.wos |
000401255800009 |
|
dc.identifier.scopus |
2-s2.0-85006964860 |
|
dc.identifier.obd |
39877888 |
eng |