Information and regularization in Restricted Boltzmann Machines | ||
| dc.conicet.organizacion | Consejo Nacional de Investigaciones Científicas y Técnicas. Oficina de Coordinación Administrativa Parque Centenario. Centro de Simulación Computacional para Aplicaciones Tecnológicas | |
| dc.conicet.organizacion | Consejo Nacional de Investigaciones Científicas y Técnicas. Oficina de Coordinación Administrativa Parque Centenario. Centro de Simulación Computacional para Aplicaciones Tecnológicas | |
| dc.conicet.organizacion | Universidad de Buenos Aires. Facultad de Ingeniería. Departamento de Electronica | |
| dc.conicet.organizacion | Universite Paris-Saclay | |
| dc.conicet.rol | Autor | |
| dc.conicet.rol | Autor | |
| dc.conicet.rol | Autor | |
| dc.contributor.author | Vera, Matías Alejandro | |
| dc.contributor.author | Rey Vega, Leonardo Javier | |
| dc.contributor.author | Piantanida, Pablo | |
| dc.coverage | Internacional | |
| dc.date.evento | 2021-06-06 | |
| dc.date.eventoHasta | 2021-06-11 | |
| dc.date.issued | 2021 | es |
| dc.description.abstract | Recent works suggests an interesting interplay between the information flow between inputs features and hidden representations of a learning and the ability of the algorithm to generalize from trained samples to unobserved data. For instance, some of regularization techniques used to control generalization are expected to impact the corresponding information metrics. In this work, we study mutual information in Restricted Boltzmann Machines (RBM) and its relationship with the different regularization techniques. Our results show some evidence on interesting connections between the mutual information (inputs and its representations) with relevant parameters such as: network dimension, matrix norms and dropout probability, which are known to influence the generalization ability of the network. Results are empirically corroborated with a numerical study. | es |
| dc.description.ciudadEvento | Toronto | es |
| dc.description.fil | Fil: Vera, Matías Alejandro. Consejo Nacional de Investigaciones Científicas y Técnicas. Oficina de Coordinación Administrativa Parque Centenario. Centro de Simulación Computacional para Aplicaciones Tecnológicas; Argentina | |
| dc.description.fil | Fil: Rey Vega, Leonardo Javier. Consejo Nacional de Investigaciones Científicas y Técnicas. Oficina de Coordinación Administrativa Parque Centenario. Centro de Simulación Computacional para Aplicaciones Tecnológicas; Argentina. Universidad de Buenos Aires. Facultad de Ingeniería. Departamento de Electronica; Argentina | |
| dc.description.fil | Fil: Piantanida, Pablo. Universite Paris-Saclay; | |
| dc.description.institucionOrganizadora | Institute of Electrical and Electronics Engineers | es |
| dc.description.nombreEvento | International Conference on Acoustics, Speech and Signal Processing | es |
| dc.description.paisEvento | Canadá | es |
| dc.format | application/pdf | es |
| dc.identifier.citation | Information and regularization in Restricted Boltzmann Machines; International Conference on Acoustics, Speech and Signal Processing; Toronto; Canadá; 2021; 1-5 | es |
| dc.identifier.institucional | CONICET | |
| dc.identifier.repo | CONICET Digital | |
| dc.identifier.uri | http://hdl.handle.net/11336/194912 | |
| dc.journal.ciudad | Toronto | es |
| dc.journal.pagination | 1-5 | es |
| dc.journal.pais | Canadá | es |
| dc.language.iso | eng | es |
| dc.publisher | Institute of Electrical and Electronics Engineers | es |
| dc.relation.alternativeid | info:eu-repo/semantics/altIdentifier/url/https://ieeexplore.ieee.org/document/9414497 | |
| dc.relation.alternativeid | info:eu-repo/semantics/altIdentifier/doi/http://dx.doi.org/10.1109/ICASSP39728.2021.9414497 | |
| dc.rights | info:eu-repo/semantics/restrictedAccess | * |
| dc.rights.uri | https://creativecommons.org/licenses/by-nc-sa/2.5/ar/ | * |
| dc.source.libro | International Conference on Acoustics, Speech and Signal Processing | es |
| dc.subject | MUTUAL INFORMATION | es |
| dc.subject | GENERALIZATION | es |
| dc.subject | CAPACITY | es |
| dc.subject | DROPOUT | es |
| dc.subject.classification | Otras Ingeniería Eléctrica, Ingeniería Electrónica e Ingeniería de la Información | es |
| dc.subject.classification | Ingeniería Eléctrica, Ingeniería Electrónica e Ingeniería de la Información | es |
| dc.subject.classification | INGENIERÍAS Y TECNOLOGÍAS | es |
| dc.title | Information and regularization in Restricted Boltzmann Machines | es |
| dc.type | info:eu-repo/semantics/publishedVersion | |
| dc.type | info:eu-repo/semantics/conferenceObject | |
| dc.type | info:ar-repo/semantics/documento de conferencia | |
| dc.type.publicacion | Book | es |
| dc.type.subtype | Conferencia | es |
Archivos
Bloque original
Cargando...
- Nombre:
- CONICET_Digital_Nro.c7acd0e5-60eb-4d0d-acab-a2d9b24a89a3_B.pdf
- Tamaño:
- 306.34 KB
- Formato:
- Adobe Portable Document Format