Zobrazit minimální záznam
dc.contributor.author |
Diviš, Roman
|
|
dc.contributor.author |
Novotný, Zdeněk
|
|
dc.date.accessioned |
2023-07-12T13:15:19Z |
|
dc.date.available |
2023-07-12T13:15:19Z |
|
dc.date.issued |
2022 |
|
dc.identifier.isbn |
978-88-85741-73-7 |
|
dc.identifier.issn |
2724-0029 |
|
dc.identifier.uri |
https://hdl.handle.net/10195/81231 |
|
dc.description.abstract |
Saving information to files is the most basic and simplest way to store data, so it is often used in simple simulators and simulation tools as the first choice for logging information about the simulation process and its results. Computer simulations often involve simulating a significant number of replications and accumulating large numbers of files. Today's filesystems are still not capable of efficiently storing and processing millions of files. This paper presents alternatives that allow for more efficient storage, transfer, and analysis of data, with an emphasis on easy migration or implementation from the initial data files. Simple approaches such as using TAR or ZIP archives to sophisticated approaches involving Parquet file, S3-like object storage (e.g., MinIO, OpenIO) and (non)relational databases will be compared. |
eng |
dc.format |
p. 1-4 |
eng |
dc.language.iso |
eng |
|
dc.publisher |
CAL-TEK SRL |
eng |
dc.relation.ispartof |
Proceedings of the 34th European Modeling & Simulation Symposium (EMSS 2022) |
eng |
dc.rights |
open access |
eng |
dc.rights.uri |
https://creativecommons.org/licenses/by-nc-nd/4.0/ |
|
dc.subject |
data files management |
eng |
dc.subject |
data storage |
eng |
dc.subject |
object storage |
eng |
dc.subject |
správa datových souborů |
cze |
dc.subject |
datové úložiště |
cze |
dc.subject |
objektové úložiště |
cze |
dc.title |
Efficient handling of lots of simulation data files |
eng |
dc.title.alternative |
Efektivní zpracování velkého množství simulačních datových souborů |
cze |
dc.type |
ConferenceObject |
eng |
dc.description.abstract-translated |
Ukládání informací do souborů je základním a jednoduchým způsobem ukládání dat, proto se často používá v simulátorech a simulačních nástrojích jako první volba pro protokolování informací o simulačním procesu a jeho výsledcích. Počítačové simulace často zahrnují simulaci značného počtu replikací a shromažďování velkého počtu souborů. Dnešní souborové systémy stále nejsou schopny efektivně ukládat a zpracovávat miliony souborů. Tento článek představuje alternativy, které umožňují efektivnější ukládání, přenos a analýzu dat, s důrazem na snadnou migraci nebo implementaci z původních datových souborů. Budou porovnány jednoduché přístupy, jako je použití archivů TAR nebo ZIP, až po sofistikované přístupy zahrnující soubor Parquet, úložiště objektů typu S3 (např. MinIO, OpenIO) a (ne)relační databáze. |
cze |
dc.event |
34th European Modeling and Simulation Symposium, EMSS 2022 (19.09.2022 - 21.09.2022, Řím) |
eng |
dc.peerreviewed |
yes |
eng |
dc.publicationstatus |
published |
eng |
dc.identifier.doi |
10.46354/i3m.2022.emss.043 |
|
dc.relation.publisherversion |
https://www.cal-tek.eu/proceedings/i3m/2022/emss/043/ |
|
dc.project.ID |
SGS_2022_014/Aplikovaný výzkum a experimentální vývoj v oblasti matematicko-statistických technik, umělé inteligence a strojového učení pro inženýrské aplikace v radarové technice, výrobních technologiích, biomedicíně a dopravě |
cze |
dc.identifier.scopus |
2-s2.0-85142880239 |
|
dc.rights.license |
CC BY-NC-ND 4.0 |
|
dc.identifier.obd |
39887999 |
|
Tento záznam se objevuje v následujících kolekcích
Zobrazit minimální záznam
Kromě případů, kde je uvedeno jinak, licence tohoto záznamu je open access
|
Vyhledávání
Procházet
-
Vše v Digitální knihovně
-
Tato kolekce
Můj účet
|