Tag: Big Data
-
Kafka: Publicação e Leitura de Dados
O Apache Kafka é um sistema de mensagens distribuído que permite a comunicação assíncrona entre diferentes aplicações. Ele é usado para uma variedade de casos de uso, como: Tópicos e Partições O Kafka organiza os dados em tópicos. Um tópico é um fluxo de dados ordenado. Os dados são divididos em partições, que são armazenadas…
-
Spark: Compreendendo RDDs e Operações
O Spark é um framework de código aberto para processamento distribuído de grandes conjuntos de dados em clusters de computadores. Ele oferece uma API mais fácil de usar do que o Hadoop MapReduce e pode ser usado para uma variedade mais ampla de tarefas. Resilient Distributed Datasets (RDDs) Os RDDs são a base do Spark.…
-
Hadoop: Compreendendo o HDFS e o MapReduce
O Hadoop é um framework de código aberto que permite o processamento distribuído de grandes conjuntos de dados em clusters de computadores. Ele é composto por vários módulos, sendo os principais: Hadoop Distributed File System (HDFS) O HDFS é um sistema de arquivos distribuído que armazena grandes volumes de dados em clusters de computadores. Ele…