Question

No desenho e na operação de infraestruturas de Big Data, o armazenamento de arquivos distribuídos e a computação em cluster exigem mecanismos robustos de controle de recursos e de tolerância a falhas. No ecossistema composto pelo Hadoop Distributed File System (HDFS) e pelo framework Apache Spark, as tarefas de processamento distribuído ocorrem por meio de papéis especializados e camadas de abstração de memória, como as Resilient Distributed Datasets (RDDs). Considerando os fundamentos arquiteturais, os daemons e as propriedades operacionais desses sistemas, assinale a alternativa correta.

Accepted Answer

E) O HDFS centraliza, no daemon NameNode, o mapeamento da árvore de diretórios e a localização lógica dos blocos, de modo que os clientes interagem com ele para obter esses metadados, realizando as operações de leitura e escrita subsequentes diretamente nos DataNodes.

Answer

A) O motor de execução do Apache Spark dispensa o uso de estruturas como o Driver Program em ambientes distribuídos, distribuindo as partições de dados brutos diretamente aos nós trabalhadores (worker nodes) sem a necessidade de um escalonador centralizado.

Answer

B) O componente Active NameNode no HDFS replica sincronamente o log de transações nos DataNodes secundários por meio de conexões SSH locais, garantindo que o tempo de failover automático para o Standby NameNode seja nulo em clusters de alta disponibilidade.

Answer

C) As RDDs do Apache Spark utilizam uma estratégia de avaliação imediata (eager evaluation) de suas transformações distribuídas para materializar subconjuntos de dados intermediários em disco rígido, eliminando a dependência de grafos acíclicos direcionados (DAG).

Answer

D) O gerenciador de recursos YARN (Yet Another Resource Negotiator) funde as funções do ResourceManager e do NodeManager em um único daemon monolítico síncrono, propriedade estrutural que impede o vazamento de memória durante tarefas de pipeline em lote.

Mais questões de Data warehouse e mineração de dados