首页最新资讯

全部 常见问题 新闻动态 技术文章 技术问答

    • 简述MapTask工作原理

      MapTask作为MapReduce工作流程的前半部分,它主要经历了5个阶段,分别是Read阶段、Map阶段、Collect阶段、Spill阶段和Combine阶段,如下图所示。查看全文>>

      技术文章2021-12-06 |黑马程序员 |MapTask工作原理
    • MapReduce核心思想【图文介绍】

      MapReuce的核心思想是“分而治之”。所谓"分面治之”就是把一个复杂的问题,按照一定的“分解”方法分为等价的规模较小的若干部分.然后逐个解决,分别找出各部分的结果,把各部分的结果组成整个问题的结果.这种思想来源于日常生活与工作时的经验,同样也完全适合技术领域。查看全文>>

      技术文章2021-12-03 |黑马程序员 |MapReduce核心思想
    • Flume日志采集系统:简单结构和复杂结构

      Agent传输或者进行集中式存储。查看全文>>

      技术文章2021-12-02 |黑马程序员 |Flume日志采集系统
    • Flume的运行机制介绍

      Flume原是Cloudera公司提供的一个高可用的、高可靠的、分布式海量日志采集、聚合和传输系统,而后纳人到了Apache旗下,作为一个顶级开源项目。Apache Flume不仅只限于日志数据的采集,由于Flume采集的数据源是可定制的,因此Flume还可用于传输大量事件数据,包括但不限于网络流量数据、社交媒体生成的数据、电子邮件消息以及几乎任何可能的数据源。查看全文>>

      技术文章2021-12-01 |黑马程序员 |Flume运行机制
    • TiDB为什么要进行调度?TiDB调度全流程

      TiKV 集群是 TiDB 数据库的分布式 KV 存储引擎,数据以 Region 为单位进行复制和管理,运行的过程中会出现许多问题,这些问题单独拿出都能找到简单的解决方案,但是混杂在一起就不太好解决,需要从全局角度把控调整,于是出现了PD模块,下面来看调度的基本操作。查看全文>>

      技术文章2021-11-24 |黑马程序员 |TiDB为什么要进行调度
    • 怎样安装和开启Kafka-Eagle?

      Kafka Eagle是一款结合了目前大数据Kafka监控工具的特点,重新研发的一块开源免费的Kafka集群优秀的监控工具。它可以非常方便的监控生产环境中的offset、lag变化、partition分布、owner等。本节我们来学习kafka的安装。查看全文>>

      技术文章2021-11-24 |黑马程序员 |安装和开启Kafka-Eagle