当前位置: 首页 > news >正文

2025.12.22总结

温习大数据的基本思路是一个电脑解决不了的问题,用多个电脑解决

  1. 核心理念:分而治之
    核心问题:一台电脑(无论多强大)在处理海量数据时会遇到瓶颈:存储装不下、计算算得慢、硬件容易坏。
    基本思路:将巨大的任务(数据和计算)拆分成许多小任务,分发到成百上千台普通的、廉价的电脑(节点)上,让它们并行处理,最后把结果汇总。这就是 “分而治之”​ 。
  2. 如何实现这个思路?(技术三部曲)
    第一步:存得下 - 分布式存储
    不再把数据放在一台电脑的硬盘上,而是切成块,复制多份,分散存储到多台电脑上。这样既突破了单机存储容量限制,又通过冗余实现了容错(几台电脑坏了,数据不丢)。
    代表技术:HDFS、GFS、对象存储。
    第二步:算得快 - 分布式计算
    把计算程序(代码)送到数据所在的节点上去执行,而不是把海量数据搬到一台电脑上计算。这极大地减少了数据移动的开销,实现了“移动计算比移动数据更划算”。
    代表模型:MapReduce、Spark。比如,统计100亿个单词的词频,可以分给1000台电脑,每台统计1亿个,最后汇总。
    第三步:管得好 - 协同与调度
    需要一个“大脑”(调度器)来管理这个庞大的电脑集群:分配任务、监控健康、处理故障、协调资源。
    代表系统:YARN、Kubernetes、集群管理工具。
http://www.gsyq.cn/news/138059.html

相关文章:

  • 任务队列满了怎么办?四种线程池拒绝策略
  • 串口通信调试技巧在上位机软件开发中的应用
  • 要不咱也整个长枪短炮?
  • 版本、需求、代码管理制度如何设计
  • 从零开始理解I2S协议工作原理:音频设备入门必看
  • 数据库性能跃迁之道:工程架构与SQL调优的深度协同
  • Elasticsearch日志分析系统部署全流程解析
  • 优化实验资源分配:Multisim主数据库的教学价值解析:核心要点
  • 小程序springboot校园外卖美食配送平台 快递员骑手_53sih559
  • 小程序springboot校园外卖美食配送平台 快递员骑手_53sih559
  • LC.98 | 验证二叉搜索树 | 树 | 中序遍历单调性
  • 什么样的程序员在35岁以后依然被公司抢着要?
  • 【好写作AI】你不是不会写,只是少了一个好工具:补齐论文写作的“关键一环”
  • Unicode中如何表示未收录的生僻字 --浅谈IDS
  • RISC理念在ARM中的体现:通俗解释
  • 智能论文改写工具推荐,8款AI平台助你轻松完成写作
  • 8个AI论文辅助网站对比,提供专业降重与内容生成服务
  • Fmoc保护的双糖基化丝氨酸砌块——复杂糖肽化学合成的精密引擎 CAS号: 878483-09-1
  • 低功耗设备中LCD显示屏串行接口优化方案
  • 2025最新内容整合营销、新媒体广告代运营、达人媒介采买、电商直播、流量投放首要推荐紫龙数科:全域赋能品牌增长,这家服务商实力领跑 - 全局中转站
  • Java毕设选题推荐:基于springboot的篮球管理系统的设计与实现基于springboot的篮球论坛系统设计与实现【附源码、mysql、文档、调试+代码讲解+全bao等】
  • 程序员的伪年薪百万还能持续多久?
  • 畅联云和智能物联中台UCC的关系
  • 深度学习<2>从“看单帧”到“懂故事”:视频模型的帧链推理,藏着机器读懂时间的秘密
  • 基于python的网上商城比价系统(源码+vue+前后端分离)
  • AI论文降重与写作工具推荐:8个热门网站详细对比
  • 饮食饮水代谢检测系统 呼吸能量饮食饮水代谢检测系统 大鼠代谢系统 小鼠代谢系统
  • RISC与CISC思想体现:arm64 amd64原理级对比
  • [技术讨论] 【C语言实战经验6】什么是防御式编程?请看代码
  • paperzz AI:把毕业论文从 “渡劫” 变成 “一键通关”?这届毕业生偷偷用它省了 300 小时