为什么你的电脑跑AI这么慢就在昨天有一位朋友向我进行询问询问的内容是为何他自己的游戏本在运行AI绘图的时候绘制一张图竟然需要等待长达十几分钟的时间。我于是说道你首先应当去查看一下你的GPU算力究竟是多少。其实大部分人都不太清楚自己的显卡到底能干多少活。原本是为游戏所设计的GPU这东西 在2012年那个时候 AI领域忽然发觉 显卡并行计算的能力恰好契合训练神经网络。自那之后 GPU算力便成为了AI发展的核心燃料。但问题是大多数人以为“算力”就是速度越快越好。GPU算力到底怎么算简要来讲GPU算力主要看三样东西一是核心数量二是频率三是显存带宽。换作平常常用的消费级别显卡来举例说明有一块具备中等性能表现的GPU它拥有大概3000个CUDA核心即为所称呼的那种其核心频率处于1.7GHz左右的范围显存带宽大约是400GB/s。把这些数字全部相加起来算力大概是在10到15 之间。究竟是怎样的一个概念呢乃是指每秒钟能够开展10万亿次浮点运算呀。比如你瞧你手机上的那个小芯片它的算力大致处于0.5到1 的范围。换而言之一块平常显卡所具有的算力是你手机算力的十几倍。但别高兴太早。算力高不代表快。算力高≠速度快这个道理我在帮朋友调AI模型的时候体会特别深。他购置了一块定位高端的显卡心里琢磨着运行人工智能相关程序必然速度能够迅速飞快。然而实际一试风扇疯狂地转动程序直接陷入卡死状态。问题出在哪儿显存撑爆了。诸如很多AI模型特别是里面的大语言模型所需的不单是算力更得要显存。有那么一块24GB显存的GPU 勉强可以去跑某些7B参数的小模型。然而要是你打算跑130B参数的大模型显存起码在100GB以上才行。这就很尴尬了。你算力再高显存不够照样跑不动。所以“算力”这个概念其实是个伪命题。算力焦虑背后的真相近些年来“算力焦虑”这种情况可是相当火爆的。动不动就会有人讲你所拥有的GPU算力是不足够的根本没办法运行AI。但真相是90%的AI应用普通显卡就够用了。举例来说就像 进行画图操作时对于一张尺寸为的图片而言运用中端显卡来处理大概是要耗费2.0到3.0秒的时间。采用高端显卡的话速度会稍微快一些大概需要1. .5秒左右的时间。那么这种差别是不是很大呢老实讲并没有我们想象当中的那么大。又比如说运行语言模型那些 参数在70亿以下的模型使用消费级显卡大体上都能够运行唯有在你需求处理数量达几十亿参数那般巨大型号的模型之际才会需要那种价值高达几万元的专业卡。所以大多数人的算力焦虑是被制造出来的。算力之外还有什么讲个冷门知识存在这样一块具备3000个核心的GPU每秒大概能耗用200瓦的电要是持续运行满24小时电费大约在3至4块钱 看上去并不多然而训练一个大型模型或许得运行几个月、甚至耗时一年。所以很多时候算力不是不够是电费太贵。也就是散热方面我碰到过好多人他们的显卡在运行AI时温度超过90度进而自动进行降频在这个时候即便算力再强也毫无作用原因在于热量无法压制住性能直接被削减一半。所以算力这个问题真不是单纯看数字。普通人到底需要多少算力若你仅仅是偶尔借助 AI 进行画图并且通过 AI 来聊天还利用 AI 去做翻译那中端显卡于此无疑是完全能够满足使用需求的。有一块具备 8GB 显存的 GPU其算力处于 8 到 10 这下基本上是能够将 80%的应用场景予以覆盖的。要是你打算去玩更为大型的模型那么就需要具备16GB以上显存的显卡才行。在这种情形下算力反倒并非是瓶颈所在了而显存才是瓶颈所在。谈起来那些动不动就价值几万的款项相关专门卡片讲真平常的使用者根将使用不上。这是为大型公司以及研究组织留出的。算力真正的瓶颈许久以来我进行了观察察觉到一种现象。此现象显示对于多数人而言算力方面的限制关键之处并非在于硬件而是在于软件。许多人不懂得进行环境配置不晓得怎样去优化参数也不会运用各类加速库。同样的一款模型有的人借助CUDA做了优化后速度能够提高好几倍。有的人没做任何处理直接就生硬地运行效率自然而然就很低。所以与其纠结算力够不够不如先学会怎么用好现有的算力。算力的未来现在GPU算力发展的速度实际上已然超越了大多数人的需求每年以百分之十几的幅度增长然而普通用户需求的增长实则并没有这般快速。未来真正的变化可能不在硬件本身而在算力的分发方式。云算力以及边缘计算还有分布式计算这些玩意是会将算力转化成一种如同水电那般的基础设施的。你并非要自己去购置显卡按照需求租用就可以了。这对普通人来说其实是个好消息。写在最后瞧我瞅见好些人为了那被称作“算力”的玩意儿掏了不少钱去购置顶级显卡然而呢其结果却是绝大多数时间都耗费在了打游戏这件事上面。算力够用就好。别被那些数字忽悠了。你真正需要的不是最快的GPU而是刚好够用的那一块。
