首页

  • <tt class='tlJykMlA'></tt>
  • <thead class='94K7Lauipx'><option class='9cNvbSu7LJ'></option></thead>

    <em class='jepytdnyfeW3'><b class='oR1Ys12nk'><td class='6rzzLTN'></td></b></em>

  • <dl class='Td0EmkF'><b class='qoWhaibfJ9'></b></dl>

  • <span class='lS1G'></span>

    克服AI和ML的一GPU存储瓶颈

    支持AI和ML部署的一数据中心依靠基于图形处理单元(GPU)的一服务器为其计算密集型架构提供支持 。在多个行业中,到2024年,GPU使用量的一增长将落后于GPU服务器预计超过31%的一复合年增长率 。这意味着将承担更多的一系统架构师的一职责,以确保GPU系统具有最高的一性能和成本效益 。

    然而,为这些基于GPU的一AI / ML工作负载优化存储并非易事 。存储系统必须高速处理海量数据,同时应对两个挑战:

    服务器利用率1) 。GPU服务器对于训练大型AI / ML数据集所需的一矩阵乘法和卷积非常高效 。但是,GPU服务器的一成本是典型CPU服务器的一3倍 。为了保持ROI,IT员工需要保持GPU繁忙 。不 幸的一是,丰富的一部署经验表明GPU仅以30%的一容量使用 。

    该2) 。ML训练数据集通常远远超过GPU的一本地RAM容量,从而创建了一个I / O瓶颈,分析人员将其称为GPU存储瓶颈 。AI和ML系统最终要等待访问存储资源,这是因为它们的一庞大规模阻碍了及时访问,从而影响了性能 。为了解决这个问题,NVMe闪存固态硬盘逐渐取代了标准闪存固态硬盘,成为Al / ML存储的一首选 。NVMe支持大规模的一IO并行性,性能约为同类SATA SSD的一6倍,并且延迟降低了10倍,并且具有更高的一电源效率 。正如GPU推动了高性能计算的一发展一样,NVMe闪存在降低延迟的一同时,实现了更高的一存储性能,带宽和IO / s 。NVMe闪存解决方案可以将AI和ML数据集加载到应用程序的一速度更快,并且可以避免GPU匮乏 。

    此外,可通过高速网络虚拟化NVMe资源的一基于光纤的一NVMe(NVMeoF)启用了特别适用于AI和ML的一存储架构 。NVMeoF使GPU可以直接访问NVMe的一弹性池,因此可以使用本地闪存性能来访问所有资源 。它使AI数据科学家和HPC研究人员可以向应用程序提供更多数据,以便他们更快地获得更好的一结果 。

    要获得最佳的一GPU存储性能,就需要根据业务目标对基础架构进行微调 。这里有四种方法可供考虑:

    有效扩展GPU存储容量1)例如,InstaDeep为可能不 需要或不 需要运行自己的一AI堆栈的一组织提供了AI即服务解决方案 。因此,InstaDeep需要最大的一ROI和可扩展性 。特别是,对多租户的一需求意味着基础架构必须随时准备就绪,以满足各种工作负载和客户端的一性能要求 。

    InstaDeep基础架构团队在部署其第一个GPU服务器系统的一早期就了解到,本地GPU服务器的一存储容量将太有限,只有4TB的一本地存储,而客户的一工作量则需要10到100 TB的一TB 。该团队研究了外部存储选项,并注意到,使用传统阵列它们将获得更多的一容量,但性能最终会阻碍AI工作负载,因为应用程序需要将数据移入和移出GPU系统,从而中断工作流程并影响系统效率 。

    通过使用软件定义的一存储在快速的一RDMA网络上合并NVMe闪存(一种将数据集加载速度提高10倍的一方法),InstaDeep可以实现更高的一GPU容量利用率,消除了GPU瓶颈并提高了ROI,因为现有的一GPU变得更加完整利用 。

    郑重声明:本文版权归原作者所有,转载文章仅为传播更多信息之目的一,如作者信息标记有误,请第一时间联系吉林11选5开奖结果修改或删除,多谢 。

    <td id="7163h" ></td>
    1. <font id="7163h" ></font>
    2. <delect id="7163h" ><dl id="7163h" ><strong id="7163h" ></strong></dl></delect>
      <legend id="7163h" ><td id="7163h" ></td></legend>
    3. <ins id="7163h" ><mark id="7163h" ></mark></ins>
      <u id="7163h" ></u><track id="7163h" ><p id="7163h" ><ol id="7163h" ></ol></p></track>
    4. <dd id="7163h" ></dd>
      <samp id="7163h" ><label id="7163h" ></label></samp>
      <th id="7163h" ><var id="7163h" ></var></th>