āļ„āļđāđˆāļĄāļ·āļ­āļ—āļēāļ‡āđ€āļ—āļ„āļ™āļīāļ„

āđ€āļ„āļĢāļ·āļ­āļ‚āđˆāļēāļĒ InfiniBand āđāļĨāļ° RDMA

InfiniBand āļ„āļ·āļ­āļāļēāļĢāđ€āļŠāļ·āđˆāļ­āļĄāļ•āđˆāļ­āđāļšāļšāļŠāļ§āļīāļ•āļŠāđŒāļ„āļ§āļēāļĄāđ€āļĢāđ‡āļ§āļŠāļđāļ‡āļ—āļĩāđˆāđƒāļŠāđ‰āđƒāļ™āļ„āļĨāļąāļŠāđ€āļ•āļ­āļĢāđŒ āđāļĨāļ° RDMA āļĢāļ­āļ‡āļĢāļąāļšāļāļēāļĢāļ–āđˆāļēāļĒāđ‚āļ­āļ™āđ‚āļ”āļĒāļ•āļĢāļ‡āļĢāļ°āļŦāļ§āđˆāļēāļ‡āļšāļąāļŸāđ€āļŸāļ­āļĢāđŒāļŦāļ™āđˆāļ§āļĒāļ„āļ§āļēāļĄāļˆāļģāļ—āļĩāđˆāļĨāļ‡āļ—āļ°āđ€āļšāļĩāļĒāļ™āđ„āļ§āđ‰

āļŸāļąāļ‡āļ„āļģāđāļ™āļ°āļ™āļģāļ™āļĩāđ‰āļšāļĢāļĢāļĒāļēāļĒāđ‚āļ”āļĒ AI · ~2 min

āļšāļ™āļŦāļ™āđ‰āļēāļ™āļĩāđ‰āļ­āđˆāļēāļ™ 2 āļ™āļēāļ—āļĩ
  1. āļ āļēāļžāļĢāļ§āļĄ
  2. āđ€āļˆāļēāļ°āļĨāļķāļ
  3. āļāļēāļĢāđƒāļŠāđ‰āļ‡āļēāļ™āļˆāļĢāļīāļ‡āđƒāļ™āđ‚āļĨāļāđāļŦāđˆāļ‡āļ„āļ§āļēāļĄāđ€āļ›āđ‡āļ™āļˆāļĢāļīāļ‡
  4. āļ­āļ™āļēāļ„āļ•āļ‚āļ­āļ‡āđ€āļ„āļĢāļ·āļ­āļ‚āđˆāļēāļĒ InfiniBand āđāļĨāļ° RDMA
  5. āļāļēāļĢāļ™āļģāđ„āļ›āļ›āļāļīāļšāļąāļ•āļī
  6. āļŠāļģāļĢāļ§āļˆāļ•āđˆāļ­āđ„āļ›
  7. āļ„āļģāļ–āļēāļĄāļ—āļĩāđˆāļžāļšāļšāđˆāļ­āļĒ

āļ āļēāļžāļĢāļ§āļĄ

Offloaded bulk data movement can reduce CPU copying and kernel-path overhead; CPUs and software still configure, initiate and manage the communication.

āđ€āļˆāļēāļ°āļĨāļķāļ

Distributed AI training can spend substantial time moving gradients and other tensors between devices and servers. InfiniBand provides a switched fabric with RDMA support and link-level flow control. NDR denotes a 400 Gb/s link mode in the cited NVIDIA hardware documentation; application throughput and latency depend on messages, adapters, topology and workload. RDMA-capable adapters can move bulk data to registered buffers without the repeated host copying of a conventional path. This does not mean software or CPUs have no role: applications create communication objects, register buffers and post work. RoCE carries RDMA over Ethernet, with its own network-design requirements. Select and benchmark a fabric using the actual collective traffic, congestion and failure conditions.

āļāļēāļĢāđƒāļŠāđ‰āļ‡āļēāļ™āļˆāļĢāļīāļ‡āđƒāļ™āđ‚āļĨāļāđāļŦāđˆāļ‡āļ„āļ§āļēāļĄāđ€āļ›āđ‡āļ™āļˆāļĢāļīāļ‡

āļāļēāļĢāđ€āļŠāļ·āđˆāļ­āļĄāļ•āđˆāļ­ GPU āļŦāļĨāļēāļĒāļžāļąāļ™āļ•āļąāļ§āđƒāļ™āļ‹āļđāđ€āļ›āļ­āļĢāđŒāļ„āļ­āļĄāļžāļīāļ§āđ€āļ•āļ­āļĢāđŒ AI āđ€āļžāļ·āđˆāļ­āđƒāļŦāđ‰āļ‚āđ‰āļ­āļĄāļđāļĨāđ„āļĨāđˆāļĢāļ°āļ”āļąāļšāļŠāļĩāļĢāļ°āļŦāļ§āđˆāļēāļ‡āđ‚āļŦāļ™āļ”āđƒāļ™āļŦāļ™āđˆāļ§āļĒāđ„āļĄāđ‚āļ„āļĢāļ§āļīāļ™āļēāļ—āļĩāļĢāļ°āļŦāļ§āđˆāļēāļ‡āļāļēāļĢāļāļķāļāđāļšāļšāļāļĢāļ°āļˆāļēāļĒ

āļ›āļĨāđˆāļ­āļĒāđƒāļŦāđ‰āđ€āļ‹āļīāļĢāđŒāļŸāđ€āļ§āļ­āļĢāđŒāļŦāļ™āļķāđˆāļ‡āļ­āđˆāļēāļ™āļŦāļ™āđˆāļ§āļĒāļ„āļ§āļēāļĄāļˆāļģāļ‚āļ­āļ‡āļ­āļĩāļāđ€āļ„āļĢāļ·āđˆāļ­āļ‡āļŦāļ™āļķāđˆāļ‡āđ‚āļ”āļĒāļ•āļĢāļ‡ (RDMA) āđ€āļžāļ·āđˆāļ­āđ€āļĢāđˆāļ‡āļĢāļ°āļšāļšāđ„āļŸāļĨāđŒāđāļĨāļ°āļāļēāļ™āļ‚āđ‰āļ­āļĄāļđāļĨāđāļšāļšāļāļĢāļ°āļˆāļēāļĒāđ‚āļ”āļĒāđ„āļĄāđˆāļĄāļĩāļ„āđˆāļēāđƒāļŠāđ‰āļˆāđˆāļēāļĒāļ‚āļ­āļ‡ CPU

āļāļēāļĢāļĢāļąāļ™ NCCL āđāļšāļšāļĨāļ”āļāļēāļĢāļ”āļģāđ€āļ™āļīāļ™āļāļēāļĢāļ—āļąāđ‰āļ‡āļŦāļĄāļ”āļšāļ™ InfiniBand āđ€āļžāļ·āđˆāļ­āļ‹āļīāļ‡āđ‚āļ„āļĢāđ„āļ™āļ‹āđŒāļ™āđ‰āļģāļŦāļ™āļąāļāđ‚āļĄāđ€āļ”āļĨāļ—āļąāđˆāļ§āļ—āļąāđ‰āļ‡āļ„āļĨāļąāļŠāđ€āļ•āļ­āļĢāđŒ GPU

āļāļēāļĢāđƒāļŠāđ‰ RoCE āđ€āļžāļ·āđˆāļ­āļ™āļģāļāļēāļĢāļ–āđˆāļēāļĒāđ‚āļ­āļ™āđ€āļ§āļĨāļēāđāļāļ‡āļ•āđˆāļģāđāļšāļš RDMA āđ„āļ›āļĒāļąāļ‡āđ€āļ„āļĢāļ·āļ­āļ‚āđˆāļēāļĒāļĻāļđāļ™āļĒāđŒāļ‚āđ‰āļ­āļĄāļđāļĨāļ­āļĩāđ€āļ˜āļ­āļĢāđŒāđ€āļ™āđ‡āļ•āļ—āļĩāđˆāļĄāļĩāļ­āļĒāļđāđˆ

āļ­āļ™āļēāļ„āļ•āļ‚āļ­āļ‡āđ€āļ„āļĢāļ·āļ­āļ‚āđˆāļēāļĒ InfiniBand āđāļĨāļ° RDMA

Interconnects and adapters continue to evolve, and vendors offer different bandwidth modes and offloads. Teams should compare measured throughput, latency, CPU work, congestion handling and reliability under their own workload. In-network reductions and closer accelerator integration may help particular configurations, but a headline link rate does not determine training performance by itself. Keep hardware, firmware and software versions with benchmark results.

āļāļēāļĢāļ™āļģāđ„āļ›āļ›āļāļīāļšāļąāļ•āļī

āļ—āļģāđ„āļĄāļĄāļąāļ™āļ–āļķāļ‡āļŠāļģāļ„āļąāļ

  • āļ•āđ‰āļ™āļ—āļļāļ™āđāļĨāļ°āļ‡āļšāļ›āļĢāļ°āļĄāļēāļ“. āļāļēāļĢāļ•āļąāļ”āļŠāļīāļ™āđƒāļˆāļ”āđ‰āļēāļ™āļŠāļ–āļēāļ›āļąāļ•āļĒāļāļĢāļĢāļĄāļ‚āļąāļšāđ€āļ„āļĨāļ·āđˆāļ­āļ™āļ›āļĢāļ°āļŠāļīāļ—āļ˜āļīāļ āļēāļžāđāļĨāļ°āļ•āđ‰āļ™āļ—āļļāļ™āļāļēāļĢāļ”āļģāđ€āļ™āļīāļ™āļ‡āļēāļ™āđ€āļ›āđ‡āļ™āđ€āļ§āļĨāļēāļŦāļĨāļēāļĒāļ›āļĩ
  • āļāļēāļĢāļ•āļąāļ”āļŠāļīāļ™āđƒāļˆāļ—āļĩāđˆāļŠāļąāļ”āđ€āļˆāļ™āļĒāļīāđˆāļ‡āļ‚āļķāđ‰āļ™. āļāļēāļĢāļĻāļķāļāļĐāļēāļ”āđ‰āļēāļ™āđ€āļ—āļ„āļ™āļīāļ„āļŠāđˆāļ§āļĒāđƒāļŦāđ‰āļ—āļĩāļĄāđ€āļĨāļ·āļ­āļāļāļĨāļļāđˆāļĄāļ—āļĩāđˆāđ€āļŦāļĄāļēāļ°āļŠāļĄ āđ„āļĄāđˆāđƒāļŠāđˆāđāļ„āđˆāļāļĨāļļāđˆāļĄāđƒāļŦāļĄāđˆāļĨāđˆāļēāļŠāļļāļ”
  • āļāļēāļĢāļ„āļ§āļšāļ„āļļāļĄāļ„āļļāļ“āļ āļēāļž. āļ•āļąāļ§āđ€āļĨāļ·āļ­āļāļ—āļēāļ‡āļ§āļīāļĻāļ§āļāļĢāļĢāļĄāļ—āļĩāđˆāļ”āļĩāļāļ§āđˆāļēāļˆāļ°āļŠāđˆāļ§āļĒāļĨāļ”āđ€āļŦāļ•āļļāļāļēāļĢāļ“āđŒāļ”āđ‰āļēāļ™āļ„āļ§āļēāļĄāļ™āđˆāļēāđ€āļŠāļ·āđˆāļ­āļ–āļ·āļ­āđƒāļ™āļāļēāļĢāļœāļĨāļīāļ•

āļĢāļ°āļ§āļąāļ‡

  • āļāļēāļĢāđ€āļžāļīāđˆāļĄāļ›āļĢāļ°āļŠāļīāļ—āļ˜āļīāļ āļēāļžāđ€āļāļ“āļ‘āđŒāļĄāļēāļ•āļĢāļāļēāļ™āļŦāļ™āļķāđˆāļ‡āļĢāļēāļĒāļāļēāļĢāļŠāļēāļĄāļēāļĢāļ–āļ‹āđˆāļ­āļ™āļˆāļļāļ”āļ­āđˆāļ­āļ™āļ‚āļ­āļ‡āļĢāļ°āļšāļšāđƒāļ™āļ§āļ‡āļāļ§āđ‰āļēāļ‡āđ„āļ”āđ‰
  • āļ•āđ‰āļ™āļ—āļļāļ™āđ‚āļ„āļĢāļ‡āļŠāļĢāđ‰āļēāļ‡āļžāļ·āđ‰āļ™āļāļēāļ™āđāļĨāļ°āļāļēāļĢāļšāļģāļĢāļļāļ‡āļĢāļąāļāļĐāļēāļĄāļąāļāļ–āļđāļāļ›āļĢāļ°āđ€āļĄāļīāļ™āļ•āđˆāļģāđ„āļ›
  • āļŠāđˆāļ­āļ‡āļ§āđˆāļēāļ‡āļ”āđ‰āļēāļ™āļ„āļ§āļēāļĄāļ›āļĨāļ­āļ”āļ āļąāļĒāđāļĨāļ°āļ„āļ§āļēāļĄāļŠāļēāļĄāļēāļĢāļ–āđƒāļ™āļāļēāļĢāļŠāļąāļ‡āđ€āļāļ•āļŠāļēāļĄāļēāļĢāļ–āđ€āļžāļīāđˆāļĄāļ‚āļķāđ‰āļ™āđ„āļ”āđ‰āđ€āļĄāļ·āđˆāļ­āļĢāļ°āļšāļšāļĄāļĩāļ„āļ§āļēāļĄāļ‹āļąāļšāļ‹āđ‰āļ­āļ™āļĄāļēāļāļ‚āļķāđ‰āļ™

āļ‚āļąāđ‰āļ™āļ•āļ­āļ™āļ•āđˆāļ­āđ„āļ›

  1. āļāļģāļŦāļ™āļ”āđ€āļ›āđ‰āļēāļŦāļĄāļēāļĒāđ€āļ§āļĨāļēāđāļāļ‡ āļ„āļļāļ“āļ āļēāļž āđāļĨāļ°āļ•āđ‰āļ™āļ—āļļāļ™āļāđˆāļ­āļ™āļ™āļģāđ„āļ›āđƒāļŠāđ‰āļ‡āļēāļ™
  2. āđ€āļāļ“āļ‘āđŒāļĄāļēāļ•āļĢāļāļēāļ™āļ āļēāļĒāđƒāļ•āđ‰āļŠāļ āļēāļ§āļ°āđ‚āļŦāļĨāļ”āđāļĨāļ°āļ‚āđ‰āļ­āļĄāļđāļĨāļˆāļĢāļīāļ‡
  3. āļāļēāļĢāļ•āļĢāļ§āļˆāļŠāļ­āļšāđ€āļ„āļĢāļ·āđˆāļ­āļ‡āļĄāļ·āļ­āđ€āļžāļ·āđˆāļ­āļŦāļēāļ‚āđ‰āļ­āļœāļīāļ”āļžāļĨāļēāļ” āļāļēāļĢāđ€āļšāļĩāđˆāļĒāļ‡āđ€āļšāļ™ āđāļĨāļ°āļœāļĨāļāļĢāļ°āļ—āļšāļ•āđˆāļ­āļœāļđāđ‰āđƒāļŠāđ‰
  4. āđ€āļ•āļĢāļĩāļĒāļĄāđ€āļŠāđ‰āļ™āļ—āļēāļ‡āļāļēāļĢāļĒāđ‰āļ­āļ™āļāļĨāļąāļšāđāļĨāļ°āļāļēāļĢāļ•āļ­āļšāļŠāļ™āļ­āļ‡āļ•āđˆāļ­āđ€āļŦāļ•āļļāļāļēāļĢāļ“āđŒāļāđˆāļ­āļ™āļ›āļĢāļąāļšāļ‚āļ™āļēāļ”

āļŠāļģāļĢāļ§āļˆāļ•āđˆāļ­āđ„āļ›

āļˆāļ”āļŦāļĄāļēāļĒāļ‚āđˆāļēāļ§āļŸāļĢāļĩ

āļĢāļąāļšāļŠāļĢāļļāļ› AI āļĢāļēāļĒāļ§āļąāļ™

āđ€āļĢāļ·āđˆāļ­āļ‡āļĢāļēāļ§ AI āļ—āļĩāđˆāļ•āļĢāļ§āļˆāļŠāļ­āļšāđāļĨāđ‰āļ§ 3 āđ€āļĢāļ·āđˆāļ­āļ‡āļ—āļļāļāļ§āļąāļ™āļ—āļģāļ‡āļēāļ™ āđ€āļŠāđ‰āļē, āđ€āļ‚āļĩāļĒāļ™āđ€āļ›āđ‡āļ™āļ āļēāļĐāļēāļ­āļąāļ‡āļāļĪāļĐāļ˜āļĢāļĢāļĄāļ”āļē āļŸāļĢāļĩāļ•āļĨāļ­āļ”āđ„āļ› āđ„āļĄāđˆāļĄāļĩāđ‚āļ†āļĐāļ“āļē

āļ­āļĩāđ€āļĄāļĨāļŦāļ™āļķāđˆāļ‡āļ‰āļšāļąāļšāļ—āļļāļāļ§āļąāļ™āļ—āļģāļ‡āļēāļ™ āļĒāļāđ€āļĨāļīāļāļāļēāļĢāļŠāļĄāļąāļ„āļĢāđƒāļ™āļ„āļĨāļīāļāđ€āļ”āļĩāļĒāļ§ āđ€āļĢāļēāđ„āļĄāđˆāđ€āļ„āļĒāļ‚āļēāļĒāļŦāļĢāļ·āļ­āđāļŠāļĢāđŒāļ—āļĩāđˆāļ­āļĒāļđāđˆāļ­āļĩāđ€āļĄāļĨāļ‚āļ­āļ‡āļ„āļļāļ“

āļ—āļ”āļŠāļ­āļšāļ•āļąāļ§āđ€āļ­āļ‡

Take the InfiniBand and RDMA Networking quiz

āļ‚āđ‰āļ­āđ€āļŠāļ™āļ­āđāļ™āļ°āļ—āļąāļ™āļ—āļĩāļŠāļģāļŦāļĢāļąāļšāļ—āļļāļāļ„āļģāļ•āļ­āļš āđāļĨāļ°āđƒāļšāļĢāļąāļšāļĢāļ­āļ‡āļ—āļĩāđˆāļŠāļēāļĄāļēāļĢāļ–āđāļŠāļĢāđŒāđ„āļ”āđ‰āļžāļĢāđ‰āļ­āļĄ ID āļ—āļĩāđˆāļ•āļĢāļ§āļˆāļŠāļ­āļšāđ„āļ”āđ‰āđ€āļĄāļ·āđˆāļ­āļ„āļļāļ“āļœāđˆāļēāļ™āļŦāļĨāļąāļāļŠāļđāļ•āļĢ

āđ€āļĢāļīāđˆāļĄāđāļšāļšāļ—āļ”āļŠāļ­āļš

āļŠāļ™āļąāļšāļŠāļ™āļļāļ™āļāļēāļĢāļĻāļķāļāļĐāļē AI āļŸāļĢāļĩ AI Understanding āđ€āļ›āđ‡āļ™āļ­āļ‡āļ„āđŒāļāļĢāđ„āļĄāđˆāđāļŠāļ§āļ‡āļŦāļēāļœāļĨāļāļģāđ„āļĢ 501(c)(3) — āđ„āļĄāđˆāļĄāļĩāđ‚āļ†āļĐāļ“āļē āđ„āļĄāđˆāļĄāļĩāļāļģāđāļžāļ‡āđ€āļ‡āļīāļ™, āļ•āļĨāļ­āļ”āđ„āļ› āļšāļĢāļīāļˆāļēāļ„

āļ„āļģāļ–āļēāļĄāļ—āļĩāđˆāļžāļšāļšāđˆāļ­āļĒ

What is InfiniBand and RDMA Networking?

InfiniBand is a high-speed switched interconnect used in clusters, and RDMA supports direct transfers between registered memory buffers. Offloaded bulk data movement can reduce CPU copying and kernel-path overhead; CPUs and software still configure, initiate and manage the communication.

What does an RDMA-capable bulk data path aim to reduce?

RDMA offloads data movement but software still sets up and manages communication.

How can an RDMA-capable InfiniBand data path reduce bulk-transfer overhead?

RDMA hardware can move data between prepared buffers with less repeated host copying and kernel-path work. Software still handles setup, registration, permissions, and completion processing.

NDR InfiniBand āđƒāļŦāđ‰āđāļšāļ™āļ”āđŒāļ§āļīāļ˜āļ•āđˆāļ­āļĨāļīāļ‡āļāđŒāđ‚āļ”āļĒāļ›āļĢāļ°āļĄāļēāļ“āđ€āļ—āđˆāļēāđƒāļ”

A four-lane NDR400 InfiniBand link is rated at 400 Gb/s. This link-rate figure does not guarantee an application’s effective transfer throughput.

āđƒāļ™ RDMA 'āļ„āļđāđˆāļ„āļīāļ§' āđƒāļŠāđ‰āđ€āļžāļ·āđˆāļ­āļ­āļ°āđ„āļĢ

āđāļ­āļ›āļžāļĨāļīāđ€āļ„āļŠāļąāļ™āđ‚āļžāļŠāļ•āđŒāļ„āļģāļ‚āļ­āļ—āļģāļ‡āļēāļ™āđ€āļžāļ·āđˆāļ­āļŠāđˆāļ‡āđāļĨāļ°āļĢāļąāļšāļ„āļīāļ§ (āļ„āļđāđˆāļ„āļīāļ§) āļ­āļ°āđāļ”āļ›āđ€āļ•āļ­āļĢāđŒāļŠāđˆāļ­āļ‡āđ‚āļŪāļŠāļ•āđŒāļˆāļ°āļ­āđˆāļēāļ™āđāļĨāļ°āļ”āļģāđ€āļ™āļīāļ™āļāļēāļĢāļ–āđˆāļēāļĒāđ‚āļ­āļ™āļŦāļ™āđˆāļ§āļĒāļ„āļ§āļēāļĄāļˆāļģāđ‚āļ”āļĒāļ•āļĢāļ‡

RoCE āļ„āļ·āļ­āļ­āļ°āđ„āļĢ?

RoCE āļĒāđˆāļ­āļĄāļēāļˆāļēāļ RDMA āļœāđˆāļēāļ™ Converged Ethernet āļ‹āļķāđˆāļ‡āđƒāļŦāđ‰āđ€āļ§āļĨāļēāđāļāļ‡āļ•āđˆāļģ āļāļēāļĢāļ–āđˆāļēāļĒāđ‚āļ­āļ™āđ€āļ„āļ­āļĢāđŒāđ€āļ™āļĨāļšāļēāļĒāļžāļēāļŠāļšāļ™āļ­āļĩāđ€āļ˜āļ­āļĢāđŒāđ€āļ™āđ‡āļ•āđāļŸāļšāļĢāļīāļ„āļĄāļēāļ•āļĢāļāļēāļ™ āđāļ—āļ™āļ—āļĩāđˆāļˆāļ°āđ€āļ›āđ‡āļ™ InfiniBand āļ”āļąāđ‰āļ‡āđ€āļ”āļīāļĄ

āđ€āļĢāļĩāļĒāļ™āļĢāļđāđ‰āļ•āđˆāļ­āđ„āļ›

āļ„āļģāđāļ™āļ°āļ™āļģāļ—āļĩāđˆāđ€āļāļĩāđˆāļĒāļ§āļ‚āđ‰āļ­āļ‡

āļ„āļģāđāļ™āļ°āļ™āļģāđ€āļžāļīāđˆāļĄāđ€āļ•āļīāļĄāļ—āļĩāđˆāđ€āļĨāļ·āļ­āļāļŠāļģāļŦāļĢāļąāļšāļŦāļąāļ§āļ‚āđ‰āļ­āļ™āļĩāđ‰

āļ•āđˆāļ­āđ„āļ›āļ„āļģāđāļ™āļ°āļ™āļģāļ•āđˆāļ­āđ„āļ›

āļŸāļĩāđ€āļˆāļ­āļĢāđŒāđ„āļ›āļ›āđŒāđ„āļĨāļ™āđŒāļ—āļēāļ‡āļ§āļīāļĻāļ§āļāļĢāļĢāļĄāđāļĨāļ°āļāļēāļĢāļāļģāļŦāļ™āļ”āđ€āļ§āļ­āļĢāđŒāļŠāļąāļ™āļ‚āđ‰āļ­āļĄāļđāļĨ

āđ€āļ—āļ„āļ™āļīāļ„

āļĢāļąāļšāđƒāļšāļĢāļąāļšāļĢāļ­āļ‡ AI āļŸāļĢāļĩāļŦāļĨāļąāļāļŠāļđāļ•āļĢāđāļĨāļ°āļāļēāļĢāļŠāļ­āļšāļŠāļąāđ‰āļ™ āđ† āļŸāļĢāļĩ āđ„āļĄāđˆāļĄāļĩāļ„āđˆāļēāđƒāļŠāđ‰āļˆāđˆāļēāļĒ āđ„āļĄāđˆāļĄāļĩāļšāļąāļ•āļĢāđ€āļ„āļĢāļ”āļīāļ• āļ›āļĢāļ°āļĄāļēāļ“ 2.5 āļŠāļąāđˆāļ§āđ‚āļĄāļ‡āđ€āļĢāļīāđˆāļĄāļ•āđ‰āļ™āļŸāļĢāļĩ →