Apa yang terjadi
Profesor emeritus Stanford John Ousterhout menganjurkan penerapan Homa, sebuah protokol transport yang dirancang untuk mengatasi masalah latensi di pusat data yang menurutnya tidak dilayani dengan baik oleh Protokol Kontrol Transmisi (TCP). Menurut The Register, Homa adalah protokol berbasis pesan yang memungkinkan penerima mengelola pengendalian kemacetan dengan memprioritaskan pesan yang lebih pendek menggunakan algoritma waktu pemrosesan yang tersisa terpendek (SRPT). Ousterhout mengklaim pendekatan ini mengurangi latensi untuk pesan singkat dengan urutan besarnya dibandingkan dengan TCP, mengutip latensi persentil ke-99 sebesar 92 mikrodetik dibandingkan 1,2 milidetik pada jaringan 100 Gbps.
Homa awalnya dikembangkan sebagai bagian dari disertasi PhD tahun 2019 oleh Behnam Montazeri, yang sekarang menjadi insinyur Google. Ousterhout, yang telah pensiun dari mengajar, kini memimpin upaya untuk mempromosikan protokol sebagai pengganti TCP di lingkungan pusat data.
Tidak seperti TCP, yang berbasis aliran dan tidak memiliki visibilitas tingkat pesan, Homa berbasis pesan. Hal ini memungkinkan penerima untuk mengelola kemacetan dengan mengetahui ukuran data yang masuk dari paket pertama, memungkinkan penerima untuk menjadwalkan lalu lintas dan memprioritaskan tugas-tugas yang lebih pendek dan sensitif terhadap waktu.
Ousterhout mengklaim bahwa Homa dapat diinstal sebagai modul kernel Linux tanpa memerlukan reboot sistem dan dapat beroperasi bersama aplikasi TCP yang ada, memungkinkan transisi bertahap.
Protokol tersebut saat ini sedang menjalani upaya standarisasi melalui IETF dan diintegrasikan ke dalam kernel Linux. Ini telah di-backport ke Red Hat Enterprise Linux 8 dan 9.5.
Detail sumber: theregister.com ↗
Mengapa itu penting
Beban kerja AI, terutama yang melibatkan model bahasa besar, memerlukan jaringan berperforma tinggi untuk menangani gradien bobot, bobot model, dan pencarian cache. Ketika latensi jaringan terjadi, sumber daya GPU yang mahal sering kali tidak digunakan, sehingga menimbulkan inefisiensi. Karena TCP memperlakukan data sebagai aliran byte berkelanjutan tanpa prioritas bawaan, TCP kesulitan mengelola campuran transfer data besar dan tugas kontrol pendek dan sensitif terhadap latensi yang umum terjadi pada infrastruktur AI modern. Kemampuan Homa untuk menjadwalkan paket secara eksplisit berdasarkan panjang pesan menawarkan solusi teknis potensial untuk mengatasi kemacetan ini, meskipun Homa menghadapi persaingan dari protokol khusus lainnya seperti RDMA dan QUIC.
Pengembangan AI mengandalkan pergerakan data berkecepatan tinggi untuk tugas-tugas seperti sinkronisasi bobot dan pencarian cache KV. Bahkan penundaan tingkat milidetik dalam transfer ini dapat menyebabkan kurang dimanfaatkannya cluster GPU yang mahal.
TCP dirancang untuk lalu lintas internet tujuan umum dan tidak memiliki kontrol granular yang diperlukan untuk membedakan antara transfer data latar belakang yang besar dan pesan kontrol yang kecil dan mendesak. Hal ini menyebabkan 'pemblokiran jalur utama' dan masalah kemacetan yang ingin diselesaikan oleh Homa.
Industri ini sebelumnya telah beralih ke solusi lain seperti RDMA, Fibre Channel, dan QUIC Google untuk melewati batasan TCP. Homa mewakili upaya khusus untuk menyelesaikan masalah ini di pusat data dengan memikirkan kembali pengendalian kemacetan di lapisan transportasi.
Mekanisme Interaktif: Cara Kerja Sebenarnya
Jelajahi teknologi yang mendasari di balik perkembangan ini secara interaktif.
Which component of an AI application is the machine-learning model itself?
Apa yang harus ditonton selanjutnya
Register melaporkan bahwa Ousterhout saat ini sedang menyusun dokumen standardisasi IETF untuk Homa dan berupaya untuk melakukan upstream protokol ke dalam kernel Linux. Meskipun protokol ini telah di-backport ke Red Hat Enterprise Linux versi 8 dan 9.5, penerapannya yang lebih luas masih belum dikonfirmasi. Para pengamat harus memantau apakah Homa mendapatkan daya tarik di luar pengujian prototipe dalam layanan keuangan, karena Homa menghadapi skeptisisme dari beberapa arsitek jaringan yang mempertanyakan perlunya hal ini mengingat alternatif yang ada seperti RDMA dan Scalable Reliable Datagram dari AWS.
Rintangan utama bagi Homa adalah adopsi industri. Arsitek jaringan Ivan Pepelnjak sebelumnya telah menerbitkan kritik yang mempertanyakan klaim kinerja dan perlunya protokol, yang menyatakan bahwa ini mungkin merupakan 'solusi untuk mencari masalah.'
Keberhasilan Homa akan bergantung pada kemampuannya untuk membuktikan kinerja unggul dalam penerapan AI berskala besar di dunia nyata dibandingkan dengan alternatif lain seperti RDMA atau protokol cloud-native khusus.
Ousterhout saat ini sedang bekerja sama dengan sebuah perusahaan jasa keuangan besar untuk membuat prototipe, yang dapat berfungsi sebagai uji kasus untuk kelangsungan protokol dalam lingkungan yang berkinerja tinggi dan sensitif terhadap latensi.