(Business Lounge Journal – Tech)
Ledakan penggunaan artificial intelligence (AI) mulai menghadapkan industri teknologi pada persoalan baru: bukan sekadar bagaimana menyediakan lebih banyak chip, tetapi bagaimana membuat setiap komponen yang sudah tersedia bekerja jauh lebih efisien.
Rani Borkar, President Azure Hardware Systems and Infrastructure di Microsoft, menilai industri semikonduktor perlu mengubah cara melihat persoalan tersebut. Menurutnya, keterbatasan memori yang kini menjadi salah satu hambatan utama AI tidak dapat diselesaikan hanya dengan meningkatkan jumlah pasokan komponen.
Pernyataan itu muncul ketika kebutuhan infrastruktur AI meningkat pesat. Model AI generatif yang semakin besar membutuhkan kapasitas komputasi, memori, jaringan dan listrik dalam jumlah yang lebih tinggi. Perkembangan AI berbasis agen atau agentic AI bahkan membuat kebutuhan tersebut semakin kompleks karena sistem tidak hanya menjawab satu pertanyaan, tetapi juga dapat melakukan rangkaian proses, menggunakan berbagai perangkat, mengambil informasi dan bekerja dalam waktu yang lebih panjang.
Borkar memperingatkan bahwa pendekatan industri selama ini cenderung mengikuti pola sederhana: ketika kebutuhan meningkat, perusahaan menambahkan lebih banyak silikon, memori, daya listrik dan koneksi jaringan. Namun, strategi tersebut memiliki batas karena setiap peningkatan kapasitas juga membawa kebutuhan energi, ruang dan komponen yang semakin besar.
Karena itu, Microsoft mendorong konsep yang disebut “yield imperative”. Ukuran keberhasilan infrastruktur AI tidak lagi hanya berdasarkan berapa banyak chip atau pusat data yang dapat dibangun, tetapi seberapa besar kecerdasan yang bisa dihasilkan dari sumber daya tersebut.
Dalam konteks memori, persoalannya bukan semata-mata kekurangan komponen. Memori harus mampu menyimpan model yang semakin besar, mempertahankan konteks percakapan yang lebih panjang dan mengirimkan data dengan cepat agar prosesor AI tidak menganggur. Pada sistem AI agentik, kebutuhan ini semakin berat karena proses generasi, pencarian informasi, penggunaan berbagai tool dan penyimpanan memori dapat berlangsung secara berulang.
Microsoft melihat bahwa solusi harus datang dari pendekatan lintas teknologi. Perusahaan mengembangkan Azure dengan mengoptimalkan hubungan antara silikon, memori, jaringan, sistem pendingin, pasokan listrik, perangkat lunak dan model AI. Pendekatan tersebut diterapkan antara lain pada akselerator Azure Maia dan prosesor Azure Cobalt.
Contohnya, optimasi memori tidak hanya dilakukan dengan menambah kapasitas. Microsoft juga menggabungkan desain silikon, manajemen memori, optimasi model dan penempatan komputasi untuk menghasilkan lebih banyak kinerja dari sumber daya memori yang sama. Pada sisi jaringan, integrasi fungsi jaringan dengan silikon ditujukan untuk mengurangi kebutuhan perangkat tambahan.
Pandangan ini menunjukkan bahwa persaingan infrastruktur AI ke depan kemungkinan tidak hanya ditentukan oleh siapa yang memiliki chip paling banyak. Efisiensi penggunaan setiap watt listrik, byte memori, koneksi jaringan dan unit komputasi akan semakin menentukan biaya serta kemampuan perusahaan dalam memperluas layanan AI.
Microsoft tetap mengakui bahwa kapasitas baru harus terus dibangun karena permintaan AI akan meningkat. Namun, Borkar menilai pertanyaan yang lebih penting adalah berapa banyak “kecerdasan yang berguna” yang dapat dihasilkan dari setiap unit infrastruktur.
Dengan demikian, babak berikutnya dalam perlombaan AI bukan hanya soal membangun lebih banyak pusat data. Tantangan sebenarnya adalah merancang sistem yang mampu menghasilkan lebih banyak output dengan sumber daya yang sama—atau bahkan lebih sedikit