Ramageddon, Pergeseran Paradigma PC, dan Jalan Tengah Federated Learning

Bismillah.

Sejak kehilangan laptop yang mati syahid (dan beban traumatik dengan tukang servis), kami berpendapat bahwa membeli laptop baru adalah hal yang terlalu mahal. Ada alasan tambahan mengapa kami beralih ke PC (dalam hal ini, Mac Mini). Pertama, performa. Dengan hasil benchmark yang lebih kurang sama, PC punya biaya yang relatif lebih kecil. Kedua, ukuran layar. Tak dapat dipungkiri menjelang usia yang mendekati kepala 4, mata tak bisa dibohongi. Layar laptop yang hanya 14-16 inch kini terlihat terlalu kecil. Minimal 24 inch dan 2K. Tentu ada alasan tambahan lain semisal mobilisasi yang semakin jarang (WFH) sampai ke "nggak ada keyboard laptop yang mekanikal".

Pertanyaan menjadi sedemikian kompleks. Kenaikan harga RAM dan SSD saat ini, apakah by design oleh pihak tertentu, atau sudah sesuai dengan mekanisme pasar? Apakah ke depan PC kita harus terus di-upgrade (makin mahal), atau kita akan menyerah dan membiarkan server raksasa yang mengerjakan semuanya?

Pergeseran Paradigma PC

Di masa lalu, ada "pendapat" besar antara dua kubu.

Pertama, kubu sentralisasi (thin client). Aliran pertama ini percaya bahwa internet dan bandwith akan semakin cepat dan murah, sehingga orang-orang hanya butuh dumb PC. Yang penting bisa jalan, ada input (keyboard / mouse) dan output (monitor). Sisanya akan dikerjakan di server berkapasitas besar. Di aliran pertama ini kita punya IBM, Sun Microsystem (yang tahu perusahaan ini sejak lama, Anda sudah tua), Chromebook, Cloud Gaming, dsb.

Kedua, kubu desentralisasi (thick client). Kubu ini percaya bahwa harga hardware yang semakin murah dan cepat karena hukum Moore, akan membuat orang berbondong-bondong membuat PC kelas sultan. Selain soal latency yang rendah, orang-orang ini percaya bahwa privasi data jangan sampai bocor ke perusahaan monopoli. Ide ini dicetuskan untuk melawan hegemoni dari perusahaan komputer mainframe atawa korporasi besar (IBM ketika 1970-an). Masuklah di geng ini: Steve Jobs, Steve Wozniak, Bill Gates, Paul Allen, dan Gordon Moore dari Intel. Apple I dan Apple II misalnya, punya visi untuk "merumahkan" komputer.

Di era modern / edge computing saat ini, kita melihat bagaimana pendulum sejarah berayun. Kita juga bisa lihat bagaimana raksasa teknologi ada yang pro ke Cloud Computing, dan ada pula yang mendorong PC bertenaga penuh supaya bisa local AI.

Federated Learning

Di tengah kiamat RAM yang mungkin akan berlangsung hingga tahun depan (menurut prediksi), muncul "jalan tengah" yang dirasa mirip konsepnya dengan teknologi yang sudah ada: federated learning. Konsep ini diperkenalkan sebagai pendekatan machine learning terdistribusi yang memungkinkan pelatihan model AI pada kumpulan data besar yang terdesentralisasi. Data mentah milik masing-masing client tetap disimpan secara lokal di dalam perangkat, dan tidak pernah dipertukarkan atau ditransfer ke luar. Klien melatih model secara lokal, dan yang dikirimkan hanya hasil pembaruan model (mungkin seperti weight / gradient yang telah dipelajari).

Ilustrasi Federated Learning

Ide ini terkenal ke publik di kisaran tahun 2016 oleh beberapa peneliti dari Google, khususnya H. Brendan McMahan, Eider Moore, dan Daniel Ramage. Walaupun konsep ini serupa dengan konsep "gotong royong" pada hal-hal berikut.

BitTorrent. Ini adalah pelopor semangat gotong royong rakyat jelata fakir bandwith di era internet awal. Misal kita butuh mengunduh berkas 20GB, kita tidak butuh mengunduh dari satu server pusat (bisa bikin down jaringan). Alih-alih demikian, kita hanya butuh potongan kecil berkas dari 100 komputer orang lain (masing-masingnya ~200MB) secara bersamaan. Sebagai ganti, komputer kita juga ikut menyumbang potongan berkas yang sudah dimiliki ke orang lain. 

Waze atau Google Maps. Gotong royong navigasi ini filosofinya mirip. Handphone kita bertindak sebagai "penyumbang" data, yang di server pusat di-agregasi dengan data lain dengan lokasi yang sama. Kita mendapatkan kesimpulan berupa tampilan peta kemacetan.

SETI@home atau Folding@home. Ini adalah gotong royong tenaga kasar. Ilmuwan di dunia ini punya PR besar semisal mencari polan dari sinyal alien (kalau ada), mencari kombinasi DNA / protein untuk penyembuh kanker, dsb. Setiap task besar dipotong menjadi task-task kecil yang jumlahnya jutaan. PC yang nganggur dapat berfungsi sebagai pembantu untuk numpang menghitung, dan hasilnya dikirimkan kembali ke pusat.

Federated Learning mungkin bisa menjadi alternatif solusi dari kenaikan harga chip.

Padahal kalau dipikir-pikir bahan silikon dioksida itu kan cuman pasir doang. Nyari di Parangtritis juga dapet, kalau nasib ya ketemu Nyi Roro Kidul.