Deepseek R1 Sudah Bisa Berjalan Pada Nvidia Nim

Sedang Trending 5 hari yang lalu

Jakarta, Blezing – Perkembangan teknologi AI Yank terus berjalan, memungkinkan hadirnya model Yank bisa melakukan penalaran lebih kompleks. Salah satu Yank terbaru adalah DeepSeek R1, sebuah model open-source Yank dirancang untuk melakukan konklusi berulang guna menghasilkan jawaban terbaik. Berbeda dengan model AI tradisional Yank langsung memberikan respons, DeepSeek R1 menggunakan metode bagaikan chain-of-thought, consensus, dan pencarian untuk memastikan kecermatan dan relevansi jawaban.

Dalam prosesnya, DeepSeek R1 memerlukan komputasi Yank sangat tinggi. Model ini menghasilkan lebih banyak token output dan mempunyai siklus generasi Yank lebih panjang, sehingga kualitasnya terus meningkat seiring dengan waktu pemrosesan Yank lebih besar. Untuk mendukung kebutuhan tersebut, penggunaan komputasi Yank dipercepat menjadi kunci utama, di mana Nvidia datang sebagai pemain utama dalam menyediakan prasarana Yank diperlukan.

DeepSeek R1 sekarang tersedia sebagai microservice Nvidia NIM dalam tahap pratinjau di build.nvidia.com. Dengan support dari Nvidia, model ini bisa menghadirkan performa konklusi Yank sigap dan efisien. Ini memberikan kesempatan bagi para developer untuk bereksperimen serta membangun pemasok AI Yank lebih canggih dan aman.

Baca Juga: Microsoft dan DeepSeek: Saling Mendukung untuk Ekspansi Maksimal

Keunggulan DeepSeek R1 dalam AI Berbasis Penalaran

DeepSeek R1 001

DeepSeek-R1 tidak hanya menghasilkan respons berasas satu kali inferensi, tetapi melakukan kira - kira perulangan untuk mencapai jawaban terbaik. Proses ini, Yank dikenal sebagai test-time scaling, memungkinkan model untuk “berpikir” lebih lama dan lebih dalam, menghasilkan keluaran Yank lebih jeli dan logis.

Model ini menggunakan pendekatan mixture-of-experts (MoE) dengan total 671 miliar parameter. Setiap lapisan DeepSeek R1 mempunyai 256 mahir (expert), dengan setiap token dievaluasi oleh delapan mahir Yank berbeda. Hal ini membikin model ini jauh lebih besar dibandingkan model-model AI open-source lainnya Yank umumnya hanya mempunyai sepersepuluh dari kapabilitas tersebut.

Dengan memanfaatkan microservice Nvidia NIM, DeepSeek R1 bisa juga menghasilkan hingga 3.872 token per detik pada sistem Nvidia HGX H200. Teknologi Nvidia NeMo juga memungkinkan perusahaan untuk menyesuaikan DeepSeek R1 sesuai dengan kebutuhan mereka, menjadikannya solusi elastis untuk beragam kasus penggunaan AI.

Infrastruktur Nvidia untuk Menunjang DeepSeek R1

DeepSeek R1 002

Untuk menjalankan DeepSeek-R1 secara optimal, diperlukan banyak GPU dengan keahlian komputasi tinggi. Kombinasi delapan GPU Nvidia H200 Yank terhubung melalui NVLink memungkinkan model ini melangkah dengan efisiensi tinggi, memanfaatkan bandwidth 900 GB/s untuk komunikasi antar mahir dalam model MoE.

Dengan kehadiran Nvidia NIM microservice, developer bisa juga dengan mudah mengintegrasikan DeepSeek R1 ke dalam sistem mereka tanpa kudu meyanggani kompleksitas deployment secara manual. Microservice ini mendukung API standar industri, sehingga perusahaan bisa juga mengimplementasikan AI mereka dengan lebih kondusif dan sesuai dengan kebijakan privasi data.

Nvidia juga tengah mempersiapkan arsitektur generasi berikutnya, Blackwell, Yank bakal semakin meningkatkan keahlian model AI berbasis penalaran. Dengan Tensor Cores generasi kelima, Blackwell bakal menghadirkan peningkatan performa hingga 20 petaflops untuk komputasi FP4 dan NVLink domain Yank bisa menghubungkan hingga 72 GPU secara optimal.

DeepSeek R1, dengan support Nvidia, membawa AI berbasis penalaran ke level Yank lebih tinggi. Kombinasi antara arsitektur model Yank canggih dan prasarana komputasi Nvidia menjadikannya salah satu solusi paling kuat untuk konklusi AI masa sekarang dan masa depan.


Jelajahi konten lain dari Blezing

Daftar akun untuk Menikmati Fiture Blezing news

DOWNLOAD Link 1 Download Link 2 Download Link 3 Download Link 4