金十数据5月21日讯，继HBM之后，三星电子今年的首要任务是在半导体代工方面获得英伟达的订单。据业内人士透露，三星电子半导体代工部门（DS）已在内部将“赢得英伟达3nm产品订单”作为今年的首要任务。“各部门正在全力以赴，通知集合英语流利的员工，与‘Nemo’接单相关的工作将优先于现有工作。”Nemo是三星电子内部的客户代号，用于指代英伟达。 （韩国FNNews）

NVIDIA NeMo, toolkit AI percakapan open source, mengumumkan keluarga model ASR Parkit, serangkaian model pengenalan ucapan otomatis (ASR) canggih yang mampu menyalin bahasa Inggris lisan dengan akurasi luar biasa, seperti yang dilaporkan oleh Webmaster Home pada 8 Januari. Nvidia mengumumkan empat model Parkit yang didasarkan pada decoder RNN Transducer / Connectionist Temporal Classification dan memiliki 0,6-110 juta parameter. Mereka mampu menangani berbagai lingkungan audio dan, setelah pelatihan hanya pada 64.000 jam dataset, mencapai kinerja tingkat kesalahan kata (WER) yang sangat baik pada dataset Benchmark, mengungguli model sebelumnya. Menurut pengembang, modelnya kuat untuk segmen non-ucapan seperti musik dan bisu, dan mengungguli OpenAI's Whisper v3 dalam pengujian benchmark. Mereka juga menyediakan integrasi yang mudah digunakan ke dalam proyek dengan titik kontrol yang telah dilatih sebelumnya.

Baru-baru ini, utilitas energi Malaysia YTL Power mengumumkan kemitraan dengan NVIDIA untuk membangun infrastruktur AI di Malaysia, dengan fase pertama diharapkan akan beroperasi pada pertengahan 2024, seperti dilansir DoNews pada 11 Desember. Dapat dipahami bahwa Yang akan menggunakan GPU NVIDIA H100 Tensor Core di pusat data dan menggunakan perangkat lunak NVIDIA AI Enterprise untuk merampingkan AI produksi. NVIDIA AI Enterprise mencakup NVIDIA NeMo, kerangka kerja cloud-native end-to-end untuk membangun, menyesuaikan, dan menerapkan model AI generatif dari mana saja. Infrastruktur AI akan diselenggarakan di YTL Green Data Center Campus di Kulai, Johor, fasilitas 500 megawatt yang dikembangkan oleh YTL. Perdana Menteri Malaysia Anwar Ibrahim mengatakan bahwa investasi di pusat data AI bernilai 4,29 miliar dolar AS (sekitar 30,759 miliar yuan).

Menurut laporan Science and Technology Innovation Board Daily pada tanggal 14 September, pada Global AI Chip Summit 2023, Direktur Teknis Solusi dan Arsitektur NVIDIA Zhang Ruihua memperkenalkan perangkat lunak open source terbaru NVIDIA TensorRT-LLM. Dia mengatakan bahwa TensorRT-LLM pada dasarnya dapat menyelesaikan masalah masalah saat ini. Tantangannya mencakup pengembangan model yang cepat, pembaruan yang sering, dan jumlah pengguna yang besar. Perangkat lunak ini mendukung multi-node GPU dan mudah diprogram. Dikombinasikan dengan Triton, perangkat lunak ini dapat mengurangi masalah latensi multi-pengguna, sehingga memanfaatkan sepenuhnya GPU dan mengurangi biaya. Untuk pelatihan model besar, NVIDIA juga mengusulkan NeMo Framework, yang merupakan kerangka pelatihan end-to-end dan cloud-native untuk membangun, menyesuaikan, dan menerapkan model AI generatif, yang pada dasarnya mencakup seluruh siklus hidup pelatihan model besar. . Untuk mencegah model besar mengoceh, NVIDIA juga menyediakan fungsi pagar pengaman (Guardrails) untuk membantu model besar menggeneralisasi pengetahuan dengan lebih baik. Zhang Ruihua percaya bahwa model AI memiliki ruang pengguna yang besar. Di masa depan, model tersebut tidak hanya akan ada di lembaga penelitian, tetapi dapat menjadi aplikasi di ponsel atau komputer semua orang.

Menurut laporan dari IT House pada 27 Juni, Nvidia mengumumkan kemarin bahwa mereka telah membentuk kemitraan strategis dengan Snowflake, sebuah perusahaan analisis data cloud, untuk membantu pelanggan perusahaan di berbagai industri menggunakan data mereka sendiri untuk membuat model AI. Huang Renxun berkata, "Analisis data besar seperti Snowflake tidak dapat dipisahkan dari komputasi awan." Nvidia membantu Snowflake menyematkan platform NeMo untuk melatih dan menjalankan AI generatif ke dalam Cloud Data Snowflake. CEO Snowflake Frank Slootman mengatakan bahwa perusahaan yang menggunakan Snowflake untuk mengelola data sekarang dapat menggunakan data mereka sendiri untuk melatih model AI baru tanpa risiko kehilangan kendali atas data mereka sendiri. Kedua belah pihak tidak mengungkapkan detail spesifik dari kerja sama tersebut, tetapi Huang Renxun menunjukkan bahwa Nvidia akan mendapat manfaat dari proses AI. Dia mengatakan bahwa Nvidia akan menjual lebih banyak chip, dan sistem AI Enterprise Nvidia akan membantu pengguna. Menurut laporan, Nvidia telah menagih pelanggan untuk menggunakan perangkat lunak AI Enterprise.

Menurut IT House mengutip laporan "Financial Times" Inggris, perangkat lunak kecerdasan buatan Nvidia "NeMo" dapat dengan mudah melewati batasan keamanan dan dapat membocorkan privasi pengguna. Menurut laporan tersebut, NeMo adalah perangkat lunak untuk pelanggan perusahaan yang dapat menggabungkan data pengguna perusahaan dengan model bahasa besar untuk menjawab pertanyaan pengguna. Skenario penerapannya meliputi layanan pelanggan dan menjawab pertanyaan medis sederhana. Robust, sebuah perusahaan keamanan informasi California, mengatakan dalam sebuah laporan bahwa pengguna jahat dapat dengan mudah melewati batasan keamanan sistem AI internal NeMo. Para peneliti di Robust mampu mengatasi keterbatasan model bahasa ini hanya dalam beberapa jam. Jonathan Cohen, wakil presiden Nvidia, mengatakan bahwa arsitektur NeMo hanya untuk membantu membuat chatbot yang memenuhi topik yang ditentukan oleh pengembang, dan dirilis ke pengembang dalam bentuk perangkat lunak open source. Saat ini, bug tersebut telah diperbaiki. Cohen menolak mengatakan berapa banyak perusahaan yang menggunakan arsitektur NeMo, tetapi menekankan bahwa Nvidia tidak menerima laporan kerentanan lainnya.