Gần đây tôi nhận thấy Nvidia đã thực hiện một bước đi chiến lược rất quan trọng trong thị trường suy luận. Vào tháng 12 năm ngoái, họ đã mua lại bộ phận chip suy luận của Groq với giá 20 tỷ đô la, và nhà sáng lập Groq, Jonathan Ross, cùng đội ngũ của ông đã gia nhập Nvidia, trong khi Groq vẫn hoạt động như một công ty độc lập với các hoạt động khác.

Điều thú vị ở đây là Huang Renxun vừa mới giải thích lý do thực sự đằng sau quyết định này. Động lực không chỉ là để có công nghệ, mà còn là để tái phân loại toàn bộ thị trường suy luận. Trước đây, mọi nỗ lực đều tập trung vào một khía cạnh duy nhất: tăng năng suất. Nhưng tình hình đã thay đổi hoàn toàn.

Bây giờ, các người dùng khác nhau sẵn sàng trả mức giá hoàn toàn khác nhau tùy theo tốc độ phản hồi. Nếu tôi là một kỹ sư phần mềm và muốn mã (tokens) phản hồi nhanh hơn để làm việc hiệu quả hơn, tôi sẵn sàng trả thêm phí cho điều đó. Thị trường này chưa tồn tại vài năm trước, nhưng giờ đã xuất hiện mạnh mẽ.

Trong hội nghị GTC tháng 3, Nvidia đã ra mắt chip đầu tiên sau khi mua lại: Groq 3 LPU, được sản xuất bằng công nghệ 4 nanomet của Samsung. Hiệu suất thực sự ấn tượng - năng suất suy luận trên mỗi megawatt của các mô hình có hàng tỷ tham số đạt tới 35 lần so với Blackwell NVL72.

Những gì Nvidia đang làm là bổ sung một lĩnh vực hoàn toàn mới vào bản đồ thị trường: độ trễ thấp và giá cao. Kiến trúc LPU của Groq nổi tiếng với độ trễ thấp và dự kiến, điều này hoàn hảo bổ sung cho dòng sản phẩm năng suất cao hiện có của Nvidia. Mặc dù năng suất có thể thấp hơn, nhưng giá mỗi đơn vị dễ dàng bù đắp cho điều đó. Việc mua lại Groq thực sự đã lấp đầy khoảng trống còn thiếu trong các sản phẩm suy luận.