Đã thử nghiệm các thiết lập LLM cục bộ trên máy của tôi từ tháng 4. Loại bỏ các phụ thuộc API từ các nhà cung cấp lớn—Anthropic, OpenAI và những người khác. Chạy mô hình cục bộ mang lại cho bạn quyền kiểm soát thực sự và quyền riêng tư. Vừa kết thúc một năm thử nghiệm vào năm 2025 và đã thu thập được một số hiểu biết vững chắc trong quá trình đó. Dưới đây là những gì tôi đã nhận ra.
Xem bản gốc
Trang này có thể chứa nội dung của bên thứ ba, được cung cấp chỉ nhằm mục đích thông tin (không phải là tuyên bố/bảo đảm) và không được coi là sự chứng thực cho quan điểm của Gate hoặc là lời khuyên về tài chính hoặc chuyên môn. Xem Tuyên bố từ chối trách nhiệm để biết chi tiết.
10 thích
Phần thưởng
10
6
Đăng lại
Retweed
Bình luận
0/400
DoomCanister
· 4giờ trước
Việc chạy mô hình tại chỗ này tôi cũng đã suy nghĩ một hồi, chỉ là tiêu tốn tài nguyên... sức mạnh GPU đó thật sự không đủ để xem xét
Xem bản gốcTrả lời0
ImpermanentSage
· 15giờ trước
Tôi cũng đã từng nghĩ đến việc chạy mô hình tại chỗ, thực sự rất đã... chỉ là card đồ họa dễ bị quá tải.
Xem bản gốcTrả lời0
BugBountyHunter
· 15giờ trước
Đã đến lúc chơi như thế này rồi, chạy mô hình cục bộ mới là con đường đúng đắn
Xem bản gốcTrả lời0
WenAirdrop
· 15giờ trước
Việc chạy mô hình tại chỗ này tôi cũng đã thử, nhưng thành thật mà nói, chi phí phiền phức hơi cao, còn không bằng dùng API trực tiếp cho tiện hơn
Xem bản gốcTrả lời0
ser_ngmi
· 15giờ trước
Anh bạn, ý tưởng này thật tuyệt vời, đã đến lúc phải thoát khỏi đám công ty lớn đó rồi
Xem bản gốcTrả lời0
MetaLord420
· 15giờ trước
Chạy mô hình cục bộ thật sự rất đã, không còn bị giới hạn bởi hộp đen API của các tập đoàn lớn nữa
Đã thử nghiệm các thiết lập LLM cục bộ trên máy của tôi từ tháng 4. Loại bỏ các phụ thuộc API từ các nhà cung cấp lớn—Anthropic, OpenAI và những người khác. Chạy mô hình cục bộ mang lại cho bạn quyền kiểm soát thực sự và quyền riêng tư. Vừa kết thúc một năm thử nghiệm vào năm 2025 và đã thu thập được một số hiểu biết vững chắc trong quá trình đó. Dưới đây là những gì tôi đã nhận ra.