Hướng dẫn cách trải nghiệm Grok AI 2.5 cục bộ trên PC

Elon Musk và xAI vừa mở mã nguồn Grok 2.5, cho phép mọi người tải về, sử dụng và tinh chỉnh, đồng thời hé lộ Grok 3 sẽ sớm theo sau

Grok, mô hình AI của xAI do Elon Musk đứng đầu, giờ đây đã là mã nguồn mở, mặc dù từng bị coi là "không kiểm soát." Elon Musk đã thông báo trên X rằng xAI đã công khai mô hình Grok 2.5 cũ và sẽ làm tương tự với Grok 3 sắp ra mắt. Hiện tại, bất kỳ ai cũng có thể tải xuống, chạy và tinh chỉnh Grok, với mã nguồn đã được chia sẻ trên nền tảng Hugging Face.

Tuy nhiên, giấy phép mã nguồn mở của xAI vẫn có những hạn chế. Nó không cho phép sử dụng Grok để huấn luyện, tạo ra hoặc cải tiến các mô hình AI khác.

Đây không phải là lần đầu tiên xAI công bố mã nguồn mô hình của mình. Vào tháng 3 năm 2024, công ty đã phát hành phiên bản gốc của Grok-1, một mô hình chưa được tinh chỉnh cho bất kỳ tác vụ cụ thể nào. Việc xAI tiếp tục mở rộng khả năng tiếp cận Grok tạo ra sự đối lập rõ rệt với OpenAI, công ty chỉ cung cấp các mô hình ChatGPT yếu hơn cho các nhà nghiên cứu và doanh nghiệp.

Việc Grok trở thành mã nguồn mở cho phép các nhà phát triển độc lập có thể cải tiến mô hình này. Dù vậy, xAI vẫn đang nỗ lực vượt qua một sự cố đáng lo ngại trước đây, khi Grok từng đưa ra các phản hồi bài Do Thái và tự gọi mình là MechaHitler. Nhóm phát triển Grok đã giải thích rằng đó là do "mã lỗi thời" và vấn đề đã được khắc phục.

Đối với Grok 3, Musk cũng cho biết trên X rằng nó sẽ được mở mã nguồn trong vòng sáu tháng. Tuy nhiên, chúng ta nên xem xét mốc thời gian này với một chút thận trọng, xét đến những hứa hẹn về lịch trình trong quá khứ của vị CEO này.

Muốn chạy AI cục bộ cực "ngon"? Tham khảo ngay các dòng MacBook Pro M4 của Apple

MacBook Pro M4 14 inch 10GPU 10CPU 16GB/512GB - Chính hãng VN

Ngừng kinh doanh

Hoặc trả trước12,000,000đ

 

MacBook Pro M4 14 inch 10GPU 10CPU 16GB/1TB - Chính hãng VN

Ngừng kinh doanh

Hoặc trả trước13,500,000đ

 

Cách sử dụng Grok 2.5 mã nguồn mở

Hiện tại, Bản Grok 2.5 mà xAI vừa mở (cùng Grok-2 trước đó) đang được phân phối dưới dạng PyTorch safetensors , không phải định dạng GGUF (dùng cho LM Studio/Ollama). Vì vậy, để chạy Grok 2.5 trong các phần mềm như LM Studio hoặc Ollama, bạn cần một bản chuyển/quantize sang GGUF do cộng đồng đóng gói.

Xem thêm: Cách chạy AI cục bộ trên PC và Mac

Nếu bạn muốn thử nghiệm Grok 2.5, bạn có thể thực hiện theo các bước cơ bản sau:

1. Tải về mô hình

• Truy cập Hugging Face và tìm Grok 2.5 do xAI phát hành.
• Dùng git clone hoặc tải trực tiếp gói mô hình về máy.

git lfs install git clone https://huggingface.co/xai/Grok-2.5

2. Cài đặt môi trường cần thiết

• Đảm bảo bạn đã có Python (phiên bản 3.9 trở lên).
• Cài đặt các thư viện liên quan:

pip install torch transformers accelerate

3. Chạy thử mô hình

• Mở Python và load mô hình:

from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "xai/Grok-2.5"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name)

inputs = tokenizer("Xin chào, bạn có thể làm gì?", return_tensors="pt")
outputs = model.generate(**inputs, max_length=200)
print(tokenizer.decode(outputs[0]))

4. Triển khai làm chatbot

• Có thể tích hợp vào web/app qua Flask hoặc FastAPI.
• Hoặc dùng giao diện chat có sẵn của Hugging Face Spaces để thử trực tiếp.

Các lưu ý quan trọng:

• Bạn được phép tải về, tinh chỉnh cho mục đích cá nhân hoặc nghiên cứu.
• Không được phép dùng Grok để huấn luyện, tạo hoặc cải tiến các mô hình AI khác theo điều khoản của xAI.