Ollama toàn tập: Chạy Llama 3, Gemma 2 trên máy tính cá nhân (Offline) để thay thế ChatGPT

[AI Hunter]

Ollama toàn tập: Chạy Llama 3, Gemma 2 trên máy tính cá nhân (Offline) để thay thế ChatGPT

Bạn muốn dùng AI để tóm tắt tài liệu mật của công ty nhưng sợ lộ dữ liệu?
Bạn muốn chat với AI khi đang trên máy bay không có Internet?
Hay đơn giản là bạn muốn trải nghiệm các model "mã nguồn mở" mới nhất như Llama 3 (Meta) hay Gemma 2 (Google) mà không muốn trả $20/tháng?

Giải pháp chính là Ollama.
Năm 2025, việc chạy AI trên máy tính cá nhân (Local AI) đã trở nên dễ dàng như cài một phần mềm nghe nhạc.

1. Ollama là gì?​

Hãy tưởng tượng Ollama giống như Docker, nhưng dành cho AI.
Nó đóng gói tất cả những thứ phức tạp (trọng số model, cấu hình, môi trường chạy) vào một lệnh đơn giản. Bạn không cần biết Python, không cần cài PyTorch, không cần biết config CUDA.

2. Cài đặt​

Truy cập trang chủ ollama.com và tải bản cài đặt cho Windows, macOS hoặc Linux.
Hoặc nếu bạn dùng Linux/macOS, chỉ cần gõ lệnh:

curl -fsSL https://ollama.com/install.sh | sh

3. Chạy Model đầu tiên​

Mở Terminal (hoặc CMD trên Windows) và gõ:

# Chạy Llama 3 (8 tỷ tham số - Model cân bằng nhất hiện nay)
ollama run llama3

# Hoặc chạy Gemma 2 (9 tỷ tham số - Model của Google)
ollama run gemma2

Yêu cầu phần cứng:

• Model 8B (nhỏ): Cần ít nhất 8GB RAM (máy nào cũng chạy được).
• Model 70B (lớn): Cần 64GB RAM + GPU xịn.

Sau khi tải xong (khoảng 4GB), bạn sẽ vào giao diện chat ngay trên màn hình đen. Tốc độ phản hồi cực nhanh nếu máy bạn có GPU rời (NVIDIA) hoặc chip Apple M-series.

4. Tùy biến AI của riêng bạn (Modelfile)​

Đây là tính năng mạnh nhất của Ollama. Bạn có thể tạo ra một phiên bản AI chuyên biệt bằng cách viết file cấu hình tên là `Modelfile` (tương tự Dockerfile).

Ví dụ: Tạo một "Trợ lý Code Python cực đoan" (Chỉ trả code, không giải thích dài dòng).

Bước 1: Tạo file tên `Modelfile` (không có đuôi file) với nội dung:

FROM llama3

# Thiết lập System Prompt
SYSTEM """
Bạn là một chuyên gia lập trình Python cao cấp.
Nhiệm vụ: Trả lời câu hỏi bằng Code Python tối ưu nhất.
Quy tắc:
1. KHÔNG giải thích dài dòng.
2. Chỉ dùng thư viện chuẩn nếu có thể.
3. Thêm comment vào code.
"""

# Chỉnh độ sáng tạo (Temperature) xuống thấp để code chính xác
PARAMETER temperature 0.2

Bước 2: Build model mới từ file này

ollama create python-pro -f Modelfile

Bước 3: Chạy thử

ollama run python-pro "Viết hàm tính dãy Fibonacci"

Bạn sẽ thấy AI trả về code ngay lập tức, gọn gàng, đúng ý bạn.

5. Dùng Ollama làm Backend cho App (API)​

Ollama tự động chạy một server tại cổng `11434`. Bạn có thể kết nối nó với code Python hoặc bất kỳ ứng dụng nào hỗ trợ chuẩn OpenAI.

Ví dụ Python:

import requests
import json

url = "http://localhost:11434/api/generate"

data = {
    "model": "llama3",
    "prompt": "Tại sao bầu trời lại có màu xanh?",
    "stream": False
}

response = requests.post(url, json=data)
print(response.json()['response'])

6. Các Model nên thử​

• llama3: Ông vua của nguồn mở, đa dụng, giỏi tiếng Việt khá.
• gemma2: Tư duy logic cực tốt, mạnh về các câu đố.
• codellama: Chuyên gia viết code.
• mistral: Nhỏ nhưng có võ, chạy rất nhanh trên máy yếu.

Kết luận​

Ollama đã mang sức mạnh của siêu máy tính về chiếc laptop cá nhân. Từ nay, bạn sở hữu trí tuệ nhân tạo của riêng mình: Riêng tư, Miễn phí và Vĩnh cửu.