ollama

Bạn đã chán ngấy việc trả 20$/tháng cho ChatGPT? Hay bạn lo ngại gửi dữ liệu nhạy cảm của khách hàng lên server nước ngoài? Giải pháp là Local LLM. Trong bài viết này, tôi sẽ hướng dẫn bạn cách cài đặt Llama 3 (phiên bản 8 tỷ tham số) lên máy tính và điều khiển nó bằng Python. 1. Tại sao nên...

Bạn có một file PDF chứa thông tin nhạy cảm (báo cáo tài chính, bí mật công nghệ, hồ sơ nhân sự...) và muốn dùng AI để phân tích nó? Tuy nhiên, bạn sợ rằng nếu upload lên ChatGPT hay Gemini, dữ liệu của bạn có thể bị rò rỉ hoặc bị dùng để train lại model? Giải pháp dành cho bạn là **Local...

Bây giờ chúng ta sẽ viết code để tạo ra... nhân viên cho Jarvis. Hệ thống sẽ hoạt động như sau: User: "Hãy tìm hiểu giá Bitcoin hiện tại và viết một bài nhận định ngắn." Supervisor (Sếp): Đọc lệnh. Thấy cần tra cứu -> Giao cho Researcher. Researcher (Lính 1): Dùng Tool Search Google -> Trả về...

RAG là kỹ thuật giúp AI trả lời câu hỏi dựa trên dữ liệu bên ngoài mà nó chưa từng được học. Quy trình đơn giản như sau: Upload: Bạn gửi file PDF cho Jarvis. Chunking: Jarvis cắt nhỏ file thành các đoạn văn ngắn. Embedding: Chuyển các đoạn văn đó thành Vector (dãy số) bằng một model chuyên...

Từ đầu series đến giờ, "bộ não" của Jarvis vẫn đang nằm trên máy chủ của OpenAI ở tận Mỹ. Ưu điểm: Thông minh, không tốn RAM máy mình. Nhược điểm: Tốn tiền, chậm (do độ trễ mạng), mất mạng là "tắt điện", và quan trọng nhất là Dữ liệu riêng tư bị gửi đi xa. Hôm nay, chúng ta sẽ bưng bộ não đó...

Ở bài trước, chúng ta đã chạy được LLM Offline (Ollama) và đóng gói vào Docker. Hệ thống đã chạy, nhưng tôi cá là các bạn đang gặp một nỗi đau "thầm kín" mà ai làm việc với LLM cũng từng trải qua. Đó là khi bạn bảo AI: "Hãy trích xuất thông tin user này ra JSON cho tao". Nó trả lời: "Dạ vâng...

Đã đến lúc "cai nghiện" OpenAI. Tại sao bạn phải trả tiền cho từng token, trong khi phần cứng máy tính của bạn hoàn toàn đủ sức chạy những mô hình trí tuệ nhân tạo mạnh mẽ không kém? Ollama là một công cụ mã nguồn mở giúp bạn tải và chạy các LLM (Llama 3, Mistral, Gemma...) chỉ bằng 1 dòng lệnh...

Bạn muốn có một Jarvis của riêng mình? Một trợ lý ảo không chỉ biết chat text mà còn có thể nghe và nói chuyện với bạn như người thật? Quên Google Assistant hay Siri đi. Với sức mạnh của mã nguồn mở, bạn có thể tự build một hệ thống xịn hơn nhiều: - Riêng tư: 100% chạy Local (Offline). - Thông...

Ollama toàn tập: Chạy Llama 3, Gemma 2 trên máy tính cá nhân (Offline) để thay thế ChatGPT Bạn muốn dùng AI để tóm tắt tài liệu mật của công ty nhưng sợ lộ dữ liệu? Bạn muốn chat với AI khi đang trên máy bay không có Internet? Hay đơn giản là bạn muốn trải nghiệm các model "mã nguồn mở" mới...

Tạm biệt "Merge Conflict": Hướng dẫn dùng Local LLM (Llama 3) để tự động sửa lỗi xung đột Git bằng Python Bạn đang hí hửng chuẩn bị `git merge` để về sớm thì... BÙM! CONFLICT (content): Merge conflict in src/main.py Nhìn vào màn hình đầy những dấu <<<<<<<, =======, >>>>>>>, bạn thở dài và bắt...