Gửi bình luận
Meta Platforms cho biết rằng Llama 4, dòng mô hình trí tuệ nhân tạo (AI) mới nhất của hãng, được thiết kế để trả lời nhiều chủ đề gây tranh cãi hơn so với phiên bản trước, chẳng hạn về chính trị.
Các công ty AI thường thiết lập giới hạn để chatbot như Meta AI hay ChatGPT không đi vào những chủ đề quá gây tranh cãi. Đây là sự cân bằng khó khăn, vì né tránh câu hỏi quá nhiều có thể khiến người dùng khó chịu hoặc bỏ sót bối cảnh quan trọng.
Meta Platforms cho biết Llama 4 ít né tránh các câu hỏi nhạy cảm hơn. Trong khi phiên bản trước là Llama 3.3 từ chối trả lời 7% số câu hỏi có nội dung chính trị hoặc xã hội nhạy cảm, Llama 4 chỉ từ chối dưới 2%, theo các bài kiểm tra của Meta Platforms.
Công ty mẹ Facebook cũng nói rằng Llama 4 "cân bằng hơn đáng kể" trong việc từ chối các loại câu hỏi khác nhau.
Theo Meta Platforms, Llama 4 là một hệ thống AI đa phương thức, có khả năng xử lý và tích hợp nhiều loại dữ liệu khác nhau gồm văn bản, video, hình ảnh và âm thanh, đồng thời hỗ trợ chuyển đổi nội dung giữa các định dạng này.
Llama 4 có ba phiên bản là Llama 4 Scout, Llama 4 Maverick và Llama 4 Behemoth. Được phát hành hôm 5.4, Llama 4 Scout và Llama 4 Maverick là mô hình trọng số mở.
Mô hình trọng số mở nằm giữa mã nguồn mở và mô hình độc quyền, nghĩa là chia sẻ các tham số đã được huấn luyện trước nhưng giữ bí mật một số chi tiết phát triển quan trọng. Điều này cho phép các nhà phát triển tinh chỉnh và triển khai mô hình mà không cần dữ liệu huấn luyện gốc hoặc truy cập kiến trúc bên trong.
Meta Platforms đang giới thiệu bản xem trước của Llama 4 Behemoth, được gọi là "một trong những mô hình ngôn ngữ lớn thông minh nhất thế giới và là mô hình mạnh mẽ nhất của chúng tôi, đóng vai trò một giáo viên cho các mô hình mới".
Meta Platforms nói rằng Llama 4 Scout, với 17 tỉ tham số hoạt động và 16 chuyên gia, là mô hình đa phương thức tốt nhất thế giới trong phân khúc của nó, mạnh hơn tất cả thế hệ Llama trước, và có thể chạy trên một GPU (bộ xử lý đồ họa) Nvidia H100 duy nhất. Ngoài ra, Llama 4 Scout hỗ trợ cửa sổ ngữ cảnh lên đến 10 triệu token (dẫn đầu ngành) và vượt trội Gemma 3, Gemini 2.0 Flash-Lite, Mistral 3.1 trên nhiều bảng điểm chuẩn phổ biến.
Trong ngữ cảnh AI, token là đơn vị nhỏ nhất mà mô hình sử dụng để xử lý văn bản. Tùy vào cách tokenizer hoạt động, một token có thể là:
Một chữ cái, ví dụ h, e, l…
Một âm tiết hoặc phần của từ, ví dụ com, puter
Một từ đầy đủ, ví dụ hello, dog.
Thậm chí là dấu câu hoặc khoảng trắng.
Số token càng lớn thì chi phí xử lý và yêu cầu tính toán càng cao.
Llama 4 Scout có thể xử lý lên tới 10 triệu token trong một lần, nên rất mạnh trong việc xử lý văn bản dài, nhiều hình ảnh/video tích hợp.
Tokenizer là thành phần cực kỳ quan trọng trong các mô hình ngôn ngữ lớn như Llama, GPT hay Gemini. Nó là "bộ phân tách văn bản", giúp chuyển đổi văn bản thô thành các token mà mô hình có thể hiểu và xử lý.
Llama 4 Maverick, cũng với 17 tỉ tham số hoạt động nhưng có đến 128 chuyên gia, vượt qua GPT-4o và Gemini 2.0 Flash trong nhiều bài kiểm tra đánh giá, đồng thời đạt kết quả tương đương DeepSeek V3 ở các tác vụ suy luận và lập trình với chưa đến một nửa tham số hoạt động.
Theo Meta Platforms, hai mô hình này đạt được chất lượng cao nhờ vào sự tinh luyện từ Llama 4 Behemoth, mô hình lớn nhất và mạnh nhất của công ty đến nay, với 288 tỉ tham số hoạt động và 16 chuyên gia. Llama 4 Behemoth vượt trội GPT-4.5, Claude Sonnet 3.7 và Gemini 2.0 Pro ở nhiều bài kiểm tra về STEM, theo Meta Platforms. Llama 4 Behemoth vẫn đang trong quá trình huấn luyện và công ty sẽ chia sẻ thêm chi tiết trong thời gian tới.
STEM là viết tắt của Science, Technology, Engineering, and Mathematics (Khoa học, Công nghệ, Kỹ thuật và Toán học). Đây là nhóm các lĩnh vực giáo dục và nghề nghiệp tập trung vào khoa học tự nhiên, công nghệ, kỹ thuật và toán học, thường được khuyến khích vì vai trò quan trọng trong đổi mới, nghiên cứu và phát triển kinh tế. STEM đặc biệt quan trọng trong thời đại công nghệ số, khi các ngành như AI, dữ liệu lớn (Big Data) và kỹ thuật phần mềm ngày càng phát triển.
Trên trang web của mình, Meta Platforms cho biết thêm: "Những mô hình này đại diện cho tinh hoa của dòng Llama, mang đến trí tuệ đa phương thức với mức chi phí hấp dẫn, đồng thời vượt trội hơn so với nhiều mô hình khác có kích thước lớn hơn đáng kể.
Việc xây dựng thế hệ tiếp theo của các mô hình Llama đòi hỏi chúng tôi phải áp dụng nhiều phương pháp mới trong giai đoạn huấn luyện sơ bộ. Các mô hình Llama 4 mới là những mô hình đầu tiên sử dụng kiến trúc mixture of experts (MoE, tạm dịch là tổ hợp chuyên gia). Trong các mô hình MoE, mỗi token đầu vào chỉ kích hoạt một phần nhỏ trong tổng số tham số của mô hình. Kiến trúc MoE hiệu quả hơn về mặt tính toán trong cả quá trình huấn luyện và suy luận".
Kiểm tra Llama 4 với các câu hỏi gây tranh cãi
Meta Platforms đã kiểm tra Llama 4 với một tập hợp các câu hỏi gây tranh cãi, mà người dùng thường có quan điểm đối lập. Trong các thử nghiệm này, công ty kiểm tra xem liệu Llama 4 có trả lời theo một phía (cánh tả hay cánh hữu) và không theo phía còn lại hay không. Meta Platforms cho biết điều này chỉ xảy ra trong 1% số câu hỏi kiểm tra.
Trên tập hợp các chủ đề chính trị hoặc xã hội nhạy cảm, Llama 4 đưa ra phản hồi với "khuynh hướng thiên về chính trị rõ rệt" ở mức tương đương Grok - đối thủ cạnh tranh do công ty xAI của Elon Musk phát triển. Meta Platforms cho biết tỉ lệ này chỉ bằng một nửa so với Llama 3.3.
"Trong khi đã có tiến bộ, chúng tôi biết rằng vẫn còn nhiều việc phải làm và sẽ tiếp tục nỗ lực để giảm tỷ lệ này xuống hơn nữa", Meta Platforms nói thêm.
Chatbot "thức tỉnh"
Meta Platforms cho rằng tất cả mô hình ngôn ngữ lớn đều gặp khó khăn với vấn đề thiên vị và lịch sử cho thấy chúng có xu hướng nghiêng về phía cánh tả trong các vấn đề gây tranh cãi.
"Mục tiêu của chúng tôi là loại bỏ sự thiên vị khỏi các mô hình AI, đảm bảo rằng Llama có thể hiểu và diễn đạt cả hai phía của một vấn đề gây tranh cãi", công ty nói thêm.
Elon Musk đã chỉ trích các chatbot như ChatGPT của OpenAI là "thức tỉnh" và quảng bá Grok của xAI như một lựa chọn thay thế.
Chatbot "thức tỉnh" là thuật ngữ dùng để chỉ chatbot có khuynh hướng thiên tả hoặc có xu hướng đưa ra các phản hồi liên quan đến các vấn đề xã hội, chính trị một cách mạnh mẽ, thường thể hiện sự ủng hộ với các nguyên tắc như công bằng xã hội, bình đẳng, chống phân biệt chủng tộc và ủng hộ các nhóm thiểu số.
Phương pháp huấn luyện của xAI với Grok dường như ưu tiên mạnh mẽ cho các quan điểm cánh hữu, một số nhân viên nói với trang Insider vào tháng 2.
Trong khi đó, OpenAI đã cập nhật mô hình của mình vào tháng 2 để ủng hộ "tự do tư duy" và phản hồi một cách khách quan với các chủ đề gây tranh cãi.
Llama, mô hình ngôn ngữ lớn mã nguồn mở, là một sáng kiến quan trọng của Meta Platforms.
Mark Zuckerberg, Giám đốc điều hành Meta Platforms, đặt mục tiêu biến Llama thành tiêu chuẩn ngành trên toàn cầu và cho biết chatbot Meta AI của công ty (hiện có trên Facebook, Instagram, WhatsApp) có thể tiếp cận 1 tỉ người dùng trong năm 2025. Tính đến tháng 12.2024, 600 triệu người dùng đã truy cập Meta AI mỗi tháng, theo công ty.
Mark Zuckerberg đã cam kết đầu tư 60 - 65 tỉ USD cho các dự án AI trong năm nay.
