Không thua kém các "ông lớn" trên thế giới, Zalo là một trong những đơn vị tại Việt Nam đã sớm tham gia vào lĩnh vực huấn luyện mô hình ngôn ngữ lớn (LLM). Khởi đầu từ năm 2023, Zalo tập trung vào xây dựng LLM tiếng Việt, được nghiên cứu và phát triển hoàn toàn bởi đội ngũ kỹ sư người Việt.
Tại thời điểm ra mắt, chỉ sau 6 tháng huấn luyện, mô hình với 7 tỷ tham số tập trung vào tiếng Việt đầu tiên của Zalo đã đạt 150% năng lực so với GPT-3.5 của OpenAI trên Bộ tiêu chuẩn đánh giá năng lực LLM tiếng Việt VMLU.
Tới năm 2024, mô hình với 13 tỷ tham số của Zalo chính thức vượt qua các tên tuổi lớn như GPT-4 (OpenAI), gemma-2-9b-it (Google), microsoft/Phi-3-small-128k-instruct (Microsoft), chỉ xếp sau Llama-3-70B (Meta) trên bảng xếp hạng năng lực tiếng Việt LLM của VMLU.
Cần phải nhắc lại, ở giai đoạn đầu của kỷ nguyên AI, thị trường Việt Nam gặp phải những thách thách lớn trong việc huấn luyện mô hình LLM. Đó là những hạn chế về thiết bị huấn luyện, dữ liệu và trình độ kỹ thuật. Trong khi các công ty lớn trên thế giới đã sở hữu hàng nghìn GPU hiệu năng cao mới nhất từ Nvidia thì tại Việt Nam, các kỹ sư vẫn chưa được trang bị đầy đủ hạ tầng máy chủ cần thiết.
Cùng lúc đó, tiếng Việt cũng được xếp vào nhóm có tài nguyên dữ liệu nghèo nàn hơn hàng chục lần so với tiếng Anh hay tiếng Trung. Nguồn lực con người và kinh nghiệm huấn luyện LLM của Việt Nam cũng còn nhiều hạn chế khi so sánh với các quốc gia phát triển.
Linh hoạt khắc phục các rào cản, đội ngũ Zalo đã nghiên cứu và thực nghiệm trên các GPU dân dụng nhỏ để tranh thủ trang bị kiến thức cũng như năng lực huấn luyện LLM, sẵn sàng ngay khi có hạ tầng tính toán lớn. Đồng thời, họ đặt mua 8 máy chủ DGX H100 của Nvidia. Các chuyên gia AI của Zalo cũng tăng tốc đầu tư phát triển dữ liệu chất lượng để bù đắp sự thiếu hụt về nguồn dữ liệu tiếng Việt của thị trường.
“Mặc dù xuất phát điểm gặp nhiều khó khăn so với các công ty lớn trên thế giới nhưng Zalo vẫn quyết định nhập cuộc chơi từ sớm với mục tiêu phát triển thành công mô hình AI của riêng Việt Nam. Chúng tôi đã tham vấn kinh nghiệm từ các nhà nghiên cứu, kỹ sư tại nhiều viện nghiên cứu hàng đầu trên thế giới để có chiến lược phát triển phù hợp”, TS. Nguyễn Trường Sơn - Giám đốc Khoa học tại Zalo AI cho biết.
Hiện, mô hình AI của Zalo không chỉ thành công trên khía cạnh nghiên cứu huấn luyện mà còn được đưa vào ứng dụng, thúc đẩy việc tiếp cận và khai thác giá trị từ công nghệ mới tiên tiến cho người Việt. Đầu năm 2025, Zalo ra mắt trợ lý hỏi đáp tổng hợp Kiki Info đang được vận hành dưới dạng một OA - Official Account (Tài khoản chính thức) trên nền tảng nhắn tin Zalo. Kiki Info đã có tới 1 triệu lượt người dùng truy cập vào tài khoản OA trên Zalo chỉ trong chưa đầy 2 tháng.
Một ứng dụng khác của mô hình LLM của Zalo là thiệp AI cũng chạm mốc 15 triệu thiệp được khởi tạo và gửi đi chỉ trong 2 tháng. Đây là ứng dụng được đông đảo người dùng Zalo quan tâm để gửi những lời chúc tới người thân, bạn bè trong những dịp lễ quan trọng.
