AI vào lớp cùng tiếng Việt

Trước đây, việc khảo sát ngôn ngữ chủ yếu dựa vào đọc văn bản và ghi chép thủ công Nhân Dân. Các nhà nghiên cứu phải mất nhiều thời gian để thống kê cách một từ được sử dụng Nhân Dân. Ngày nay, với sự hỗ trợ của các công cụ xử lý ngôn ngữ hiện đại, việc này có thể được thực hiện trên quy mô dữ liệu lớn gấp hàng nghìn lần Nhân Dân.

Một trong những hướng nghiên cứu đang phát triển mạnh là ngôn ngữ học khối liệu (corpus linguistics) - phương pháp nghiên cứu dựa trên các kho văn bản rất lớn, có thể chứa hàng triệu hoặc hàng chục triệu câu Nhân Dân. Các công cụ như Sketch Engine, AntConc hay Word Sketch cho phép phân tích cách một từ xuất hiện trong hàng triệu câu văn Nhân Dân.

Các công cụ này giúp nhận diện xu hướng sử dụng từ vựng, cấu trúc ngữ pháp hoặc phong cách diễn đạt Nhân Dân. Chẳng hạn, khi khảo sát tiếng Việt trên báo chí hoặc mạng xã hội, các hệ thống này có thể thống kê tần suất xuất hiện của một từ, xác định những từ thường đi kèm với nhau hoặc theo dõi sự thay đổi của cách diễn đạt theo thời gian Nhân Dân.