KT đã công bố thành quả cuối cùng của nghiên cứu chung về AI tiến hành cùng Đại học Quốc gia Seoul và KAIST vào ngày 30 tháng 8. Trọng tâm của nghiên cứu không nằm ở việc tạo ra mô hình lớn hơn. Nó nằm ở chỗ tác nhân AI tự hành đọc ý định và tình huống của người dùng chính xác đến đâu, và giảm được bao nhiêu gánh nặng xử lý tiêu hao trong quá trình đó. Đây là ví dụ cho thấy mối quan tâm của hoạt động phát triển AI trong nước đang dịch chuyển từ cạnh tranh hiệu năng sang chi phí vận hành.
Nghiên cứu với Đại học Quốc gia Seoul xử lý công nghệ hiểu tình huống, bối cảnh và suy luận của tác nhân AI. Kèm theo đó là công việc thiết lập tiêu chí đánh giá của RAI, tức AI có trách nhiệm, và cải thiện độ tin cậy của câu trả lời. Việc thu thập bộ dữ liệu phù hợp với môi trường sử dụng tiếng Hàn, mô hình dự đoán hành vi người dùng, khung học tăng cường đưa phản hồi của người dùng trở lại quá trình huấn luyện cũng nằm trong phạm vi nghiên cứu.
Nghiên cứu với KAIST đào theo hướng khác. Nén lời nhắc là kỹ thuật lược bỏ phần nói cùng một nghĩa hai lần hoặc phần ít ảnh hưởng đến kết quả trong câu đưa vào mô hình, qua đó giảm độ dài đầu vào. Đầu vào ngắn lại thì số token mô hình phải đọc giảm đi, token giảm thì chi phí và thời gian cho một lần phản hồi cùng hạ xuống. Trong tình huống tác nhân AI gọi mô hình hàng chục lần khi xử lý một tác vụ, khác biệt này tích lũy lại.
Tin khác ra trong cùng tuần cũng chạm đến điểm này. SK đã đề cập nội dung liên quan đến kinh tế token với ý rằng thời đại tác nhân AI cần có quản trị token trong tài liệu nội bộ. Ở nước ngoài, khi các hợp đồng AI của Salesforce và Workday tăng lên, cách tính phí đang xuất hiện dưới hình thức cộng cước theo mức sử dụng vào phí thuê bao cố định. Trong hệ thống tính tiền theo mức đã dùng, lượng tiêu hao token trở thành một khoản mục của lợi nhuận kinh doanh.
Với doanh nghiệp, điều này có nghĩa là đối tượng quản lý thay đổi. So với quyết định đưa vào một mô hình, việc xem xét mỗi ngày bao nhiêu token được dùng ở đâu và như thế nào sau khi đưa vào trở nên quan trọng hơn. Khi thả tác nhân AI cho từng bộ phận mà không tổng hợp được ai dùng bao nhiêu thì phải nhận hóa đơn rồi mới biết được cách thức sử dụng.
Nghiên cứu độ tin cậy gắn với vấn đề chi phí cũng vì vậy. Tác nhân AI đưa ra câu trả lời lệch lạc thì người phải hỏi lại, hỏi lại bao nhiêu thì token lại mất đi bấy nhiêu. Việc nâng tỷ lệ trả lời đúng ngay lần đầu vừa là cải thiện chất lượng vừa là cắt giảm giá thành. Đó là lý do công việc thiết lập tiêu chí đánh giá RAI được đọc như chỉ số vận hành, vượt ra ngoài hạng mục đạo đức.
Thành quả này đi vào sản phẩm đến đâu là cửa ải tiếp theo. KT cho biết sẽ nội tại hóa kết quả nghiên cứu thành công nghệ cốt lõi và áp dụng vào hiện trường, nhưng không cho biết sẽ phản ánh vào dịch vụ nào và khi nào. Các giá trị đo lường như mức giảm token hay mức cải thiện độ trễ phản hồi cũng không được đưa ra cùng. Tính hữu dụng thực tế của công nghệ sẽ được phân định vào thời điểm những con số đó được công bố.
Nhân viên sai AI viết bản thảo báo cáo ở văn phòng không biết mình đã dùng bao nhiêu token. Cũng không cần biết. Thay vào đó, công ty quyết toán tổng số đó mỗi tháng.
Nếu nghiên cứu nén và độ tin cậy vận hành tốt thì có thể sai làm nhiều việc hơn với cùng mức phí, và số người gọi AI mà không thấy nặng gánh sẽ tăng lên chừng đó. Thay đổi của một ngày bắt đầu từ điểm đó.
