NPU (bộ xử lý thần kinh) là khối trong chip điện thoại được thiết kế riêng cho một loại phép tính: nhân và cộng hàng loạt ma trận số, thứ mà các mô hình học máy cần liên tục. Trên điện thoại, NPU âm thầm làm nhiều việc bạn dùng hằng ngày: ghép nhiều khung hình để chụp đêm sáng hơn, tách người khỏi nền khi xoá phông, lọc tiếng ồn khi gọi, nhận diện giọng nói, gợi ý chữ khi gõ, nhận dạng chữ và vật trong ảnh. Cùng một việc như vậy, NPU làm nhanh hơn và tốn ít điện hơn nhiều so với CPU hay GPU.
Nhưng NPU không phải phép màu. Những tính năng trợ lý thông minh lớn, viết lại đoạn văn, tóm tắt tài liệu dài thường vẫn cần máy chủ, hoặc chỉ chạy trên máy với mô hình đã thu gọn. Con số TOPS hãng quảng cáo cũng không so trực tiếp giữa các hãng. Bài này nhìn NPU từ góc phần cứng và hiệu năng: nó làm gì, đo bằng gì, vì sao bị giới hạn, và người dùng thường nên quan tâm tới đâu. Phần giải thích khái niệm trí tuệ nhân tạo nói chung không nằm trong phạm vi bài.
NPU khác CPU và GPU ở chỗ nào
CPU giỏi làm việc đa dạng, rẽ nhánh nhiều, mỗi lúc một ít luồng. GPU giỏi làm cùng một phép tính trên rất nhiều điểm ảnh cùng lúc. NPU đi xa hơn một bước nữa: được thiết kế gần như chỉ để nhân ma trận, với độ chính xác số thấp (8 bit, thậm chí 4 bit) thay vì 32 bit như phép tính thông thường. Giảm độ chính xác như vậy làm mỗi phép tính rẻ hơn rất nhiều về điện và diện tích, mà với phần lớn mô hình xử lý ảnh, giọng nói, kết quả vẫn đủ tốt.
Nhờ chuyên môn hoá, NPU có thể làm một tác vụ học máy với mức điện thấp hơn GPU vài lần và thấp hơn CPU nhiều lần. Trên điện thoại, nơi pin và nhiệt là giới hạn cứng, khác biệt này quyết định một tính năng có dùng được hằng ngày hay không. Ví dụ, nhận diện giọng nói liên tục để chờ câu lệnh đánh thức mà để CPU làm thì pin sẽ hao đáng kể; giao cho khối chuyên trách thì gần như không thấy.
Đổi lại, NPU kém linh hoạt. Mô hình phải được chuyển đổi sang định dạng mà NPU của từng hãng hỗ trợ, các phép tính lạ có thể phải đẩy ngược về CPU hoặc GPU. Đó là lý do cùng một ứng dụng, có máy chạy tính năng học máy trên NPU, có máy lại dùng GPU, và tốc độ khác nhau rõ.
Những việc NPU đang gánh trên điện thoại
Chụp ảnh và quay video. Đây là nơi NPU làm việc nhiều nhất. Chụp đêm ghép nhiều khung, nhận biết cảnh để chỉnh màu, tách chủ thể để xoá phông, khử nhiễu theo từng vùng, làm nét khuôn mặt ở xa. NPU phối hợp với bộ xử lý ảnh, nên khó tách riêng phần nào do NPU làm.
Âm thanh và giọng nói. Lọc tiếng ồn xung quanh khi gọi, nhận diện câu lệnh đánh thức, chuyển giọng nói thành chữ không cần mạng, phụ đề trực tiếp cho video. Những việc chạy liên tục như vậy cần khối tiết kiệm điện.
Chữ và hình trong ảnh. Nhận dạng chữ trong ảnh chụp để sao chép, nhận diện vật thể, tìm ảnh theo nội dung trong thư viện. Việc lập chỉ mục thư viện ảnh lớn thường chạy nền khi máy đang sạc.
Bàn phím và gợi ý. Đoán từ tiếp theo, sửa lỗi gõ, gợi ý trả lời nhanh. Mô hình nhỏ nhưng chạy rất thường xuyên, nên chạy trên khối tiết kiệm là hợp lý.
Các tính năng tạo nội dung mới. Viết lại, tóm tắt, chỉnh sửa ảnh bằng câu lệnh: một phần chạy trên máy với mô hình đã thu gọn, phần nặng hơn thường gửi lên máy chủ. Mỗi hãng, mỗi bản cập nhật chia khác nhau, nên cần kiểm phần ghi chú của hãng điện thoại ở phiên bản hiện hành.
TOPS nói gì và không nói gì
TOPS là số nghìn tỉ phép tính mỗi giây mà NPU làm được ở mức tối đa lý thuyết. Con số này hữu ích để thấy một đời NPU mới mạnh lên bao nhiêu so với đời trước của cùng hãng. Nhưng nó có ba điểm mù lớn.
Thứ nhất, các hãng không tính cùng một cách. Có hãng tính ở độ chính xác 8 bit, có hãng ở 4 bit (4 bit thường cho số TOPS cao gấp đôi), có hãng cộng cả phần đóng góp của GPU và CPU vào. Đặt hai con số cạnh nhau mà không biết cách tính thì so sánh vô nghĩa. Thứ hai, TOPS là mức tối đa; trong thực tế NPU thường bị giới hạn bởi tốc độ đưa dữ liệu vào ra từ RAM chứ không phải bởi sức tính. Thứ ba, TOPS không nói gì về phần mềm: trình điều khiển, thư viện chuyển đổi mô hình, và việc ứng dụng có thật sự dùng NPU hay không.
Vì vậy với người dùng thường, TOPS chỉ nên đọc như một tín hiệu đời: NPU mới hơn, thường nhanh hơn. Muốn biết thật, nên xem bài đánh giá có đo các tính năng cụ thể, như thời gian xử lý ảnh đêm, tốc độ chuyển giọng nói thành chữ, hoặc phần mềm đo hiệu năng học máy chuyên dụng. Các phần mềm đo loại này cũng thay đổi bài thử theo phiên bản, nên khi so điểm hãy chắc chắn hai máy được đo cùng phiên bản.
Giới hạn thật của NPU trên điện thoại
NPU mạnh lên từng đời, nhưng điện thoại vẫn có những giới hạn vật lý mà không con số TOPS nào vượt qua được. Bảng dưới tóm các giới hạn hay gặp và ảnh hưởng tới người dùng.
| Giới hạn | Vì sao | Bạn thấy gì |
|---|---|---|
| Dung lượng RAM | Mô hình lớn phải nằm trong RAM khi chạy, dùng chung với ứng dụng khác | Tính năng tạo nội dung chỉ có trên máy RAM lớn, hoặc làm ứng dụng nền bị đóng |
| Băng thông bộ nhớ | NPU phải chờ dữ liệu từ RAM | Tốc độ thực tế thấp hơn nhiều so với con số TOPS |
| Nhiệt và pin | Chạy nặng liên tục làm chip nóng | Tính năng chạy lâu sẽ chậm dần, máy ấm lên |
| Hỗ trợ phần mềm | Mô hình phải chuyển sang định dạng của NPU từng hãng | Cùng ứng dụng, máy này chạy trên máy, máy kia gửi lên máy chủ |
| Độ chính xác thấp | Mô hình bị nén để chạy 8 bit, 4 bit | Kết quả đôi khi kém hơn bản chạy trên máy chủ |
Giới hạn RAM là điểm đáng chú ý nhất khi chọn máy. Một số tính năng học máy mới chỉ được bật trên máy có RAM từ một mức nhất định trở lên, kể cả khi chip giống nhau. Nếu bạn quan tâm những tính năng này, hãy kiểm danh sách máy được hỗ trợ của hãng ở thời điểm hiện hành.
Chạy trên máy hay trên máy chủ: khác nhau ở đâu với người dùng
Khi một tính năng chạy hẳn trên điện thoại, dữ liệu như ảnh, giọng nói, tin nhắn không rời khỏi máy, phản hồi nhanh vì không chờ mạng, và vẫn dùng được khi mất sóng. Cái giá là mô hình phải nhỏ, tốn pin và có thể làm máy ấm lên nếu chạy lâu.
Khi tính năng gửi lên máy chủ, mô hình có thể lớn hơn nhiều, kết quả thường tốt hơn, máy không nóng. Đổi lại cần mạng, có độ trễ, và dữ liệu đi ra ngoài thiết bị. Với nội dung riêng tư hoặc bí mật công việc, nên đọc kỹ cài đặt quyền riêng tư của tính năng, che thông tin cá nhân trước khi đưa vào.
Nhiều máy hiện nay dùng cách lai: việc nhỏ chạy trên NPU, việc lớn gửi đi, đôi khi tự quyết định mà không báo rõ. Muốn biết một tính năng chạy ở đâu, cách thử đơn giản là bật chế độ máy bay rồi dùng lại tính năng đó. Nếu vẫn chạy được, nó đang dùng NPU hoặc khối xử lý trên máy; nếu báo cần mạng, phần chính đang chạy ở máy chủ.
Người dùng thường có cần quan tâm tới NPU khi chọn máy không
Với phần lớn người dùng, NPU là thứ "có sẵn và đủ dùng" ở mọi chip từ tầm trung trở lên. Chụp ảnh đêm, xoá phông, lọc tiếng ồn khi gọi đều đã chạy tốt trên NPU đời cũ vài năm. Khác biệt giữa NPU đời này và đời trước thường nằm ở tính năng mới mà hãng điện thoại có bật hay không, chứ không phải ở tốc độ của những việc quen thuộc.
Bạn nên để tâm tới NPU khi thuộc một trong ba nhóm. Nhóm thứ nhất là người muốn dùng các tính năng tạo nội dung chạy ngay trên máy vì lý do riêng tư, khi ấy cần chip đời mới và RAM lớn. Nhóm thứ hai là người chụp ảnh, quay video nhiều trong điều kiện thiếu sáng, nơi NPU và bộ xử lý ảnh mạnh rút ngắn thời gian xử lý mỗi tấm. Nhóm thứ ba là người muốn giữ máy lâu năm, vì các tính năng mới về sau thường đòi NPU đời mới.
Với những người còn lại, nhìn vào điểm CPU, GPU, bộ nhớ, pin và chính sách cập nhật vẫn có ích hơn. Còn phần giải thích trí tuệ nhân tạo hoạt động ra sao, mô hình ngôn ngữ là gì, có những site chuyên về khái niệm AI viết kỹ hơn; ở đây chỉ dừng ở câu hỏi phần cứng có đủ sức hay không.
Câu hỏi thường gặp
Điện thoại không có NPU thì có chụp ảnh đêm được không?
Vẫn được, vì CPU và GPU cũng làm được các phép tính đó, chỉ chậm hơn và tốn điện hơn. Máy phổ thông không có NPU mạnh thường cần thời gian xử lý mỗi tấm lâu hơn, và hãng có thể tắt bớt một số chế độ chụp để máy không quá nóng.
TOPS càng cao thì máy càng thông minh phải không?
Không. TOPS chỉ là sức tính tối đa lý thuyết của NPU, tính theo cách riêng của từng hãng. Máy làm được gì phụ thuộc vào phần mềm, mô hình mà hãng điện thoại cài và dung lượng RAM. Hai máy TOPS gần bằng nhau có thể có bộ tính năng khác hẳn.
NPU có làm điện thoại tốn pin hơn không?
Thường là ngược lại. Giao việc học máy cho NPU tốn ít điện hơn so với để CPU hay GPU làm. Pin chỉ hao nhiều khi bạn dùng liên tục những tính năng nặng như tạo ảnh, xử lý video dài; khi đó máy cũng ấm lên rõ.
Làm sao biết một tính năng AI chạy trên máy hay trên máy chủ?
Cách đơn giản là bật chế độ máy bay rồi thử lại. Nếu tính năng vẫn chạy, phần chính đang xử lý trên máy. Ngoài ra có thể đọc phần mô tả quyền riêng tư của tính năng trong cài đặt; hãng thường ghi rõ dữ liệu có được gửi đi không.
Vì sao chip giống nhau mà máy này có tính năng AI, máy kia không?
Tính năng do hãng điện thoại quyết định, dựa trên RAM, chính sách sản phẩm và thoả thuận phần mềm. Máy RAM thấp hơn có thể bị bỏ qua dù cùng chip. Cách chắc nhất là xem danh sách máy được hỗ trợ của hãng ở thời điểm hiện hành.
Phần mềm đo hiệu năng NPU có đáng tin không?
Đáng tham khảo khi so hai máy được đo cùng phiên bản phần mềm và cùng bài thử. Nhưng điểm đo không phản ánh việc ứng dụng bạn dùng có tận dụng NPU hay không. Kết hợp điểm đo với thử nghiệm tính năng thật trong bài đánh giá sẽ cho bức tranh đầy đủ hơn.