Trong quá trình ứng dụng AI, các tổ chức không chỉ cần bảo vệ hạ tầng công nghệ mà còn phải kiểm soát những rủi ro phát sinh từ chính các mô hình AI, dữ liệu và hệ thống tự động hóa.
R57-03 là chương trình nghiên cứu thuộc hệ sinh thái OpenLAB R&D57, định hướng xây dựng nền tảng an toàn và quản trị cho các ứng dụng AI. Chương trình tập trung vào ba hướng: ứng dụng AI để nâng cao năng lực an ninh mạng (AI for Cybersecurity), bảo vệ hệ thống AI trước các mối đe dọa (Security for AI) và xây dựng cơ chế quản trị, kiểm toán nhằm củng cố niềm tin số (Digital Trust & Governance).
R57-03 hướng đến kết nối nghiên cứu với thực hành phòng thủ, kiểm thử trong môi trường được phép và đánh giá bằng các chỉ số phù hợp. Kết quả nghiên cứu được xem xét dựa trên bằng chứng, điều kiện thử nghiệm và khả năng áp dụng trong từng bối cảnh thực tế.
Nghiên cứu ứng dụng AI trong phân tích sự kiện an ninh, phát hiện bất thường, điều tra và hỗ trợ ứng cứu sự cố.
Đánh giá và giảm thiểu rủi ro từ Prompt Injection, RAG Poisoning, lạm dụng công cụ và các nguy cơ liên quan đến mô hình, dữ liệu.
Nghiên cứu cơ chế phân quyền, giám sát, kiểm toán và phê duyệt đối với các hệ thống AI có khả năng thực hiện hành động.
Kết hợp an toàn kỹ thuật, bảo vệ quyền riêng tư, quản trị rủi ro và trách nhiệm của các bên trong quá trình triển khai AI.
Nghiên cứu ứng dụng AI để hỗ trợ đội ngũ an ninh mạng phân tích dữ liệu, nhận diện dấu hiệu bất thường và nâng cao hiệu quả xử lý sự cố.
Các hướng nghiên cứu gồm:
OpenSOC Copilot là một hướng nghiên cứu ứng dụng AI vào hoạt động SOC, tập trung vào hỗ trợ phân tích và điều tra. Hiệu quả của các mô hình cần được đánh giá trên dữ liệu, kịch bản và điều kiện thử nghiệm cụ thể; không mặc định AI có thể phát hiện mọi cuộc tấn công hoặc xác định được lỗ hổng zero-day.
Nghiên cứu các phương pháp nhận diện, kiểm thử và giảm thiểu rủi ro bảo mật trong những hệ thống sử dụng mô hình ngôn ngữ lớn (LLM), RAG và AI Agent.
Các hướng nghiên cứu gồm:
Các hoạt động kiểm thử phải có phạm vi được phê duyệt, thực hiện trong môi trường được phép và tuân thủ yêu cầu an toàn. Kết quả kiểm thử cần nêu rõ điều kiện, giới hạn và khả năng áp dụng ngoài môi trường thử nghiệm.
Nghiên cứu các cơ chế giúp tổ chức giám sát, kiểm soát và đánh giá trách nhiệm trong quá trình phát triển, triển khai và vận hành hệ thống AI.
Các hướng nghiên cứu gồm:
Các phương pháp và tiêu chuẩn áp dụng cần được lựa chọn theo mục tiêu, loại hệ thống và yêu cầu pháp lý tương ứng. Nhật ký kiểm toán phải được bảo vệ khỏi truy cập hoặc chỉnh sửa trái phép; mức độ chống sửa đổi cần được xác định và kiểm chứng theo thiết kế thực tế.
Mọi hoạt động kiểm thử bảo mật, Red Team hoặc mô phỏng tấn công phải có mục tiêu, phạm vi và quyền thực hiện rõ ràng. Ưu tiên Lab độc lập, Cyber Range hoặc môi trường thử nghiệm được phê duyệt; không tự ý quét, khai thác hay can thiệp hệ thống thật.
Không công khai thông tin đăng nhập, dữ liệu cá nhân, dữ liệu nhạy cảm hoặc chi tiết có thể trực tiếp tạo điều kiện gây hại. Phát hiện lỗ hổng cần được xử lý theo quy trình công bố có trách nhiệm, phù hợp với mức độ rủi ro và thỏa thuận với đơn vị liên quan.
Tùy bài toán, nghiên cứu có thể sử dụng các chỉ số:
Một kỹ thuật tấn công thành công trong Lab không đồng nghĩa có thể đạt kết quả tương tự trong môi trường vận hành thực tế. Báo cáo cần mô tả điều kiện thử nghiệm, các lớp bảo vệ hiện có, giới hạn của kết quả và những yếu tố cần đánh giá thêm.
Thu thập log, sự kiện bảo mật, dữ liệu mạng và thông tin liên quan trong phạm vi được phép.
Áp dụng các phương pháp phân tích, luật phát hiện và mô hình AI để nhận diện, phân loại hoặc điều tra dấu hiệu bất thường.
Hỗ trợ đề xuất hành động, điều phối quy trình ứng cứu và thực hiện thao tác được cấp quyền theo chính sách.
Quản lý quyền hạn, giám sát hoạt động, lưu nhật ký kiểm toán, đánh giá hiệu quả và hỗ trợ xử lý sự cố.
Làm rõ mục tiêu, hệ thống liên quan, phạm vi được phép và tiêu chí đánh giá.
Xây dựng mô hình đe dọa, kịch bản, dữ liệu đánh giá và các biện pháp bảo vệ cần kiểm tra.
Tiến hành kiểm thử trong môi trường được phê duyệt, đo lường kết quả, phân tích sai số và ghi nhận giới hạn.
Tổng hợp bằng chứng, xác định rủi ro, đề xuất biện pháp giảm thiểu và hướng nghiên cứu tiếp theo.
Báo cáo nghiên cứu và mô hình đe dọa.
Kịch bản Lab và quy trình kiểm thử an toàn.
Bộ dữ liệu đánh giá, benchmark hoặc bộ tiêu chí đo lường.
Mô hình thử nghiệm hỗ trợ phân tích bảo mật.
Báo cáo đánh giá rủi ro và khuyến nghị phòng thủ.
Tài liệu kỹ thuật, hướng dẫn thực hành và tài liệu đào tạo.
CL57PRO và hệ sinh thái OpenLAB R&D57 định hướng kết nối doanh nghiệp, trường đại học, viện nghiên cứu và chuyên gia cùng quan tâm đến AI đáng tin cậy, an ninh mạng và quản trị rủi ro số.
Nếu đơn vị của bạn đang có bài toán về bảo mật hệ thống AI, ứng dụng AI trong SOC hoặc xây dựng quy trình kiểm thử và quản trị AI, hãy liên hệ để trao đổi về mục tiêu, phạm vi và phương án hợp tác phù hợp.
R57-03: Nghiên cứu AI an toàn, tăng cường năng lực phòng thủ và xây dựng niềm tin trong môi trường số.