R57-03: Trustworthy AI, Cybersecurity & Digital Trust

R57-03: Trustworthy AI, Cybersecurity & Digital Trust

Trong quá trình ứng dụng AI, các tổ chức không chỉ cần bảo vệ hạ tầng công nghệ mà còn phải kiểm soát những rủi ro phát sinh từ chính các mô hình AI, dữ liệu và hệ thống tự động hóa.

R57-03 là chương trình nghiên cứu thuộc hệ sinh thái OpenLAB R&D57, định hướng xây dựng nền tảng an toàn và quản trị cho các ứng dụng AI. Chương trình tập trung vào ba hướng: ứng dụng AI để nâng cao năng lực an ninh mạng (AI for Cybersecurity), bảo vệ hệ thống AI trước các mối đe dọa (Security for AI) và xây dựng cơ chế quản trị, kiểm toán nhằm củng cố niềm tin số (Digital Trust & Governance).

R57-03 hướng đến kết nối nghiên cứu với thực hành phòng thủ, kiểm thử trong môi trường được phép và đánh giá bằng các chỉ số phù hợp. Kết quả nghiên cứu được xem xét dựa trên bằng chứng, điều kiện thử nghiệm và khả năng áp dụng trong từng bối cảnh thực tế.

 

Mục Tiêu Nghiên Cứu

Nâng cao năng lực phòng thủ

Nghiên cứu ứng dụng AI trong phân tích sự kiện an ninh, phát hiện bất thường, điều tra và hỗ trợ ứng cứu sự cố.

Bảo vệ hệ thống AI

Đánh giá và giảm thiểu rủi ro từ Prompt Injection, RAG Poisoning, lạm dụng công cụ và các nguy cơ liên quan đến mô hình, dữ liệu.

Tăng cường khả năng kiểm soát

Nghiên cứu cơ chế phân quyền, giám sát, kiểm toán và phê duyệt đối với các hệ thống AI có khả năng thực hiện hành động.

Xây dựng niềm tin số

Kết hợp an toàn kỹ thuật, bảo vệ quyền riêng tư, quản trị rủi ro và trách nhiệm của các bên trong quá trình triển khai AI.

Hướng Nghiên Cứu Trọng Tâm

1. AI for Cybersecurity: Ứng dụng AI trong an ninh mạng

Nghiên cứu ứng dụng AI để hỗ trợ đội ngũ an ninh mạng phân tích dữ liệu, nhận diện dấu hiệu bất thường và nâng cao hiệu quả xử lý sự cố.

Các hướng nghiên cứu gồm:

  • SOC Copilot & Threat Intelligence: hỗ trợ phân tích log, tổng hợp ngữ cảnh cảnh báo, tra cứu thông tin mối đe dọa và điều tra sự cố.
  • Anomaly & Intrusion Detection: nghiên cứu phương pháp phát hiện bất thường trong lưu lượng mạng và sự kiện hệ thống.
  • DDoS & Malware Analysis: phân tích dấu hiệu tấn công từ chối dịch vụ, mã độc và các hành vi đáng ngờ.
  • AI-assisted Incident Response: hỗ trợ phân loại sự cố, đề xuất bước xử lý và phối hợp quy trình ứng cứu trong phạm vi được cho phép.

OpenSOC Copilot là một hướng nghiên cứu ứng dụng AI vào hoạt động SOC, tập trung vào hỗ trợ phân tích và điều tra. Hiệu quả của các mô hình cần được đánh giá trên dữ liệu, kịch bản và điều kiện thử nghiệm cụ thể; không mặc định AI có thể phát hiện mọi cuộc tấn công hoặc xác định được lỗ hổng zero-day.

2. Security for AI: Bảo mật hệ thống AI

Nghiên cứu các phương pháp nhận diện, kiểm thử và giảm thiểu rủi ro bảo mật trong những hệ thống sử dụng mô hình ngôn ngữ lớn (LLM), RAG và AI Agent.

Các hướng nghiên cứu gồm:

  • LLM & RAG Security: đánh giá Prompt Injection, RAG Poisoning, rò rỉ dữ liệu và truy xuất vượt quyền.
  • Agent & Tool Security: kiểm soát quyền truy cập công cụ, API và Model Context Protocol (MCP); hạn chế hành động ngoài phạm vi được cấp phép.
  • Model & Data Security: nghiên cứu bảo vệ mô hình, dữ liệu huấn luyện và dữ liệu đầu vào; xem xét các phương pháp bảo vệ quyền riêng tư phù hợp.
  • AI Red Teaming: xây dựng kịch bản kiểm thử có kiểm soát để đánh giá khả năng chống chịu, phát hiện điểm yếu và xác minh hiệu quả của biện pháp phòng thủ.

Các hoạt động kiểm thử phải có phạm vi được phê duyệt, thực hiện trong môi trường được phép và tuân thủ yêu cầu an toàn. Kết quả kiểm thử cần nêu rõ điều kiện, giới hạn và khả năng áp dụng ngoài môi trường thử nghiệm.

3. Digital Trust & Governance: Niềm tin số và quản trị AI

Nghiên cứu các cơ chế giúp tổ chức giám sát, kiểm soát và đánh giá trách nhiệm trong quá trình phát triển, triển khai và vận hành hệ thống AI.

Các hướng nghiên cứu gồm:

  • Human-in-the-Loop: xác định các điểm cần con người xem xét hoặc phê duyệt, đặc biệt đối với hành động có tác động lớn.
  • AI Auditability: thiết kế nhật ký có thể kiểm tra, ghi nhận nguồn dữ liệu, quyết định vận hành, công cụ được gọi và các bước phê duyệt.
  • Privacy & Data Governance: quản lý quyền truy cập, mục đích sử dụng dữ liệu, thời hạn lưu trữ và các yêu cầu bảo vệ thông tin.
  • AI Risk Management: nhận diện, đánh giá và theo dõi rủi ro theo mức độ tác động, bối cảnh sử dụng và yêu cầu quản trị.
  • Security Governance: xây dựng chính sách, quy trình kiểm thử, xử lý sự cố và rà soát định kỳ phù hợp với tổ chức.

Các phương pháp và tiêu chuẩn áp dụng cần được lựa chọn theo mục tiêu, loại hệ thống và yêu cầu pháp lý tương ứng. Nhật ký kiểm toán phải được bảo vệ khỏi truy cập hoặc chỉnh sửa trái phép; mức độ chống sửa đổi cần được xác định và kiểm chứng theo thiết kế thực tế.

Nguyên Tắc Nghiên Cứu & Kiểm Chứng

1. Thử nghiệm trong phạm vi được phép

Mọi hoạt động kiểm thử bảo mật, Red Team hoặc mô phỏng tấn công phải có mục tiêu, phạm vi và quyền thực hiện rõ ràng. Ưu tiên Lab độc lập, Cyber Range hoặc môi trường thử nghiệm được phê duyệt; không tự ý quét, khai thác hay can thiệp hệ thống thật.

2. Công bố có trách nhiệm

Không công khai thông tin đăng nhập, dữ liệu cá nhân, dữ liệu nhạy cảm hoặc chi tiết có thể trực tiếp tạo điều kiện gây hại. Phát hiện lỗ hổng cần được xử lý theo quy trình công bố có trách nhiệm, phù hợp với mức độ rủi ro và thỏa thuận với đơn vị liên quan.

3. Đánh giá bằng chỉ số thực tế

Tùy bài toán, nghiên cứu có thể sử dụng các chỉ số:

  • FPR (False Positive Rate): tỷ lệ cảnh báo sai.
  • Detection Latency: thời gian phát hiện hoặc đưa ra cảnh báo.
  • Analyst Time Saved: thời gian xử lý tiết kiệm được nhờ AI.
  • Severe False Negative Rate: tỷ lệ bỏ sót sự kiện nghiêm trọng.
  • Unauthorized Effect Rate: tỷ lệ hành động vượt quyền trong các kịch bản kiểm thử.

4. Phân biệt kết quả Lab & rủi ro thực tế

Một kỹ thuật tấn công thành công trong Lab không đồng nghĩa có thể đạt kết quả tương tự trong môi trường vận hành thực tế. Báo cáo cần mô tả điều kiện thử nghiệm, các lớp bảo vệ hiện có, giới hạn của kết quả và những yếu tố cần đánh giá thêm.

Kiến Trúc Nghiên Cứu Tham Chiếu

Lớp 1: Data & Telemetry

Thu thập log, sự kiện bảo mật, dữ liệu mạng và thông tin liên quan trong phạm vi được phép.

Lớp 2: Detection & Analysis

Áp dụng các phương pháp phân tích, luật phát hiện và mô hình AI để nhận diện, phân loại hoặc điều tra dấu hiệu bất thường.

Lớp 3: Decision & Response

Hỗ trợ đề xuất hành động, điều phối quy trình ứng cứu và thực hiện thao tác được cấp quyền theo chính sách.

Lớp 4: Governance & Audit

Quản lý quyền hạn, giám sát hoạt động, lưu nhật ký kiểm toán, đánh giá hiệu quả và hỗ trợ xử lý sự cố.

Đối Tượng & Nhu Cầu Hợp Tác

Doanh nghiệp và trung tâm SOC

  • Nghiên cứu ứng dụng AI vào phân tích cảnh báo, điều tra và ứng cứu sự cố.
  • Đánh giá chất lượng phát hiện, tỷ lệ cảnh báo sai và thời gian xử lý.
  • Khảo sát khả năng tích hợp AI với SIEM, SOAR và các công cụ hiện có.
  • Xây dựng kịch bản kiểm thử và phương án kiểm soát hành động tự động.

Tổ chức tài chính và y tế

  • Đánh giá rủi ro bảo mật của hệ thống AI nội bộ.
  • Kiểm thử phân quyền, bảo vệ dữ liệu và khả năng chống Prompt Injection.
  • Nghiên cứu cơ chế kiểm toán, giám sát và phê duyệt.
  • Xác định yêu cầu bảo mật theo đặc thù dữ liệu và quy định áp dụng.

Trường đại học, viện nghiên cứu và đơn vị đào tạo

  • Nghiên cứu AI for Cybersecurity và Security for AI.
  • Xây dựng bài thực hành, kịch bản mô phỏng và bộ tiêu chí đánh giá.
  • Phối hợp nghiên cứu, chia sẻ phương pháp và phát triển năng lực chuyên môn.
  • Tổ chức diễn tập trong môi trường Lab được kiểm soát.

Phương Thức Hợp Tác & Triển Khai

Bước 1

Khảo sát và xác định bài toán

Làm rõ mục tiêu, hệ thống liên quan, phạm vi được phép và tiêu chí đánh giá.

Bước 2

Thiết kế phương pháp kiểm thử

Xây dựng mô hình đe dọa, kịch bản, dữ liệu đánh giá và các biện pháp bảo vệ cần kiểm tra.

Bước 3

Thực nghiệm và đánh giá

Tiến hành kiểm thử trong môi trường được phê duyệt, đo lường kết quả, phân tích sai số và ghi nhận giới hạn.

Bước 4

Báo cáo và đề xuất cải tiến

Tổng hợp bằng chứng, xác định rủi ro, đề xuất biện pháp giảm thiểu và hướng nghiên cứu tiếp theo.

Đầu Ra Nghiên Cứu Dự Kiến

Báo cáo nghiên cứu

Báo cáo nghiên cứu và mô hình đe dọa.

Kịch bản Lab

Kịch bản Lab và quy trình kiểm thử an toàn.

Benchmark và tiêu chí đo lường

Bộ dữ liệu đánh giá, benchmark hoặc bộ tiêu chí đo lường.

Mô hình thử nghiệm

Mô hình thử nghiệm hỗ trợ phân tích bảo mật.

Đánh giá rủi ro

Báo cáo đánh giá rủi ro và khuyến nghị phòng thủ.

Tài liệu kỹ thuật và đào tạo

Tài liệu kỹ thuật, hướng dẫn thực hành và tài liệu đào tạo.

Hợp Tác Nghiên Cứu R57-03

CL57PRO và hệ sinh thái OpenLAB R&D57 định hướng kết nối doanh nghiệp, trường đại học, viện nghiên cứu và chuyên gia cùng quan tâm đến AI đáng tin cậy, an ninh mạng và quản trị rủi ro số.

Nếu đơn vị của bạn đang có bài toán về bảo mật hệ thống AI, ứng dụng AI trong SOC hoặc xây dựng quy trình kiểm thử và quản trị AI, hãy liên hệ để trao đổi về mục tiêu, phạm vi và phương án hợp tác phù hợp.

R57-03: Nghiên cứu AI an toàn, tăng cường năng lực phòng thủ và xây dựng niềm tin trong môi trường số.

Open R&D 57

Lịch khai giảng

ĐĂNG KÝ NGAY