Công cụ chuyển đổi dữ liệu đồ thị

Dữ liệu có cấu trúc là dữ liệu có cấu trúc cố định như RDBMS, Excel, CSV, TSV, RDF. Dữ liệu phi cấu trúc là dữ liệu có cấu trúc của tài liệu (tài liệu web, hướng dẫn sử dụng, v.v.). Quá trình chuyển đổi và tích hợp dữ liệu thành dữ liệu biểu đồ nhằm mục tiêu lưu trữ dữ liệu đó trong GraphDB. Từ đó, các mối quan hệ phức tạp giữa các dữ liệu quy mô lớn khác nhau phân tán bên trong và bên ngoài có thể được xác định dễ dàng và kịp thời hơn.

Sử dụng phương pháp chuyển đổi dữ liệu có thể liên kết cấu trúc nguồn dữ liệu và mô hình dữ liệu sơ đồ tri thức. Đồng thời phương pháp này cũng cho phép trích xuất dữ liệu dưới dạng thuộc tính, giá trị của tài nguyên nhất định tương ứng với mô hình biểu đồ tri thức để chuyển đổi thành dữ liệu đồ thị. Ngoài ra, có thể liên kết trực tiếp, tích hợp RDB và RDF thông qua kỹ thuật ánh xạ trực tiếp RDF (RDF Direct Mapping) của W3C.

Công cụ chuyển đổi dữ liệu của Saltlux hỗ trợ ngôn ngữ ánh xạ (RML: Rule Mapping Language) được sử dụng để chuyển đổi và tích hợp. Công cụ này kết hợp với R2RML của W3C, hỗ trợ RDB và nhiều nguồn dữ liệu đa dạng, lọc dữ liệu trong quá trình ánh xạ (mapping). Qua đó xử lý và đảm bảo chất lượng của dữ liệu đồ thị.

< Bản đồ chuyển đổi dữ liệu – Công cụ chuyển đổi dữ liệu đồ thị >

Giới thiệu

Thông qua ánh xạ các nguồn dữ liệu (DBMS, CSV, RDF,…), công cụ chuyển đổi GraphDB có khả năng tạo ra dữ liệu tương ứng với biểu đồ tri thức. Đồng thời cung cấp tất cả các dữ liệu dạng cấu trúc như RDB, thông qua việc hỗ trợ ngôn ngữ R2RML của W3C và cung cấp ngôn ngữ RML (quy tắc chuyển đổi dữ liệu nội bộ). Ngoài ra cũng cung cấp chức năng chuyển đổi và xử lý dữ liệu người dùng thành chế độ xem dữ liệu ảo (Data View). Người dùng có thể thực hiện việc chuyển đổi dữ liệu nhanh chóng và dễ dàng thông qua công cụ chuyển đổi dữ liệu đồ thị.

< Bảng cấu tạo chức năng – Công cụ chuyển đổi dữ liệu đồ thị >

Chức năng quản lý của công cụ chuyển đổi dữ liệu cho phép người dùng xử lý và chuyển đổi dữ liệu (tiền xử lý dữ liệu, chuyển đổi, hậu xử lý dữ liệu). Công cụ có khả năng ánh xạ và chuyển đổi dữ liệu, trình xem nguồn dữ liệu, trình xem mô hình dữ liệu (schema), xem và kiểm tra SPARQL, xem tệp CSV/Excel, trình soạn thảo và kiểm tra RML, chuyển đổi thống kê.

< Quy trình chuyển đổi dữ liệu đồ thị >

Quy trình chuyển đổi dữ liệu được thực hiện như quy trình lựa chọn nguồn dữ liệu, tạo chế độ xem dữ liệu phù hợp với nguồn dữ liệu, định nghĩa biểu đồ đồ thị, xem dữ liệu và liên kết bản đồ đồ thị, tạo dữ liệu đồ thị. Biểu đồ đồ thị giúp xác định thực thể tương ứng với mô hình đồ thị, được sử dụng trong trường hợp cần tinh lọc giá trị để tạo ra giá trị thuộc tính của tài nguyên nhất định.

< Công cụ và quy trình trích xuất dữ liệu phi cấu trúc dung lượng lớn >

Đặc điểm chính

Công cụ chuyển đổi dữ liệu đồ thị có khả năng xác định trực tiếp chế độ xem (do người dùng xác định) và lọc dữ liệu bằng cách cung cấp chế độ xem dữ liệu ảo (hỗ trợ dữ liệu dung lượng lớn và các nguồn dữ liệu khác nhau), tinh chế và chắt lọc dữ liệu (để chuyển đổi dữ liệu). Ưu điểm lớn nhất của công cụ chuyển đổi dữ liệu đồ thị là người dùng có thể tạo chế độ xem dữ liệu (Data View) dưới dạng plug-in. Do đó, cùng một chức năng có thể được sử dụng cho các dự án khác nhau thông qua địa chỉ URL. Ngoài ra, có thể quản lý cấu hình cho từng dự án đang thực hiện thông qua liên kết với máy chủ quản lý cấu hình (SVN, CVS, Git,…). Công cụ này có những tính năng chính sau:

Chức năng chính và thông số kỹ thuật

Công cụ chuyển đổi GraphDB xử lý việc tạo dữ liệu đồ thị có cấu trúc và phi cấu trúc trong GraphDB Suite. Công cụ này được cấu hình như một công cụ quản lý hỗ trợ chức năng chuyển đổi dữ liệu và vận hành chuyển đổi. Dữ liệu có cấu trúc có thể được trích xuất và chuyển đổi thông qua ánh xạ lược đồ. Trong trường hợp dữ liệu phi cấu trúc, các giá trị thuộc tính cần thiết cho mô hình dữ liệu có thể được trích xuất và chuyển đổi bằng cách kết hợp chức năng trích xuất dữ liệu của KENT.

Chức năng chuyển đổi dữ liệu hỗ trợ các định dạng khác nhau

Chức năng chuyển đổi dữ liệu của GraphDB cung cấp quy trình và phương pháp tạo ra dữ liệu đồ thị. Công cụ cũng cung cấp chức năng kiểm tra kết quả trước khi chuyển đổi và lưu trữ trực tiếp kết quả chuyển đổi vào GraphDB. Chức năng cốt lõi được cấu tạo chủ yếu dưới dạng plug-in để có thể tối ưu hóa theo môi trường người dùng.

Chức năng tăng cường và chuyển đổi dữ liệu đồ thị có dung lượng cực lớn

Công cụ chuyển đổi dữ liệu đồ thị cung cấp quy trình và phương pháp chuyển đổi dữ liệu phức tạp, ví dụ như chuyển đổi, tăng cường kiến thức và sửa lỗi dữ liệu sơ đồ tri thức, cho các tập dữ liệu lớn có ở trong và ngoài dữ liệu của Wikipedia và Wiki data.

GraphDB cung cấp chức năng thu thập dữ liệu, trích xuất, tích hợp, hiệu chỉnh tài nguyên và tạo dữ liệu đồ thị. Công cụ có thể thêm hoặc tối ưu hóa bằng plug-in. Ngoài ra, công cụ còn cung cấp API quản lý và kiểm soát quá trình chuyển đổi.

Chức năng quản lý công cụ chuyển đổi dữ liệu

Công cụ quản lý của công cụ chuyển đổi dữ liệu bao gồm chức năng chỉnh sửa và thực thi quy tắc chuyển đổi dữ liệu, nguồn dữ liệu, chức năng người dùng, SPARQL và trình xem dữ liệu. Từ đó người dùng có thể soạn thảo quy tắc chuyển đổi nhanh chóng và dễ dàng.
Tất cả các chức năng trong công cụ chuyển đổi đều dựa trên không gian tên, cho phép chức năng trùng lặp được sử dụng riêng biệt. Trình chỉnh sửa quy tắc của công cụ quản lý cung cấp chức năng tự động hoàn thành cho các biến số và hằng số. Khi mô hình dữ liệu của người dùng được nhập, trình chỉnh sửa sẽ tự động bao gồm các lớp và thuộc tính trong mục tự động hoàn thành. Từ đó, người dùng có thể dễ dàng tạo quy tắc chuyển đổi sau khi tham khảo các lớp và thuộc tính đó.