Từng loại nguồn

PostgreSQL

Nối database PostgreSQL bằng người dùng chỉ đọc, chọn bảng, nạp toàn bộ, tăng dần hoặc CDC; điều kiện bật CDC trên Postgres tự quản, RDS, Cloud SQL, Neon, Supabase.

PostgreSQL cần gói Khởi đầu trở lên. Dữ liệu được chép về kho riêng của workspace qua kết nối chỉ đọc; DataxLand không ghi vào database của bạn.

1. Chuẩn bị người dùng

Tạo một người dùng riêng cho DataxLand, chỉ có quyền đọc:

CREATE ROLE dataxland LOGIN PASSWORD '<mật khẩu mạnh>';
GRANT USAGE ON SCHEMA public TO dataxland;
GRANT SELECT ON ALL TABLES IN SCHEMA public TO dataxland;

Nếu database chỉ mở cho IP nhất định, mở cho địa chỉ máy chủ DataxLand (hỏi đội hỗ trợ).

2. Kết nối

  1. Nguồn dữ liệu → Thêm nguồn, chọn PostgreSQL.
  2. Điền Máy chủ, Cổng (mặc định 5432), Tên database, Schema (mặc định public), Người dùng, Mật khẩu. SSL: Mặc định, prefer, require hoặc disable; dùng require khi database ở ngoài mạng nội bộ.
  3. Bấm Kiểm tra kết nối.
  4. Ở Chọn bảng cần đọc, đánh dấu bảng. Tùy chọn Lọc theo ngày: chọn cột ngày, Từ ngày, Đến ngày để chỉ nạp một khoảng.
  5. Thêm nguồn. Mật khẩu được mã hóa khi lưu và không hiển thị lại.

Sửa sau này ở thẻ Kết nối và bảng → Sửa kết nối; thay đổi có hiệu lực ở lần làm mới kế tiếp.

3. Cách đồng bộ

PostgreSQL hỗ trợ cả ba cách: Toàn bộ, Tăng dần (cần cột con trỏ như updated_at và khóa chính) và CDC (đọc log). Xem Cách đồng bộ và lịch làm mới.

CDC

CDC đọc nhật ký thay đổi (WAL) qua logical replication nên thấy cả dòng bị sửa và bị xóa, và cho phép làm mới tới mỗi 15 phút. DataxLand tạo một replication slot pgoutput riêng cho nguồn; lần đồng bộ đầu nạp toàn bộ.

Bấm Kiểm tra điều kiện CDC ở trang nguồn. Mỗi mục ghi Đạt hoặc Chưa đạt:

Điều kiệnCách đạt
wal_level = logicalĐặt wal_level = logical rồi khởi động lại Postgres. RDS, Aurora: rds.logical_replication = 1. Cloud SQL: cloudsql.logical_decoding = on. Neon, Supabase: bật Logical Replication trong cài đặt dự án
Quyền REPLICATIONALTER ROLE dataxland WITH REPLICATION; (RDS: GRANT rds_replication TO dataxland;)
Còn chỗ cho replication slotTăng max_replication_slots hoặc xóa slot không dùng
Bảng có khóa chính hoặc REPLICA IDENTITY FULLThêm khóa chính, hoặc ALTER TABLE ten_bang REPLICA IDENTITY FULL;
Tạo được publicationNgười dùng sở hữu bảng và có quyền CREATE trên database, hoặc quản trị viên tạo sẵn: CREATE PUBLICATION ten_publication FOR TABLE bang_a, bang_b;

Theo dõi độ trễ

Bấm Xem độ trễ CDC để xem lượng WAL slot đang giữ. Khi slot giữ hơn 1 GB, trang báo Slot CDC đang giữ hơn 1 GB WAL: hãy làm mới thường hơn. Slot không được đồng bộ 7 ngày sẽ bị DataxLand xóa để không làm đầy ổ đĩa của database (có cảnh báo từ ngày thứ 5); lần sau nguồn nạp toàn bộ lại.

Si điều tra bằng SQL

Với PostgreSQL, Si được chạy SQL chỉ đọc trên nguồn khi điều tra, trong giới hạn số câu và chi phí. Bạn cũng tự chạy được ở Duyệt đề xuất → Nâng cao: chạy SQL trên nguồn (nút Ước tính, Chạy trên database).

Liên quan

Markdown