Tự host (Doanh nghiệp)

Yêu cầu và cỡ máy

Hạ tầng cần có trước khi tự host DataxLand (Kubernetes, Postgres 16, object storage tương thích S3, ổ dùng chung, ingress và TLS), tài nguyên mặc định của từng thành phần và cách chọn object storage theo đám mây.

Hạ tầng cần có

Hạng mụcYêu cầu
Kubernetes1.27 trở lên, nút amd64 hoặc arm64 (ảnh có cả hai kiến trúc)
PostgresBản 16, dịch vụ có quản lý (RDS, Cloud SQL, Azure Database for PostgreSQL) hoặc cụm Postgres của bạn, có sao lưu
DatabaseHai database cùng một user: dx (metadata) và dx_lake (catalog của kho). Ứng dụng tự tạo dx_lake nếu user có quyền CREATEDB
Object storageTương thích S3: hai bucket, một cho kho (mặc định dx-lake), một cho sao lưu (mặc định dx-backups)
Ổ dùng chungStorageClass cấp được PVC ReadWriteMany (EFS, Filestore, Azure Files, NFS, CephFS). Một nút: ReadWriteOnce đủ
IngressIngress controller có sẵn trong cụm và tên miền cho web, ví dụ dataxland.corp.example
TLSChứng chỉ trong Secret, hoặc cert-manager cấp tự động
EmailMáy chủ SMTP để gửi thư mời, đặt lại mật khẩu, báo cáo
Model AIKhóa API của nhà cung cấp model, hoặc model nội bộ tương thích OpenAI (vLLM, Ollama, LM Studio, TGI)

Tùy chọn: External Secrets Operator (đọc bí mật từ kho bí mật của bạn), Prometheus Operator (thu chỉ số), CNI hỗ trợ NetworkPolicy (Calico, Cilium, Azure NPM, GKE Dataplane V2, AWS VPC CNI có bật policy).

Pod chạy với user không phải root (uid 10001), hệ thống tệp gốc chỉ đọc, bỏ mọi capability, seccompProfile: RuntimeDefault. Các thiết lập này khớp yêu cầu của chuẩn Pod Security "restricted"; chúng tôi chưa thử trên cụm bắt buộc chuẩn đó.

Tài nguyên mặc định

Theo values.yaml của chart. "Yêu cầu" là phần Kubernetes giữ chỗ; "giới hạn" là trần bộ nhớ của mỗi pod.

Thành phầnSố bảnCPU yêu cầuBộ nhớ yêu cầuBộ nhớ giới hạn
api20,51 Gi3 Gi
web20,1256 Mi768 Mi
mcp10,25512 Mi2 Gi
worker112 Gi7 Gi
Tổng2,455 Gi16,5 Gi

Chỉnh bằng api.resources, web.resources, mcp.resources, worker.resources. Bộ nhớ của api và mcp chủ yếu dành cho kho đọc: api.readers (mặc định max: 8, memory: 256MB) và mcp.readers (max: 4, memory: 256MB); tích hai số là trần bộ nhớ kho đọc của mỗi pod. worker.threads (mặc định 4) là số luồng khi build.

Gợi ý cỡ

Các con số dưới đây là ước lượng để bắt đầu, chưa đo trên tải thật của bạn. Theo dõi bộ nhớ và thời gian build trong vài tuần đầu rồi chỉnh.

NhỏVừaLớn
Số workspaceđến 1010 đến 50trên 50
Nút Kubernetes3 × 4 vCPU, 16 GB3 × 8 vCPU, 32 GB4 nút trở lên × 8 vCPU, 32 GB
worker giới hạn bộ nhớ7 Gi (mặc định)12 Gi16 Gi trở lên
api2 bản (mặc định)bật api.autoscalingbật api.autoscaling, tăng maxReplicas
Postgres2 vCPU, 4 GB4 vCPU, 16 GB8 vCPU, 32 GB
Ổ dùng chung100 Gi (mặc định)250 Gi500 Gi trở lên

Dung lượng object storage phụ thuộc lượng dữ liệu nguồn; Parquet nén thường nhỏ hơn nhiều so với dữ liệu gốc. Bucket sao lưu cần chỗ cho số bản giữ lại (mặc định 7 ngày, 4 tuần, 6 tháng).

worker chỉ chạy một bản, nên khi dữ liệu lớn lên thì tăng bộ nhớ và worker.threads của nó, không tăng số bản.

Object storage theo đám mây

DataxLand nói giao thức S3. Cách nối từng loại, đặt trong objectStorage của values:

Nơi lưuobjectStorage.endpointurlStyleKhóaGhi chú
AWS S3s3.<vùng>.amazonaws.comvhostAccess key tĩnh của IAM userIRSA, Pod Identity chưa dùng được
Google Cloud Storagestorage.googleapis.compathKhóa HMAC của service accountQua API tương thích S3; đường dẫn vẫn là s3://, không dùng gs://
Azure Blob Storageđể trống, bật s3proxy.enabledpathCặp khóa S3 do bạn đặt cho s3proxys3proxy chạy trong cụm trước Storage Account. Chưa kiểm trên tài khoản thật
On-premMinIO, Ceph RGW, hoặc object storage tương thích S3 của nhà cung cấp trong nướcthường pathTheo hệ thốngMinIO cho phép khóa riêng từng workspace
  • Trên S3, GCS và s3proxy, đặt objectStorage.tenantKeys: "off": một khóa cho cả bucket, dữ liệu mỗi workspace nằm dưới tiền tố riêng.
  • Với MinIO, objectStorage.tenantKeys: minio cấp cho mỗi workspace một khóa chỉ đọc ghi được vùng của nó. Khi đó khóa quản trị MinIO chỉ nằm ở worker; chart tự bỏ khóa này khỏi api và mcp.
  • Phương án thay cho Azure nếu không muốn qua s3proxy: MinIO tự vận hành trên Azure Disk.
  • Nên bật versioning cho cả hai bucket, và khóa ghi một lần (Object Lock, retention, immutability) cho bucket sao lưu.

Mạng

Các pod cần nối được tới: Postgres, object storage, máy chủ model AI, SMTP, các database nguồn bạn định kết nối, và DNS của cụm. Nếu dùng chế độ cách ly mạng, đó cũng là danh sách duy nhất được phép; xem Chế độ cách ly mạng.

Liên quan

Markdown