Yêu cầu và cỡ máy
Hạ tầng cần có trước khi tự host DataxLand (Kubernetes, Postgres 16, object storage tương thích S3, ổ dùng chung, ingress và TLS), tài nguyên mặc định của từng thành phần và cách chọn object storage theo đám mây.
Hạ tầng cần có
| Hạng mục | Yêu cầu |
|---|---|
| Kubernetes | 1.27 trở lên, nút amd64 hoặc arm64 (ảnh có cả hai kiến trúc) |
| Postgres | Bản 16, dịch vụ có quản lý (RDS, Cloud SQL, Azure Database for PostgreSQL) hoặc cụm Postgres của bạn, có sao lưu |
| Database | Hai database cùng một user: dx (metadata) và dx_lake (catalog của kho). Ứng dụng tự tạo dx_lake nếu user có quyền CREATEDB |
| Object storage | Tương thích S3: hai bucket, một cho kho (mặc định dx-lake), một cho sao lưu (mặc định dx-backups) |
| Ổ dùng chung | StorageClass cấp được PVC ReadWriteMany (EFS, Filestore, Azure Files, NFS, CephFS). Một nút: ReadWriteOnce đủ |
| Ingress | Ingress controller có sẵn trong cụm và tên miền cho web, ví dụ dataxland.corp.example |
| TLS | Chứng chỉ trong Secret, hoặc cert-manager cấp tự động |
| Máy chủ SMTP để gửi thư mời, đặt lại mật khẩu, báo cáo | |
| Model AI | Khóa API của nhà cung cấp model, hoặc model nội bộ tương thích OpenAI (vLLM, Ollama, LM Studio, TGI) |
Tùy chọn: External Secrets Operator (đọc bí mật từ kho bí mật của bạn), Prometheus Operator (thu chỉ số), CNI hỗ trợ NetworkPolicy (Calico, Cilium, Azure NPM, GKE Dataplane V2, AWS VPC CNI có bật policy).
Pod chạy với user không phải root (uid 10001), hệ thống tệp gốc chỉ đọc, bỏ mọi capability, seccompProfile: RuntimeDefault.
Các thiết lập này khớp yêu cầu của chuẩn Pod Security "restricted"; chúng tôi chưa thử trên cụm bắt buộc chuẩn đó.
Tài nguyên mặc định
Theo values.yaml của chart. "Yêu cầu" là phần Kubernetes giữ chỗ; "giới hạn" là trần bộ nhớ của mỗi pod.
| Thành phần | Số bản | CPU yêu cầu | Bộ nhớ yêu cầu | Bộ nhớ giới hạn |
|---|---|---|---|---|
api | 2 | 0,5 | 1 Gi | 3 Gi |
web | 2 | 0,1 | 256 Mi | 768 Mi |
mcp | 1 | 0,25 | 512 Mi | 2 Gi |
worker | 1 | 1 | 2 Gi | 7 Gi |
| Tổng | 2,45 | 5 Gi | 16,5 Gi |
Chỉnh bằng api.resources, web.resources, mcp.resources, worker.resources. Bộ nhớ của api và mcp chủ yếu dành cho
kho đọc: api.readers (mặc định max: 8, memory: 256MB) và mcp.readers (max: 4, memory: 256MB); tích hai số là trần
bộ nhớ kho đọc của mỗi pod. worker.threads (mặc định 4) là số luồng khi build.
Gợi ý cỡ
Các con số dưới đây là ước lượng để bắt đầu, chưa đo trên tải thật của bạn. Theo dõi bộ nhớ và thời gian build trong vài tuần đầu rồi chỉnh.
| Nhỏ | Vừa | Lớn | |
|---|---|---|---|
| Số workspace | đến 10 | 10 đến 50 | trên 50 |
| Nút Kubernetes | 3 × 4 vCPU, 16 GB | 3 × 8 vCPU, 32 GB | 4 nút trở lên × 8 vCPU, 32 GB |
worker giới hạn bộ nhớ | 7 Gi (mặc định) | 12 Gi | 16 Gi trở lên |
api | 2 bản (mặc định) | bật api.autoscaling | bật api.autoscaling, tăng maxReplicas |
| Postgres | 2 vCPU, 4 GB | 4 vCPU, 16 GB | 8 vCPU, 32 GB |
| Ổ dùng chung | 100 Gi (mặc định) | 250 Gi | 500 Gi trở lên |
Dung lượng object storage phụ thuộc lượng dữ liệu nguồn; Parquet nén thường nhỏ hơn nhiều so với dữ liệu gốc. Bucket sao lưu cần chỗ cho số bản giữ lại (mặc định 7 ngày, 4 tuần, 6 tháng).
worker chỉ chạy một bản, nên khi dữ liệu lớn lên thì tăng bộ nhớ và worker.threads của nó, không tăng số bản.
Object storage theo đám mây
DataxLand nói giao thức S3. Cách nối từng loại, đặt trong objectStorage của values:
| Nơi lưu | objectStorage.endpoint | urlStyle | Khóa | Ghi chú |
|---|---|---|---|---|
| AWS S3 | s3.<vùng>.amazonaws.com | vhost | Access key tĩnh của IAM user | IRSA, Pod Identity chưa dùng được |
| Google Cloud Storage | storage.googleapis.com | path | Khóa HMAC của service account | Qua API tương thích S3; đường dẫn vẫn là s3://, không dùng gs:// |
| Azure Blob Storage | để trống, bật s3proxy.enabled | path | Cặp khóa S3 do bạn đặt cho s3proxy | s3proxy chạy trong cụm trước Storage Account. Chưa kiểm trên tài khoản thật |
| On-prem | MinIO, Ceph RGW, hoặc object storage tương thích S3 của nhà cung cấp trong nước | thường path | Theo hệ thống | MinIO cho phép khóa riêng từng workspace |
- Trên S3, GCS và s3proxy, đặt
objectStorage.tenantKeys: "off": một khóa cho cả bucket, dữ liệu mỗi workspace nằm dưới tiền tố riêng. - Với MinIO,
objectStorage.tenantKeys: miniocấp cho mỗi workspace một khóa chỉ đọc ghi được vùng của nó. Khi đó khóa quản trị MinIO chỉ nằm ởworker; chart tự bỏ khóa này khỏiapivàmcp. - Phương án thay cho Azure nếu không muốn qua s3proxy: MinIO tự vận hành trên Azure Disk.
- Nên bật versioning cho cả hai bucket, và khóa ghi một lần (Object Lock, retention, immutability) cho bucket sao lưu.
Mạng
Các pod cần nối được tới: Postgres, object storage, máy chủ model AI, SMTP, các database nguồn bạn định kết nối, và DNS của cụm. Nếu dùng chế độ cách ly mạng, đó cũng là danh sách duy nhất được phép; xem Chế độ cách ly mạng.
Liên quan
Tự host (gói Doanh nghiệp)
Chạy DataxLand trong hạ tầng Kubernetes của doanh nghiệp bằng Helm chart, với giấy phép offline và chế độ cách ly mạng; khi nào nên chọn, gồm những gì, khác bản cloud ở đâu và giới hạn đã biết.
Cài bằng Helm
Cài DataxLand lên Kubernetes bằng Helm chart, gồm Secret bí mật, Secret giấy phép, values tối thiểu cho production, kiểm tra sau khi cài, bản dùng thử với Postgres và MinIO trong cụm, External Secrets, NetworkPolicy và ServiceMonitor.