Terraform tham khảo (AWS, GCP, Azure)
Module Terraform mẫu dựng mạng, cụm Kubernetes có quản lý, Postgres, object storage, ổ dùng chung và kho bí mật rồi cài Helm chart DataxLand trên AWS, GCP hoặc Azure; là mẫu tham khảo, chưa chạy trên tài khoản thật.
Các module này là mẫu tham khảo. Chúng mới qua terraform fmt -check và terraform validate, chưa chạy plan hay
apply trên tài khoản đám mây thật. Tên SKU, hạn mức theo vùng, quyền IAM tối thiểu và thời gian chờ có thể phải chỉnh. Đội
hạ tầng của bạn hoặc đối tác triển khai chép thư mục của đám mây mình dùng vào repo hạ tầng riêng rồi điều chỉnh.
DataxLand cung cấp ba thư mục aws/, gcp/, azure/. Mỗi thư mục đọc được độc lập, không dùng module chung.
Bước cuối của mỗi thư mục cài Helm chart bằng helm_release.
Mỗi module dựng gì
| AWS | GCP | Azure | |
|---|---|---|---|
| Mạng | VPC, subnet công khai và riêng mỗi AZ, NAT, S3 gateway endpoint | VPC, subnet có dải phụ cho pod và service, Cloud NAT, Private Service Access | VNet, subnet cho AKS, Postgres và private endpoint, private DNS |
| Kubernetes | EKS, 3 nút m6i.xlarge (4 vCPU, 16 GB) | GKE theo vùng, nút riêng, Dataplane V2, 3 nút e2-standard-4 | AKS, Azure CNI Overlay và Cilium, 3 nút Standard_D4s_v5 |
| Postgres 16 | RDS Multi-AZ, chỉ trong VPC, bắt buộc TLS | Cloud SQL REGIONAL, chỉ IP riêng, chỉ kết nối mã hóa | Flexible Server ZoneRedundant, tích hợp VNet |
Database dx_lake | Job psql trong cụm | Tạo bằng Terraform | Tạo bằng Terraform |
| Ổ dùng chung | EFS, lớp efs-rwx | Filestore, lớp filestore-rwx (tối thiểu 1 TiB) | Azure Files, lớp có sẵn azurefile-csi |
| Object storage | S3, vhost | GCS qua API tương thích S3, path | Blob qua s3proxy trong cụm, path |
| Khóa object storage | IAM user và access key, chỉ hai bucket | Service account và khóa HMAC, chỉ hai bucket | Cặp khóa S3 ngẫu nhiên cho s3proxy |
| Khóa ghi một lần cho sao lưu (tùy chọn) | S3 Object Lock | Retention policy | Immutability policy |
| Kho bí mật | Secrets Manager | Secret Manager | Key Vault |
| Ingress | Không cài | Không cài | Add-on App Routing (tắt được) |
Mỗi module sinh các bí mật của ứng dụng, lưu vào kho bí mật của đám mây và chép vào Secret Kubernetes mà chart đọc. Khóa object storage là khóa tĩnh, một khóa cho cả bucket: ứng dụng chưa dùng được IRSA, Workload Identity hay Managed Identity.
Chạy
Cách chung, chi tiết trong README.md của từng thư mục:
cd aws # hoặc gcp, azure
cp terraform.tfvars.example terraform.tfvars # sửa theo tài khoản của bạn
terraform init
terraform apply -target=<tài nguyên cụm> # lần đầu: dựng cụm trước
kubectl create namespace dataxland
kubectl -n dataxland create secret generic dataxland-license --from-file=license.json
terraform import kubernetes_namespace_v1.this dataxland
terraform applyPhải dựng cụm trước vì provider kubernetes và helm cần cụm đã có. Secret giấy phép do người vận hành tạo ngoài Terraform,
trước lần apply cuối.
AWS
Cần AWS CLI và quyền tạo các tài nguyên trên.
terraform apply -target=aws_eks_node_group.default -target=aws_eks_addon.efs_csi- Không cài ingress controller: dùng AWS Load Balancer Controller hoặc controller sẵn có.
- Số nút cố định; muốn tự co giãn thì cài Cluster Autoscaler hoặc Karpenter.
- Bật bảo vệ xóa cho RDS và cụm; RDS tạo snapshot cuối khi xóa.
GCP
Cần gcloud auth application-default login.
terraform apply -target=google_container_node_pool.default
gcloud container clusters get-credentials <prefix>-gke --region <vùng>- Filestore tier
standardtối thiểu 1 TiB mỗi PVC. Cần nhỏ hơn: NFS tự vận hành, hoặc đổi tier. - Quyền thư mục gốc của Filestore với uid 10001 chưa được kiểm.
Azure
Cần az login và quyền Owner (hoặc Contributor và User Access Administrator) trên subscription.
terraform apply -target=azurerm_kubernetes_cluster.this
az aks get-credentials --resource-group <prefix>-rg --name <prefix>-aks- Object storage đi qua s3proxy, chưa được kiểm với kho DataxLand trên tài khoản thật.
azurefile-csilà Azure Files SMB; hiệu năng build trên SMB chưa được đo. Cần POSIX tốt hơn thì tạo lớp Azure Files NFS.- Lần
applyđầu có thể lỗi 403 khi ghi Key Vault vì quyền chưa có hiệu lực: chờ vài phút rồi chạy lại.
Sau khi chạy
- State Terraform chứa mọi bí mật: dùng backend từ xa có mã hóa và giới hạn quyền.
- Chép
DX_BACKUP_ENCRYPTION_KEY(outputbackup_encryption_key) ra nơi lưu ngoại tuyến. Mất khóa là mất mọi bản sao lưu. - Production nên chuyển sang External Secrets Operator đọc thẳng kho bí mật thay cho Secret do Terraform chép; xem
Cài bằng Helm. Values thêm cho chart đặt qua biến
helm_extra_values. - Module không cài ingress controller, cert-manager, External Secrets Operator hay hệ thống giám sát.
Liên quan
Cài bằng Helm
Cài DataxLand lên Kubernetes bằng Helm chart, gồm Secret bí mật, Secret giấy phép, values tối thiểu cho production, kiểm tra sau khi cài, bản dùng thử với Postgres và MinIO trong cụm, External Secrets, NetworkPolicy và ServiceMonitor.
Chế độ cách ly mạng
Chạy DataxLand trong mạng không ra Internet - danh sách máy chủ được gọi, NetworkPolicy bắt buộc, model AI nội bộ, SMTP nội bộ, tính năng bị tắt, nguồn dữ liệu còn dùng được và cách chép ảnh vào registry nội bộ.