Hướng dẫn triển khai Cluster HA trên Proxmox 6.x với Multipath iSCSI.
Bước 1: Cài đặt Proxmox VE 6.0 trên các node node01, node02 và node03.
Thay đổi cấu hình network interface
Tạo một mạng quản lý (management network) và gán địa chỉ IP. Mạng này nên được cấu hình dưới dạng virtual bridge. Bạn có thể thực hiện cấu hình thông qua GUI của Proxmox hoặc bằng console.
Thêm cấu hình mạng quản lý như ví dụ bên dưới bằng cách chỉnh sửa file:
vi /etc/network/interfaces
auto vmbr0
iface vmbr0 inet static
address 10.64.100.100
netmask 24
gateway 10.64.100.254
bridge-ports eno5
bridge-stp off
bridge-fd 0
#Management
Tạo Corporate Network và cấu hình VLAN
Tạo một Corporate Network và cấu hình dưới dạng VLAN. Mạng này nên được gắn với một bridge hỗ trợ VLAN-aware.
Thêm cấu hình Corporate Network như ví dụ bên dưới bằng cách chỉnh sửa file:
vi /etc/network/interfaces
auto vmbr1
iface vmbr1 inet manual
bridge-ports eno6
bridge-stp off
bridge-fd 0
bridge-vlan-aware yes
bridge-vids 2-4096
#Corporate Network
Tạo bonding network cho Cluster HA
Tạo một bonding network interface dùng cho mạng Cluster HA. Bonding có thể cấu hình ở chế độ active-backup hoặc LACP (802.3ad).
(Nếu switch và storage hỗ trợ LACP, nên ưu tiên sử dụng LACP. Card mạng cho hệ này nên là 10GbE.)
Bạn có thể thực hiện cấu hình thông qua GUI của Proxmox hoặc bằng console.
Thêm cấu hình mạng iSCSI như ví dụ bên dưới bằng cách chỉnh sửa file:
vi /etc/network/interfaces
auto bond0
iface bond0 inet static
address 10.64.200.10
netmask 24
bond-slaves ens1f0 ens1f1
bond-miimon 100
bond-mode active-backup
#Datastore-Network
Cấu hình địa chỉ IP cho mạng iSCSI
Gán địa chỉ IPv4 cho mạng iSCSI kết nối giữa các node Proxmox và hệ thống Storage. Mạng này bắt buộc phải được tách biệt khỏi các mạng truy cập hoặc quản lý khác để đảm bảo hiệu năng và an toàn.
Nếu sử dụng VLAN trunk, cần tạo virtual bridge cho mạng truy cập của các server.
Cluster Proxmox phải được khởi tạo trước, sau đó các node còn lại sẽ được join vào cluster thông qua management network hoặc một mạng riêng biệt dành cho cluster.
Bước 2: Hệ thống lưu trữ cần được cài đặt trước. Trong mô hình này, mình sử dụng storage HPE MSA series.
Trước hết, cần khai báo các host trên storage, sau đó tạo cluster group và đưa tất cả các host vào cùng nhóm này.
Tiếp theo, initiator name của từng node phải được thêm vào storage. Bạn có thể kiểm tra initiator name trên mỗi node bằng lệnh:
cat /etc/iscsi/initiatorname.iscsi
Sau khi hoàn tất phần host, tiến hành tạo pool, thêm disk group, rồi tạo virtual volume group. Cuối cùng, cấu hình LUN ID, port và map volume group tới cluster group.
Bước 3: iSCSI cần được cấu hình trực tiếp từ giao diện Proxmox GUI. Tất cả các node phải sử dụng bonding network ở chế độ active-backup, với tối thiểu hai địa chỉ IP cho kết nối iSCSI.
Tiếp theo, chúng ta cần cấu hình iSCSI multipath trên toàn bộ các node để đảm bảo đường truyền dự phòng. Phần này được thực hiện bằng cách chỉnh sửa file cấu hình iSCSI như bên dưới.
vi /etc/iscsi/iscsid.conf
node.startup = automatic
node.session.timeo.replacement_timeout = 15
Tiến hành cài đặt multipath-tools trên toàn bộ các node để hỗ trợ cấu hình iSCSI multipath.
apt-get update
apt-get install multipath-tools
Tiếp theo, tạo file cấu hình multipath trong thư mục /etc để khai báo các thiết lập cần thiết.
touch /etc/multipath.conf
Để cấu hình multipath, WWID của thiết bị cần được khai báo trong file cấu hình. Kiểm tra WWID bằng lệnh dưới đây
/lib/udev/scsi_id -g -u -d /dev/sdc for storage controller-a
/lib/udev/scsi_id -g -u -d /dev/sdd for storage controller-b
WWID sẽ không thay đổi giữa các kết nối TCP, dù thiết bị được truy cập qua nhiều đường khác nhau. Ví dụ: 9400c0ff0002295634c325f7e04000000
Cấu hình file multipath.conf
defaults {
find_multipaths no # for debian 10 and proxmox 6.x
user_friendly_names yes
polling_interval 10
path_selector "round-robin 0"
path_grouping_policy group_by_prio
prio alua
path_checker tur
rr_min_io_rq 100
flush_on_last_del no
max_fds "max"
rr_weight uniform
failback immediate
no_path_retry 18
queue_without_daemon
}
blacklist {
devnode "^(ram|raw|loop|fd|md|dm-|sr|scd|st)[0-9]*"
devnode "^hd[a-z][[0-9]*]"
devnode "^sda[[0-9]*]"
devnode "^cciss!c[0-9]d[0-9]*"
}
multipaths {
multipath {
wwid 9400c0ff0002295634c325f7e04000000
alias msa-storage
}
}
Lưu file multipath.conf lại và khởi động lại Service
systemctl restart multipath-tools.service
Hiện trạng thái Multipath
multipath -ll
Ex:
msa-storage (9400c0ff0002295634c325f7e04000000) dm-5 HPE,MSA 2052 SAN
size=39T features='1 queue_if_no_path' hwhandler='1 alua' wp=rw
|-+- policy='round-robin 0' prio=50 status=active
| `- 2:0:0:0 sdc 8:32 active ready running
`-+- policy='round-robin 0' prio=10 status=enabled
`- 3:0:0:0 sdd 8:48 active ready running
Volume Group cần được tạo thông qua terminal. Bạn có thể thực hiện bằng cách SSH hoặc kết nối console qua VNC.
Trước tiên, cần kiểm tra physical volume (PV) hiện có. Việc này được thực hiện bằng lệnh bên dưới
pvs ()pvdisplay, vgs or fdisk –l
Tạo Volume Group
vgcreate vg-name /dev/mapper/msa-storage
Sau khi tạo xong LVM, tiến hành add LVM disk vào Datacenter trong Proxmox GUI để sử dụng cho cluster.
Datacenter -> Storage -> Add -> LVM
ID: lvm-name
Base storage: Existing volume groups
Volume group: vg-name
Content: Disk Image, Container
Nodes: All
Enable: checked
Shared: Checked
Kiểm tra trạng thái iSCSI bằng lệnh: iscsiadm -m session
Bạn có thể ngắt kết nối iSCSI bằng lệnh: iscsiadm -m node -T "iscsi-iqn-number" --logout
Như vậy, chúng ta đã hoàn tất toàn bộ quá trình cấu hình Proxmox Cluster HA với iSCSI multipath, từ khâu chuẩn bị network, storage, cấu hình multipath cho đến tích hợp LVM và đưa storage vào Datacenter. Khi được triển khai đúng cách, mô hình này mang lại tính sẵn sàng cao, khả năng dự phòng tốt và vận hành ổn định, đáp ứng tốt cho các môi trường production. Hy vọng bài viết này sẽ giúp bạn có cái nhìn rõ ràng hơn và tự tin triển khai Proxmox HA trong thực tế.
Nhận xét
Đăng nhận xét