CCài đặt Proxmox VE HA Cluster với HBA-based FC Storage.
Cài đặt Proxmox VE Cluster HA with FC Connection.
Trong bài viết này, chúng ta sẽ cùng tìm hiểu một trong những tính năng mạnh mẽ nhất của Proxmox VE: Triển khai và sử dụng High Availability (HA) trong mô hình Cluster thông qua hạ tầng lưu trữ FC (Fibre Channel).
Trong quá trình cấu hình hệ thống này, chúng ta sẽ sử dụng công cụ quản lý multipath-tools. Mỗi node sẽ được kết nối dự phòng tới cả controller-a và controller-b của hệ thống lưu trữ thông qua hai kết nối FC, và cơ chế dự phòng này sẽ được đảm bảo bằng multipath-tools.
Thông qua mô hình này, chúng ta sẽ thấy rõ những lợi ích cốt lõi của kiến trúc Cluster truyền thống, cũng như hiểu sâu hơn về cách thức triển khai thực tế.
Lưu ý quan trọng
Mạng Cluster: 2×10 Gbit cấu hình LACP + 1×1 Gbit cho mạng quản lý (Link1 – dự phòng)
Mạng Corporate: 4×1 Gbit cấu hình LACP kết hợp với VMBR (hỗ trợ VLAN-aware)
Mạng SDN: Định nghĩa zone riêng cho từng VLAN
Mạng PBS: 2×1 Gbit cấu hình LACP
Mạng Management: 1×1 Gbit sử dụng VMBR
FC Storage: Mỗi node trang bị 2 card FC HBA 36 Gbit
Bước 1: Sau khi hoàn tất cài đặt Proxmox VE 8.4 trên tất cả các node, tiến hành định nghĩa Management Network.
Cập nhật file vi /etc/network/interfaces trên tất cả các node như sau:
auto vmbr0
iface vmbr0 inet static
address 10.45.48.101/24
gateway 10.45.48.254
bridge-ports eno1
bridge-stp off
bridge-fd 0
#Management
Bước 2: Tiến hành cấu hình Cluster Network cho toàn bộ các node trong hệ thống.
auto bond0
iface bond inet static
address 10.100.201.101/24
bond-slaves ens1f0np0 ens1f1np1
bond-miinmon 100
bond-mode 802.3ad
bond-xmit-hash-policy layer3+4
mtu 9000
#Cluster Network
Bước 3: Tiến hành cấu hình LACP và VMBR cho hệ thống mạng Corporate.
auto bond1
iface bond1 inet manual
bond-slaves ens14f0 ens14f1 ens14f2 ens14f3
bond-miimon 100
bond-mode 802.3ad
bond-xmit-hash-policy layer3+4
#Corporate-Bonding
auto vmbr1
iface vmbr1 inet manual
bridge-ports bond1
bridge-stp off
bridge-fd 0
bridge-vlan-aware yes
bridge-vids 2-4096
#Corporate Network
Bước 4: Tiến hành cấu hình LACP bonding cho hệ thống Proxmox Backup Server (PBS).
auto bond2
iface bond2 inet static
address 10.0.0.11/24
bond-slaves ens15f2 ens15f3
bond-miimon 100
bond-mode 802.3ad
bond-xmit-hash-policy layer3+4
#PBS
Lưu ý quan trọng:
Đối với SDN, bạn bắt buộc phải cấu hình các thiết lập mạng này trước. Nếu hệ thống của bạn có nhiều nhóm mạng khác nhau, trước tiên hãy đảm bảo tính dự phòng bằng cách tạo bonding với LACP. Sau đó, bridge interface bonding này và kích hoạt chế độ VLAN-aware.
Sau khi hoàn tất các bước trên, bạn có thể tiếp tục tạo các VLAN trong phần cấu hình SDN.
Bước 5: Nhằm tối ưu việc sử dụng mạng Corporate, tiến hành định nghĩa Zone và VNet trong hệ thống SDN
Datacenter -> SDN -> Zones -> Add
ID: Corp
Bridge: vmbr1
MTU: Default
Node: All
IPAM: Default
Datacenter -> SDN -> VNets -> Create
Name: Corp3
Alias: Optional
Zone: Corp
Tag: 3 (VLAN ID for Trunk)
VLAN Aware: Enable
SDN Zones
SDN VNets
Bước 6: Kiểm tra tình trạng card HBA và driver tương ứng trên từng node. Sau khi đảm bảo kết nối storage ổn định, thực hiện cài đặt cấu hình multipath iSCSI cho toàn bộ hệ thống
lspci | grep -i fibre (Kiểm tra xem các card HBA đã được hệ điều hành nhận diện hay chưa.)
cat /sys/class/fc_host/host*/port_name (Xác minh các kết nối HBA)
Trong trường hợp cần kiểm tra các LUN mới bằng script, thực hiện các bước sau.
apt-get update
apt-get install scsitools
Bước 7: Tiến hành cài đặt multipath-tools nhằm hỗ trợ và quản lý các kết nối Fibre Channel (FC).
apt-get update
apt-get install multipath-tools
touch /etc/multipath.conf
Sử dụng lệnh lsblk hoặc fdisk để xác định các thiết bị mà các kết nối Fibre Channel (FC) được hệ điều hành nhận diện.
Thực hiện các lệnh dưới đây để lấy thông tin WWID. Giá trị WWID này sẽ được đưa vào cấu hình multipath.
/lib/udev/scsi_id -g -u -d /dev/sda #for Storage controller-a
/lib/udev/scsi_id -g -u -d /dev/sdb #for Storage controller-b
Giá trị WWID hiển thị có thể tương tự như 360002ac000000000000000130002cbc7; tuy nhiên, WWID thực tế sẽ phụ thuộc vào hệ thống storage của bạn.
Tiếp theo, tiến hành chỉnh sửa và cập nhật file cấu hình multipath.conf
vi /etc/multipath.conf
defaults {
find_multipaths yes # for debian 12 and proxmox 8.x
user_friendly_names yes
polling_interval 10
path_selector "round-robin 0"
path_grouping_policy group_by_prio
prio alua
path_checker tur
rr_min_io_rq 100
flush_on_last_del no
max_fds "max"
rr_weight uniform
failback immediate
no_path_retry 18
queue_without_daemon
}
blacklist {
devnode "^(ram|raw|loop|fd|md|dm-|sr|scd|st)[0-9]*"
devnode "^hd[a-z][[0-9]*]"
devnode "^sda[[0-9]*]"
devnode "^cciss!c[0-9]d[0-9]*"
}
multipaths {
multipath {
wwid 360002ac000000000000000130002cbc7
alias v-store-1
}
}
Sau khi áp dụng cấu hình phù hợp với môi trường của bạn, lưu thay đổi và thoát, rồi tiến hành khởi động lại dịch vụ Multipath.
systemctl restart multipath-tools.service
Xác minh rằng dịch vụ Multipath đang hoạt động đúng cách
multipath -ll
Kết quả hiển thị sẽ tương tự như sau:
v-store-1 (360002ac000000000000000130002cbc7) dm-5 3PARdata, VV
Tại thời điểm này, quá trình cấu hình có thể trông khá phức tạp. Tuy nhiên, chúng ta đã hoàn tất việc đảm bảo kết nối vật lý giữa các node và hệ thống HPE Alletra. Bước tiếp theo là cấu hình volume group và LVM trên từng node nhằm sử dụng toàn bộ dung lượng lưu trữ.
Đăng nhập vào giao diện shell của một node bất kỳ
vgcreate vg-name /dev/mapper/v-store-1 (Tạo 1 Volume Group)
Datacenter -> Storage -> Add -> LVM (Tạo LVM bằng GUI)
ID: lvm-name
Base storage: Existing volume groups
Volume Group: vg-name
Content: Disk Image, Container
Node: All
Enable: Checked
Shared: Checked
Thiết bị storage sẽ được hệ thống tự động nhận diện trên toàn bộ các node trong cluster.
Hiển thị danh sách các volume group
vgs/vgdisplay
Hiển thị danh sách các physical volume
pvs/pvdisplay
Như vậy, quá trình triển khai cluster với card HBA đã được hoàn tất. Bước tiếp theo là thêm các máy ảo trong cluster vào nhóm HA. Hy vọng nội dung trên mang lại giá trị cho bạn. Hẹn gặp lại ở bài viết tiếp theo.
Nhận xét
Đăng nhận xét