Ceph

Rencana Upgrade Dari: Ubuntu 18.04 (Bionic) Ceph 15.2.X (Octopus) Ke: Ubuntu 20.04 (Focal) Ceph 16.2.X (Pacific) Prasyarat Klaster dalam keadaan HEALTH_OK Panduan Pasang flag pada klaster dan set default sudo ceph osd set noout sudo ceph osd set nobackfill sudo ceph osd set norecover sudo ceph osd set norebalance Update dan upgrade package sudo apt update -y; sudo apt upgrade -y Upgrade ke Ubuntu Focal sudo apt full-upgrade sudo do-release-upgrade -f DistUpgradeViewNonInteractive Reboot mesin sudo reboot Upgrade package ceph #1: semua package ceph sudo apt install -y ceph #2: spesifik package ceph sudo apt install -y ceph-mon sudo apt install -y ceph-mgr sudo apt install -y ceph-osd Restart servis ceph-mon dan ceph-mgr sudo systemctl restart ceph-mon.target ceph-mgr.target Periksa versi ceph pada klaster sudo ceph versions keluaran { "mon": { "ceph version 16.2.6 (ee28fb57e47e9f88813e24bbf4c14496ca299d31) pacific (stable)": 3 }, "mgr": { "ceph version 16.2.6 (ee28fb57e47e9f88813e24bbf4c14496ca299d31) pacific (stable)": 3 }, "osd": { "ceph version 15.2.14 (cd3bb7e87a2f62c1b862ff3fd8b1eec13391a5be) octopus (stable)": 9 }, "mds": {}, "overall": { "ceph version 15.2.14 (cd3bb7e87a2f62c1b862ff3fd8b1eec13391a5be) octopus (stable)": 9, "ceph version 16.2.6 (ee28fb57e47e9f88813e24bbf4c14496ca299d31) pacific (stable)": 6 } } Restart servis ceph-osd sudo systemctl restart ceph-osd.target Periksa versi ceph pada klaster sudo ceph versions keluaran { "mon": { "ceph version 16.2.6 (ee28fb57e47e9f88813e24bbf4c14496ca299d31) pacific (stable)": 3 }, "mgr": { "ceph version 16.2.6 (ee28fb57e47e9f88813e24bbf4c14496ca299d31) pacific (stable)": 3 }, "osd": { "ceph version 16.2.6 (ee28fb57e47e9f88813e24bbf4c14496ca299d31) pacific (stable)": 9 }, "mds": {}, "overall": { "ceph version 16.2.6 (ee28fb57e47e9f88813e24bbf4c14496ca299d31) pacific (stable)": 15 } } Lepas flag pada klaster sudo ceph osd unset noout sudo ceph osd unset nobackfill sudo ceph osd unset norecover sudo ceph osd unset norebalance Hasil ...

Panduan Merubah pengaturan pg_autoscale_mode pada ceph pool yang sudah ada ceph osd pool set <pool_name> pg_autoscale_mode [warn|on|off] Cara mengatur konfigurasi default pg_autoscale_mode pada ceph pool ceph config set global osd_pool_default_autoscale_mode [warn|on|off] Referensi PG Merging dan Autotuning

Panduan Perintah untuk mematikan fitur insecure global_id reclaim ceph config set mon auth_expose_insecure_global_id_reclaim false ceph config set mon auth_allow_insecure_global_id_reclaim false Referensi CEPH - CVE-2021-20288

Pendahuluan Untuk menyiapkan ceph tiering kita harus menyiapkan 2 pool. 1 sebagai penyimpanan data tetap dan 1 sebagai cache. Panduan Buat crush rule untuk hdd dan ssd ceph osd crush rule create-replicated replicated_hdd default host hdd ceph osd crush rule create-replicated replicated_ssd default host ssd Buat pool untuk hdd dan ssd ceph osd pool create hot-storage 32 32 replicated replicated_ssd ceph osd pool create cold-storage 32 32 replicated replicated_hdd ceph osd pool application enable hot-storage rbd ceph osd pool application enable cold-storage rbd Tambahkan tier, atur cache-mode, dan atur overlay ceph osd tier add cold-storage hot-storage ceph osd tier cache-mode hot-storage writeback ceph osd tier set-overlay cold-storage hot-storage Atur hit_set_type ceph osd pool set hot-storage hit_set_type bloom Referensi Ceph Pools Ceph Tiering

Prasyarat Docker Git Panduan Clone repository ceph_exporter git clone https://github.com/digitalocean/ceph_exporter.git Buat container image cd ceph_exporter/ docker build -t digitalocean/ceph_exporter . Buat keyring untuk ceph_exporter Lakukan dari host yang memiliki ceph.conf dan ceph.client.admin.keyring untuk melakukan administrasi user ceph auth add client.ceph_exporter mon 'allow r' mgr 'allow r' osd 'allow r' mds 'allow r' ceph auth get client.ceph_exporter -o /etc/ceph/ceph.client.ceph_exporter.keyring # Salin keyring ke monitoring node scp /etc/ceph/{ceph.conf,ceph.client.ceph_exporter.keyring} monitoring-node:/etc/ceph Jalankan container docker run -d --name ceph_exporter -v /etc/ceph:/etc/ceph -e CEPH_USER=ceph_exporter -p=9128:9128 -it digitalocean/ceph_exporter Akses endpoint <IP_OR_DOMAIN>:9128 ...

Prasyarat Proxmox terinstall Panduan Bootstrap ceph Buka menu ceph Pilih menu Datacenter Pilih menu Ceph Klik “Install Ceph” Pilih versi ceph Pilih ceph version Klik “Start pacific installation” Konfirmasi instalasi Ketik “Y”. Lalu tekan tombol enter Klik “Next” Konfigurasi klaster ceph Public Network Cluster Network Jumlah replika Minimum replika Monitor node pertama Instalasi sukses. Klik “Finish” Tambah ceph-mon Install package ceph Buat monitor tambahan Datacenter > Pilih Host Pilih menu Ceph Pilih menu Monitor Menu Monitor > Klik “Create” ...

Panduan Tentukan disk untuk simulasi # Lihat OSD ceph osd tree # Temukan lokasi OSD ceph osd find <osd_id> Masuk ke Node OSD ssh ceph-osd-01 Hapus device dari sysfs # echo 1 > /sys/block/BLOCK_DEVICE/device/delete echo 1 > /sys/block/sdb/device/delete Setelah beberapa saat, osd akan menjadi down dan kemudian menjadi out ceph -s ceph osd tree ceph osd tree down ceph osd tree out SCSI Scan (Untuk memunculkan SCSI yang belum terdeteksi oleh Sistem Operasi) # Tampilkan host bus ls /sys/class/scsi_host # Scan ulang scsi berdasarkan host bus echo "- - -" > /sys/class/scsi_host/hostX/scan Referensi Red Hat Ceph Storage 4 Docs - Handling a disk failure

Panduan Hentikan servis jika masih berjalan sudo systemctl stop ceph-osd@<id> Atur state OSD sebagai down dan out ceph osd out <id> ceph osd down <id> Hapus OSD dari klaster ceph # Hapus auth ceph auth rm osd.<osd_id> # Hapus dari CRUSH Map ceph osd crush remove osd.<osd_id> # Hapus dari OSD Map ceph osd rm <osd_id> Zap disk # ceph-volume lvm zap <device_path> --destroy ceph-volume lvm zap /dev/sdX --destroy Solusi (Workaround) Tidak bisa menjalankan ceph-volume lvm destroy Catat informasi mengenai OSD yang ingin dihapus block osd_id ceph-volume lvm list Format Disk menggunakan wipefs wipefs -fa <device_path> Hapus LVM jika masih ada # Lihat device mapper dmsetup ls # Hapus device mapper OSD yang ingin dihapus dmsetup remove <device_map> Zap disk # ceph-volume lvm zap <device_path> --destroy ceph-volume lvm zap /dev/sdX --destroy Referensi Ceph Docs - ceph-volume ZAP The Geek Diary - dmsetup

Pendahuluan Device Class berguna untuk mempermudah ceph untuk mendistribusikan data berdasarkan device class yang telah ditentukan didalam CRUSH Rule Panduan Hapus class default yang didapatkan ketika membuat OSD ceph osd crush rm-device-class <osd_id> Berikan class baru pada OSD yang diinginkan ceph osd crush set-device-class performance $i Contoh memanfaatkan device class # Buat CRUSH rule # Contoh: # ceph osd crush rule create-replicated <rule-name> <root> <failure-domain> <class> ceph osd crush rule create-replicated replicated-performance default host performance # Buat pool ceph osd pool create performance-pool 32 32 replicated replicated-performance Referensi Ceph News - Crush Device Classes

Panduan Rekomendasi cephadm (Container) cephadm tersedia sejak versi v15.2.0 (Octopus). cephadm mendeploy servis-servis Ceph dalam bentuk container, dengan cephadm mempermudah untuk memanajemen klaster seperti menambahkan, menghapuskan, atau memperbarui komponen Ceph. cephadm mendukung docker dan podman sebagai container runtime. Rook (Container / Manage by Kubernetes) Rook tersedia sejak versi Nautilus. Rook men-deploy dan melakukan manajemen klaster Ceph yang berjalan didalam Kubernetes. Jika ingin menggunakan Ceph sebagai storage untuk klaster Kubernetes, Rook adalah tool cocok digunakan. ...