Niedostępność węzła n71.lvlup.pro - 01.04.2018

Archiwum
SystemZ
SystemZ Admin lvlup.pro

Usługi są już dostępne. Poniżej pełen przebieg zdarzeń.

01.04.2018

~11:11

Węzeł n71 przestaje odpowiadać

12:22

Węzeł n71 odpowiada ponownie. Obsługa OVH wymieniła wadliwą płytę główną. Wszystkie alerty monitoringu się wyłączają, wygląda na to że wszystko jest ok. Obsługa wraca do swoich świątecznych zajęć.

~20:40

Obsługa po skończeniu świątecznych zajęć orientuje się że chyba jednak coś jest nie tak.

20:43

Po dwóch testowych rebootach i wstępnych ustaleniach wygląda na to że obsługa OVH przy wymianie płyty głównej nie włączyła obsługi wirtualizacji w BIOS, powodując brak możliwości rozruchu wirtualnych maszyn KVM mimo poprawnej konfiguracji systemu oraz nieuszkodzonego dysku. W przypadku tego typu serwerów dedykowanych obsługa lvlup nie ma możliwości przestawienia tej opcji w BIOS samodzielnie a obsługa OVH prawdopodobnie będzie potrzebować kilka godzin/dni na naprawę tego więc postanawiamy przenieść usługi na inne serwery dedykowane aby mieć gwarancję że klienci nie będą czekać na uruchomienie usług dłużej niż trzeba.

20:45

Rozpoczynamy proces ewakuacji węzła. VPSy z n71 zostaną przeniesione na inne węzły. Przewidywany czas pełnego powrotu usług dotkniętych awarią - 3h

21:03

Napotykamy na problem, system kopii zapasowych Proxmox wymaga wstępnego uruchomienia VM aby zrobić kopię VM, nie możemy skorzystać w takim razie z tej możliwości, używamy planu B.

21:51

15% postępu migracji, plan B działa

22:23

25%

23:08

50%

23:17

60%

23:49

70%

23:54

80%

02.04.2018

00:07

90%

00:42

100% usług jest już dostępnych. Do każdego VPS zostały dodane +24h ważności.

00:55

Dane klientów są już bezpieczne, została wysłana informacja do techników OVH aby sprawdzili ustawienie wirtualizacji.

03.04.2018

07:37

Otrzymałem informację że BIOS zostanie sprawdzony

08:03

Węzeł n71 ma już włączoną opcję wirtualizacji, działa poprawnie

15:06

n71 wraca po testach do "czynnej służby"

Lempik
Lempik

I pewnie z tego powodu też aimpanel hostowany nie działa.

SystemZ
SystemZ Admin lvlup.pro

Yep, niestety znów pech dopadł tego jednego VPSa :/

Lempik
Lempik

Dzięki. Ale aimpanel hostowany to przecież tylko testy, więc nic strasznego mi się nie dzieje.

Timo
Timo Moderator forum.lvlup.pro

SystemZ:

używamy planu B

Skoro i tak czekamy, bo procenty lecą powoli, to można wiedzieć jaki to plan? :D

SystemZ
SystemZ Admin lvlup.pro

Surowe przenoszenie plików VPSa czyli konfiguracji VM oraz dysku pomiędzy węzłami.

Aylin
Aylin ex-admin forum.lvlup.pro

Święta zdecydowanie nie służą sylwetce, węzłom chyba też nie.

april fools|326x500

Lempik
Lempik

Aimpanel już działa, ale nie mam tam żadnych serwerów.

SystemZ
SystemZ Admin lvlup.pro

Naprawione kilka godzin po Twojej wiadomości.