Działania odnośnie luk Meltdown i Spectre w lvlup.pro

LVL UP
SystemZ
SystemZ Admin lvlup.pro

Co z bezpieczeństwem CPU?

Grupa badaczy odkryła bardzo poważne błędy powiązane z działaniem procesorów, nawet tych najnowszych.

Z tego powodu wszystkie usługi świadczone przez lvlup wymagają pewnych działań aby móc powstrzymać ewentualne udane ataki korzystające z wykrytych luk.

Generalnie znalezione luki są dość skomplikowane dlatego tym razem nie będę podejmować się dokładnego opisu jak dokładnie to działa. Skupię się na tym aby zabezpieczyć od strony usługodawcy to co jest możliwe.

Są to dokładnie:

Niestety w przypadku każdej usługi będzie wymagany restart węzłów. Łatki są przygotowywane w przyspieszonym tempie co powoduje że są czasami wadliwe co więc może być potrzeba kilkukrotnych instalacji oraz restartów.

Aktualny stan podatności w usługach lvlup

UsługaCVE-2017-5754 (Meltdown)CVE-2017-5753 (Spectre I)CVE-2017-5715 (Spectre II)
VPS KVM
VPS OpenVZ
Hosting Minecraft
Hosting WWW⚠️

- załatano ⚠️ - częściowo załatane - nadal podatne

Post ten będzie edytowany aby informować o sprawie na bieżąco.

10.01.2018

11:12

Próbne restarty na węźle KVM n67

13:33

Panel v3 zostaje zmodyfikowany aby zmniejszyć dolegliwości po restartach węzłów

https://lvlup.rok.ovh/t/panel-klienta-v3-0-rc/4683/#7?u=systemz

14:28

Rozpoczęcie restartów na wszystkich węzłach KVM, po 1, 2 lub 3 maszynach w jednym momencie

15:50

Wszystkie węzły KVM są już zabezpieczone przed CVE-2017-5754 (Meltdown) oraz częściowo przed CVE-2017-5715 (Spectre wariant drugi)

Węzeł n39 nie odpowiada po restarcie, trwa diagnoza problemu.

16:07

Węzeł n39 działa prawidłowo po hard reboocie.

16:32

Trwa restart hostingu WWW.

16:34

Hosting WWW ma już łatkę dla CVE-2017-5754 (Meltdown), CVE-2017-5753 (Spectre wariant pierwszy) oraz częściowo przed CVE-2017-5715 (Spectre wariant drugi)

16:44

VPS OpenVZ a także MC które działa na OpenVZ wymagają łatek które są nadal przygotowywane przez zewnętrzną firmę Cloudlinux w ramach usługi Kernelcare, należy czekać na ich wydanie które przy obecnym ich szacunku to w najlepszym wypadku piątek czyli 12.01.2018, realistyczny jest poślizg do następnego tygodnia

https://cloudlinux.com/cloudlinux-os-blog/entry/intel-cpu-bug-kernelcare-and-cloudlinux

11.01.2018

16:35

Cloudlinux zaczyna wypuszczać łatkę na CVE-2017-5753 (Spectre I). Ciężko oszacować kiedy trafi ona na węzły OpenVZ lecz sądzę że powinno to mieć miejsce jutro

18.01.2018

13:50

Zainstalowane zostały nowe jądra dla węzłów KVM które powinny załatać całkowicie CVE-2017-5753 (Spectre I) i CVE-2017-5715 (Spectre wariant drugi)

Czas restartu węzłów aby zastosować łatki jest w trakcie ustaleń

13:55

Prewencyjny restart Hostingu WWW po instalacji nowego jądra

17:24

Restarty węzłów KVM zostały zaplanowane pomiędzy 22:30 a 23:30 tego samego dnia.

23:20

Węzły KVM są już odporne na CVE-2017-5754 (Meltdown) CVE-2017-5753 (Spectre I) i CVE-2017-5715 (Spectre wariant drugi)

helczyna
helczyna

Jeśli da się określić przewidywany termin załatania luk?

SystemZ
SystemZ Admin lvlup.pro

Obecnie nie da się określić tej daty jeśli mówimy o 100% załataniu wszystkich trzech podatności. Dostawcy sprzętu i oprogramowania nadal nie skończyli pracy nad tym.

Nieznajomy11
Nieznajomy11 Moderator forum.lvlup.pro

Dostałem powiadomienie, że serwer VPS mi nie odpowiada. Myślę - awaria, chociaż w sumie raczej update na dziury w intelu.* Jakże inaczej. =)

*chwilę potem dostałem powiadomienie, że już up.

SystemZ
SystemZ Admin lvlup.pro

Restart węzła licząc ponownie włączenie wszystkich VM nie powinien zająć dłużej niż 5-10 min.

helczyna
helczyna

Czyli węzły OpenVZ zostaną zrestartowane? Czy firma Cloudlinux zrobi łatki bez wymaganego restartu?

SystemZ
SystemZ Admin lvlup.pro

Wszystkie łatki Kernelcare jakie wyszły do tej pory nie wymagały restartu gdyż jest to jedna z głównych cech tego produktu - łatanie kernela bez restartu. Należy jednak pamiętać że zmiany w jądrze są bardzo duże i nie można obiecać że restart nie będzie wymagany. Jest jeszcze kwestia microcode czyli w uproszczeniu oprogramowania procesora które też wymaga aktualizacji a najczęściej taka aktualizacja ma miejsce podczas startu systemu.

bopke
bopke Moderator forum.lvlup.pro
tirex
tirex

Czy te łatki mogły przyczynić się do powolnego działania /dev/random?

SystemZ
SystemZ Admin lvlup.pro

bopke:

Zabawa z restartami zacznie się teraz od nowa?

Generalnie to było do przewidzenia. Luki są bardzo poważne i wymagają bardzo dużo zmian które normalnie by wymagały pewnie miesięcy prac a tutaj wszystko starają się zrobić w dni/tygodnie co wiadomo powoduje spadek jakości kodu 😒

tirex:

Czy te łatki mogły przyczynić się do powolnego działania /dev/random?

Generalnie jeśli dobrze rozumiem chociaż część zmian to pewne zapytania do kernela są dużo wolniejsze. Masz może jakieś konkretne metryki z tym związane dla porównania?

bopke
bopke Moderator forum.lvlup.pro

SystemZ:

Luki są bardzo poważne i wymagają bardzo dużo zmian które normalnie by wymagały pewnie miesięcy prac

O ile dobrze pamiętam to Google podało, że Intel dowiedział się bodaj w czerwcu, mieli czas na prace nad łatkami :thinking:

Timo
Timo Moderator forum.lvlup.pro

Czym by poskutkowało, dla takiego VPSowca jak ja, z serwerem załóżmy TSa, stronką www i sinusbotami, nie podejmowanie żadnych działań co do tych łatek?

Nieznajomy11
Nieznajomy11 Moderator forum.lvlup.pro

Tutaj chodzi bardziej o hosta, nie o guesta. VPS (guest) bez łatek na gospodarzu (hoście) jest w stanie odczytywać pamięć innych maszyn wirtualnych.

Taki pierwszy lepszy przykład: istnieje ryzyko, że vps A odczyta pamięć gospodarza, która jest akurat przydzielona do vpsa B, a on ma tam proces redisa w którym trzyma hasła swojej aplikacji lub inne dane.


W przypadku komputerów domowych działa to podobnie, lecz między aplikacjami. Aplikacja bez uprawnień administratora będzie w stanie uzyskać dostęp do pamięci innych aplikacji.

Bez aktualizowania przeglądarki mogłoby być to nawet możliwe z poziomu JavaScript.

SystemZ
SystemZ Admin lvlup.pro

bopke:

O ile dobrze pamiętam to Google podało, że Intel dowiedział się bodaj w czerwcu, mieli czas na prace nad łatkami :thinking:

Miałem na myśli osoby powiązane z łatkami dla dystrybucji itp. Mój błąd, nie zerknąłem dobrze. Tak, jak najbardziej, Intel mocno spał jak dla mnie 😛

bopke
bopke Moderator forum.lvlup.pro

intel taki śpioch, że znając ten błąd wydał kolejne procesory, które nadal są nań podatne

Oby dostali mocno po kieszeni za to

SystemZ
SystemZ Admin lvlup.pro

Są nowe łatki, wymagają restartu węzłów KVM. Jakie godziny byłyby najmniej uciążliwe dla tej operacji?

Rozumiem że piątek wieczór to najgorszy możliwy termin jaki się da więc chcę go uniknąć. Restart w sobotę czy niedzielę to też sądzę niezbyt dobry pomysł.

Na obecną chwilę sądzę że czwartek (dziś) coś około 23:00 lub piątek coś miedzy 10:00 a 12:00 byłby dla większości okej. Dajcie znać jakie są wasze potrzeby a postaram się dostosować.

luxDev
luxDev Pionier

SystemZ:

Jakie godziny byłyby najmniej uciążliwe dla tej operacji?

Sądzę że dzisiaj (czwartek) jest najlepszą opcją późniejszym wieczorem lub piątek rano, weekend odpada raczej 8)

Timo
Timo Moderator forum.lvlup.pro

Jeśli restart na dniach, to wyłączenie dzisiaj w późnej nocy.

Pantoflarz
Pantoflarz

sądzę że dziś w okolicach 23.00 lub poniedziałek nad ranem - wtedy też mało osób jest :)

SystemZ
SystemZ Admin lvlup.pro

W takim razie wygląda na to że dziś około 23:00 to najlepszy termin. Czyli wstępnie ustalone :slight_smile:

Jestem w trakcie przygotowywania wiadomości email dla klientów KVM tak aby poinformować przed tym faktem jak najwięcej osób. Chcę uniknąć niespodzianek dla klientów gdyż sygnalizowaliście mi że to by się przydało.

SystemZ
SystemZ Admin lvlup.pro

Jestem w trakcie wysyłki powiadomień. Do godziny 18:00 wszyscy klienci VPS KVM powinni otrzymać już maila.

Finalnie restarty odbędą się dziś pomiędzy 22:30 a 23:30.

Edit: Maile zostały wysłane, choć z tego co widzę serwery pocztowe np. WP odrzuciły wiadomości, postaram się aby na przyszłość dostarczalność była lepsza.

SystemZ
SystemZ Admin lvlup.pro

Restarty wykonane. Wygląda na to że wszystkie węzły KVM są teraz odporne na te trzy podatności.

helczyna
helczyna

Cloudlinux się obija czy co? Już dawno miały być łatki na OpenVZ.

SystemZ:

Cloudlinux zaczyna wypuszczać łatkę na CVE-2017-5753 (Spectre I).

Ciężko oszacować kiedy trafi ona na węzły OpenVZ lecz sądzę że powinno to mieć miejsce jutro ^ napisane 11 stycznia

SystemZ
SystemZ Admin lvlup.pro

Podsumowując co piszą u siebie na blogu napotkali na wiele problemów technicznych. Wczoraj naprawili to co znaleźli i dalej testują po dziesiątki godzin czy nie zawieszą tysięcy serwerów na całym świecie jedną łatką 😛