Visszaszevasz

Friss topikok

@doktorbloghu

Linkblog

Utolsó kommentek

  • Gyűrött Papír: Üdv! Érdeklődve kattintottam a kiemelt blog részen az alábbi bejegyzésre: "Így csinálj lekvárt cukormentesen" dex.hu/x.php?id=inxinx2&url=http%3A%2F%2Findex.hu%2Findex2%2F%23bloghu%2Fblogozine... (2017.06.22. 10:38) Mi kell ahhoz, hogy az Index2 szerkesztői kiemeljék a posztodat?
  • Sunsetjoy: A radar b@ssza felfogni, hogy kattintok azokra a gombokra, hogy törlés, vagy hogy olvastam. Minden alkalommal tölt egy picit, de csak azért, hogy a hátteret randomizálja... @Samott: Én (mivel 99%-b... (2017.06.20. 20:34) Blog.hu lájk és megújult profil oldal
  • Samott: Csunya lett a Radar (en kb. csak azt hasznalom) lehet valahol temat/dizajnt valtani? Valami letisztultabbra. Illetve index2-on ritkan jarok, de nem talalom hol lehet letiltani a layer-es megjelenest... (2017.06.15. 20:49) Blog.hu lájk és megújult profil oldal
  • kiraly.andras: Tapasztalat: ha nincs regionális szűrés, de mégsem jelenik meg a tartalom, akkor az életkor szerinti szűrés az oka. Ezt ugyanott lehet (kell) kikapcsolni, ahol az említett másikat. (2017.06.15. 10:36) Facebook oldaldoboz tartalmi probléma és persze a megoldás :)
  • trendmanó: Meglettek a követők, hurrá és köszi! (2017.06.08. 18:06) Stat parák és furcsaságok
  • Utolsó 20

Szép napunk volt

2009.03.31. 19:59 Syntax Error

Ma történt egy-két érdekes dolog a blog.hu háza táján. Kezdődött azzal, hogy biztonsági okokból megváltoztattuk az adatbázis elérést, ez élesítés körül okozott egy szűk félórás fennakadást, amely időszakban nem lehetett pl kommentelni, de gyors hegesztésekkel sikerült úrrá lenni a helyzeten. Robi ekkor közölte, hogy az igazi lehalás még csak ezután jön, mert élesít még mást is.

Azt hittük, viccel. Utóbb kiderült, nagyon is igaza lett.

A helyzet ugyanis az, hogy a blog.hu jelenleg elég intenzíven használ file cache-t. Robi szeretett volna betenni egy kivételt, tehát hogy legyen egy blog, ami sosem cachelődik. Megcsinálta, élesítette, két óráig látszólag minden rendben volt. Aztán elkezdett feltűnni hogy a frontend a terminálban egyre kevésbé reagál a billentyűleütésekre. Sikerült fellőni egy topot, ebből megtudtuk hogy a load meredeken nő. Eljutott az akkor all-time rekordnak számító 1000-es értékig, mire sikerült leállítani az apacheot. Ekkor lőttem ezt:

 

Rövidesen visszaált normális értékre minden, azt hittük, valami csak beakadt, ezután már jó lesz. Újraindítottuk az apacheot, újra elszállt, ezúttal meg se állt 1300-ig, mire sikerült megint lelőni.

Eddigre már körülbelül nyolcan (rendszergazdák, fejlesztők vegyesen) mással sem foglalkoztunk mint a hiba keresésével, röpködtek az ötletek, ráfogtuk logfeldolgozó scriptre, nfs-re, mysql watchdogra, mindenre. Végül kimerítettünk minden ötletet, elkezdtük nézegetni az elmúlt időszak svn changesetjeit, ekkor lettünk figyelmesek Robi commitjában arra, hogy a file cache-t meghatározó if-ben sikeresen == szerepel != helyett. Azaz Robi egy röpke mozdulattal kikapcsolta a file cache-t a blog.hu-n úgy ahogy van. Innen nézve viszont meglepő, hogy két óráig minden gond nélkül mentünk.

A tanulság tömören, képi formában összefoglalva Bandesz által:

És végül hogy ez milyen kihatással volt a rendelkezésreállásunkra:

(a nagy sárga csík az amikor először elvesztette a fonalat, a rózsaszín csíkok azok amikor leállítottuk az apache-ot)

Figyeljetek az egyenlőségjelekre!

19 komment

Címkék: bloghu developer error

A bejegyzés trackback címe:

http://szevasztok.blog.hu/api/trackback/id/tr701038198

Kommentek:

A hozzászólások a vonatkozó jogszabályok  értelmében felhasználói tartalomnak minősülnek, értük a szolgáltatás technikai  üzemeltetője semmilyen felelősséget nem vállal, azokat nem ellenőrzi. Kifogás esetén forduljon a blog szerkesztőjéhez. Részletek a  Felhasználási feltételekben.

bandesz · http://blog.hu 2009.03.31. 20:21:54

Azért az kimaradt a sztoriból, hogy (szerencsére csak) a tesztkörnyezetben is sikerült elérni egy hasonlóan vicces helyzetet, csak ott meg = vs. == volt a helyzet.
Látszik, hogy ideje elmenni most már egy hosszabb szabadságra :)

bandesz · http://blog.hu 2009.03.31. 20:26:47

@bandesz: wow, és megjelent az avatarom is, remek ;)

Syntax Error · http://vino.syntaxerror.hu/ 2009.03.31. 20:30:53

ja, meg kihagytam azt is hogy már tegnap sikerült élesen svn del-t nyomnom olyasmire, amiről mégis kiderült hogy kell :)
(úgyhogy aki tegnap fatal errort kapott a bloghun, attól bocs)

asdfasdfasdfsdafasdfasdfasdfasdfasdfasdfasdfasdfas 2009.03.31. 20:37:51

nekem eddig 400 volt a maximum, ekkor 15 perc alatt állt le az apache. gratulálok :D

eszpee · http://bp.underground.hu 2009.04.01. 08:51:40

naposcsibék root jelszóval! :)

robi · http://playground.blog.hu 2009.04.01. 09:13:53

Kedves Gyerekek!

Nagyon figyeljetek, amikor a tanárbácsi, vagy a tanárnéni a Bool algebrát magyarázza!

Syntax Error · http://vino.syntaxerror.hu/ 2009.04.01. 10:41:48

@robi: kár hogy helyesen az Boole algebra
már megint egy karaktert benéztél :P

lipilee · http://lipilee.hu 2009.04.01. 10:43:23

az megvan, amikor akkora a real load, hogy a top bebugol és nem tud már io meg cpu % adatokat mutatni?

sebcsaba 2009.04.01. 23:39:37

Durván nyomjátok a trágárságot ;]

inSay · http://keptar.organic.hu 2009.04.08. 22:18:26

wow. ezekszerint javították már a bugot a top-ban, h 1024 felett átfordul load számláló és 0-ról kezdi

Mr. Big 2009.04.09. 09:20:33

Ugy latom volt eleg ramotok, ezert nem mentetek ki swapbe. Emiatt csak a cpu fogyott el, ami miatt a php kiszolgalas fokozatosan (de meredeken lelassult). Azaz a gep szepen dolgozott, csak mivel egyre tovabb tartott egy futas, emiatt egyre tobb parhuzamos keres esett be, emiatt meg tovabb tartott egy keres kiszolgalasa stb.

Tenyleg olcso lett mostanaban a RAM, hogy vegre nem az a szuk keresztmetszet :)

Syntax Error · http://vino.syntaxerror.hu/ 2009.04.09. 09:59:06

@Mr. Big: jól látod, pontosan ez történt, gyorsuló mértékben szaporodtak a várakozó kérések

az hogy nem kezdett el swappelni nekem is meglepetés volt, régebben többször előfordult olyan is

Mr. Big 2009.04.09. 10:05:58

@Syntax Error: 4GB-be sok elfer, meg talan a fastcgi miatt kevesebbet is eszik rambol.

De mindenesetre szerintem ez az oka annak, hogy par orat kibirt. A loadrol nincs grafikonotok? Gyanitom egy laposabb parabola gorben mozoghatott. Amikor swapbe futsz, akkor meg egy-ket percen belul ugrik fel sok szazra.

Syntax Error · http://vino.syntaxerror.hu/ 2009.04.09. 11:10:31

@Mr. Big: valamelyik nap volt egy fcgi frissítés ami nem sikerült túl jól, na az fordult be 500as loadba azonnal, hatalmas tüskével, mert széjjelswappelte magát. most nem volt ilyen, hanem a gyorsuló parabola amit írsz