Visszaszevasz

Friss topikok

@doktorbloghu

Linkblog

Utolsó kommentek

Címkék

admin (4) ajánló (4) ajánlott bejegyzések (2) akcitó (1) aszf (1) átállás (1) authorship (1) blog.hu (8) bloggazda (1) bloggerek (2) bloggerigazolvány (3) bloggerszövetség (3) bloghu (49) blogok (1) boldaldesign (1) bővebben link (1) buli (2) cemp (1) címkék (2) címlap (4) csr (1) design (2) desktop (1) developer error (1) digg (1) editor (1) előmoderálás (1) élő bolygónk (1) exitpopup (1) exit popup (1) export (1) facebook (5) feedek (1) fejlesztés (4) fejlesztések (29) felhívás (1) fizetett (2) föld (1) fotó (1) frontend (12) funkció (1) futás (1) galéria (1) goldenblog (2) gyerek (1) hatter (1) hellókarácsony (1) hibák (3) híradó (15) hirdetés (1) hr (1) https (1) i2 (3) import (1) inda (1) indanet (1) index2 (3) ingyen (1) instagram (1) játék (1) jobs (1) jótékonyság (1) kapcsolat (2) karácsony (1) kedvezmény (1) képbeszúrás (1) kiemelés (3) klímacsúcs (1) köldöknézés (1) költözés (1) köszönet (2) közléskényszer (1) közösségek (1) közösségi (1) leállások (7) lexikon (1) lexikonnyomat (1) licensz (1) meghívás (1) mobil (4) mobilsablon (2) mosolyka (1) napozz (1) nyereményjáték (1) olimpia (1) pályázat (1) pinterest (1) póló (3) post counter (1) promó (8) sablon (5) snippet (2) statisztika (1) sün (3) süti (1) szabadon felhasználható (1) szájbarágó (5) szavazás (1) szerepkör (1) tematikus nap (2) tovább link (1) tumblr (1) tunézia (1) twitter (1) új (1) új bloghu (9) unicef (1) vivcitta (2)

Szép napunk volt

2009.03.31. 19:59 Syntax Error

Ma történt egy-két érdekes dolog a blog.hu háza táján. Kezdődött azzal, hogy biztonsági okokból megváltoztattuk az adatbázis elérést, ez élesítés körül okozott egy szűk félórás fennakadást, amely időszakban nem lehetett pl kommentelni, de gyors hegesztésekkel sikerült úrrá lenni a helyzeten. Robi ekkor közölte, hogy az igazi lehalás még csak ezután jön, mert élesít még mást is.

Azt hittük, viccel. Utóbb kiderült, nagyon is igaza lett.

A helyzet ugyanis az, hogy a blog.hu jelenleg elég intenzíven használ file cache-t. Robi szeretett volna betenni egy kivételt, tehát hogy legyen egy blog, ami sosem cachelődik. Megcsinálta, élesítette, két óráig látszólag minden rendben volt. Aztán elkezdett feltűnni hogy a frontend a terminálban egyre kevésbé reagál a billentyűleütésekre. Sikerült fellőni egy topot, ebből megtudtuk hogy a load meredeken nő. Eljutott az akkor all-time rekordnak számító 1000-es értékig, mire sikerült leállítani az apacheot. Ekkor lőttem ezt:

 

Rövidesen visszaált normális értékre minden, azt hittük, valami csak beakadt, ezután már jó lesz. Újraindítottuk az apacheot, újra elszállt, ezúttal meg se állt 1300-ig, mire sikerült megint lelőni.

Eddigre már körülbelül nyolcan (rendszergazdák, fejlesztők vegyesen) mással sem foglalkoztunk mint a hiba keresésével, röpködtek az ötletek, ráfogtuk logfeldolgozó scriptre, nfs-re, mysql watchdogra, mindenre. Végül kimerítettünk minden ötletet, elkezdtük nézegetni az elmúlt időszak svn changesetjeit, ekkor lettünk figyelmesek Robi commitjában arra, hogy a file cache-t meghatározó if-ben sikeresen == szerepel != helyett. Azaz Robi egy röpke mozdulattal kikapcsolta a file cache-t a blog.hu-n úgy ahogy van. Innen nézve viszont meglepő, hogy két óráig minden gond nélkül mentünk.

A tanulság tömören, képi formában összefoglalva Bandesz által:

És végül hogy ez milyen kihatással volt a rendelkezésreállásunkra:

(a nagy sárga csík az amikor először elvesztette a fonalat, a rózsaszín csíkok azok amikor leállítottuk az apache-ot)

Figyeljetek az egyenlőségjelekre!

19 komment

Címkék: bloghu developer error

A bejegyzés trackback címe:

https://szevasztok.blog.hu/api/trackback/id/tr291038198

Kommentek:

A hozzászólások a vonatkozó jogszabályok  értelmében felhasználói tartalomnak minősülnek, értük a szolgáltatás technikai  üzemeltetője semmilyen felelősséget nem vállal, azokat nem ellenőrzi. Kifogás esetén forduljon a blog szerkesztőjéhez. Részletek a  Felhasználási feltételekben és az adatvédelmi tájékoztatóban.

bandesz · http://blog.hu 2009.03.31. 20:21:54

Azért az kimaradt a sztoriból, hogy (szerencsére csak) a tesztkörnyezetben is sikerült elérni egy hasonlóan vicces helyzetet, csak ott meg = vs. == volt a helyzet.
Látszik, hogy ideje elmenni most már egy hosszabb szabadságra :)

bandesz · http://blog.hu 2009.03.31. 20:26:47

@bandesz: wow, és megjelent az avatarom is, remek ;)

Syntax Error · http://vino.syntaxerror.hu/ 2009.03.31. 20:30:53

ja, meg kihagytam azt is hogy már tegnap sikerült élesen svn del-t nyomnom olyasmire, amiről mégis kiderült hogy kell :)
(úgyhogy aki tegnap fatal errort kapott a bloghun, attól bocs)

2009.03.31. 20:37:51

nekem eddig 400 volt a maximum, ekkor 15 perc alatt állt le az apache. gratulálok :D

eszpee · http://bp.underground.hu 2009.04.01. 08:51:40

naposcsibék root jelszóval! :)

robi · http://playground.blog.hu 2009.04.01. 09:13:53

Kedves Gyerekek!

Nagyon figyeljetek, amikor a tanárbácsi, vagy a tanárnéni a Bool algebrát magyarázza!

Syntax Error · http://vino.syntaxerror.hu/ 2009.04.01. 10:41:48

@robi: kár hogy helyesen az Boole algebra
már megint egy karaktert benéztél :P

lipilee · http://lipilee.hu 2009.04.01. 10:43:23

az megvan, amikor akkora a real load, hogy a top bebugol és nem tud már io meg cpu % adatokat mutatni?

sebcsaba 2009.04.01. 23:39:37

Durván nyomjátok a trágárságot ;]

inSay · http://keptar.organic.hu 2009.04.08. 22:18:26

wow. ezekszerint javították már a bugot a top-ban, h 1024 felett átfordul load számláló és 0-ról kezdi

Mr. Big 2009.04.09. 09:20:33

Ugy latom volt eleg ramotok, ezert nem mentetek ki swapbe. Emiatt csak a cpu fogyott el, ami miatt a php kiszolgalas fokozatosan (de meredeken lelassult). Azaz a gep szepen dolgozott, csak mivel egyre tovabb tartott egy futas, emiatt egyre tobb parhuzamos keres esett be, emiatt meg tovabb tartott egy keres kiszolgalasa stb.

Tenyleg olcso lett mostanaban a RAM, hogy vegre nem az a szuk keresztmetszet :)

Syntax Error · http://vino.syntaxerror.hu/ 2009.04.09. 09:59:06

@Mr. Big: jól látod, pontosan ez történt, gyorsuló mértékben szaporodtak a várakozó kérések

az hogy nem kezdett el swappelni nekem is meglepetés volt, régebben többször előfordult olyan is

Mr. Big 2009.04.09. 10:05:58

@Syntax Error: 4GB-be sok elfer, meg talan a fastcgi miatt kevesebbet is eszik rambol.

De mindenesetre szerintem ez az oka annak, hogy par orat kibirt. A loadrol nincs grafikonotok? Gyanitom egy laposabb parabola gorben mozoghatott. Amikor swapbe futsz, akkor meg egy-ket percen belul ugrik fel sok szazra.

Syntax Error · http://vino.syntaxerror.hu/ 2009.04.09. 11:10:31

@Mr. Big: valamelyik nap volt egy fcgi frissítés ami nem sikerült túl jól, na az fordult be 500as loadba azonnal, hatalmas tüskével, mert széjjelswappelte magát. most nem volt ilyen, hanem a gyorsuló parabola amit írsz
süti beállítások módosítása