Återbygga och fixa RAIDen

Igår skrev jag ju om att en hårddisk i mitt RAID-system hade gett upp. Såklart har jag ju begett mig och införskattat en ersättningdisk, denna inhandlades på Netonnet under lunchen idag. Väl hemma framåt sex-tiden var det så dags att åter igen få igång RAID5:an i bra skick med 5 av 5 hårddiskar. Jag började med att stänga ner alla virtuella maskiner, tjänster och till sist själva den fysiska servern. Efter detta var det dags att byta ut den gamla hårddisken mot den nya som du kan se på bilderna nedan.

JBODen med hårddiskar, det är disken näst längst till höger som är trasig

Den trasiga hårddisken urplockad

Den nya hårddisken strax på plats

Nu var det dags att sparka igång maskinen å den startade upp som den skulle. Startade nu RAIDen med 4 av 5 hårddiskar, alltså precis som den var innan jag bytte den trasiga disken. Dags att lägga till den nya disken, det gjordes med följande kommando:

root@triton:~# mdadm -a /dev/md0 /dev/sde
Nu började mdadm automatiskt att återbygga min RAID med hjälp av information och paritet på de första fyra diskarna. Om ca 5 timmar kommer alltså mitt system att vara i “normal”-läge igen. Förutsatt att allt går som det ska, ska inte säga för mycket nu…

mdadm återbygger informationen på den nya hårddisken

Posted in Noerdighet | Tagged , , , | Leave a comment

Mera hårdvara!

Ganska så snabbt efter att ha fått igång RIOn märktes det att en konsol-dator hade varit trevligt. Då vi har lite brist på rackmonterade servrar som inte används så tog vi en av våra gamla Fujitsu-Siemens-servrar och fixade till. Den fick dubbelt upp på CPU-fronten, dvs. 4 st Pentium III Xeon och numera 4GB ram. Modernt och fint ska det va! Windows 2003 Server installerades utan problem.

Två CPUer

Fyra CPUer

Minnet uppgraderades även det som jag skrev tidigare.

Minne

Även vår NetApp F840 har fått sig en översyn. Studenterna som går tredje året har klagat på att vissa av Ethernet-portarna inte har fungerat, men jag hittade inget fel. Förhoppningsvis var detta ett såkallat “Lager 8″-problem. Precis som med RIO-enheterna så hade NetApp:en batteriproblem, även denna gången löstes det med en manuell laddning.

NetApp F840 med Ethernet-kort och två FibreChannel-kort

Till sist installerade jag om operativsystemet på NetApp:en för att säkerställa att allt gammalt sen tidigare kurser var borta. Studenter som läser Datorhårdvarutekniken kommer själva att få installera om OS:et också.

Ominstallation med DISKETTER! Peak technology!

Posted in Noerdighet | Tagged , | Leave a comment

Stora RAID-failardagen

Idag på jobbet märkte jag plötsligt hur mina tjänster där hemma, bl.a. webbservern som denna bloggen körs på, slutade svara. Blev ju såklart lite irriterad men tänkte inte så mycket mer på det. Vad möts man av när man kommer hem? Jo, detta:

[11347035.179134] ata5.03: exception Emask 0×0 SAct 0×0 SErr 0×0 action 0×0
[11347035.179157] ata5.03: irq_stat 0×00060002, device error via D2H FIS
[11347035.179177] ata5.03: cmd 25/00:10:88:4f:50/00:00:1f:00:00/e0 tag 0 dma 8192 in
[11347035.179178]          res 51/40:00:8f:4f:50/00:00:1f:00:00/e0 Emask 0×9 (media error)
[11347035.179226] ata5.03: status: { DRDY ERR }
[11347035.179241] ata5.03: error: { UNC }
[11347035.180854] ata5.03: configured for UDMA/100

/dev/sde har tydligen bestämt sig för att tokfaila, kom ju som en smocka i nyllet. Av någon anledning har inte mdadm (som jag kör som mjukvaruraid) fattat att disken inte har alla indianerna i kanoten utan kör på som vanligt. Alla VMware-maskiner som kör mot RAIDen får kernel panic när det blir read error och helvetet brakar lös. EFTER detta lyckas den dock lista ut att disken är trasig och kickar ut den från raiden. 30 minuter senare är alla VMware-maskiner upp igen, op5 spammar mig med status-mail från övervakningen mot maskinerna om att tjänster går upp/ner osv. Nog bäst att ta en tripp till Netonnet imorrn och köpa en ny hårddisk till lille filservern så han blir glad igen.

op5 varnar mig, mycket snällt.

Vad blir då kontentan av detta? mdadm borde inte fått läsfel på disken utan märkt av det tidigare så mina VMware-maskiner inte hade dött tycker jag, å andra sidan är jag jäkligt glad att jag har ett RAID-system just nu. </klaga>

Posted in Noerdighet | Tagged , , , , , , , | Leave a comment

Att få igång en Chaparral RIO

Dagen ägnades inte helt förvånande åt att förbereda inför datorhårdvarutekniken. Idag skulle (förhoppningsvis) en av de nya RAID-kontrollrarna som benämns Chaparral RIO sparkas igång. Gårdagens problem med den var ett stort frågetecken, den vägrade helt enkelt starta och vi hade lokaliserat ett minnesproblem så minnesmoduler byttes ut och den startade nu igång, men fungerade inte. För att ta reda på vad som var fel kopplades den seriella konsolen in och efterforskningarna fortsatte.

Stefan funderar på varför RIO:n bråkar

Konsolen berättar att något inte står rätt till

Det visade sig dock att det inte var självklart att konsolen skulle göra oss mer kloka, ty den skrev bara ut en massa tjafs. Efter mycket funderande trixande och fixande så var det en liten kontakt som talar om för själva kontrollern att den är riktigt intryckt i själva enheten som spökande. Vi bytte ut denna mot en från en extrakontroller som vi hade fått med och vips fungerade den. Tro dock inte att problemen var över…

Data Manager B som orsakade mycket huvudvärk

Det visade sig nu att batteriet som håller liv i Data Manager B:s (det finns två Data Managers, A och B, för att få redundans och högre kapacitet) cacheminne i händelse av strömavbrott var dött. Ajajaj, dessa batterier är icke billiga. Dock kom Stefan fram till att kontrollern säkert trodde att batteriet var dött eftersom det legat ett bra tag och självurladdat och pga. detta inte gav någon spänning alls. Vi tog ut batteriet till serviceverkstaden och “ful-laddade” det i ett par minuter med ett universaltrafo. När batteriet nu stoppades tillbaka så hittades det och började laddas! Great success, som Borat skulle sagt.

Batteriet avlägsnas för att kunna "ful-laddas"

Batteriet är laddat och Data Manager B förs tillbaka in i RIO:n

Grön status och orange batteristatus. Batteristatusen blev senare grön när batteriet var fulladdat

Webbgränssnittet bekräftar att laddningen fungerar

Sista steget var att koppla in hela rasket i en dator. Delade ut två logiska enheter och dessa monterades sedan upp i en Windows 2008-maskin. Kontrollerade även att dubbla sökvägar fungerade, vilket det som tur var gjorde.

Dubbla fiberkablar betyder dubbla vägar

Nu monterades mer utrustning i rack, bandroboten flyttades, det filades och skruvades… Men det är en annan historia.

Posted in Noerdighet | Tagged , , | Leave a comment

Hårdvarutekniken förbereds

Nu har jag börjat förbereda nästa läsperiods kurs för min del, Datorhårdvaruteknik. Labbarna detta året kommer att bli ÄNNU bättre än de varit tidigare och vi har en hel del nyintillkommen labbutrustning. “Ny” labbutrustning för detta året:

  1. Ca 35 1U-servrar
  2. 8 st 2U-servrar
  3. 2 st Chaparrall RIO RAID-controllers med tillhörande FC-JBOD:ar fylla med SATA-diskar
  4. En FC-lagringslösning från SGI

Förutom att sätta allt på plats måste all hårdvara testas grundligt så att den fungerar samt laborationer tas fram. Mycket att göra, men kul är det!

RIOs och DotHill-JBODar

Preprummet under upp- och ombyggnad

Posted in Noerdighet | Tagged , | Leave a comment

Snabbguide till ZFS

Jag har ju tidigare visat hur du ganska enkelt kan sätta upp en RAID5a med mdadm under Linux. Här kommer nu en liknande guide fast här använder jag ZFS under Solaris istället.

1. Installera Solaris 10.

2. Till att börja med måste vi skapa en pool med diskar och bestämma vilken typ av RAID-nivå vi vill ha på dem. För att skapa en RAID med en paritetsdisk (RAID5) så använder jag följande kommando:

zpool create raidpool raidz c2t0d0 c2t1d0 c2t2d0 c2t3d0

Detta skapar då en pool som heter raidpool, kör raidz (RAID5) och består av fyra hårddiskar. Listar här nedan mina två zpooler.

Mina pooler: rpool och raidpool

3. Man kan nu skapa flera “containers” inom poolen som behandlas som individuella filsystem. Jag skapar två olika containers, storage och backup.

zfs create raidpool/storage
zfs create raidpool/backup

Det kommer nu att se ut som på bilden nedan.

Två containers i poolen raidpool

4. Sista steget är att ändra monteringspunk på storage-containern. Som man ser i bilden ovan ligger den nu under /raidpool/storage, jag vill istället ha den under /mnt/storage.

mkdir /mnt/storage
zfs set mountpoint=/mnt/storage raidpool/storage

Backupen avslutar jag med att sätta en quota på, denna quota sätter jag till 1GB så max 1GB utrymme kan lagras i denna containern.

zfs set quota=1GB raidpool/backup

Tittar man nu på hur mycket ledigt utrymme som finns på backup-containern med hjälp av zfs list så ser man att det har minskat till 1GB.

Vill du läsa mer om ZFS så finns en Best Practice-guide här.

Posted in Noerdighet | Tagged , , | Leave a comment

Få ut mer av Apple Mail med Letterbox

Jag gillar verkligen Apple Mail. Programmet gör allt jag vill och hanterar alla typer av mailboxar som jag behöver, även Exchange. Dock stör jag mig på upplägget av själva programmet, jag gillar MS Outlook bättre i detta fallet. Dvs. mailboxar/mappar till vänster, sedan en kolumn med alla meddelanden och själva mailet till höger.
Självklart finns det ett sätt att fixa detta, man använder tillägget Letterbox.

Letterbox laddar du ner här: http://harnly.net/software/letterbox/

Här nedan ser du skilladen med Letterbox.

Apple Mail utan Letterbox

Apple Mail med Letterbox

Nu är Apple Mail betydligt trevligare att arbeta med och bättre anpassat till widescreen-skärmar.

Posted in Noerdighet | Tagged , | Leave a comment

Synca din Linuxwebbserver med Dropbox

Detta är en snabb guide för dig som pysslar med t.ex. webbutveckling på många olika datorer och vill synca allt mot en webbserver som kör Linux utan att använda FTP eller liknande protokoll. Min tanke är då att man kan använda Dropbox. Hur man gör detta kommer här nedan!

1. Installera en Ubuntu server (eller någon annan dist).

Ubuntus installationsprogram

2. Följ http://wiki.dropbox.com/TipsAndTricks/TextBasedLinuxInstall och installera Dropbox på din Linux-server. I Ubuntu ska du komma ihåg att installera paketet build-essential, annars kommer du stöta på problem.

Installation av textbaserad Dropbox-klient

3. Dropbox bör nu vara igång och ligga i bakgrunden.

Dropbox ligger i bakgrunden och syncar mina filer

4. Installera Apache (apt-get install apache2 under Ubuntu).

5. Vi ska nu peka om Apaches standardkatalog där den söker efter webbsidor, bilder etc. Gör följande:

  1. Skapa katalogen ~/Dropbox/www
  2. Editera /etc/apache2/sites-avaliable/default och ändra raden DocumentRoot /var/www till DocumentRoot /home/användarnamn/Dropbox/www och spara sedan filen.

6. Du kan nu lägga till en index.html i Dropbox/www på din vanliga arbetsstation och sen testa att gå in på webbserver.

Editering av html-fil för testning

7. Voila! Det funkar! Nu syncar alltså Dropbox alla filer jag sparar och jag använder katalogen www som DocumentRoot på min webbserver. Det enda som är lite dumt med denna lösningen är att ALLT i din Dropbox-katalog syncas över till servern och tar därmed en del utrymme. Du skulle även kunna skapa ett nytt Dropbox-konto och sedan dela ut din www-katalog till det nya kontot och på så sätt begränsa så att bara det innehållet syncas över till webbservern.

Dropbox syncar webbdokumenten

Dropbox syncar webbdokumenten!

Posted in Noerdighet | Tagged , , , | 1 Comment

Irriterande .DS_Store-filer på Mac

Mac OS X skapar som standard filer som heter .DS_Store i varenda mapp du är inne i, även på nätverksenheter. Dessa filer innehåller inställningar för katalogen, anpassade ikoner, med mera. Har du t.ex. även Windows-datorer i nätverket så syns dessa filer (de är dolda på Macen) och är minst sagt irriterande. Det finns dock ett sätt att få bort skapandet av dessa på just nätverksenheter. Gör följande.
1. Öppna terminalen
2. Kör kommandot:

defaults write com.apple.desktopservices DSDontWriteNetworkStores true

3. Logga ut och logga in igen för att inställningarna ska börja gälla.

Klart!

Posted in Noerdighet | Tagged , , | Leave a comment

Mjukvaruraid under Linux

MjukvaruRAID är kanske något som de flesta inte ens funderar på, men själv kör jag det med framgång på min filserver här hemma. Visst, det är inte lika bra som ett riktigt RAID-kort men det har ändå sina fördelar. Jag tänker visa hur du sätter upp en RAID5:a med fyra extrahårddiskar. RAID5 innebär att en av diskarna kan gå sönder utan att datat går förlorat. Du kan lära mer om RAID här.

Vi kommer använda verktyget mdadm som är ett av de mest kända för mjukvaru-RAID under Linux.

1. Första steget är som vanligt att uppdatera sitt system samt installera verktyget vi ska använda.

apt-get update
apt-get upgrade
apt-get install mdadm

Den kommer även att installera lite andra paket.

2. Nu ska vi ta reda på vad våra hårddiskar “heter”. Börja med att titta i /etc/fstab, där bör du hitta namnet på systemdisken (troligen /dev/sda). Kom ihåg detta, för den ska INTE vara med i RAIDen. Hos mig ser det ut som på bilden nedan, fyra “extradiskar” som jag ska RAIDa.

De diskar som ska vara med i RAIDen samt systemdisken sda

3. Det är nu dags att skapa RAIDen. Det gör vi med följande kommando (radbrutet av \):

mdadm --create /dev/md0 --level=5 --raid-devices=4 /dev/sdb\
 /dev/sdc /dev/sdd /dev/sde

Vi skapar alltså RAID-enheten /dev/md0, vi talar om att det är en RAID5:a, att RAIDen ska ha fyra enheter samt sökvägarna till de fyra diskarna.

Här körs mdadm för att skapa RAIDen samt cat /proc/mdstat som innehåller information om alla RAIDer på datorn

4. För att skapa ett filsystem på RAIDen använder vi verktyget mkfs.ext4 som ni ser på bilden nedan.

Att skapa ett filsystem på /dev/md0 med hjälp av mkfs.ext4

5.För att sätta ihop RAIDen efter t.ex. en omstart av datorn kan vi köra följande kommandon:

mdadm --assemble /dev/md0 /dev/sdb /dev/sdc etc.
mdadm --assemble --scan

Det sista av dem scannar av diskarna och försöker själv sätta ihop RAIDen automatiskt.

Vill du stänga av RAIDen ser du till att den inte är monterad och kör:

 mdadm --stop /dev/md0

6. Sista steget är att montera din nya RAID. Skapa en katalog under t.ex. /mnt och montera den där precis som en vanlig hårddisk, alltså:

mount /dev/md0 /mnt/raid

Du kan självklart automatisera allt detta i t.ex. /etc/rc.local och /etc/fstab, men OM något skulle vara fel med RAIDen vid en uppstart är det bättre att kunna dubbelkolla allt och sen köra mdadm –assemble för hand. Vill du vara säker på att du vet hur detta funkar kan det vara bra att testa på det under VMware eller VirtualBox först.

Sist men inte minst så vill jag nämna att mdadm även klarar andra typer av RAID, t.ex. RAID0, RAID1, osv.

Posted in Noerdighet | Tagged , , | 1 Comment