Hops – ett stort steg framåt för Hadoop

Hops är en ny plattform för bearbetning av gigantiska informationsmängder. Det är kraftfullare, säkrare och snabbare än existerande open source-plattformar och lagrar metadata på ett unikt sätt. Hops kan effektivisera bland annat genforskningen och digitala nättjänster.

Den nya plattformen är framtagen av en forskargrupp för distribuerade system vid det svenska forskningsinstitutet SICS Swedish ICT, i samarbete med Kungliga tekniska högskolan, KTH.

Hops presenteras idag, den 8 april, vid Stockholm Hadoop User Group Meetup i Stockholm, arrangerad av företaget Spotify.

Hops är en vidareutveckling av Hadoop – en plattform som används av bland andra Yahoo, Facebook och Spotify för hantering av gigantiska mängder data, så kallad Big Data.

– Hops är ett system med bättre egenskaper än alla andra Hadoop-distributioner på marknaden. Det är lättare att installera och skräddarsy, pålitligare och mer storskaligt. Bara Google har bättre verktyg men dem har ingen annan tillgång till, säger Jim Dowling, ledare av forskningsprojektet vid SICS och KTH.

Speciellt för Hops är lagringen av metadata.

– I Hadoop är mängden metadata begränsad eftersom den måste få plats på en enda Javaprocessor i en dator. I Hops är den lagrad i MySQL Cluster som kan bestå av upp till 48 datorer. I Hops kan man upprätthålla integriteten mellan data och metadata – det är inte möjligt i befintliga plattformar av Hadoop, säger Jim Dowling.

Hops kan få praktisk betydelse på många områden, bland annat inom genforskningen. Jim Dowling nämner det svenska Lifegene-projektet, med mängder av livsstils- och gendata och det engelska The 100 000 Genomes Project med fokus på bland annat cancer. Kartläggning av DNA kräver mycket stor datorkapacitet.

– En vanlig hårddisk på fyra terabyte kan lagra ungefär 20 personers fullständiga DNA-sekvenser, med Hops kan vi skräddarsy plattformar som klarar av hundratusentals personers DNA. Vi kan bygga kluster som motsvarar cirka 10 000 datorer jämfört med dagens maximala 3 500, säger Jim Dowling.

Helt andra verksamheter med behov av att bearbeta mängder med information är företag med digitala tjänster, som vill kunna följa kunderna användningsmönster för att anpassa sina tjänster. Både musikdistributören Spotify, med kluster på 1 100 datorer, och spelföretaget King, utvecklare av bland annat Candy Crush Saga, kan få användning för Hops, enligt Jim Dowling.

Hops står för ”Hadoop Open Platform-as-a-Service”. Hops på engelska betyder humle, därav logotypen.

Open source, eller öppen källkod, ger utvecklare möjlighet att lägga till funktioner och göra ändringar.

Distribuerade system innebär system med data utspridd på många datorer i ett kluster, system som av användaren uppfattas som ett enda sammanhängande system. Ett optimalt exempel är Internet.

Läs mer om Hops http://www.hops.io/www.hops.io

Bild: Jim Dowling (foto Jann Lipka)

Taggar: