ratkom.net: potraga za nepoznatim

Evo dvije moje omiljene teme ove godine na jednom mjestu: Windows Phone 7 i Cloud Computing. I to samo marketinški na jednom mjestu: Microsoft Research je uspješno povezao potrebe jednog i mogućnosti drugog kreirajući … Windows Phone 7 Cloud Services SDK.

Kako bi pojednostavljeno objasnili što radi ovaj SDK? Omogućuje kreiranje Windows Phone 7 aplikacija koje koriste servise objavljene unutar Microsoft Research odjela (dakle, ne još uvijek aktivne i javno – masovno dosupne), ali one koji su dio projekta “Project Hawaii”. A to je opet inicijativa koja istražuje kako se servisi zasnovani na računalstvu u oblaku mogu koristiti kako bi nadogradili mogućnosti Windows Phone 7 čuda kojeg držite u ruci (mislim… mobitela).

Gradbeni blokovi koje koristi Hawaii nisu tako jednostavni: computation (Windows Azure), storage (Windows Azure); authentication (Windows Live ID); notification; client backup te client-code distribution and location (Orion). Dva servisa koje, u testnom SDK, možete pronaći su Relay i Rendevous, a priprema se i OCR, SpeechToText…

Zašto mi je ovo zanimljivo? Well, pokazuje snagu Software + Services modela: iako imamo ono što imamo u mobitelu, jednostavno je nadograđivati njegove mogućnosti s servisima (dakle, ne aplikacijama, nego mogućnostima koje se nalaze “isprogramirane” u oblaku, a koje mogu biti, zbog modela, prilično kompleksne i sposobne). Hoće li ovo biti i dovoljno brzo? Who cares.. sekunda dvije vamo tamo ionako nam je postalo nebitno. Barem kada znamo da se mobitel spaja “negdje” i radi “nešto”. Gle, gotovo kao PC.

Dakle, imate li neodoljivu želju probati kako to radi u vašem emulatoru (pretpostavljam da nema puno otključanih mobitela: http://research.microsoft.com/en-us/downloads/0c54f42c-84b1-4ad5-a1b3-37008f3b6bff/default.aspx?tag=mantle_skin;content). Volim ove duge, neskraćene linkove.

Ako se nešto želi uvesti na velika vrata u EU, onda to mora biti regulirano, i mora ga odobriti i pratiti …birokracija. Zanimljiva diskusija se odvijala u Davosu (znate zašto baš tamo) vezano uz to kako će EU pristupiti cloud computingu – sve što je za sada nejasno, nedefinirano, nepoznato (po EU) treba malo dovesti pod kontrolu. A tko je bolji od Neelie Kroes, koja je održala slijedeći spič:

http://europa.eu/rapid/pressReleasesAction.do?reference=SPEECH/11/50&format=HTML&aged=0&language=EN&guiLanguage=en

Neelie Kroes

Vice-President of the European Commission responsible for the Digital Agenda

Towards a European Cloud Computing Strategy

World Economic Forum

Davos, 27 January 2011

Ladies and Gentlemen,

Normally I prefer clearly defined concepts. But when it comes to cloud computing I have understood that we cannot wait for a universally agreed definition. We have to act. That is why I am really grateful for the opportunity to discuss the issue with you today.

After two years of intensive work on cloud issues the World Economic Forum has done a great job in bringing together a lot of expertise and experience. And it is a timely exercise indeed.

The potential for a fundamental change in business computing and beyond has been widely recognised. As a result, we see that many private, and increasingly also public, organisations are developing their own approaches to the use of cloud computing.

In theory it is quite clear how the cloud computing revolution could unfold: you can already read about it in books. But it seems to me that there are a number of questions that need to be answered to make it happen in practice. These concern legal, technical and commercial issues.

This is a complex situation and nobody is likely to have all the answers. And cloud computing, in some form, will happen anyway. But the EU has a role to play: we can help make it happen smoother and faster. Before I give you a sketch of my plans, let me anticipate an important question: why should politics get involved? What is the public interest here?

The answer is manifold: just try to come up with an organisation that does not use a database or a network today. There can only be very few of this type, if any. All the others are potential users. This means that we are looking at a potentially vast new service industry. Here are great opportunities for strong European telecoms and high tech SMEs. And as cloud users, including public sector organisations, look for better value for money we can expect productivity gains across Europe’s economy as a whole. A clear role of governments is also to ensure that European achievements, such as effective data protection and the EU’s Single Market, do not clash with cloud computing.

To be sure, the European Commission has done preliminary work over the last few years, such as funding cloud research or analysing the security implications of cloud computing. For example, our European Network and Information Security Agency (ENISA) has just published a report on this.

Now is the time to bring it all together. As foreseen in the Digital Agenda for Europe, I have started work on an EU-wide cloud computing strategy. This goes beyond a policy framework. I want to make Europe not just "cloud-friendly" but "cloud-active". The first condition, strong fixed and mobile communication networks, is already fulfilled. And as you know, I am very busy improving these further and solving remaining problems such as data roaming.

We can deliver cloud computing by using research and innovation to bring about better clouds. Along the way we can modernise our computing infrastructure and give our SMEs a new platform for innovation.

Now let me briefly sketch the three broad areas for the cloud strategy:

• First, the legal framework. This concerns data protection and privacy, including the international dimension. It also concerns laws and other rules that have a bearing on the deployment of cloud computing in public and private organisations. And it concerns users’ rights insofar as they are provided for by law.
• Second, technical and commercial fundamentals. We want to extend our research support and focus on critical issues such as security and availability of cloud services. As a mediator, the Commission can also play a stronger role in the technical standardisation of APIs and data formats, as well as in the development of template contracts and service level agreements.
• Third, the market. We will support pilot projects aiming at cloud deployment. To really harness the power of public procurement we want to engage with our public sector partners on Member State and regional levels to work on common approaches to cloud computing.

Work has started in several of these areas and the deliverable is a document combining analysis and a plan of future actions. I want to have this in place no later than 2012.

To help me get there I will invite cloud providers and cloud users to Brussels for a series of intense consultations in the spring.

Conclusion

Broadband for all – every European digital – is the Digital Agenda’s ICT infrastructure policy. People often ask me what will be done with all that bandwidth. I am convinced that cloud computing is an important part of the answer. If you agree and want to help us to get it right, I am the woman to talk to.

Media:

http://www.zdnet.co.uk/news/cloud/2011/01/28/kroes-eu-can-drive-the-cloud-40091596/?s_cid=938

Rezultat naravno, bit će dokument. Ili više njih. Srećom po nas, ponekad se tržište samoregulira. A politika onda može uzeti zasluge za sebe. Što bi mi bez Neelie. No dobro, samo neka ide naprijed i neka se razvija.

[cc] Računalstvo u oblacima: Ekonomija velikih brojeva na strani kupaca /Demand Side Economics of Scale (2)

U prošlom blogu povezanom s Cloud Computingom dali smo pregled prednosti koje računalstvo u oblacima donosi za ponuditelje. Što je s kupcima?

Ukupni troškovi IT organizacija ili rješenja nisu određeni samo troškovima ukupnog kapaciteta kojeg posjeduju, nego i postotku učinkovitog iskorištenjatih kapaciteta. Kad razgovaramo o datacentrima, potrebno je sagledati učinak koji zbrajanje zahtjeva kupaca (demand aggregation) ima na troškove uporabe iskorištenih resursa (procesori, mreža, memorija, prostori za pohranu…).

Kod ne-virtualiziranih datacentara, pojedina aplikacija ili radno opterećenje (workload) uobičajeno se izvodi na zasebnom fizičkom poslužitelju (naravno, na jednom fizičkom poslužitelju može se pokrenuti više aplikacija, ali to nije uobičajena praksa. Ponekad je teško maknuti aplikaciju koja radi na drugi poslužitelj, bez intervencije u operacijski sustav – tako da pokretanje više aplikacija uglavnom predstavlja usko grlo koje je teško usklađivati kad se isporučuje usluga). Ovakav pristup znači da se broj poslužitelja linearno povećava s brojem radnih opeterećenja na poslužitelju. Kod ovog modela iskorištenjer poslužitelja je tradicionalno vrlo nisko, između 5% i 10% (izvor: The Economics of Virtualization: Moving Toward an Application-Based Cost Model, IDC, November, 2009). Virtualizacija omogućuje da se višestruke aplikacije pokreću na jednom fizičkom poslužitelju unutar posebno aplikaciji prilagođene instance operacijskog sustava, tako da je primarna prednost virtualizacije mogućnost da manje poslužitelja može podnijeti isti broj radnog opetrećenja. Kako ovo utječe na ekonomiju velikih brojeva? Kada bi sva radna opterećenja imala istu iskoristivost, ovo bi se pretvorilo u jednostavno sažimanje potreba s predvidivim opterećenjima. No, u stvarnosti se opterećenja značajno mijenjaju tijekom vremena, često zahtjevajući velike resurse u jednom trenutku, dok u slijedećem ne zahtjevaju gotovo ništa. Ovo otvara značajne mogućnosti za poboljšanje iskoristivosti putem zbrajanja i podjele (aggregation and diversification) zahtjeva od strane kupaca.

Analiza opterećenja je pokazala da postoje različiti izvori varijabilnosti iskoristivosti – zanimljivo je pogledati na koji način računalstvo u oblacima može odgovoriti na njih i time smanjiti troškove.

1. Slučajnost (RANDOMNESS). Uzorci opterećenja krajnjeg korisnika sadrži određene elemente slučajnosti. Na primjer, ljudi provjeravaju svoju elektroničku poštu u različita vremena (slika). Kako bi se zadovoljili pragovi service-level ugovora, potrebno je ugraditi kapacitet (buffer) koji može predvidjeti da će pojedini korisnici iste aktivnosti provesti u isto vrijeme. Ako je poslužitelje moguće dodavati prema potrebi, varijabilnost je moguće smanjiti.

slika: opterećenje Exchange poslužitelja tijekom vremena (izvor: Microsoft)

2. Dnevni uzorci (TIME OF THE DAY PATTERNS). Postoje predvidivi dnevni uzorci u ponašanju korisnika: servisi koji poslužuju krajnje korisnike (consumer) uobičajeno su najopterećeniji krajem dana, dok servisi koji poslužuju poslovne korisnike uobičajeno su najopterećeniji tijekom radnog dana. Planiranje kapaciteta mora uzeti u obzir ovakve uzorke, ali neće biti iskorišteno tijekom drugog dijela dana što će uzrokovati nisko iskorištenje resursa. Jedan od primjera izbjegavanja ovog problema je podjela radnog opterećenja putem više vremenskih zona koji se pokreću na istim poslužiteljima (slika).

slika: dnevni uzorci volumena pretraživanja, izvor: Bing Search volumeni u 24 sata

3. Varijabilnost ovisno o industriji (INDUSTRY-SPECIFIC VARIABILITY). Ponekad je varijabilnost opterećenja ovisna o dinamici pojedine industrije koja stvara opterećenje. Tvrtke koje prodaju robu široke potrošnje najveće opterećenje imaju tijekom praznika, dok tvrtke koje obrađuju porezne prijave gužvu imaju u veljači (barem u Hrvatskoj). Postoje različite vrste varijabilnosti koju donosi industrija – neke koje se ponavljaju i koje je moguće predvidjeti, kao što je predaja poreza, dok su neke potpuno nepredvidljive, kao što su neočekivane velike vijesti o potresu ili slično. No ukupan rezultat je očekivanje da kapacitet mora podnijeti očekivano vršno opterećenje (plus dio predviđene pogreške). Većina ovog kapaciteta će biti neiskorištena većinu vremena (slika).

slika: varijabilnost po industriji (izvor: Alexa Internet)

4. Varijabilnost uporabe resursa (MULTI-RESOURCE VARIABILITY). Compute, storage, input/output (I/O) resursi uobičajeno se kupuju zajedno: poslužitelj sadrži određenu količinu računalne snage (CPU), prostor za pohranu te I/O mogućnosti (pristup prostoru za pohranu). Pojedina radna opterećenja, kao što su pretraživanje koriste veću računalnu snagu, ali relativno malo prostora na disku ili kapaciteta I/O, dok druga radna opterećenja kao što je email koriste dosta prostora za pohranu ali malo računalne snage (slika). Iako je moguće prilagođavati kapacitet kupujući poslužitelje koji su prilagođeni za određena radna opterećenja, ovakav pristup rješava problem samo s jedne strane, jer smanjuje prilagodljivost i uglavnom nije ekonomski isplativ iz perspektive kapaciteta. Varijabilnost vodi ka neuporabljenim resursima osim ako ne primjenjujemo različita radna opterećenja koja imaju komplementarnu uporabu resursa.

slika: varijabilnost različite uporabe resursa, izvor: Microsoft

Komplementarna uporaba resursa bi grafički bila prikazana kao kod dnevnih uzoraka, ali to zahtjeva zbilja granularno dijeljenje resursa. Što se preciznije može upravljati resursima, podjela je bolja, a time i učinkovitost.

5. Nepredvidivi uzorci rasta (UNCERTAIN GROWTH PATTERNS). Problemi predviđanja buduće uporabe računalnih resursa i dugotrajno vrijeme da se novi resursi stave u pogon još jedan je razlog neiskorištenja resursa (slika). Organizacije moraju osigurati odobrenje za IT resurse daleko prije no što se potreba dogodi ili prije no što razumiju da moraju resurse osigurati. Čak i velike privatne kompanije imaju ove izazove, jer nije uobičajeno da tvrtke planiraju svoje nabave 6 ili 12 mjeseci unaprijed. Upravljajući radnim opterećenjima raznih korisnika, pružatelji usluga računalstva u oblacima mogu smanjiti ovu varijabilnost, jer se zahtjevi za resursima mogu vrlo lako međusobno kompenzirati.

slika: nepredvidivi uzorci rasta, izvor: Microsoft

No, ovo je nešto što nam je odavno poznato – tako funkcionira većina “on premise” centara u kojima su naslagani poslužitelji. Razlika je u tome što razlike u uporabljenom i dostupnom kapacitetu su uobičajeno daleko veće kod poslužitelja “doma” nego što to možete uočiti na resursima koji su vam dostupni u računalstvu u oblacima. I tamo ima “prekapacitiranja” na dodijeljenim vam resursima, ali… zanemarivo i nevidljivo.

The stats helper monkeys at WordPress.com mulled over how this blog did in 2010, and here’s a high level summary of its overall blog health:

The Blog-Health-o-Meter™ reads Wow.

Crunchy numbers

A Boeing 747-400 passenger jet can hold 416 passengers. This blog was viewed about 12,000 times in 2010. That’s about 29 full 747s.

In 2010, there were 67 new posts, growing the total archive of this blog to 111 posts. There were 124 pictures uploaded, taking up a total of 15mb. That’s about 2 pictures per week.

The busiest day of the year was November 24th with 184 views. The most popular post that day was [cio] Gartner’s Top 10 Technologies for 2011 /moj pogled.

Where did they come from?

The top referring sites in 2010 were bug.hr, facebook.com, microsoft.com, ratkom.bloger.hr, and mswindays.com.

Some visitors came searching, mostly for cloud computing, windows azure, ratkom, emocionalna inteligencija, and ratko mutavdžić.

Attractions in 2010

These are the posts and pages that got the most views in 2010.

[cio] Gartner’s Top 10 Technologies for 2011 /moj pogled November 2010
4 comments

[off] Nagradnjača: Microsoft Silverlight 4 Step by Step knjiga… August 2010
36 comments

[cc] Cloud Computing: tko ima najvećeg… datacentra? April 2010
2 comments

[ms] Microsoft Security Essentials: na hrvatskom jeziku, za 0 kuna! October 2010
2 comments

[ms] WinDays (20)10: prijavite se za predavanje! December 2009
5 comments

Ovim počinjem mali niz postova koji se bave ekonomijom računalstva u oblacima, a ne stranom sklopovlja ili programa. Da ne lutam previše, prevodim dobar dio odličnog dokumenta kojeg je objavio Microsoft, uz poneki domaći komentar i osvrt.

Računalstvo u oblacima kombinira sve ono najbolje što možete pronaći kod mainframe i client / server računalstva. Vrijeme mainframe računalstva bilo je poznato po vrlo visokim troškovima prilikom uspostave sustava te potrebe za zapošljavanjem specijaliziranih djelatnika koji su mogli upravljati tim sustavima. Kako se zahtjevana računalna snaga (mjerena u MIPSovima – milijunima računalnih instrukcija u sekundi) povećavala, troškovi su drastično padali (slika). Međutim, ovakvo računalstvo su si mogli priuštiti samo velike organizacije s centraliziranim IT sustavima koji su mogli skupiti dovoljno radnih zahtjeva kako bi mogli opravdati investiciju u sustav. Zbog visokih troškova, uporaba resursa visoko se proritizirala, te su korisnički zahtjevi čekali u redu i bili obrađeni tek onda kada su resursi bili dostupni.

slika: ekonomija velikih brojeva u računalstvu

S napretkom miniračunala i kasnije klijent /server tehnologija, značajno se smanjio minimalni resurs kojeg je potrebno (za)kupiti, a resursi su postali jednostavniji za upravljanje i održavanje. Ovakva modularizacija resursa značajno je smanjila barijere u pružanju IT usluga, značajno povećavajući dostupnost krajnjim korisnicima. No i dalje je ostalo problem učinkovitog iskorištavanja resursa koji je rezultirao datacentrima koji su bili puni poslužitelja za razne namjene a koji su bili iskorišteni tek sa 5 – 10% kapaciteta (izvor: The Economics of Virtualization: Moving Toward an Application Based Cost Model, IDC, November 2009).

Računalstvo u oblacima (cloud computing) nije povratak u razdoblje mainframe računala, već otvaranje mogućnosti da se ekonomija velikih brojeva i učinkovitost koja je veća no kod mainframea otvori većem broju korisnika, a sve to uz modularnost i prilagodljivost koja je daleko veća od client/server tehnologija, što učinkovito rješava problem iskorištenja kapaciteta.

Slika: promjena modela upravljanja jedinicom na kojoj se gradi datacentar

Ekonomija velikih brojeva temelji se na mogućnostima koje dolaze iz slijedećih područja:

• Cijena električne energije. Cijena energije se značajno povećava i postaje jedan od glavnih elemenata u ukupnim troškovima posjedovanja rješenja (TCO) (ne uključujući troškove rada – studije ukazuju da u datacentrima s malom učinkovitošću trogodišnji trošak na struju i hlađenje, uključujući infrastrukturu, značajno premašuje trogodišnji trošak sklopovlja), i danas sudjeluje sa udjelom od 15% – 20%. Power Usage Effectiveness (PUE) (mjera učinkovitosti datacentra u pretvaranju električne energije u računalnu snagu – najbolja teoretska mjera je 1.0, dok veći brojevi ukazuju na lošiju učinkovitost) uobičajeno je manja u velikim datacentrima. Dok upravitelji malih datacentara moraju plaćati troškove koji su povezani s lokalnim troškovima i mjerilima, upravitelji velikih datacentara mogu plaćati tek četvrtinu prosječne nacionalne mjere tako što će izgraditi datacentre na lokacijama koje nude jeftinu električnu energiju kroz ugovore o kupovini velikih količina električne energije (izvor: U.S. Energy Information Administration i Microsoft. Dok je prosječna cijena kilovata u US 10.15 centi po kilovat satu, neke lokacije prodaju kilovat sat za 2.2 centa.). Pored toga, istraživanja su pokazala da upravitelji više datacentara mogu upravljati koristeći različite iznose cijene električne energije na raznim zemljopisnim područjima, što dodatno smanjuje trošak.
• Troškovi rada na upravljanju infrastrukturom. Iako već sam po sebi cloud computing smanjuje troškove rada bez obzira na veličinu infrastrukture kroz automatizaciju većine zadataka koji se ponavljaju, veći datacentri mogu značajnije smanjiti ove troškove od manjih.Dok jedan upravitelj može u prosjeku održavati do 140 poslužitelja u tradicionalnom enterprise okruženju (izvor: James Hamilton, Microsoft Research, 2006), u okruženju datacentra taj isti upravitelj može upravljati s nekoliko tisuća poslužitelja. Ovakve mogućnosti omogućuju djelatnicima koji upravljaju datacentrom da se posvete uslugama s višim vrijednostima kao što je izgradnja novih mogućnosti ili bolja podrška zahtjevima korisnika.
• Sigurnost i pouzdanost. Iako se ovo uobičajeno smatra glavnom preprekom u javnom prihvaćanju računalstva u oblacima, ekonomija velikih brojeva omogućila je da povećana potreba za sigurnošću i pouzdanošću bude ostvarena uz uglavnom fiksni nivo investicije koji je zahtjevan kako bi se ostvarila operativna sigurnost i pouzdanost. Veliki komercijalni pružatelji usluga računalstva u oblacima uobičajeno pružaju bolji nivo ekspertize nego drugi IT odjeli u organizacijama što zapravo računalstvo u oblacima čini i sigurnijim i pouzdanijim od tradicionalnih sustava.
• Pozicija pregovaranja u kupovini. Upravitelji velikih datacentara mogu ostvariti značajne pogodnosti – na primjer, prilikom kupovine sklopovlja popusti mogu ići do 30% i više posto od osnovne cijene. Ovakve pogodnosti su omogućene standardizacijom na ograničeni broj softverskih i sklopovskih arhitektura – prisjetimo se da je za vrijeme mainframe računala u svijetu postojalo tek 10-tak različitih arhitektura. Čak je i u vrijeme client / server arhitekture postojalo 12-tak UNIX varijanti te Windows Server OS, te x86 i nekoliko RISC arhitektura. Pozicija pregovaranja u kupovini (buying power) nije bila izražena u heterogenim okolinama – kod računalstva u oblacima, homogenost infrastrukture to ponovno dozvoljava.

Gledajući naprijed, vjerojatno će se pojaviti cijeli niz novih „ekonomija velikih brojeva“ koje još u ovom trenutku ne možemo predvidjeti. Industrija računalstva u oblacima tek je u svojim povojima, kao i izgradnja datacentara koji se pojavljuju u zanimljivim veličinama (tablica)

tablica: uobičajeni projekti izgradnje datacentara, izvor: obavijesti za tisak

Ogromne mogućnosti koncentracije resursa koje ovi mega datacentri donose otvoriti će i dodatna pitanja kako ih maksimalno iskoristiti i kako omogućiti da su učinkovitiji za krajnjeg korisnika.

(1) Izvor: The Economics of Cloud, Microsoft, November 2010