De techniek achter de xkeyscore van de nsa

Als je je even concentreert op de technologie achter XKeyscore - het vermeende overheidsprogramma dat door de NSA wordt gebruikt om terroristen te dwarsbomen - in plaats van de politiek, is het eigenlijk behoorlijk verbijsterend. Sommige rapporten schatten dat het XKeyscore-programma maar liefst 41 miljard records kan verwerken.

De kern van XKeyscore zijn twee belangrijke technologietrends: Big Data en Data Analytics. En het is niet alleen de overheid die dit soort technologie gretig omarmt. Informatie is de heetste grondstof die er is. Hier is een blik op wat er onder de motorkap zit voor zover technische specificaties met een programma zoals XKeyscore, gebaseerd op wat bedrijven die dezelfde grote datasets verzamelen en analyseren, gebruiken en opmerkingen van leveranciers die deze bedrijven helpen die gegevens te verplaatsen.

Verbazingwekkende technologie

Big Data verwijst naar het verzamelen van datasets die zo groot zijn dat specifieke technologie nodig is om die informatie te doorzoeken, analyseren en erover te rapporteren. Data Analytics, kort samengevat, is het proces waarbij die informatie in nette compartimenten wordt onderverdeeld, zodat deze verder kan worden onderzocht.

Waar wordt deze enorme verzameling en analyse van gegevens grotendeels gebruikt? In de particuliere industrie. Melissa Kolodziej, directeur marketingcommunicatie bij Attunity, een oplossingenbedrijf dat bedrijven helpt toegang te krijgen tot grote hoeveelheden gegevens en ze te verplaatsen, zei dat bedrijven in de detailhandel grote hoeveelheden gegevens zullen verzamelen en samenbrengen om de gewoonten van een klant voor details zo specifiek als zien "als deze persoon zojuist shampoo heeft gekocht, zodat ze die klant vervolgens een bijbehorende kortingsbon kunnen aanbieden op zijn mobiele telefoon terwijl hij nog in de winkel is". Kolodziej zei dat bedrijven "bijna real-time mogelijkheden" willen en kunnen hebben als het gaat om het analyseren van deze grote datasets en de wens om informatie zo snel mogelijk te verwijderen.

Verrassende technische bijzonderheden

Er zijn geen echte details beschikbaar over de specifieke technologie die met XKeyscore kan worden gebruikt, behalve het feit dat het gaat om 700 Linux-servers die zich wereldwijd bevinden. Maar het is mogelijk om het type hardware te veronderstellen dat nodig is om deze grote gegevenssets te aggregeren en te beheren. Er zijn slechts een paar leveranciers die het soort machines maken dat zo'n verbazingwekkende verwerkingskracht aankan: Oracle, HP, IBM en EMC zijn degenen die het meest te binnen schieten.

Natuurlijk is het niet alleen het merk van datacenter-ijzer dat het verzamelen en analyseren van enorme hoeveelheden gegevens mogelijk maakt.

"Technologische innovaties in hardware (geheugencapaciteit en snelheid, multicore, multiCPU's) en software (kolomvormige databases, geclusterde bestandssystemen enzovoort) hebben het mogelijk gemaakt om vrijwel onbeperkte hoeveelheden gegevens te 'opslaan', aldus Byron Banks, vice president van database & technologie bij SAP.

Parallelle verwerking, vooruitgang in onbewerkte rekenkracht, evenals enorme opslagcapaciteit tegen relatief lage kosten, hebben dit soort datamining allemaal eenvoudiger gemaakt voor de overheid, ondernemingen en zelfs middelgrote bedrijven. Lawrence Schwartz, vice-president van marketing, Attunity, zei dat de datawarehouses van vandaag "over het algemeen gebouwd zijn om terabytes aan data te ondersteunen."

Het feit dat er zoveel gegevensbronnen zijn, allemaal zo met elkaar verweven, heeft ook bijgedragen aan het analyseren en verzamelen van grote gegevenssets die zo aantrekkelijk zijn voor de industrie. "Ik denk dat mensen altijd al wilden weten wat ze met gegevens moesten doen. In het afgelopen decennium zijn er zoveel informatiebronnen, er is zoveel meer nu dat met elkaar verbonden is. We hadden niet jaren geleden… zoveel rekenkracht, dat er nu kansen zijn, "zei Schwartz.

Aanhoudende uitdagingen en voor de hand liggende controverse

Hoewel de technologie voortgaat met snelle vooruitgang bij het ondersteunen van Big Data en het analyseren van dergelijke gegevens, blijven er uitdagingen.

Volgens Schwartz verzamelen entiteiten vaak meer gegevens dan ze aankunnen. Er is ook "een enorm tekort aan datawetenschappers" beschikbaar om deze verzamelde gegevens te begrijpen.

"De uitdaging met veel bestaande oplossingen en technieken is dat ze niet kunnen begrijpen en identificeren welke nuttige informatie bestaat binnen deze enorme pools van nullen en enen, en deze vervolgens op een tijdige en kosteneffectieve manier kunnen analyseren en gebruiken. Bij SAP hebben we zijn gericht op innovaties die de complexiteit uit het IT-landschap halen en de snelheid en flexibiliteit verbeteren waarmee 'data' kan worden omgezet in nuttige 'informatie' en kan worden geleverd aan de eindgebruiker of applicatie ', aldus SAP's Banks.

Dan zijn er de beveiligingsproblemen. "Vanwege de overvloed aan data die bedrijven en consumenten in de cloud blijven duwen en opslaan, moet het publiek zich zorgen maken over informatiebeveiligingspraktijken van de bedrijven waarvan de cloud onze persoonlijke informatie bevat, " zei Paige Leidig, senior vice president bij CipherCloud. "Terwijl PRISM informatie verzamelt die over specifieke clouds stroomt, volgt XKeyscore actief elke persoon op internet, van bezochte websites tot e-mails die worden uitgewisseld naar posts op sociale media. In beide gevallen bekijkt en verzamelt iemand persoonlijk identificeerbare gegevens zonder toestemming van de gegevenseigenaar - en dat is privacykwestie, zelfs als de motivatie de nationale veiligheid is voor het welzijn van het publiek."

Volgens Leidig zijn deze internetbewakingsprogramma's echter "onze afhankelijkheid van cloud op bedrijfs- en consumentenniveau". Wat betreft het veilig houden van gegevens, of het voorkomen van gegevensdiefstal van hackers of IT-mensen, adviseert Leidig dat "een betere aanpak is om de cloud (en de moordende apps die bedrijven nodig hebben en waar consumenten van houden) in te schakelen door onbreekbare codering te gebruiken voor het versleutelen gegevens om te zetten in wartaal. Op deze manier kunnen ongeautoriseerde gebruikers - of het nu een inlichtingenbureau of een cyberdief is - geen gebruik maken van de gegevens. Geef als extra maatregel controle - en niet cloudproviders - de coderings- / decoderingssleutels.

In het geval van een informatieverzoek (de NSA-brieven waarover we zoveel hebben gehoord), wordt de onderneming op de hoogte gebracht en kan ze direct met de overheid samenwerken in plaats van te worden omzeild en in het donker dat klantgegevens zonder toestemming worden geopend. Dat is het model waarbij de cloudprovider de sleutels vasthoudt, de gegevens overhandigt en bij wet wordt verhinderd het informatieverzoek aan de onderneming bekend te maken."

Het is duidelijk dat de grote discussie die nu in het openbaar is, alleen is omdat de technologie er is om enorme gegevens te verzamelen en te analyseren. Geeft dit de overheid en bedrijven een vergunning om dergelijke technologie te gebruiken voor burgers en klanten? Het is een debat dat zeker nog lang zal duren.

Bekijk voor meer informatie Xkeyscore kijkt niet naar jou, het is de Google voor onderschepte gegevens van de NSA.