Cognitieve en conversatiehulpmiddelen staan ​​centraal bij Microsoft Build

Wat me deze week het meest verbaasde tijdens de Microsoft Build-conferentie, was de nadruk op cognitieve en conversatieservices, omdat Microsoft zijn visie op de ontwikkeling van dergelijke services in de toekomst ontwikkelde en probeerde ontwikkelaars te overtuigen om aan deze visie mee te werken. Veel van het zal pas later duidelijk zijn voor eindgebruikers - de grootste functies voor eindgebruikers voor nu zijn verbeteringen aan de Cortana personal assistant en nieuwe inktfuncties in de "Anniversary Edition" van Windows 10 die deze zomer uitkomt. Maar de druk om ervoor te zorgen dat Microsoft zijn concurrenten in machine learning, intelligente agents en berichten-apps bijhoudt, is nu meer gericht op ontwikkelaars, omdat het bedrijf al basistoepassingen heeft, maar een ecosysteem nodig heeft om ze indrukwekkender te maken.

Het grootste nieuwe thema dat door CEO Satya Nadella werd geïntroduceerd, was 'gesprekken als een platform', wat lijkt te gaan op het nemen van conversatieplatforms - van Cortana naar Skype tot toepassingen van derden - en het toevoegen van intelligentie daaraan. Het idee is om begrip, voorkeuren en in het bijzonder context toe te voegen aan dergelijke toepassingen.

Hij zei dat er drie hoofdactoren zijn in dergelijke gesprekken: mensen, digitale assistenten en bots. Van persoon tot persoon sprak hij over toepassingen zoals Skype Translate, die proberen betere gesprekken in meerdere talen mogelijk te maken. Hij zei dat een digitale assistent op meerdere apparaten van je op de hoogte is en kan helpen bij dagelijkse taken, zoals het plannen van afspraken. Bots zijn nieuwe applicaties waarmee je in natuurlijke taal kunt praten en hij sprak over een visie waarin je bots in een gesprek kunt oproepen.

Dit alles leidt naar een nieuw platform, zei hij, waar menselijke taal de gebruikersinterface wordt, bots de nieuwe applicaties worden en digitale assistenten als "meta-apps" zijn, zoals de browser, die deels bestaat om andere applicaties te bellen, met al deze applicaties inclusief intelligentie. Hij zei dat dit net zo'n grote platformverandering zou zijn als de GUI, het web of touch op mobiel.

Nadella sprak over hoe de visie was "niet mens versus machine, maar eerder mens met machines", met mensen die voor empathie, emoties en oordelen zorgen, en machines die rekenkracht leveren. Maar hij zei dat het belangrijk was om een ​​'principiële benadering' van machine learning te hebben en deze te gebruiken om menselijke vaardigheden en ervaringen te vergroten, betrouwbaar (in termen van privacy, beveiliging en compliance), inclusief en respectvol te zijn.

Op het laatste punt zei hij dat het belangrijk was dat dergelijke applicaties 'het beste van de mensheid vertegenwoordigen, niet de slechtste', en wees naar Tay, het mislukte experiment van Microsoft om vorige week een chatbot te introduceren, die een dag later moest worden verwijderd toen het aanvallende opmerkingen begon te herhalen. Nadella gaf toe dat het bedrijf het verkeerd had gedaan en zei: "We realiseerden ons snel dat het niet voldeed", maar zei dat het bedrijf dergelijke technologieën zou blijven incuberen, en merkte op dat zijn bots in China en Japan niet dezelfde problemen hadden.

Tot de nieuwe details behoren Cortana die naar Outlook komt, zodat het uw e-mail, contactpersonen en agenda beter kan begrijpen en dingen kan doen zoals het opnieuw plannen van afspraken - een geweldig, zo niet volledig nieuw idee - en in staat zijn om dingen te suggereren die u misschien later wilt doen op basis van je agenda, e-mail of de gesprekken die je hebt gehad. En een nieuwe versie van Skype die nu beschikbaar is, voegt ondersteuning toe voor Cortana en kan bots ondersteunen in zijn videochats, om dingen te doen zoals korte videogesprekken te transcriberen en toegankelijk te zijn voor allerlei services. Microsoft noemde dit met Skype als een 'gesprekscanvas'. Ook dit lijkt geen nieuw idee te zijn - dingen als WeChat en Facebook Messenger hebben al lang bots - maar het laat wel zien hoe Microsoft dit in een platform probeert te veranderen. Het laat ook zien hoe dit platformoverschrijdend kan werken, waarbij de demonstratie begint op een Windows-pc en eindigt in Skype op een Android-telefoon.

Maar het meeste echte nieuws lijkt te liggen in nieuwe aanbiedingen voor ontwikkelaars, met wat nu bekend staat als de Cortana Intelligence Suite (voorheen Cortana Analytics Suite, een goed voorbeeld van welke termen in een bepaald jaar hot zijn).

Dit is in feite een runtime gebouwd op het Azure-platform dat een botframework, cognitieve services en machine learning omvat.

Het bot-framework maakt het eenvoudiger om een ​​bot te maken of om een ​​bot met andere services te verbinden. Ontwikkelaars kunnen deze maken in node.js of C #, en een demo betrof het maken van een bot die pizza's bestelt bij Domino's. Wat ik hier het meest interessant vond, is dat het bedoeld is als een open framework, met bots die niet alleen binnen Cortana en Skype kunnen werken, maar ook Slack, Telegram, eenvoudige sms en andere services. Natuurlijk stonden enkele van de meest interessante alternatieve diensten niet op die lijst - waaronder Apple's Siri, Amazon's Alexa of Facebook's Messenger of WhatsApp.

Een andere demo liet zien hoe sommige aankomende tools het voor ontwikkelaars gemakkelijker maken om regels voor bots en hun begrip van natuurlijke taal toe te voegen of te wijzigen. Het kan andere woorden suggereren die mensen kunnen gebruiken die vergelijkbare betekenissen hebben, gebruik maken van op machine learning gebaseerd natuurlijk taalbegrip om de woordenschat na verloop van tijd te verbeteren, of verzoeken overdragen aan een menselijke assistent als de bot niet begrijpt wat te doen.

Ten slotte introduceerde het bedrijf een veel grotere set van cognitieve diensten, oplopend tot 22 verschillende diensten ten opzichte van 5 vorig jaar. Deze services omvatten een breed scala aan scenario's, waaronder objectherkenning, spraak, kennis en zoeken. Een voorbeeld betrof een onderschriftbot die bijschriften aan afbeeldingen toevoegt, met een combinatie van objectherkenning plus natuurlijke taal. Een ander hulpmiddel genaamd CRIS (Custom Recognition Intelligence Service) leek het veel beter te doen om spraak naar tekst te converteren dan conventionele methoden. Ten slotte demonstreerden ze met behulp van de tools om analyses op Twitter-feeds uit te voeren, profielfoto's te nemen om de leeftijd en het geslacht van een poster te bepalen.

Natuurlijk kondigde Microsoft een verscheidenheid aan andere tools aan die ook op ontwikkelaars waren gericht, waarbij met name werd benadrukt dat Windows het platform moet zijn dat ze gebruiken voor het ontwikkelen van applicaties ongeacht het platform. De meest verrassende van deze nieuwe tools - tenminste tot de geruchten vorige week - is de toevoeging van de BASH-shell van Linux, maar andere tools omvatten een desktop-app-converter voor het verplaatsen van traditionele Win32-desktopapplicaties naar nieuwe Universal-apps; een grote duw voor de Xamarin cross-ontwikkelingstools, suggererend dat ontwikkelaars de kern van een platformoverschrijdende applicatie en de specifieke veranderingen voor elke omgeving, inclusief Android en iOS en Windows, allemaal op een Windows-platform kunnen creëren.

Bovendien liet Microsoft de "ontwikkelaarsmodus" zien, een hulpmiddel om van een Xbox One een machine van een ontwikkelaarsplatform te maken, die vandaag wordt geleverd; en zei dat de eerste versie van HoloLens vanaf vandaag ook beschikbaar was voor ontwikkelaars.

Nadella begon de ochtend met te praten over hoe we nu meer discussie zien over de rol van technologie in onze samenleving, omdat technologie mainstream is geworden en ingebed in ons dagelijks leven, bedrijven en economieën. Hij zei dat er vragen waren over de vraag of technologie de economische groei voor iedereen stimuleert, of dat de economische groei is gestopt ondanks de technologische uitgaven; als het banen mogelijk maakt of verplaatst; en of het duurzame waarden mogelijk maakt of in de weg staat, zoals privacy.

"Ik ben een optimist, " zei hij, gelovend dat technologie economische groei over de hele wereld kan stimuleren, ons kan versterken in ons dagelijks leven en onze blijvende waarde kan ondersteunen. Om dit te doen, zei hij, moeten we ervoor zorgen dat we technologie gebruiken op manieren die dit mogelijk maken, en terugbrengen naar de huidige missie van Microsoft om "elke persoon en elke organisatie op de planeet in staat te stellen meer te bereiken." Dit, zei hij, moet beginnen met ontwikkelaars.

Hij sloot de keynote af met een video die liet zien hoe Saqib Shaikh, een blinde ontwikkelaar bij Microsoft, cognitieve technieken met de slimme bril van Pivothead heeft kunnen gebruiken om informatie over de wereld om hem heen te krijgen. Voorbeelden zijn het horen van mensen die in een park spelen en zijn bril vegen om te horen dat het een jong meisje was dat een frisbee gooide. Dit is nu slechts een onderzoeksproject, maar het was behoorlijk inspirerend en Nadella bracht de ontwikkelaar op het podium.

Voor mij zag ik de keynote als een stap in de richting van het opzetten van nieuwe platforms op basis van machine learning en bots, evenals een erkenning dat Microsoft, hoe succesvol Windows ook is, verre van dominant is in de cloud en in feite de strijd heeft verloren om een ​​belangrijk platform voor mobiele telefoons te worden. (Inderdaad, slechts één demo van de hele keynote werd op Windows Phone gedaan en dat was een Skype-demo die net zo gemakkelijk op Android had kunnen worden uitgevoerd.) Het is dan ook niet verwonderlijk dat Microsoft vooruitkijkt naar het volgende platform - waar, natuurlijk zal het zowel traditionele als nieuwe concurrenten tegenkomen.