Face and head tracking for Second Life avatars – Massively

We’re seeing some real nice developments that are important for the use of virtual worlds as a place of collaboration and any other social function: non-verbal communication like facial expressions (a smile, surprise, scorn) or other body languages like a nod of your head has been missing. Now sl.vr-wear.com offers a beta viewer for Second Life that uses a camera to track your head and expressions and acts them out with your avatar.

Up to date people adopted various new ways of social behaviour in immersive 3D worlds like Second Life, but the point is that body language and sudden emotions on your face are unconscious behaviour and while typing „lol“ is second nature to most of us by now, it’s still different if you’re suddenly appaled or delighted.

sl.vr-wear.com supposedly shows immediately – and therefore genuinely – these kinds of emotions on your avatar’s face as well. All you need is a webcam and their special SL viewer, available for Windows and MacOS.

Found via: http://www.massively.com/2008/12/01/face-and-head-tracking-for-second-life-avatars/

UPDATE: I couldn’t get it to work on my MacBook Pro and I would like to know if anybody else has had more luck on a Mac. But I found this Seesmic video showing how simple it’ll work (once it works):

VRW – SL Viewer mod – 0.99 beta 1 public release


Another way to talk to machines: Jacking into the brain

Bill Diodato, Scientific American]

Photo: Bill Diodato, Scientific American

While people still have to gesture wildly in front of a giant computer display when they go with a human-machine interface á la Minority Report (see previous article), futurist Ray Kurzweil’s dream has been rather to jack directly into the brain (in order to upload it to the net to live forever, but that’s another story, called Singularity and all).

The Scientific American recently ran an article about the current research in neuro-technology regarding brain-machine interfaces. The first page is a little dragging, mentioning all the crazy ideas of science-fiction authors of the past 30 years, but the rest of the article is about current research programs like using the brain as an interface for prosthetics, steering through virtual worlds by mere thought or improving our memories with an artificial hippocampus. If you don’t have time skip to page 4 of the article. Full article on Scientific American: Jacking into the Brain – Is the Brain the Ultimate Computer Interface?

Although we appearently still don’t know jack about jacking into the brain and doing something really useful with it, there is the next best thing that you can order now (will be shipped to US addresses only by the end of the year for 299 US$): The EmotivEpoc headset taps your neurons from the outside and translates your intentions, facial expressions and emotions into commands for 3D games and virtual worlds. Their technology also lets you control a wheelchair just using mind control (video). Spooky, huh? And damn useful if it works. Here’s a video showing how it works with games.


No more typing lol (laugh out loud)

Mac support is planned but scheduled for later – „the market conditions dictate that Windows comes first“ is what Jonathan Geracifrom the Emotiv team told me in July. But they offer an open API set for developers so the range of supported games and virtual 3D platforms should be impressive.

Read more about the sensor-laden headset or order it now if you are living in Obama land at the Emotiv Website. (No chance for the rest of the world without US address yet)

Minority Report For Real – Human-Machine Interface in action

Vodpod videos no longer available.

posted with vodpod

Demonstration of Oblong’s g-speak spatial operating environment.

Some of the core ideas are already familiar from the film Minority Report, where Tom Cruise’s character performed forensic analysis using massive, gesturally driven displays. The similarity is no coincidence: one of Oblong’s founders served as science advisor to Minority Report and based the design of those scenes directly on his earlier work at MIT. More about the technology: oblong industries, inc.

Augmented Reality in education: How kids learn Mandarin with a book, a cell and a panda

A book with special embedded pictures/codes and a cell phone with a camera is all you need to learn Mandarin from a 3D panda

A book with special embedded pictures/codes and a cell phone with a camera is all you need to learn Mandarin from a 3D panda

I have done a little research about Augmented Reality (AR) lately and this is one of the few really useful examples of  AR solutions for books that I have found (unfortunately I couldn’t find a video of it).

Here is how it works: The book designers have embedded cues (a graphic or a code) into the graphics and the software on your cell phone reacts to those. In this example, the child’s book shows several Chinese characters and if you point your cell’s camera to the page, a small 3D cartoon panda comes to life on your mobile’s display and says the character in English and then in Mandarin. This way the child doesn’t need a computer to use a learning software but still has the advantages of modern media – animation, interaction, sound – when (and where) needed.

These kinds of „magic books“ will become available by the end of this year.

Learn more about the current commercial development in the SCIAM article here: Augmented Reality Makes Commercial Headway: Scientific American

Or have a look at my new AR YouTube Playlist with many different examples of applied Augmented Reality.

Ray-Ban offers Augmented Reality service to sell glasses online

Ray-Ban Virtual Mirror

Ray-Ban Virtual Mirror

Augmented Reality steps into our living-room with this new web service from Ray-Ban: All you need is a webcam and their software (PC only). Then you pick some glasses from the online catalogue and see yourself in a virtual mirror. Works especially great with sunglasses, since you see yourself just like others do for the first time. This I call a successful implementation of innovative technology for business purposes.

via Ray-Ban Official Website (click on „Virtual Mirror“ on the banner in the middle)

Endlich: Eingebaute Lippensynchronisation in Second Life

Was die Kommunikation in virtuellen 3D-Welten angeht, vor allem in der Zusammenarbeit mit anderen, ist die fehlende gewohnte nonverbale Kommunikation immer noch ein großes Manko. In Second Life gab es dafür zwar bereits schon lange (kommerzielle) Zusatzprogramme, die z.B. zum getippten Textchat oder auch Voicechat passende Mundbewegungen erzeugen (auch typische vorgefertigte Gesten/Mimikabläufe für Situationen aller Art und sogar animierte Sculpty-Gesichter), aber gerade für Neueinsteiger, sogenannte Noobs, ist es immer wieder mühsam, sich solche Add-Ons zusammen zu suchen (abgesehen von den Zusatzkosten). Über SLtalk bin ich jetzt darauf aufmerksam geworden, dass die Lippensynchronisation bereits im aktuellen Second Life Test-Viewer (Version 1.20.14) eingebaut ist. Man muss es zunächst aktivieren (Advanced Menü mithilfe Shift-Alt-Cmd-D einblenden, dann Character/Enable lip sync Beta auswählen), doch ich gehe davon aus, dass dies in Zukunft voreingestellt ist. Und so sieht es aus:

Automatische Lippenbewegungen während des Voicechats in Second Life (leider nicht wirklich synchron).

Wenn man das kombiniert mit Mimik-/Eye-Tracking Lösungen, die langsam immer günstiger werden, wird die Unterstützung von internationalen Arbeitsgruppen, Meetings und anderen Formen der Zusammenarbeit durch virtuelle Welten immer realistischer für die Teilnehmer.

Hier ein paar Beispiele von Entwicklungen, die in der Richtung gemacht werden:

Und auch der ganze Körpereinsatz ist bereits in der deutschen Forschung in Arbeit: Junge Forscher des Deutschen Forschungszentrums für Künstliche Intelligenz Saarbrücken surften mit dem Nintendo Wii-Balanceboard bereits durch Google Earth und Second Life und hielten dies auf YouTube fest.

Schöne Neue Welten: It’s Not a Game Console, It’s a Community

Nintendo Manager Reggie Fils-Aime, (l) President Nintendo America Inc. und VP Cammie Dunaway (r) demonstrierten auf der E3 das Gemeinschaftserlebnis der Wii-Spielkonsole (Bild: Standard.at)

Deutschsprachige Nachrichtenmagazine (z.B. Handelsblatt, Standard.at) berichten über die Veränderungen, die sich im Spielkonsolenmarkt vollziehen: Der Trend zum Social Gaming, angefeuert durch die seit letzem Jahr immer größer werdenen Beliebtheit von sozialen Netzwerken wie Facebook und MySpace sowie den Erfolg der Wii-Station, Nintendos „Familien-Konsole“ (s.u.). Der Trend andersherum: Mit dem Projekt TheGame08 ruft MySpace junge Entwickler in Ländern wie China, Japan, Korea oder Indien dazu auf, Applikationen für Casual Games zu programmieren, die dann auf der (Web-)Plattform integriert werden.
Außerdem gibt es kaum noch neue Spiele, die nicht hochrealisitisch, dreidimensional, online und Multi-Player sind.

Parallel dazu entstehen im Internet immer mehr virtuelle 3D-Welten, die sich im Gegensatz zu Vorreiter Second Life vor allem mehr als Teil des „normalen“ Webs verstehen und teilweise schon direkt im Web-Browser laufen. Diese neuen dreidimensionalen Web-Welten zeichnen sich vor allem durch folgende Merkmale aus:

  • Einfache, leichtgewichtige Technologie: man benötigt nur einen Web-Browser und ein Plug-In, das sich innerhalb von Minuten installiert
  • Niedrige Lerkurve: Im Gegensatz zu Virtuellen Welten wie Second Life kann man sich innerhalb von Minuten bewegen, unterhalten und mit ein paar Mausklicks eigene Räume gestalten
  • Integration in soziale Netzwerke: sie sind integriert in oder vernetzt mit bekannten sozialen Netzwerken wie Facebook, MySpace, YouTube, Flickr, AIM
  • Junge Zielgruppe: sie richten sich an „Tweens“ – junge Leute zwischen 13 und 26 Jahren
  • It’s social: Es geht praktsich nur um eins: Socializing – eine weitere Möglichkeit, Leute kennen zu lernen, sich auszutauschen, sich ein MySpace in 3D einrichten oder in 3D zusammen shoppen gehen

Beispiele hierfür sind Vivaty, Google’s Lively, Exitreality, 3B Rooms und Just Leap In – alle in Beta und außer Just Leap In momentan nur unter Windows lauffähig. Auch Lösungen, die nichts weiter als Adobe’s Flash Plugin benötigen, sind bereits am Start: z.B. WebFlock von ESC, einer der bekanntesten Virtual Worlds Agencys im internationalen Markt (Sebastian Küpers schrieb kürzlich darüber (englisch)). WebFlock soll die Entwicklung web-basierter virtueller Welten erleichtern, ist allerdings recht kostspielig (knapp 100.000 US$ Jahreskosten).

Zum Reinschnuppern: Hier mein virtual Office in Lively und ein Raum zum Experimentieren in Exitreality und ein Screenshot für Mac User (ja, ich bin auch einer, aber was tut man nicht alles):

Screenshot einer Lively-Szene in einem international besuchten Café

Nintendo, wegen der grafisch unterentwickelten „Mii“ Mini-Avatare gern von anderen Konsolenherstellern und Gamern belächelt, hatte mit der Wii-Familien-Konsole und deren „Casual Games“, die die ganze Famile vor den Fernseher rufen, durchschlagenden Erfolg. Sony will mit der lang angekündigten Playstation HomeOnline-Plattform für PS3 Besitzer Microsofts Onlinenetzwerk Xbox Live in den Schatten stellen. Wenn man sich die riesige, hochrealistische 3D-Welt anschaut, wird ihnen das evtl. auch gelingen…

Screenshot aus der aktuellen Beta-Version der Playstation(R)Home Plattform, in der sich PS3 Spieler treffen, miteinander spielen, chatten und shoppen gehen können. Eigener, individueller Avatar inklusive

Aktuelles Video eines „Developer Walkthroughs“ durch PS Home

Ein Trend, der sich also über die verschiedensten Plattformen – Web und Spielekonsolen – hinweg verbreitet und zu einer schier unüberschaubaren Zahl von unterschiedlichsten Shared Virtual Environments führt, die momentan alle nicht miteinander kompatibel sind (mal von Second Life und Open Grid abgesehen, aber das betrachte ich als eine Plattform).

Wer braucht schon 3D?

Diese Frage erinnert mich nur an Mitte der Neunzigerjahre, als einige Leute fragten: Wer braucht denn ein World Wide Web? Etwas später fragten sie dann „wer braucht denn Video im Web?“ und wieder später „Wer braucht denn Social Networks?“. Ach ja:“Wie will Google jemals Geld verdienen“. Meine Erklärung dazu schrieb ich Anfang Juli hier (englisch): Of course 3D will stick.

Kinder von heute wachsen mit Barbie Girls, Lego Universe, Virtual MTV und deren deutschen Derivaten auf, bedienen die Wii Station und deren Spiele ohne einen Blick ins Handbuch werfen zu müssen und sind es jetzt schon seit Jahren gewohnt, kleine pixelige Avatare durch fantasievolle Welten zu steuern. Teens und Twens lesen weder Zeitung noch gucken sie Nachrichten, stattdessen laden sie lieber selber Fotos und Videos, idealerweise vom Handy aus, in ihre „Community“ – auf SchülerVZ, Facebook oder in ihre eigene YouTube/MyVideo/MySpace Seite. Mit unzähligen Webtools kreieren sie ihre eigene chaotisch/kreative Welt, laden Freunde und Freunde von Freunden ein und chatten, simsen und messagen.

Keine Nachrichtenseite kommt heutzutage mehr ohne Video, Kommentare und „Bookmark/Sharing“-Funktionen aus.

Die User von morgen (und heute) lassen sich nicht mit Text-Chat abspeisen und einigen werden die vorgefertigten, restriktiven Baukästen, aus denen man sich etwas zusammen klicken kann nicht ausreichen. Sie wollen die dritte Diemnsion.

Die Baukästen und die Rollenspiele mit festen Regelwerken werden Millionen Anhänger behalten, aber das Web 2.0 ist nutzergeneriert und diese Freiheit, selbst Kreativer und Publisher zugleich zu sein, werden sich die nachwachsenden Generationen nicht mehr nehmen lassen.

Nur dass es dann nicht nur bewegt und hörbar, sondern auch mobil und 3D sein muss. Und natürlich: Immer und überall online.

Jeder wird „Content“ erstellen und verbreiten (und wenn es nur Buchtipps sind) – die Auswahl dessen und die Fähigkeit, vielen Menschen eine Art virtuelles Zuhause zu bieten, wo sie sich wohlfühlen und immer wieder gerne hinkommen, wird zukünftig eine immer größere Rolle spielen. Nicht Content, sondern Community und Identity is King – und ich denke, dass grenzenlose Freiheit bei der Erstellung des Contents und der Repräsentation seiner selbst (Avatare, Profil) ein Schlüssel zum Erfolg von solchen Community-Plattformen sein wird. (Das geht von einem Bild/Video/Musik-Mix bis hin zu eigenen Kreaturen und Universen, siehe z.B. das neueste EA-Spiel Spore, wobei hier noch Baukastenprinzip herrscht).

Und um sowohl die eigene Identität als als eigene Kreationen und das virtuelle Büro oder Zuhause nutzen und teilen/zeigen zu können, muss man sie natürlich „mitnehmen“ können. Wir brauchen also Gateways, standardisierte Übergänge zwischen Tausenden von verschiedenen virtuellen Welten – mindestens für den kleinsten gemeinsamen Nenner unserer Identität (Avatar und Profil) .

Stichworte hier sind Interoperabilität und Data Portability. Es gibt schon deutliche Anstrengungen in Richtung Vereinheitlichung und Akzeptanz von „social data“ wie z.B. OpenID, OpenSocial und die Dataportability Group. Da arbeiten viele gute Leute dran, unter anderem auch welche, die sich in Web 2.0 und Web 3D, namentlich Second Life, engagieren (z.B. Blogger und Entrepreneur Christian Scholz aka Mr. Topf) und somit die dritte Dimension im Blick haben, wenn es darum geht, 2D- und 3D Räume zu verbinden. Pixelsebi hat auch zur Dataportability in virtuellen Welten (englisch) ein paar interessante Gedanken zusammengetragen.
Ein interessanter Ansatz – evtl. als Zwischenlösung – ist auch Myrl, eine Website, die eine Art web-basiertes Bindeglied zwischen den vielen virtuellen Welten werden will (Liste der Welten).

Ich träume davon, dass ich irgendwann je nach Lust und Laune (oder Aufgabe und Ziel) zwischen den verschiedensten virtuellen Welten hin- und herspringen kann, ohne über Plattformen und Plug-Ins nachdenken zu müssen – denn das wichtigste ist, wen ich treffe und warum – nicht womit.