Kitchen Budapest

2007 Nyár / Summer — the lab’s first catalogue, powered by Magyar Telekom

Mobile Gesture Interfaces

■ Participating researcher / Résztvevő kutató ■ Bagi Tamás, Kántor Barna, Prekopcsák Zoltán, Szalai András

Egy új interfész a mobiltelefonban. Egyszerű üzenetek egyszerű mozdulatokkal leírva. A mindannyiunkat jellemző gesztushasználat és a mobiltelefonra rögzített dőlésszenzor összekapcsolásának segítségével nem kell szöveges üzenetet küldenünk, hanem egy egyszerű mozdulattal üzenhetünk barátainknak, ismerőseinknek, vagy munkatársainknak. Gesztusaink mobilos kéz- és karmozdulatokba integrálva kifejezőbbé válik kommunikációnk, a nyelvhasználat is gazdagodik, a mobiltelefon 15-20 gombja adta lehetőségek is kibővülnek és időt takarítunk meg, hiszen egy-egy mozdulat kevesebb időt vesz igénybe, mint a szavak „bepötyögése”.

Miért készült?

Ugyan egyre több mobiltelefon jelenik meg beépített gyorsulásmérőkkel, de a jelenleg használatban lévő mobilok döntő többségében ilyen szenzor nincs. Ezért, áthidaló megoldásként, új hardware-t tervezünk mobil telefonokhoz, hogy elvileg minden mobil esetében használhassuk gesztusainkat.

Hogyan működik?

Mindössze rögzíteni kell a szenzort a telefonhoz, valamint Bluetooth-on párosítani a két eszközt, és már használatba is vehetjük az új interfészt. Semmilyen program telepítésére nincs szükség. Az alkalmazásunkban hosszú gombnyomássorozatokat lehet majd mozdulatokkal helyettesíteni.

Jelenlegi állapot

Jelenleg a telefon hátuljára rögzített gyorsulásmérő szenzor egy mikrokomputeren keresztül küldi adatait egy közeli MacBooknak Bluetoothon keresztül. A MacBook értelmezi a jeleket, felismeri a mozdulatot, és szintén Bluetooth kapcsolaton keresztül a megfelelő gombnyomás-sorozatot imitálja a mobiltelefonon. Később megfelelő teljesítményű kütyü és ügyes programozók esetén a mozdulatfelismerés algoritmusa a kütyübe építhető, így a MacBook teljesen kihagyható a folyamatból.

A new interface in the cell phone. Simple messages written with simple gestures. By connecting our characteristic gestures with the inclinometer attached to the cell phone, we don't need to send a text message anymore, but are able to reach our friends, acquaintances, and colleagues through a simple gesture. Integrating our gestures into the movement of the hand and the arm while phoning, our communication becomes more expressive, our command of language is enriched, and even our prospect, limited to 15-20 buttons so far, opens up, as we also save time, since making a gesture takes less time than typing words.

Our aim

Although an increasing number of cell phones are equipped with built-in accelerometers, most phones today still don't have such a sensor. Thus, as a transitional solution to the problem, we are designing a new hardware for cell phones in order to theoretically be able to make use of our gestures with any phone.

How does it work?

All we have to do is to fix the sensor to the phone, and connect these devices through Bluetooth and we can start using the new interface. There is no need to install any additional software. In our application, long keystrokes can be substituted by simple gestures.

Current state

The accelerometer fixed to the back of the phone with a microcomputer sends the signal to a MacBook nearby via a Bluetooth connection. The algorithm running on the MacBook recognises the gestures and sends an imitated keystroke to the cell phone via the Bluetooth connection. Later, with the help of a suitable device and skilful programmers, the algorithm can be implemented to the microcomputer so that the MacBook is no longer necessary.

Black doodle of a hand holding a mobile phone with wavy motion lines trailing behind it (gesture movement)

gesztus írás kísérletek

/ experiments in writing with gestures

Row 1 of light-painting photo grid (5 frames): long-exposure shots of a hand moving a glowing phone drawing arcs and squiggles on a beige wall

Row 2 (5 frames): light-painting gesture trails — arcs, a C-shape and a heart drawn with the glowing phone screen

Row 3 (5 frames): more gesture trails — S-curve, hearts, C and S shapes

Row 4 (5 frames): letters M, O, B, I, L written in the air with the glowing phone (spelling MOBIL)

Row 5 (5 frames): letters G, L/E, E, S, T written in light (spelling GEST...)

Row 6 (5 frames): letters U, R, T and smiley-arc gestures written in light

gondolom, erre mondjatok azt hogy
"mihaly"
de legalabbis hasonlot

koszonjuk, most nekiallunk [levágva]
lyal

Bagitom TONKRETE[levágva]
ero C64-es joy[levágva]
javitotta :)

Most van [levágva]
mozgaser[levágva]
nem ug[levágva]

Eg[levágva]
s[levágva]

Long-exposure photo: hand holding a black flip phone with glowing screen, drawing a big smiley-mouth arc of light on a grey wall; a light square (eye) above

Long-exposure photo: complete glowing smiley face (circle with two square eyes and smile arc) drawn in light, hand with phone at lower right

a sly- [levágva]

TT egy ARANYAT [levágva]
stick-ot, majd meg- [levágva]

egy mukodo 2 tengelyes [levágva]
rzekelonk, egesz pontos, [levágva]
ral, csak ha rangatod :)

yelore usb kabel megy a joy-
stickba, mert arduinoBT-vel tele
van a hocipom, ha valaki kitala-
lja hogy mukodik, szoljon. Nem
annyira zavaro az a kabel, persze
blutusszal szebb lenne, de mar
sokszor fel napom elment vele
feleslegesen.

Jatek mar van hozza, holnap
(szerdan) mindenki, aki beton
jatszhat vele a projektoron. Csak
bagitom otthon ne hagyja a mod-

Mind[ez] arra volt jo, hogy las-
suk mit tud egy ilyen kis kutyu,
es menyire konnyu feldolgozni
az adatokat, ha az ember egyszer
rajon hogy mukodik.

ps. Valaki igert egy 3 tengelyes
modult...

sly

Barna ma a kezembe nyomott egy
sony ericsson W710i-t vagy vmi
olyasmit. A lenyeg hogy meg
nincs piacon, de van benne moz-
gasszenzor. Ket orat szenvedtem
vele, mire megtalaltam a neten a
JSR 256 SDK-t leforditottam egy
peldaprogit esatobbi esatobbi.

De....

Boldog vagyok, mert modositottam
a peldaprogit es hipergyors, bar
meg mindig csak a kepen jeleniti
meg a szamokat, de a szandek a
lenyeg.

Asszem iszok egy sort.

Laptop with sensor-reading UI on screen; two hands hold a Sony Ericsson phone and a Nokia phone in front of it

Researcher at a desk with monitor, keyboard, desk fan and a white box with a phone on it in the KIBU lab

Close-up: Nokia phone lying on red desk next to white MacBook keyboard with black USB cable

Group of researchers around a white MacBook (Pepsi bottle beside) in the busy lab, others working at tables behind

Researcher seated with phone in hand next to white MacBook on red desk, colleagues in background

Close-up from above: hand holding a phone over a white MacBook keyboard, code/численbers on the screen

Restored from the original Kitchen Budapest project site — texts and images as published.