Archive for Grudzień, 2012

Grudzień 3, 2012

„Why the Semantic Web will never work”

- autor: tsissput

Zebranie i analiza informacji przedstawionych na wykładzie Jim’a Hendler’a
pt.: „Why the Semantic Web will never work”

Jim Hendler

Ideą organizowanej od 2011 konferencji Extended Semantic Web Conference (ESWC) jest zebranie osób zaangażowanych w różne aspekty technologii semantycznych, a także innych obszarów Informatyki, które wiążą się z pojęciem Semantic Web. Ma ona na celu sprowokowanie wymiany informacji pomiędzy różnymi społecznościami wewnątrz i spoza dziedzin Informatyki i Telekomunikacji.

Konferencja ta powstała jako rozwinięcie European Semantic Web Conference. Wykład wprowadzający, tzw. keynote,  prowadził profesor Jim Hendler, znany ze swojego znaczącego wkładu w zakresie Semantic Web, a także całej dziedziny Informatyki oraz Kognitywistyki. Zapowiadający nazywa go nawet Papieżem Semantic Web. Aktualnie pełni stanowisko Tetherless World Senior Constellation Professor na wydziałach Department of Computer Science oraz Cognitive Science Department  Rensselaer Polytechnic Institute (RPI), w Troy w Nowym Yorku.

Tytuł wykładu ma prowokacyjne brzmienie i został celowo umieszczony w cudzysłowie, ze względu na dwuznaczność. Jim Hendler dokonuje przeglądu aktualnych sukcesów technologii semantycznych względem wczesnej wizji Semantic Web oraz identyfikuje problemy dotyczące aktualnych rozwiązań oraz najnowszych próbach ich rozwiązania. Pokazuje więc aktualne dokonania z dwóch perspektyw:

wyjaśnienie tytułu

Początkowa wizja

W 1994 roku  na konwencji WWW Tim Berners-Lee dokonał prezentacji, w której pokazał swoją wizję sieci web. Część tego czym sieć jest określił w następujący sposób: „Dokumenty w sieci web opisują prawdziwe obiekty i wyimaginowane pojęcia oraz nadają szczególne związki pomiędzy nimi”. Tim Berners-Lee wymyślił więc to, co dzisiaj nazywamy Semantic Web, a hyperlinki nie miały być zwykłymi wskaźnikami na inne strony internetowe, lecz miały reprezentować relacje pomiędzy stronami.

Innm pomysłem, zaprezentowanym w 1999 roku przez Jim’a Hendler’a, był Agent markup language, który polegał na zbudowaniu semantycznego języka, który wiązałby informacje na stronie internetowej z semantyką (ontologią) odczytywalną maszynowo. Obecnie pomysł ten rozwijany jest w ramach projektów OWL, SHOE, I3 lub ARPI.

Co wiąże oba te pomysły, to koncepcja, by pewne elementy na stronach web opisywały jakie treści one zawierają i co one znaczą.

schemat współdziałania ontologii sieciowych

schemat współdziałania ontologii sieciowych

Wyobrażano sobie również, że ontologie webowe, czy też semantyka umieszczona na stronach web będzie miała charakter zgoła inny od tradycyjnych systemów reprezentacji wiedzy (KR). Różne dokumenty sieci web, mogły by być opisywane przez różne słowniki, które były by wobec siebie w różnym stopniu mapowalne. Częściowa mapowalność i niespójność tychże ontologii powodowała by więc błędy takie błędy jakie można spotkać przeglądając strony internetowe, np. 409, lecz taki schemat umożliwiałby dużą skalowalność, elastyczność, a w rezultacie dużą ilość użytkowników i duży wpływ na sieć web.

Do innych wczesnych koncepcji dotyczących Semantich Web należały:

  • przeszukiwanie sieci w poszukiwaniu konkretnej odpowiedzi, nie w poszukiwaniu dokumentu, który wydaje się adekwatny
  • użycie istniejących ontologii w ramach
  • use x ontology on webpages
  • aspekt usługi
  • active notion – a way of exchanging information “This term came from here” linking

Zwycięstwo Semantic Web

Gdy Semantic Web dopiero się rozwijało, myśl o tym, że rząd wielkości o jakim należy myśleć w przypadku technologii semantycznych to przynajmniej miliony, wzbudzała śmiech.  Aktualnie liczba stron internetowych, które zawierają informację semantyczną i liczba trójek semantycznych – triple (URI obiektu, URI obiektu, URI związku), które są generowane oraz zbiorów danych które są dostępne przekroczyła nawet najśmielsze oczekiwania.

Aktualnie wiele z dużych firm zajmuje się technologiami semantycznymi. Są one pozytywną siłą dla rozwoju pewnych obszarów Semantic Web, przykładowo semantycznego wyszukiwania (np. Google Knowledge Graph) o którym szerzej mówi Peter Mika w swojej prezentacji Making the Web searchable, a także dla promocji, reklamy i marketingu. W szczególności, bardzo prężnie rozwijają się nowe firmy, które służą jako pośrednicy pomiędzy jednostkami dostarczającymi usługi lub produkty (w szczególności treści), a konsumentami. Pośrednictwo to polega na budowaniu informacji preferencyjnej użytkowników na podstawie danych semantycznych i kierowaniu do nich odpowiednich ofert.

Innym dużym czynnikiem wpływającym na postęp Semantic Web są implementacje idei o nazwi Open Data, przykładowo  Facebook Open Graph lub Open Goverment Data. W przypadku Facebook Open Graph, jedną z możliwości umieszczenia przycisku „Lubię to” na stronie internetowej jest użycie RDF’a, który generuje trójki danych semantycznych. W Październiku 2010 Facebook zarejestrował około 3 miliony „Lubię to” dziennie pochodzące z tego źródła, gdzie pojedyńcze kliknięcie może generować więcej niż 1 trójkę semantyczną (triple). Estymowano wtedy, że jedynie około 10%-15% przycisków „Lubię to” na stronach było umieszczone w postaci RDF’a, a Facebook bardzo silnie stara się, by zachęcić jak największą ilość osób do zmiany na ten typ przycisków. Okazuje się, że przyciski Facebook’a same generują więcej trójek z informacją semantyczną niż  kiedykolwiek przewidywano dla całej sieci, a zyski z reklamy przeprowadzanej na podstawie tej informacji są głównym źródłem dochodów Facebook’a, a także innych firm – np. Zynga, która zarabia więcej pieniędzy niż jakakolwiek inna firma wytwarzająca gry komputerowe, ponieważ jako pierwsza znalazła sposób na wykorzystanie tej informacji.

Krytyka Semantic Web

Pomimo zaangażowania ze strony dużych graczy na rynku wyszukiwarek internetowych, aktualnie nadal wyszukiwanie wykonywane jest w tradycyjny sposób, po słowach kluczowych, w celu znalezienia dokumentów, które wydają się adekwatne i mogą zawierać wyszukiwaną odpowiedź.

Początkowo wydawało się, że folksonomia okaże się najlepsza do umieszczania informacji semantycznej, jednak w dużej mierze technologie związane z tagowaniem zawiodły poza zastosowaniami w sieciach społecznościowych. Podstawowym problemem, dla tagowania był brak kontekstu, a więc zatracenie znaczenia wśród wielu innych obiektów otagowanych w ten sam sposób. W przypadku sieci społecznościowej tag, przykładowo imię i nazwisko, będzie miał konkretne znaczenie ponieważ będzie on na stronie osoby, która mówi o osobie ze swojej listy znajomych.

most used

Zarzuty dotyczące braku skalowalności, elastyczności i stabilności Semantic Web okazały się nieuzasadnione, co potwierdzają wcześniejsze przykłady. Co więcej, liczba ogólnie dostępnych URI, które mają swoją semantykę, przykładowo z Open Goverment Data rośnie bardzo szybko.

Pewnym problemem aktualnego rozwoju Semantic Web, jest to, że większość zastosowań korzysta głównie z technologii semantycznych „niższego poziomu”, podczas gdy wiele z ciekawych, użytecznych, a co więcej ustandaryzowanych z nich nie jest znana lub nie jest używana przez większość osób.

Konkluzja

Dlaczego Semantic Web miało by nigdy nie działać? Jim Hendler odpowiada, że nie ma żadnego powodu, aby tak było – Semantic Web istnieje, działa i będzie działać. Nie jest to jednak Semantic Web, z pierwotnej wizji. Konieczny jest powrót i uaktulanienie do pierwotnych pomysłów i unifikacja aktualnie konkurujących ze sobą modeli powiązanych danych (linked-data) i odczytywalnych maszynowo słowników. W szczególności problemem, który musi zostać rozwiązany jest integracja ontologii i rozój mechanizmów pracy z danymi, które mogą zawierać poważne, nierozwiązywalne sprzeczności.

Wg mojej oceny sukces Semantic Web jest potwierdzony przez, to z jakim zaangażowaniem zajmują się technologiami semantycznymi duże firmy takie jak Facebook, Google, Oracle, Amazon, czy też Microsoft, a w szczególności w jaki sposób użytkownicy zarówno generują i konsumują informację semantyczną, poprzez korzystanie z aplikacji społecznościowych, aplikacji mobilnych i webowych (w tym np. gier na Facebook’u). Innym aspektem, który w dużym stopniu napędzia rozwój Semantic Web jest sposób w jaki niektóre z firm zaangażowane w tworzenie i gromadzenie informacji semantycznej współpracują z innymi firmami – przykładowo umieszczanie przycisków „Lubię to” na stronie udostępnia informacje, zarówno dla Facebook’a, jak i dla właściciela strony internetowej. Innym przykładem jest sposób w jaki Facebook i Google umożliwiają deweloperom publikowanie aplikacji, które potencjalnie mogą być agentami przetwarzającymi lub generującymi informację semantyczną.

Autor: Michał Turek

Źródła: opisywany wykład, strona Jim’a Hendler’a, artykuł o Google Knowledge Graph, strona konferencji ESWC , artykuł wiki o Clay’u Shirky, artykuł wiki o KR, artykuł o Open Data, Facebook Open Graph, Open Government Data.

 

Reklamy
Grudzień 3, 2012

Wolfram Mathematica 9: co nowego?

- autor: tsissput

Nowa wersja Wolfram Mathematica 9

W ostatnich dniach miała miejsce premiera nowej wersji znanego oprogramowania obliczeniowego firmy Wolfram – Mathematica 9®. Jak informuje  producent, w wersji dziewiątej możemy znaleźć garść interesujących nowinek. Wśród nich z punktu widzenia naszego przedmiotu bardzo ciekawe wydaje się dodanie wsparcia dla analizy sieci społecznościowych.

Nowości

Wśród nowości producent wymienia na swojej stronie internetowej m.in.

  • Rozbudowane podpowiedzi do wprowadzanych komend jak i sugestie dalszych kroków po otrzymaniu wyniku
  • Wspomniane już wsparcie dla analizy sieci społecznościowych
  • Wbudowane jednostki miar
  • Rozwinięta możliwość tworzenia losowych zbiorów danych o podanym rozkładzie
  • Integracja z językiem R
  • Ulepszone przetwarzanie obrazów, dodanie m.in. wyszukiwanie twarzy, przetwarzanie obrazów 3D
  • Przetwarzanie sygnałów

Pełna lista zmian jest znacznie większa. Pełna lista zmian znajduje się pod adresem [1]

Analiza sieci społecznościowych

W dalszej części wpisu skupimy się na możliwościach programu Mathematica w kwestii analizy sieci społecznościowych.

Dostępne możliwości

Program Mathematica umożliwia import danych z bardzo szerokiej gamy formatów. Jednocześnie dla sieci społecznościowych istotne jest pobieranie danych „żywcem” z serwisu funkcjonującego w Internecie. Od wersji dziewiątej otrzymujemy taką możliwość w przypadku chociażby najbardziej popularnych portali społecznościowych, jakimi niewątpliwie są Facebook i Twitter.

Przy wizualizacji danych otrzymujemy możliwość wyszukiwania różnorakich wspólnot, czy też punktów centralnych w grafach. Oznaczanie klik, obliczanie homofilii i podobieństwa również nie powinno sprawiać problemów. Istnieje możliwość wszelakiego ograniczania danych w celu znalezienia przypadków spełniających określone kryteria.
math9_img1

Dostępne funkcjonalności

Poniżej przedstawiono wykres możliwości programu Mathematica oraz dostępność podobnych funkcjonalności w innych programach zajmujących się tą samą tematyką. Pod uwagę wzięto następujące oprogramowanie:

  • igraph 0.6
  • NetworkX 1.7
  • UCINET 6

Jak możemy odczytać z wykresu, istnieje cała gama funkcjonalności, które oferuje nam wyłącznie najnowsze wydanie pakietu Mathematica.

math9_img2

Wydajność

Chcąc sprawdzić wydajność oprogramowania, wykonano pomiar czasu wykonania następujących czynności:

  • Fast Simulation of Scale-Free Networks
  • Fast Community Detection in Networks
  • Fast Centrality and Prestige Computation

Pod względem wydajności Mathematica nie jest już tak czysto i klarownie lepsza od swojej konkurencji. W większości przypadków wypada ona jednak przynajmniej tak dobrze, lub minimalnie gorzej niż konkurencja.

Dla symulacji „Scale-Free Networks” czasy wykonania operacji przez NetworkX 1.7 są zazwyczaj nawet o ok. 200% gorsze. Program igraph 0.6 jest w tej kwestii znacznie lepszy i przegrywa z Mathematicą jedynie o ok. 30-40%.

math9_img3

„Community Detection” – tutaj trudno już mówić o jednoznacznej przewadze któregokolwiek z programów. Praktycznie tylko dla pojedynczego zbioru danych Mathematica ma sporą przewagę. Da większej ilości danych wyniki uzyskane przez igraph 0.6 są bardzo zbliżone. NetworkX 1.7 w mniejszym lub większym stopniu, ale zawsze przegrywa z konkurencją.
math9_img4

Ostatni test to „Fast Centrality and Prestige Computation”. Podobnie jak w pierwszym przypadku NetworkX 1.7 zostaje daleko w tyle. Wyniki Mathematica 9 oraz igraph 0.6 są bardzo zbliżone jednak zawsze minimalnie lepszym okazuje się pierwszy produkt.

math9_img5

Sprzęt na jakim wykonano obliczenia to Intel Core 2 Duo 3.06 GHz Mac OS X Lion.

Opinia autora artykułu

Mathematica 9 wydaje się bardzo solidnym rozwiązaniem. Wprowadzone w najnowszej wersji innowacje dają pole do popisu w kolejnych już dziedzinach. Mankamentem na pewno jest fakt, że oprogramowanie jest komercyjne. Moim zdaniem warto zapoznać się z omawianym oprogramowaniem podczas przedmiotu Technologie Semantyczne i Sieci Społecznościowe, aby potwierdzić, lub obalić dobre oceny wystawione przez samego producenta.

Ciekawostka

Na koniec ciekawostka odnośnie programu. Nazwę „Mathematica” zasugerował  Stephenowi Wolframowi współzałożyciel firmy Apple, Steve Jobs. Wcześniej Wolfram myślał o takiej nazwie, ale pomysł odrzucił.

Źródła

http://blog.wolfram.com/2012/11/28/mathematica-9-is-released-today/

http://www.wolfram.com/mathematica/new-in-9/social-network-analysis/

Linki

[1] http://www.wolfram.com/mathematica/new-in-9/

Autor: Marcin T.

Grudzień 3, 2012

Komputer gra w „Va Banque”

- autor: tsissput

Watson

 

Od wielu lat próbujemy skonstruować komputery, które jak najlepiej zasymulują działanie pewnych obszarów ludzkiego umysłu. Naturalnym kryterium sukcesu staje się tutaj zdolność do nawiązania równej rywalizacji z człowiekiem. Wielu z nas słyszało o słynnym pojedynku arcymistrza szachowego Garriego Kasparowa z superkomputerem Deep Blue stworzonym przez IBM. Pierwsza potyczka odbyła się w 1996 roku i zakończyła wynikiem 4-2 dla Kasparowa. W rewanżu w 1997 w meczu wzięła udział ulepszona wersja maszyny Deep Blue. I tutaj już maszyna ten pojedynek wygrała.

W 2011 kolejna maszyna IBM stanęła w szranki z człowiekiem. Był to Watson.

 

Czym jest Watson i co potrafi?

Watson jest potężnym superkomputerem. 2880 rdzeni (http://en.wikipedia.org/wiki/Embarrassingly_parallel), 15 TB pamięci operacyjnej. 80 TeraFLOPs plasowało go w pierwszej setce najszybszych komputerów. Taka moc była konieczna, aby komputer był w stanie znajdować odpowiedzi szybciej, niż mistrzowie konkurencji, w której wystąpił- mistrzowie teleturnieju Jeopardy! (którego polskim odpowiednikiem swego czasu był Va banque). Brad Rutter wygrał najwięcej- w sumie ponad 3,4 mln dolarów, Ken Jennings był najdłużej niepokonany- 74 zwycięstwa z rzędu. Naprzeciwko nich uzbrojony w 4 terabajty danych (w tym cały tekst Wikipedi) Watson. Komputer nie był nieomylny, miał problemy w odpowiadaniu na pewne rodzaje pytań- mimo to, jego zwycięstwo było pewne. Zgromadził 77 147$ w porównaniu do 24 000$ i 21 600$ swoich rywali.

 

Cała Wikipedia, 3000 rdzeni- co w tym specjalnego, że pokonał człowieka?

Wydaje się, że to nic wyjątkowego. Tak jakby dać nam dostęp do Internetu i kazać odpowiadać na zadawane pytania. Wiadomo, znalezienie informacji może chwilę zająć, ale przecież nie od dziś wiadomo, że proste operacje komputer wykonuje zdecydowanie szybciej od nas. I wcale nie trzeba do tego superkomputera. Co więc takiego niezwykłego było w tym osiągnięciu?

Należy zauważyć, że pytania w teleturnieju wymagały precyzyjnych odpowiedzi. Nie wystarczyło znaleźć źródła, w którym odpowiedź się znajduje- potrzebna była jego analiza i zlokalizowanie precyzyjnej odpowiedzi na pytanie. Trzeba zauważyć, że „zagadki” w Jeopardy! nie zawsze mają charakter typowych pytań (a raczej odpowiedzi- tak jak w Va banque, to zawodnik „odpowiada” pytaniem). Często przybierają formę wskazówek, bazują na skojarzeniach. Wskazówki często mają rolę edukacyjną czy rozrywkową i nie są niezbędne dla znalezienia odpowiedzi. Nie jest wcale powiedziane, że źródło, w którym znajdziemy odpowiedź będzie zawierało frazy, które dostaliśmy jako podpowiedź. Widać więc, że wchodzimy tu w strefę zupełnie nie kojarzącą nam się z chłodnym „rozumowaniem” komputera- pytanie należy precyzyjnie zrozumieć, łączyć fakty za pomocą skojarzeń tak, aby sformułować krótką, precyzyjną odpowiedź.

Co więcej- w grze częste są gry słów. A w nich wszystko zależy od kontekstu- te same słowa potrafią nabrać zupełnie innego znaczenia. Watson musiał „nauczyć się”, jak używamy języka, jak znaczenie ma kontekst i powiązania między słowami. Czyli Watson nie tylko posiadł umiejętność wyszukiwania informacji- potrafi także zrozumieć nasz naturalny język, dać nam dokładną odpowiedź, nie tylko zbiór dokumentów, gdzie odpowiedź możemy znaleźć sobie sami.

 

Jak Watson potrafi to robić?

Watson wykorzystuje techniki przetwarzania języka naturalnego, wyszukiwania informacji, reprezentacji wiedzy, wnioskowania i uczenia maszynowego. Jego rdzeniem jest technologia IBM o nazwie DeepQA (QA- Question Answering).

123

 

 

Jak wygląda architektura DeepQA możemy zobaczyć powyżej.

Pierwszym etapem przygotowawczym jest pozyskanie zawartości, która będzie mogła zostać wykorzystana w dalszym procesie jako źródło odpowiedzi i dowodzenia jej prawdopodobności- czyli zbudowanie bazy wiedzy dla maszyny. Oprócz wielu encyklopedii, dokumentów niosących najwięcej informacji (ich zebranie wymagało zarówno „ręcznego” przejrzenia typów pytań jak i automatycznego, statystycznego zbadania dziedziny), do bazy wiedzy trafiły bazy danych, taksonomie i ontologie takie jak dbPedia, WordNet i Yago .

Pirerwszym etapem wykonywanym już podczas działania mechanizmu jest analiza pytania. System analizuje pytanie w celu określenia dalszego sposobu jego przetwarzania- stara się zrozumieć, jaki jest jego sens. W jego skład wchodzi m.in.:

  • Klasyfikacja pytania- odnajdywanie części wymagających specjalnego przetworzenia, o potencjalnie podwójnym znaczeniu, o specjalnym funkcji syntaktycznej lub semantycznej. Pytanie może zostać sklasyfikowane jako zagadka, zadanie matematyczne, definicja.
  • Wykrywanie relacji
  • Dekompozycji pytania na podpytania

Kolejny krok to generacja hipotez. Na podstawie wcześniejszej analizy system skanuje dostępne dokumenty wyodrębniając fragmenty mogące stanowić odpowiedź. Każdy fragment stanowi odrębną hipotezę, której pewność system dalej stara się obliczyć. Żródła są wstępnie przeszukiwane, znajdywany jest jak największy zbiór danych mogących potencjalnie nieść odpowiedź. Następnie wybierany jest z nich podzbiór odpowiedzi- kandydatów. Jako że sytuacja, w której prawidłowa odpowiedź nie pojawi się w tym zbiorze implikuje fakt, że system nie będzie w stanie prawidłowo odpowiedzieć na pytanie, akceptowany jest tutaj duży szum, precyzja spada na drugie miejsce. Po tym etapie algorytm posiada zbiór kilkuset potencjalnie poprawnych odpowiedzi, które następnie przechodzą przez filtr, który na podstawie wielu współczynników (np. na ile prawdopodobne jest, że odpowiedź jest spodziewanego typu leksykalnego: tak jak roszada jest typu manewr) pozwala wyekstrahować grupę ok 100 najbardziej prawdopodobnych.

Następnie dla każdej potencjalnej odpowiedzi przeprowadzany jest proces zbierania potwierdzających dowodów, które zwiększają szanse, że dany kandydat będzie odpowiedzią prawidłową. Wyliczany jest współczynnik pewności, określający, jak odnaleziony dowód wspiera kandydydata. Do punktacji wykorzystywane jest ponad 50 mechanizmów oceniających.

W końcu, odpowiedzi są scalane, jako że z nich może być równoznacznych. Wymaga to użycia mechanizmów przetwarzania języka naturalnego, system musi odnaleźć frazy znaczeniowo tożsame. Lider rankingu, jeśli jego wsparcie jest wystarczające, zgłaszany jest jako interesująca nas odpowiedź.

Jest to oczywiście krótko naszkicowane działanie mechanizmów stojących za działaniem Watsona. W celu pogłębienia tematu, warto zacząć od przeczytania artykułu pod tym linkiem: http://www.scribd.com/doc/48793380/Watson-DeepQA

 

Komputer wygrał teleturniej i milion dolarów. A co my z tego mamy?

Kolejnym planowanym krokiem w rozwoju Watsona jest wyposażenie go w mechanizm rozpoznawania mowy i uzbrojenie w wiedzę medyczną, co umożliwi zastosowanie go jako wsparcie w diagnostyce medycznej. IBM bada też możliwość wykorzystania Watsona jako wsparcie dla prawników. No i jak to IBM- niewiele jest rzeczy, których IBM nie robi w celu uzyskania dużych pieniędzy (w czym nie ma nic złego, szczególnie, jeśli niesie to za sobą ogromy rozwój, z którego korzystamy wszyscy). Planowana jest sprzedaż systemu wielkim korporacjom. Szacowana cena- kilka milionów dolarów.

 

Czy Watson myśli?

Niestety- Watson jest tworem czysto technologicznym. To wysokowydajny system analityczny, nie jest tworem poznawczym, myślącem. Potrafi się uczyć, przetworzyć dane i podać nam trafną odpowiedź. Istnieje inny projekt IBM finansowany przez NASA skupiony na przetwarzaniu kognitywnym, na odtworzeniu zachowania ludzkiego umysłu. Być może kognitywne zdolności nowego projektu zostaną połączone z potężną analityczną mocą Watsona. Najpopularniejsze wyzwanie komputerów próbujących stanąć do zawodów z człowiekiem- test Turinga- wciąż pozostaje niezaliczone.

 

A potem:

http://en.wikipedia.org/wiki/Technological_singularity

 

Autor: Kacper Skory

 

Źródła;

http://en.wikipedia.org/wiki/Watson_(computer)

http://www.aaai.org/Magazine/Watson/watson.php

https://www.ibm.com/developerworks/mydeveloperworks/blogs/InsideSystemStorage/entry/ibm_watson_how_to_build_your_own_watson_jr_in_your_basement7?lang=en

http://www.research.ibm.com/deepqa/faq.shtml

http://www-03.ibm.com/innovation/us/watson/watson-for-a-smarter-planet/building-a-jeopardy-champion/how-watson-works.html

Grudzień 3, 2012

Kilka słów o grywalizacji

- autor: tsissput

Grywalizacja (z ang. Gamification, gamify) jest terminem odnoszącym się do wykorzystywania technik znanych z gier (w tym komputerowych) w celu zmieniania sposobu zachowania się ludzi, zgodnie z intencją projektanta. Celem jest zmotywowanie uczestników do wykonywania zadań, które normalnie, mogą być nudne lub rutynowe – poprzez zamienienie ich na coś co będzie przynosiło radość. Używa się do tego techniki stosowane w grach – przykładowo: współzawodnictwo, trofea, rankingi, statusy. Projektanci wykorzystują różnego rodzaju elementy interfejsu mające na celu wzbudzenie poczucia rywalizacji, zdobywania nowych trofeów i poczucie satysfakcji. Jednocześnie starając się utrzymać cały czas jednakowy poziom trudności. Wydaje się, że w ostatnich latach, dzięki zastosowaniu nowoczesnych technologii, grywalizacja staje się coraz bardziej powszechna w różnego rodzaju dyscyplinach. Celem tego artykułu jest przedstawienie, kliku przykładów – jak dzięki technikom znanym z gier udało się osiągnąć ciekawą zmianę zachowania ludzi.

Miliony użytkowników korzystają z produktów firmy Microsoft. Oprogramowanie to jest tworzone przez tysiące programistów. Dostarczane są one w różnych wersjach językowych. Oprogramowanie wykorzystywane na tak dużą skalę narażone jest na liczne błędy. Należy więc dokonać dokładnego jego sprawdzenia. Automatyczne testy nie są w stanie przetestować wszystkiego – w tym jednego z najważniejszych elementów systemu jakim są opisy formatek systemowych i ich tłumaczenia. Przetestowanie ich wszystkich jest jednak długotrwałym i (zwłaszcza) nużącym procesem. Wymaga wielokrotnego przejrzenia wszystkich okien systemowych, we wszystkich możliwych wersjach językowych. Nawet dla tak dużej firmy jak Microsoft, może się okazać to bardzo skomplikowanym przedsięwzięciem, trudnym i niezwykle kosztownym do zrealizowania.

Language Quality Game User Interface

Panel użytkownika w grze Language Quality Game

Microsoft rozwiązał ten problem w niestandardowy sposób. Zamiast postawić tylko na ogromna liczbę testerów, znających różne języki – postawił na dość nietypowe rozwiązanie. Przygotował wewnętrzną grę (Language Quality Game) dla swoich pracowników.

Zasady gry były proste. Pracownicy mogli grać w grę w swoim wolnym czasie. Każdy z uczestników gry po zalogowaniu się mógł wybrać dla jakiej wersji językowej chce otrzymywać okienka (z przygotowanego właśnie systemu operacyjnego Microsoft Windows 7). Później dla każdego okna podejmował decyzję – czy jest ono poprawne, czy zawiera ono błąd. Dodatkowo istniała możliwość skomentowania każdej decyzji. Za każdą z nich otrzymywano punkty. W celu wykluczenia bezmyślnego klikania i uniknięcia sytuacji gdy użytkownicy tylko klikają bez czytania, zamieszczone zostały specjalne, oczywiste błędy w tłumaczeniach.

Istniała oczywiście klasyfikacja (ranking) zarówno indywidualna, jak i językowa. Pracownicy chcieli wygrać, a także by ich język wygrał. Dość ciekawym przypadkiem byli Japończycy, który w celu zwiększenia swojej pozycji wzięli dzień wolny w pracy. Wywołanie współzawodnictwa spowodowało, że nudne zajęcie przeglądania, kolejnych okienek stało się ciekawym i wciągającym zajęciem. Twórcom gry udało się osiągnąć zamierzony efekt – zgłoszono 6.700 błędów, po przejrzeniu ponad 500.000 okienek. W projekcie uczestniczyło ponad 4.500 pracowników. Dodatkowa zaletą tej metody, było to, że osoby biorące udział w tej grze wykonywały ją poza swoimi normalnymi obowiązkami (czyli bez dodatkowego wynagrodzenia). Po zakończeniu projektu stwierdziły one, że proces ten był zabawny, a nawet uzależniający. Dzięki zastosowaniu prostych elementów gry (współzawodnictwo, punkty, ranking) udało się osiągnąć prawdziwy biznesowy cel – przetestowanie i zwiększenie jakości tłumaczeń nowego produktu.

Kolejnym przykładem, który łączy cele biznesowe ze zmianą ludzkich zachowania jest program Nike+. Firma Nike jest głównie producentem obuwia sportowego i ich naturalnym celem jest zwiększenie swojej sprzedaży. By osiągnąć ten cel zastosowano innowacyjna technikę. Dodano do butów akcelerometr umożliwiający zliczanie dystansu i prędkości użytkownika. Dzięki bezprzewodowej komunikacji istnieje możliwość przekazania tych danych do telefonu komórkowego lub komputera. Przygotowano specjalną aplikację internetową, która umożliwia śledzenie swoich postępów (tj. ile przebiegłem, moje najlepsze rezultaty, czy osiągnąłem swój cel), jak również porównanie swoich wyników z wynikami znajomych (element rywalizacji). Za różnego rodzaju osiągnięcia można uzyskać wirtualne trofeum (puchar, medal). Dzięki sprytnemu zastosowaniu elementów gry udaje się „zmusić” konsumentów butów do wzmożonej aktywności fizycznej (choćby w celu uzyskania nowego wirtualnego pucharu). Ważne jest to, że to nie nasz avatar, nie wirtualna postać, tylko my osobiście ćwiczymy i zażywamy ruchu. Z jednej strony mamy w tym przypadku osiągnięty cel biznesowy – zwiększenie sprzedaży obuwia sportowego, z drugiej zwiększenie sprawności fizycznej naszych klientów.

panel Nike+

Nike+ panel wyświetlający ostatnie osiągnięcia.

Zupełnie inny cel przyświecał firmie Volkswagen przy realizacji inicjatywy „The Fun Theory”. Jej celem było zmiana zachowania ludzi przy użyciu zabawy. Przykładowo projekt „The world’s deepest bin” polegał na sprawdzenia, czy uda się zwiększyć wyrzucanie śmieci do kosza, zamiast na ulicę. W tym celu do jednego z koszy w parku w Szwecji zamontowano głośniki wraz z detektorem ruchu. W momencie gdy, ktoś wrzucał śmieć do kosza następowało odtworzenie dźwięku, który miał dawać złudzenie długiego opadania go na dno kosza. Na zamieszczonym filmiku widać, jak ludzie są zaskoczeni nietypowym koszem. Czy udało się osiągnąć zamierzony cel? Na pewno przydałyby się do tego dokładniejsze badania. Jednak pod koniec dnia w koszu znajdowało się 72kg śmieci – o około 41kg więcej niż w innych koszach. Może to świadczyć o powodzeniu tej akcji. Pytanie czy udałoby się wykształcić pozytywny nawyk wyrzucania śmieci do kosza, zanim zabawa znudzi się.

Innym przykładem projektu zrealizowanego w ramach „The Fun Theory” była próba nakłonienia użytkowników metra do korzystania z tradycyjnych schodów. W czym miało ono pomóc? Każdy z nas wie, że wchodzenie po schodach (zamiast używania schodów ruchomych, czy windy) jest dobrym ćwiczeniem. Większość ludzi jest z natury leniwa – więc woli zastosować mniej obciążające nas metody pokonywania kolejnych pięter. Co się jednak stanie gdy na stacji metra zamienimy tradycyjne schody na duże pianino, gdzie nadepnięcie na każdy klawisz spowoduje odtworzenie dźwięku? Taki eksperyment przeprowadzono w Szwecji – gdzie w ramach jednej ze stacji metra zamontowano duże pianino. Rezultat? O 66% więcej osób skorzystało z „tradycyjnych” schodów niż normalnie. Ludzie nie tylko zrobili cos dla siebie – ćwiczenie – ale również mieli przy okazji dużo zabawy.

Opisane przeze mnie powyżej przypadki pokazują jak z powodzeniem można stosować techniki znane z gier do osiągnięcia własnych celów. Systemy punktowe, rankingi, trofea, osiągnięcia, współzawodnictwo, samodoskonalenie, pokonywanie kolejnych osiągalnych wyzwań, czy wizualne paski postępów – wpływają na nasze zachowania. Pomagają one w osiągnięciu konkretnych celów – niezależnie czy maja one zwiększyć produktywność pracowników w firmie, ulepszyć jakość produktu, czy sprawić, że nasze otoczenie będzie czystsze. Techniki te wykorzystują przyjemność jaka płynie z grania. Umożliwia to lepsze zaangażowanie ludzi w trakcie wykonywania czynności, które normalnie mogą być postrzegane jako nudne i rutynowe. Zamieniają je w barwną przygodę, zabawę wraz ze znajomymi lub współpracownikami. Przygotowanie takich rozwiązań wymaga jednak od ich projektantów myślenia jak twórcy gier. Umiejętności utrzymania zainteresowania przez dłuższy okres czasu – nie tylko na chwilę.

Bibliografia:
Kevin Werbach, & Dan Hunter (2012). For the Win: How Game Thinking Can Revolutionize Your Business Wharton Digital Press

Grudzień 2, 2012

W pogoni za memem – czyli jak być na bieżąco?

- autor: tsissput

W dzisiejszym świecie jesteśmy dosłownie bombardowani informacjami – za pośrednictwem mediów, zwłaszcza Internetu, dysponujemy dostępem do właściwie nieograniczonej wiedzy. Co więcej, informacje starzeją się w bardzo szybkim tempie, dlatego trudno jest śledzić choćby najważniejsze aktualności. Artykuł „Meme tracking and the Dynamics of the News Cycle” autorstwa J.Leskoveca, L. Backstroma i J. Kleinberga przedstawia cykl życia informacji i dynamikę ich propagacji w sieci na przykładzie memów.

Zgodnie z podaną definicją, pojęcie news cycle określa rytmy w mediach informacyjnych, obserwowane na przestrzeni pewnego okresu czasu. Pierwsze istotne skrócenie news cycle, który wcześniej był związany z codziennym wydawaniem gazet, zostało spowodowane przez pojawienie się wiadomości w telewizji, emitowanych kilka razy w ciągu doby – ten rodzaj cyklu jest określany mianem 24-hour news cycle i funkcjonuje do dzisiaj, aczkolwiek dostęp do informacji w Internecie zapoczątkował kolejną fazę skracania cyklu wiadomości – obecnie mówi się nawet o 5-minute news cycle, typowym dla sieci Web.  Istotnie, w bardzo krótkim czasie (nawet rzędu minut) po pojawieniu się informacji w wiodących mediach można zaobserwować, jaką reakcję wywołuje ona w blogosferze oraz w sieciach społecznościowych.

Bardzo ciekawym zagadnieniem z punktu analizy dynamiki news cycle jest śledzenie memów, również szeroko opisane we wspomnianym artykule. Pod pojęciem mema rozumieć należy jednostkę informacji kulturowej zapisanej w mózgu (lub na innym nośniku), przenoszącą idee, zachowania itp., która może zostać rozpropagowana z jednego mózgu do innego poprzez informację pisaną, mówioną, gest, dźwięk czy obraz. Niektórzy badacze porównują memy do genów, zwracając uwagę na ich powielanie poprzez naśladownictwo, a także ewolucję (mutację), której podlegają memy  np. podczas propagacji w sieci.

Wcześniejsze badania dynamiki news cycle miały jedynie charakter jakościowy, tymczasem autorzy przytoczonego artykułu podejmują się próby analizy ilościowej. Co więcej, dotychczasowe prace rozwijały się w dwóch głównych nurtach, różniących się poziomem granularności informacji. Pierwszy z nich, wykorzystujący podejście probabilistyczne, dobrze nadaje się do obserwacji długofalowych trendów w tematach ogólnych, przy długim horyzoncie czasowym, natomiast drugi, oparty o identyfikację linków i ekstrakcję rzadkich, nazwanych jednostek znalazł zastosowanie w śledzeniu krótkich kaskad informacji tekstowych w blogosferze. Okazuje się jednak, że ludzie odbierają informacje na poziomie krótkich fragmentów tekstu, zdań i memów, odzwierciedlających aktualne wydarzenia i istotne tematy, a rozprzestrzeniających się w sieci w stosunkowo krótkim okresie czasu (rzędu dni). Celem pracy powinno być zatem zaprojektowanie algorytmów pozwalających badać dynamikę news cycle oraz proces rozprzestrzeniania się informacji właśnie na tym pośrednim poziomie.

Metoda zaproponowana przez twórców wspomnianego artykułu polega na skalowalnej identyfikacji krótkich, rozróżnialnych zwrotów, pozostających w formie względnie niezmienionej podczas propagacji przez sieć Web, aczkolwiek podlegających pewnym mutacjom w czasie. Zaprojektowane algorytmy powinny zwracać klastry zwrotów (wraz z ich mutacjami) odpowiadających poszczególnym memom. Reprezentacja mutacji zwrotów ma postać grafu zwrotów (ang. phrase graph), będącego grafem skierowanym, w którym wierzchołki odpowiadają zwrotom, a ważone łuki – połączeniom między nimi, przy czym łuki są zorientowane od krótszego do dłuższego zwrotu. Ponadto definiuje się takie parametry, jak dolną granicę długości zwrotu (aby uniknąć analizy pojedynczych słów) i dolną granicę częstości występowania. Co więcej, usuwa się zdania, dla których zadana część wystąpień dotyczy jednej domeny, a które często stanowią spam.

Rozpoznawanie klastrów na podstawie struktury danego grafu okazuje się być trudne, jednak możliwe jest poszukiwanie zwrotów na tyle blisko powiązanych, aby mogły zostać zaliczone do zbioru odpowiadającego jednemu wyrażeniu. Autorzy artykułu postulują, iż otrzymane klastry powinny mieć postać podgrafów oryginalnego DAG, w których wszystkie ścieżki spotykają się w jednym korzeniu  (ang. single-rooted graph). Możliwe jest usunięcie krawędzi o niewielkich wagach, tak, aby zdekomponować oryginalny graf na rozłączne części, rozpoczynające się od pojedynczego korzenia,  powstaje jednak wówczas problem partycjonowania acyklicznego grafu skierowanego, który należy do grupy NP-trudnych. Uwzględniając ten fakt, można stworzyć klasę heurystyk, pozwalających uzyskiwać dobre rezultaty klasteryzacji w krótszym czasie. Przyjmując kilka założeń dotyczących optymalnych rozwiązań problemu podziału grafu acyklicznego skierowanego wystarczy znaleźć jedną krawędź wychodzącą z każdego węzła, należącego do rozwiązania optymalnego, by w pełni zidentyfikować optymalne komponenty. Heurystyka, zachowująca krawędź do najkrótszego zwrotu, pozwalała poprawić rezultaty o 9% w stosunku do rozwiązania bazowego (pozostawianie losowych krawędzi), zaś heurystyka zachowująca krawędź do najczęściej występującego zwrotu – aż o 12%.

Po wyznaczeniu klastrów można przejść do analizy news cycle na poziomie globalnym – przede wszystkim śledzenia dynamiki wątków w czasie oraz ich wzajemnych interakcji. Wątek (ang.thread) związany z danym klastrem rozumieć należy tu jako zbiór wszystkich elementów bazy danych zawierających jakiś zwrot należący do danego klastra. Badania dynamiki news cycle przeprowadzono na zbiorze 90 milionów dokumentów (postów na blogach oraz artykułów prasowych) pochodzących z 1.65 miliona różnych stron, odpowiadających aktywności mediów w czasie trzech miesięcy kampanii wyborczej  2008 w USA. Po odfiltrowaniu zbyt krótkich zwrotów, zbyt rzadko cytowanych i przypominających spam w bazie z początkowych 112 milionów zwrotów pozostało 47 milionów, z czego 22 miliony rozróżnialnych. Proces klasteryzacji zajął 9 godzin i zwrócił graf acykliczny skierowany o 35800 nietrywialnych komponentach, zawierających 94700 zwrotów.

Rys1

Rys 1. 50 najpopularniejszych wątków w news cycle w okresie od 1.08 do 31.10.2008.

Rys. 1 przedstawia najpopularniejsze wątki i zmiany ich istotności w czasie. Wyraźnie widoczne są trendy „rise and fall” dla poszczególnych wątków – szybko rosnąca popularność, a następnie spadek zainteresowania wątkiem. Liczba artykułów i postów była w przybliżeniu stała we wszystkie dni tygodnia, podobnie jak liczba obserwowanych zwrotów, dlatego przedstawione zmiany w czasie nie zależą od ogólnej liczby wiadomości i postów. Widoczne na zamieszczonym wykresie „spikes” wskazują okresy, gdy niewiele tematów przejmuje większość zainteresowania czytelników, natomiast okresy, w których nie ma zauważalnych „spikes” to takie, w których uwaga odbiorców nie koncentruje się na kilku kluczowych wiadomościach ale jest bardziej rozproszona.

Zaproponowane nowe podejście do globalnej analizy news cycle okazało się lepsze w porównaniu z opisanymi wcześniej metodami – opartą o model probabilistyczny i drugą, polegającą na analizie hiperlinków. Pośredni poziom granularności, zarówno w ujęciu czasowym jak i tekstowym pozwolił lepiej opisywać dynamikę news cycle. W celu zbadania jej zmian stworzono model uwzględniający takie cechy news cycle, jak naśladownictwo (ang. imitation) i czas od pierwszego pojawienia się informacji (ang. recency). Autorzy postulują, że do prawidłowego odtworzenia dynamiki news cycle konieczne są oba wspomniane czynniki – różne źródła naśladują się wzajemnie, a ponadto nowe wątki są preferowane nad starsze. Wyniki badań pokazują, że zaproponowany model pozwala uzyskać przebieg podobny do rzeczywistej dynamiki news cycle. Co więcej, uwzględnienie tylko jednego ze wspomnianych czynników uniemożliwia otrzymanie podobnego rezultatu. Jeśli wziąć pod uwagę jedynie recency, żaden z wątków nie osiąga znacząco większego zainteresowania, niż pozostałe. Z kolei uwzględnienie tylko naśladownictwa, jeden wątek uzyskuje większość zainteresowania i utrzymuje je przez cały czas symulacji – żaden inny wątek nie potrafi go zdominować, gdyż pomija się aspekt starzenia się informacji.

Dokonano także analizy lokalnej, polegającej na badaniu intensywności szczytowej popularności oraz interakcji pomiędzy artykułami a postami na blogach. Przede wszystkim sprowadzono, w jaki sposób zmienia się objętość pojedynczego wątku w czasie, przy czym objętość w chwili t jest rozumiana jako liczba jego elementów ze znacznikiem czasowym t. Czas szczytowy (ang. peak time) danego wątku, związany z jego maksymalną popularnością jest z kolei medianą wartości czasu, w których wątek pojawił się w zbiorze danych. Można by się spodziewać, że początkowa objętość danego wątku powinna być niewielka, zwiększać się przy jego cytowaniach w mediach i stopniowo zmniejszać po przeniknięciu do blogosfery. Okazuje się jednak, że wzrost i spadek objętości jest skupiony wokół wartości szczytowej i niespodziewanie symetryczny, co sugeruje szybki wzrost popularności i tak samo szybki spadek. Co więcej, blisko czasu szczytowego zmienność objętości można przybliżyć funkcją logarytmiczną postaci a|log(|x|)|, wzrastającą szybciej, niż funkcja wykładnicza (pozwalająca dobrze zamodelować przebieg zmian objętości wątku poza bliskim sąsiedztwem czasu szczytowego).

Rys2

Rys 2. Opóźnienie mediów informacyjnych i blogosfery

Zazwyczaj zakłada się, że zwroty najpierw pojawiają się w mediach informacyjnych, a następnie przenikają do blogosfery. Warto jednak zastanowić się nad tym, w jaki sposób przebiega ten proces, jakie występują w nim opóźnienia czasowe oraz czy istnieje ruch danych w odwrotnym kierunku. Dokonano porównania zmian objętości dla każdego z analizowanych wątków, przy czym jedna z krzywych odpowiadała objętości dla mediów informacyjnych (news volume), zaś druga – dla blogosfery (blog volume). Rys. 2 przedstawia uzyskane przebiegi – wyraźnie widać, że czas szczytowy dla news volume występuje około 2.5 godziny wcześniej, niż dla blog volume. Ponadto, objętość wątku w mediach informacyjnych rośnie i spada szybciej, niż w przypadku blogosfery. Można także zaobserwować, iż news volume spada w szybszym tempie, niż narasta, natomiast dla blog volume występuje sytuacja odwrotna – wątki dłużej pozostają popularne w blogosferze, podczas gdy media informacyjne szybko przechodzą do innych wiadomości.

Rys3

Rys 3. Migracja zwrotów z mediów informacyjnych do blogów

Zaciekawić może także fakt, iż różne strony mają różne opóźnienia we wzmiankowaniu wątków, a co więcej, popularne zwroty często najszybciej pojawiają się na blogach i w mediach niezależnych. Ponadto przeprowadzone badania wykazały, że proces przenikania zwrotów z mediów informacyjnych do blogosfery ma przebieg „rytmu serca” (ang. heartbeat), co widać na Rys. 3  – popularność zwrotu nieznacznie wzrasta około 3 godzin czasem szczytowym dla mediów informacyjnych, następnie spada, by po przekroczeniu czasu szczytowego gwałtownie wzrosnąć, co odpowiada szybkiemu przejęciu zwrotu przez blogerów. Zaskoczyć może także inne zaobserwowane zjawisko – ruch informacji, który zwykle przebiega od mediów informacyjnych do blogosfery, może zachodzić także w drugim kierunku, gdy media przejmują zwroty popularne na blogach. Mimo, że jest on stosunkowo niewielki (odpowiada ok. 3.5% całego ruchu informacji), ilustruje wzrost istotności niezależnych źródeł informacji, które wywierają zauważalny wpływ na oficjalne media.

Zagadnienie śledzenia procesu rozprzestrzeniania się informacji w sieci Web wydaje się bardzo interesujące. Wspomniany artykuł „Meme tracking and the Dynamics of the News Cycle” przedstawia całkiem nowe podejście do tego problemu, pozwalające badać dynamikę tego zjawiska w sposób ilościowy, wskazuje także podstawowe czynniki, za pomocą których można modelować news cycle. Co więcej, zwraca on uwagę na proces migracji wiadomości pomiędzy mediami informacyjnymi a blogosferą, uwydatniając wzajemne relacje między nimi.

Autor: Małgorzata Trzcielińska

Bibliografia:

J. Leskovec, L. Backstrom, J. Kleinberg „Meme tracking and the Dynamics of the News Cycle” (artykuł dostępny na stronie http://memetracker.org/)

http://www.cubitresearch.com/blog/how-we-define-the-news-cycle-affects-our-perceived-media-monitoring-and-analysis-needs/