Користувач:Bunyk/Редакція

Качаємо останню версію freebase-python. Розпаковуємо архів, переходимо в нього і пишемо:

sudo python setup.py

Після цього пробуємо виконати простенький запит, наприклад дізнатись хто режисер фільму Hot Fuzz:

import freebase 
print freebase.mqlread({"name":"Hot Fuzz","type":"/film/film","directed_by":[]})

Словник що передається у функцію - запит MQL. Запити MQL записуються в форматі JSON, і всі поля що містять значення "[]", або "null" заповнюються даними з бази. Детальна інструкція по MQL тут.

Архітектура Metaweb

Тепер трохи відійдемо від практики, і розглянемо структуру бази даних.

База даних Metaweb відрізняється від звичайних реляційних БД. Вона являє собою граф з вузлів та відношень. Також є додаткова частина - сховище медіа (content store). Вона призначена для зберігання бінарних файлів (BLOB в SQL), кожному з яких відповідає вузол графа. Ключем до файлу є його SHA2 хеш, це забезпечує відсутність дублікатів.

Вузли та зв'язки

На найнижчому рівні база даних Metaweb - це граф вузлів та зв'язків між ними. Кожен вузол має унікальний ідентифікатор та запис про те коли, й ким він був створений. Окрім ідентифікатора дати та автора вузли не містять жодної інформації. Все найцікавіше зберігається в зв'язках між вузлами (чи між вузлами та примітивами).

Зв'язки - це кортежі з 4 елементів (насправді 6, зв'язок теж має автора та час створення). Перший елемент From - перший (лівий) вузол зв'язку. Другий - Property - тип зв'язку. Наступне значення - To другий (правий) вузол зв'язку. Value - значення. Вузол може перебувати у відношенні з іншим вузлом, або зі значенням, або з обома одночасно, залежно від типу (Property) зв'язку.

Наприклад:

From	Property	To	Value
/en/the_police	/type/object/name	/lang/en	The Police
/en/zenyatta_mondatta	/type/object/name	/lang/en	Zenyatta Mondatta
/en/zenyatta_mondatta	/music/album/artist	/en/the_police

Перший рядок каже, що вузол /en/the_police, пов'язаний зв'язком /type/object/name (ім'я) з вузлом /lang/en (англійська мова) та значенням "The Police", тобто англійською мовою вузол /en/the_police називається "The Police". Другий дає подібну інформацію про альбом "Zenyatta Mondatta". Третій - каже про те, що альбом та група пов'язані через /music/album/artist, тобто "Zenyatta Mondatta" - альбом групи "The Police".

Властивості

Властивості об'єктів (вузлів) в БД задаються типами зв'язків. Можна було помітити що колонка Property попередній таблиці містить ідентифікатори подібні до ідентифікаторів вузлів. А все тому, що тип зв'язку теж є вузлом, і його теж можуть створити користувачі, і він теж може попадати в поля From та To. Наприклад:

From	Property	To	Value
/type/object/name	/type/object/name	/lang/en	Name
/music/album/artist	/type/object/name	/lang/en	Artist
/music/track/album	/type/object/name	/lang/en	Appears On
/music/album/artist	/type/property/unique		true
/music/track/album	/type/property/unique		false

Перший рядок цієї таблиці має доволі цікавий сенс. Він каже нам про те, що ім'я властивості ім'я англійською мовою "Name".

Напрямки властивостей

Напевне досить очевидно, що граф бази даних - напрямлений, так як для зв'язку конкретно вказано куди і звідки. Але Metaweb вміє переміщуватись по графу в обидві сторони.

Наприклад розглянемо зв'язок між альбомами та треками. Кожна композиція (трек) має властивість "альбом[и]" в яких вона була видана. Ми можемо здійснити запит "дізнатись в яких альбомах публікувалась Driven to Tears", і Metaweb знайде всі значення поля "To" кортежів, в яких поле "From" містить "Driven to Tears", а поле "Property" - /music/track/album. Можна задати протилежний запит - "які треки містить альбом Zenyatta Mondatta?". Metaweb дасть нам значення поля "From" всіх кортежів які містять "Zenyatta Mondatta" в полі "To", та /music/track/album в "Property".

Metabase має як властивість альбоми в яких видавалась композиція (/music/track/album), так і протилежну - композиції альбому. (/music/album/track). Такі властивості називаються взаємними (англ. reciprocal properties), і такий їх зв'язок теж описується в графі:

From	Property	To	Value
/music/track/album	/type/property/reverse_property	/music/album/track

Значення властивостей

Деякі властивості є базовими, тобто вбудовані в архітектуру і мають чітко прописане значення. Наприклад на /type/object/name накладається обмеження, що кожен об'єкт хоча й може мати багато імен, але лише одне кожною мовою. Іншою властивістю вбудованою в архітектуру є наприклад /type/property/unique, яка показує чи властивість вказує на один об'єкт, чи на множину.

Щоправда більшість властивостей не такі. /music/album/artist не є частиною архітектури. Його створили користувачі freebase.com для запису інформації про музику. Сам ідентифікатор властивості дає нам підказку про те що вона означає, яка підтверджується тим, що ця властивість має ім'я "Artist" (через зв'язок /type/object/name). Ми навіть можемо отримати коротку інструкцію використання властивості, якщо використаємо властивість /freebase/documented_object/tip.

Таким чином значення /type/property/unique закодоване прямо в реалізації БД, а значення /music/album/artist існує тільки в головах користувачів.

Назви, ідентифікатори та простори імен

Кожен вузол має унікальний ідентифікатор, але не зобов'язаний мати унікальне ім'я. Вузли /lang/en, /en/english_people, та /authority/gnis/57724 відповідають мові, нації, та місту в штаті Акранзас, і всі мають однакову назву англійською - "English". А якщо є два вузли що мають однакові ідентифікатори - то це один і той самий вузол. Ідентифікатори не є незмінними, їх можна редагувати як і вузли. Можна змінити ідентифікатор вузла, і можна зробити так щоб ідентифікатор показував на інший вузол.

Такий ідентифікатор як наприклад /type/object/name складається з двох частин - /type/object, яка називається простором імен (і в свою чергу теж є ідентифікатором з простору імен /type), та name - який називається ключем. Це трохи нагадує структуру директорій Unix.

Ідентифікатори на зразок /en/the_police написані майже англійською мовою, тому досить зрозумілі. Щоправда такі ідентифікатори вдається надати не всім вузлам, тому окрім них, кожен вузол ідентифікується ключами з простору імен guid (англ. globally-unique identifier), наприклад пісня "Driven to Tears" має ідентифікатор /guid/9202a8c04000641f800000000129a87a. На рівні реалізації БД, зв'язки між вузлами встановлюються записом в поля кортежу From, To та Property саме цих ідентифікаторів, а не тих, що були показані в таблицях. guid - фундаментальна властивість кожного вузла, на відміну від інших ідентифікаторів. Ці інші ідентифікатори можна отримати через зв'язки типу /type/object/key де в полі "To" дається простір імен, а в "Value" - ключ. Простір імен теж вузол, тому теж має ідентифікатор.

Об'єкти та типи

Дотепер ми казали що база даних складається з вузлів та зв'язків, і старанно уникали слова "об'єкт" (можете перевірити). Але воно зустрічалось в таких ідентифікаторах як наприклад /type/object/key, чи /freebase/documented_object/tip. Тому, хоча дуже потрібно знати що на найнижчому рівні Freebase складається з кортежів що задають зв'язки між вузлами, але варто поглянути на неї через об'єктно-орієнтовані окуляри O^O.

Тому замість того щоб думати про зв'язки між вузлами пов'язаними з вузлом групи "The Police" дані можна представити таким псевдокодом:

{
  id: "/en/the_police",
  name: "The Police",
  /music/artist/album: {
    id: "/en/zenyatta_mondatta",
    name: "Zenyatta Mondatta",
    /music/album/track: {
      name: "Driven to Tears",
      /music/track/length: 200.266
    }
    /music/album/track: {
      name: "Canary in a Coalmine",
      /music/track/length: 146.506
    }
  }
}

Нагадує JSON, правда? Це не випадково. Ми бачимо об'єкт, де id = /en/the_police та name = "The Police". id та name - скорочення що відповідають універсальним властивостям /type/object/id та /type/object/name, які доступні всім об'єктам. Всередині нього є об'єкт що відповідає альбому, а всередині альбому - об'єкти для треків (загалом їх більше, але вони були опущені для лаконічності). Відомості про альбоми та треки покладаються на властивості /music/artist/album та /music/album/track.

Щоб завершити огляд Freebase з об'єктно-орієнтованого погляду потрібно розповісти про типи. Типи - це колекції однотипних властивостей, і об'єкт в Metaweb може бути екземпляром одного чи кількох типів. /en/the_police - екземпляр типу /music/artist, /en/zenyatta_mondatta - екземпляр типу /music/album, і об'єкт що представляє трек є екземпляром /music/track. Типи, як і властивості інше представлені вузлами. Властивості є екземплярами типу /type/property, а кожен тип - екземпляр /type/type (що означає що /type/type - екземпляр самого себе!) Об'єкти що мають властивості використовують свої ідентифікатори в якості простору імен для ідентифікаторів типів цих властивостей. Не переживайте якщо не зрозуміли попереднє речення, я й сам його ледве зрозумів. Поясню на прикладах. Властивості /music/track, такі як /music/track/album чи /music/track/length, мають ідентифікатори що починаються з /music/track.

Типи та властивості пов'язані унікальною властивістю /type/property/schema, яка описує зв'язок між властивістю, та типом до якого ця властивість входить. Зворотня властивість /type/type/properties дає всі властивості типу.

Існує ще дві, важливіші властивості що включають типи. Це /type/object/type, що аналогічно до /type/object/name використовується практично для кожного об'єкта в базі. Задає всі типи, екземплярами яких є об'єкт. Наприклад /en/the_police є екземляром /music/artist, /common/topic, /music/producer, та /music/musical_group.

Знати тип потрібно з двох причин: якщо ми знаємо що об'єкт - це /music/artist, ми знаємо що є сенс запитати про значення його властивості /music/artist/album. І тип об'єкта - чудовий уточнювач. Ми можемо знайти багацько об'єктів що називаються "English", але можемо суттєво звузити пошук, якщо скажемо що нас цікавлять лише екземпляри /type/lang.

На додачу до /type/object/type є ще одна властивість пов'язана з типами. Це унікальна властивість /type/property/expected_type (очікуваний тип), що для кожної властивості задає тип значення пов'язаного з цією властивістю. Наприклад очікуваним типом властивості /music/artist/album є /music/album, а очікуваним типом /music/album/track є /music/track.

Додавання типу об'єкта дозволяє нам суттєво спростити його запис:

{
  id: "/en/the_police",
  type: "/music/artist",
  name: "The Police",
  album: {
    id: "/en/zenyatta_mondatta",
    name: "Zenyatta Mondatta",
    track: {
      name: "Driven to Tears",
      length: 200.266
    }
    track: {
      name: "Canary in a Coalmine",
      length: 146.506
    }
  }
}

Ми додали в зовнішній об'єкт властивість type, який задав тип /music/artics. Це дозволяє нам використати просте ім'я властивості замість /music/artist/album. Більше того, так як ми знаємо що очікуваним типом для /music/artist/album є /music/album, ми можемо простом використати ім'я властивості track замість /music/album/track. Аналогічно /music/track/length скорочується до length.

Metaweb Query Language

Для зручності дослідження Freebase, та вивчення мови запитів, розробники створили "Query Editor" - зручний інструмент що працює прямо в браузері, та має підказки з автодоповненням та інші зручності.

Як вже згадувалось вище, MQL базується на JSON, тобто структура даних аналогічна до тієї яку ми можемо створити з словників, масивів та базових типів (рядків та чисел) Python. Відмінність між JSON та Python покажемо в таблиці:

Python	JSON	Значення
None	null	Немає даних
False	false
True	true
'"'	"\""	Рядки в JSON - тільки в подвійних лапках

На цьому здається все. Відмінностей від Python не так і багато.

Спробуємо написати простий запит, який наприклад нам дасть список властивостей, які характеризують тип /film/film:

[{
  "id": "/film/film",
  "type": "/type/type",
  "properties": []
}]

В результаті виконання запиту, в правому полі (якщо ви писали запит в Query Editor) буде приблизно такий текст:

{
  "code":          "/api/status/ok",
  "result": [{
    "id":   "/film/film",
    "properties": [
      "/film/film/initial_release_date",
      "/film/film/directed_by",
      далі багато властивостей пропущено для компактності
    ],
    "type": "/type/type"
  }],
  "status":        "200 OK",
  "transaction_id": "cache;cache03.p01.sjc1:8101;2011-04-02T19:19:20Z;0041"
}

Одиничні та множинні результати

Як вже було сказано, відповідь на запит - це цей же запит, з заповненими полями, які мали значення [] чи null. Цю відповідь ми можемо бачити в полі "result" відповіді. Окрім "result" є інші поля з службовою інформацією.

А тепер спробуємо написати в нашому запиті замість [] null. Тобто так:

[{
  "id": "/film/film",
  "type": "/type/type",
  "properties": []
}]

Відповідь сервера зміниться. Він повідомить нас про помилку:

{
  "code":          "/api/status/error",
  "messages": [{
    "code":    "/api/status/error/mql/result",
    "info": {
      "count": 52,
      "result": [
        "/film/film/initial_release_date",
        "/film/film/directed_by",
        знову багато пропущено...
      ]
    },
    "message": "Unique query may have at most one result. Got 52",
    "path":    "properties",
    "query": [{
      "error_inside": "properties",
      "id":           "/film/film",
      "properties":   null,
      "type":         "/type/type"
    }]
  }],
  "status":        "200 OK",
  "transaction_id": "cache;cache03.p01.sjc1:8101;2011-04-02T19:25:14Z;0013"
}

Суть помилки пояснюють в полі "message": написавши в полі null ми очікуємо що база даних заповнить його значенням, але база даних знайшла їх аж 52 штуки. Простим вирішенням помилки є повернення до попередньої версії запиту, коли ми просили базу даних заповнити список.

Тут варто зауважити що навіть об'єкт може мати навіть кілька типів, тому наприклад запит

[{ "id": "/film/film", "type":null }]

теж дасть аналогічну помилку. З іншого боку, якщо навіть властивість може мати лише одне значення (як наприклад id), ми все одно можемо запитати не через null, а через []. Тоді потрібне нам значення потрапить в перший елемент списку.

Так само працює зовнішній запит. Якщо заповнити всі дані можна лише одним способом, то ми могли б написати наприклад:

{
  "name":"Ukrainian"
  "id":null,
  "type":[]
}

але база даних скаже що результатів аж ніяк не один, тому треба буде помістити цей запит всередину списку []. Ну, або уточнити тип аби залишився лише один результат.

Вкладені запити

Як ми знаємо, властивості - це теж вузли, і вони теж мають властивості, такі як, наприклад, ім'я, очікуваний тип, та якусь документацію. Ми уточнюємо наш запит вставивши всередину списку "properties" підзапит що задає поля властивостей, які нас цікавлять:

[{
  "id":   "/film/film",
  "type": "/type/type",
  "properties": [{
    "id": null,
    "name":          null,
    "expected_type": null,
    "/freebase/documented_object/tip": null
  }]
}]

Так само ми можемо зробити з акторами що грають в фільмі. Поле "starring" має очікуваний тип /film/performance, всередині якого збегігають дані про актора та персонажа якого він грає. Тому ми можемо написати такий запит:

[{
  "name":"Yes man",
  "type":"/film/film",
  "starring":[{"actor":null, "character":null}]
}]

і отримаємо в відповіді такий текст:

"result": [{
    "name": "Yes Man",
    "starring": [
      {
        "actor":     "Terence Stamp",
        "character": "Terrence Bundley"
      },
      {
        "actor":     "Bradley Cooper",
        "character": "Peter"
      }, 
      і так далі

ми можемо зробити ще один вкладений запит, і наприклад попросити вказувати окрім імені ще і стать актора:

[{
  "name": "Yes man",
  "type": "/film/film",
  "starring": [{
    "actor": {
      "name":          null,
      "/people/person/gender": null
    },
    "character": null
  }]
}]

Зауважте що властивість /people/person/gender вказана повністю. Це потрібно тому, що актор має очікуваний тип /film/actor, а тип /film/actor не передбачає жодної статі. Зате кожен конкретно взятий актор також є людиною, тому також належить типу /people/person/, який вже має таку властивість як gender.

Помінявши поля в яких ми вказуємо null, і заповнивши наприклад ім'я актора, можна отримати всі фільми в яких знімалась Зоуі Дешанель, разом з персонажами яких вона грала, якщо такі відомі:

[{
  name:null,
  "type": "/film/film",
  "starring": [{
    "actor": {
      "name": "Zooey Deschanel"
    },
    "character": null
  }]
}]

Аналогічний, і навіть трохи краще оформлений результат можна отримати вивернувши запит навиворіт:

[{
  "name": "Zooey Deschanel",
  "type": "/film/actor",
  "film": [{
      "film": null,
      "character": null
    }]
}]

Тепер в кожному фільмі не буде явно вказано те, що в ньому грала Зоуі Дешанель, а просто даний список фільмів та персонажів.

Основні властивості

Фільм в попередньому запиті, як і персонаж описувався своєю назвою:

        "character": "Trillian",
        "film":      "The Hitchhiker's Guide to the Galaxy"

Але ми вже точно знаємо, що фільм, на відміну від персонажа, про якого в базі даних може справді бути лише одне ім'я - це складний об'єкт з купою властивостей, а не один рядок тексту. А суть в тому, що на запити в яких вказано заповнити масив, або повернути значення, рушій повертає "основну" (англ. default) властивість об'єкта. Для фільмів - це назва. Для об'єктів що не мають назви - ідентифікатор. Якщо замість [], чи null запитати {} то нам повернуть словник в якому заповнені поля id, name та type. Ну, або ми можемо отримати потрібні нам поля за допомогою вкладеного запиту.

Предметна область - кінематограф

Загалом вивчення формату в якому представлена певна предметна область на Freebase полягає у вивченні типів. Для цього можна скористатись розділом Schema (наприклад схема для /film/film), чи скриптом з аналогічною функцією:

import freebase
query = {
  "id":   "/film/film",
  "type": "/type/type",
  "properties": [{
    "id": None,
    "name":          None,
    "expected_type": None,
    "/freebase/documented_object/tip": None
  }]
}

res = freebase.mqlread(query)
props = res['properties']

print "{|\n|-\n! Ідентифікатор !! Назва !! Очікуваний тип !! Довідка \n"
for p in props:
        print "|-\n| <code>%s</code> || <code>%s</code> || <code>%s</code> || %s" %( p['id'], p['name'], p['expected_type'], p['/freebase/documented_object/tip'])
print "|}"

Результат його роботи, з наступним ручним опрацюванням:

Ідентифікатор	Назва	Очікуваний тип	Довідка
/film/film/initial_release_date	Initial release date	/type/datetime	Прем'єра. (YYYY-MM-DD)
/film/film/directed_by	Directed by	/film/director	Режисер
/film/film/produced_by	Produced by	/film/producer	Продюсер
/film/film/written_by	Screenplay by	/film/writer	Сценарист
/film/film/cinematography	Cinematography	/film/cinematographer	Оператор
/film/film/edited_by	Edited by	/film/editor	Монтаж
/film/film/music	Music by	/film/music_contributor	Композитор
/film/film/language	Languages	/language/human_language	Мови
/film/film/rating	Rated	/film/content_rating	None
/film/film/estimated_budget	Estimated budget	/measurement_unit/dated_money_value	Бюджет
/film/film/country	Country of origin	/location/country	Країна
/film/film/starring	Performances	/film/performance	В ролях
/film/film/runtime	Runtime	/film/film_cut	Тривалість
/film/film/soundtrack	Soundtrack	/music/soundtrack	None
/film/film/genre	Genres	/film/film_genre	Жанри
/film/film/film_series	Film Series	/film/film_series	None
/film/film/story_by	Story by	/film/film_story_contributor	None
/film/film/sequel	Sequel	/film/film	Сиквел
/film/film/prequel	Prequel	/film/film	Приквел
/film/film/film_format	Film format	/film/film_format	None
/film/film/costume_design_by	Costume design by	/film/film_costumer_designer	Responsible for the overall design of costumes of the film, individual designs/gowns for a star should be listed in Other crew
/film/film/other_crew	Other crew	/film/film_crew_gig	Used for all the other crew members of a film production that do not have an existing specifically named crew property (eg. gaffer, best boy, greens supervisor, make-up artist, etc.).
/film/film/trailers	Trailers	/common/webpage	Трейлери
/film/film/distributors	Distributors	/film/film_film_distributor_relationship	None
/film/film/other_film_companies	Other film companies	/film/film_film_company_relationship	None
/film/film/production_companies	Production companies	/film/production_company	None
/film/film/tagline	Tagline	/type/text	Слоган
/film/film/release_date_s	Release date(s)	/film/film_regional_release_date	Прем'єри в регіонах
/film/film/film_festivals	Film festivals	/film/film_festival_event	Фестивалі на яких демонструвався фільм.
/film/film/nytimes_id	NY Times ID	/type/enumeration	None
/film/film/featured_song	Featured Song	/film/film_featured_song	Song(s) that were written specifically for the film (or pre-existing song(s) used for great effect within the film). This is meant for the notable (or so noted in the credits for pre-1980's films) and not every single song that is placed within a production (think of Casablanca's "As Time Goes By," Dirty Dancing's "We're Having the Time of Our Lives," Goldfinger's "Goldfinger," Mortal Kombat's "Theme From Mortal Kombat," and Ghostbuster's "Ghostbusters").
/film/film/metacritic_id	Metacritic film ID	/type/enumeration	None
/film/film/apple_movietrailer_id	Apple movie trailer ID	/type/enumeration	None
/film/film/rottentomatoes_id	Rotten Tomatoes ID	/type/enumeration	None
/film/film/executive_produced_by	Executive produced by	/film/producer	Виконавчий продюсер
/film/film/film_casting_director	Casting director	/film/film_casting_director	The lead person(s) involved in casting of this film production
/film/film/film_production_design_by	Production design by	/film/film_production_designer	The lead production designer(s) responsible on the film production
/film/film/film_art_direction_by	Art direction by	/film/film_art_director	The art director(s) of this film production
/film/film/film_set_decoration_by	Set Decoration by	/film/film_set_designer	Set designer for film production (assistants and other associated set designer roles are to be listed in Other crew)
/film/film/traileraddict_id	Trailer Addict ID	/type/enumeration	None
/film/film/gross_revenue	Gross revenue	/measurement_unit/dated_money_value	Касовий збір
/film/film/pre_production	Pre-production	/measurement_unit/time_interval	The start and end dates of the film's pre-production (includes all phases of development for the film) before actual filming begins.
/film/film/filming	Filming	/measurement_unit/time_interval	The start and end dates for the production (shooting film) phase of creating the the film.
/film/film/post_production	Post-production	/measurement_unit/time_interval	The start and end dates for the post-production (effects, editing, scoring etc.).