ini linknya http://rembulanmalam.wordpress.com

tugas besar information retrieval

Web crawling adalah proses mengambil kumpulan halaman dari sebuah web untuk dilakukan pengindeksan sehingga mendukung kinerja mesin pencari. Tujuan dari proses crawling adalah mempercepat dan mengefisienkan kumpulan halaman web dengan cepat, mengumpulkan struktur tautan yang menghubungkan kumpulan halaman web tersebut (Manning et al. 2008).

Salah satu contoh situs yang menerapkan web crawling adalah www.webcrawler.com . Di samping situs-situ mesin pencari terkemuka tentunya, seperti Google, Yahoo, Ask, Live, dan lain sebagainya.

Algoritma dari crawling adalah sebagai berikut : (Rada Mihalcea 2006)*
Initialize queue (Q) with initial set of known URL’s.
Until Q empty or page or time limit exhausted:
Pop URL, L, from front of Q.
If L is not to an HTML page (.gif, .jpeg, .ps, .pdf, .ppt…)
continue loop.
If already visited L, continue loop.
Download page, P, for L.
If cannot download P (e.g. 404 error, robot excluded)
continue loop.
Index P (e.g. add to inverted index or store cached copy).
Parse P to obtain list of new links N.
Append N to the end of Q.

Algoritma di atas menjelaskan pengambilan konten (berupa teks) dari suatu situs sampai ke halaman terakhir yang ditandai dengan tidak ada lagi tautan yang merujuk ke halaman selanjutnya.

Pada tulisan kali ini akan diberi contoh cara mengambil konten dari suatu situs berupa tautan. Dengan menggunakan bahasa pemrograman PHP, library CURL, dan penggunaan regex (regular expression).

Sumber kode :

// Fungsi untuk mengambil meng-scan seluruh konten dan disimpan dalam format teks
// Menggunakan library CURL
function scanPage($url) {
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL,$url);
curl_setopt($ch, CURLOPT_TIMEOUT, 120); //timeout after 120 seconds
curl_setopt($ch, CURLOPT_RETURNTRANSFER,1);
$result=curl_exec ($ch);
curl_close ($ch);

return $result ;
}

$url = “http://www.kohaci.com/” ; // Situs yang akan di crawl

$rs = scanPage($url) ;
/*
* Pada tahap ini telah dilakukan pengambilan seluruh
* konten dan teknik crawling telah dilakukan
*/

// Memilah isi konten untuk diambil hanya isi yang mengandung tautan saja
// Menggunakan regular expression (info selanjutnya klik di www.php.net )
preg_match_all(‘/]*)href=”(.*?)”(?:[^>]*)>(.*?)/is’,$rs,$output,PREG_SET_ORDER) ;

// Menampilkan hasil
foreach($output as $item) {
print_r($item) ;
}

Gunakan Nofollow free, untuk ningkatin pagerank

Kebanyakan kamu-kamu yang suka pake social bookmark pasti udah tau digg , delicious atau stumbelupon. Free social bookmark bisa bagus buat dapatin traffic, itu juga kalo yang kamu submit adalah website/artikel bagus dan banyak disukai oleh member lainnya.

Kebanyakan social bookmark menambah tag re=nofollow di outbond link nya, artinya kalo link kamu ada di digg atau delicious, tidak akan dianggap “berarti” oleh search engine.

Berikut ini beberapa website social bookmark yang bisa kamu pake untuk nyari backlink, tentu saja dengan pagerank lumayan ) .

* http://ma.gnolia.com/ PR4
* http://www.bibsonomy.org/ PR7
* http://www.mister-wong.com/ PR7
* http://socialogs.com/ PR3
* http://www.bmaccess.net PR4

Untuk tema khusus kamu bisa coba submit di:

* http://tweako.com/ PR4
* http://www.plugim.com/ PR4
* http://www.indianpad.com/ (PR6)

A9 Bm7 C#m7 DM7 E7
ketika kau lewat dimana tempat ku berdiri
A9 Bm7 C#m7 DM7 E7
kedua mata ini tak berkedip menatapi
DM7 Dm7 C#m7 F#m7 Bm7 E7 A
pesona indah wajahmu mampu mengalihkan duniaku
DM7 Dm7 C#m7 F#m7 Bm7 E7
tak henti membayangkanmu terganggu oleh cantikmu

A9
tujuh hari dalam seminggu
Bm7 E7 C#m7 F#m7
hidup penuh warna ku selalu mendekatimu
Bm7 E7
memberi tanda cinta
A9 Bm7 E7
engkau wanita tercantikku yang pernah ku temukan
C#m7 F#m7 Bm7 E7 A
wajahmu mengalihkan duniaku

Dm7
hey hey heee pesonamu
C#m7 Bm7 E7
dan wajahmu mengalihkanku

DM7 Dm7 C#m7 F#m7 Bm7 E7 A
pesona indah wajahmu mampu mengalihkan duniaku
DM7 Dm7 C#m7 F#m7 Bm7 E7
tak henti membayangkanmu terganggu oleh cantikmu

A9
tujuh hari dalam seminggu
Bm7 E7 C#m7 F#m7
hidup penuh warna ku selalu mendekatimu
Bm7 E7
memberi tanda cinta
A9 Bm7 E7
engkau wanita tercantikku yang pernah ku temukan
C#m7 F#m7 Bm7 E7 A
wajahmu mengalihkan duniaku

A9 Bm7 E7
hidupku penuh warna
C#m7 F#m7 Bm7 E7
ku selalu mendekatimu memberi tanda cinta hooo ooo..
A9 Bm7 E7
engkau wanita tercantikku yang pernah ku temukan
C#m7 F#m7 Bm7 E7 A
wajahmu mengalihkan duniaku

Bm7 E7 A Bm7 E7 A
duniaku… duniaku…

[intro] C 2X

C F
Ajari aku `tuk bisa
G C
Menjadi yang engkau cinta
Am F C
Agar ku bisa memiliki rasa
F Dm G C
Yang luar biasa untukku dan untukmu

C F
Ku harap engkau mengerti
G C
Akan semua yang ku pinta
Am F C
Karena kau cahaya hidupku, malamku
F Dm G C
tuk terangi jalan ku yang berliku

[int] C F G C 3x

[chorus]
C F
Hanya engkau yang bisa
G C
Hanya engkau yang tahu
Am F G C
Hanya engkau yang mengerti, semua inginku

C F G C (2x)
[ajari aku `tuk bisa mencintaimu]
[ajari aku `tuk bisa mengerti kamu]

F C F G
Mungkinkah semua akan terjadi pada diriku
C F G
Hanya engkau yang tahu
C F G C
Ajari aku `tuk bisa mencintaimu

Intro : D

D
Saat ku pejamkan kedua mataku
F#m
Dan kubayangkan
Bm
Di sampingmu
G
Kurasakan slalu
Em
Hangatnya pelukmu
D
Itu
tak ada yang bisa-chord Andra and the backbone
tak ada yang bisa-Andra
D
Dan ku genggam lembut kedua tanganmu
F#m Bm A5
Seakan takut Kehilanganmu
G
Kuingin selalu
Em A
Hatimu untukku

Chord Andra and the backbone-tak ada yang bisa

Reff :

D Bm G E-A
Tak ada yang bisa
D Bm G E-A
Menggantikan dirimu
Bm A
Tak ada yang bisa
E G
Membuat diriku
D
Jauh darimu…
Chord andra and the backbone-tak ada yang bisa
Interlude : Bb C D 4x
G A
chord Andra-tak ada yang bisa
Back to : Reff

D Bm G E-A
Menggantikan hatimu
Bm A
Tak ada yang bisa
E G
Membuat diriku
D
Jauh darimu…
Andra and the backbone chord-tak ada yang bisa
Coda : Bb C D 6x

[intro] F A# 5x

F A#
tak pernah kuduga
F A#
semuanya berubah
F A#
saat kau memandangku
F A#
bergetar hati ini

A# C Dm C Am
kau berikan harapan tentang
A# C
warna warni hariku

[reff1]
A# Am
semenjak ada dirimu
Gm F
dunia terasa indahnya
A# Am
semenjak kau ada disini
Gm F
kumampu melupakannya

F A# F A#

F A#
kini aku tak sabar
F A#
ingin hati kau untukku
F A#
nyatakanlah kepadaku
F A#
janji indah yang kutunggu
A# C Dm C Am
semua kini telah bersinar lagi
A# C
takkan kuingat dia

to : [reff1]

[reff2]
A# Am
semenjak ada dirimu
Gm F
dunia terasa indahnya
A# Am
semenjak kau ada disini
Gm F
tak ingin melepaskanmu

F A#
where are you
F A#
when I needed you
C# F# C
Now that I found someone new

A# C Dm C Am
kau berikan harapan tentang
Gm
warna warni hariku
C
warna warni hariku

to : [reff1]

C Bm
semenjak ada dirimu
Am G
dunia terasa indahnya
C Bm
semenjak kau ada disini
Am G
tak ingin melepaskanmu

C Bm
semenjak ada dirimu
Am G
dunia terasa indahnya
C Bm
semenjak kau ada disini
Am G
kumampu melupakannya

C G Am
Di malam yang sesunyi ini
Em F C G
Aku sendiri tiada yang menemani
F Em
Akhirnya kini kusedari
Am F G
Dia telah pergi tinggalkan diriku

C G Am
Adakah semua ‘kan terulang
Em F C G
Kisah cintaku yang seperti dulu
F G Am Em F
Hanya dirimu yang kucinta dan kukenang di dalam hatiku
C F G
Takkan pernah hilang bayangan dirimu untuk selamanya

Reff :

C G Am Em
Mengapa terjadi kepada diri mu
F C G
Aku tak percaya kau telah tiada
C G Am Em
Haruskah kupergi tinggalkan dunia
F G C
Agar aku dapat berjumpa dengan mu

Backto : *, Reff

(Music)

C G Am Em
Mengapa terjadi kepada diri mu
F C G
Aku tak percaya kau telah tiada
C G Am Em
Mengapa terjadi kepada diri mu
F C G
Aku tak percaya kau telah tiada
C G Am Em
Haruskah kupergi tinggalkan dunia
F G C
Agar aku dapat berjumpa denga

[intro] D A Bm F#m G D A

D             A
Tak pernah terpikir olehku
Bm          F#m
Tak sedikitpun ku bayangkan
G                 D         A
Kau akan pergi tinggalkan kusendiri

D           A
Begitu sulit kubayangkan
Bm          F#m
Begitu sakit ku rasakan
G                D           A
Kau akan pergi tinggalkan ku sendiri

G
Di bawah batu nisan kini
A
Kau tlah sandarkan
D  A/C#   Bm
Kasih sayang kamu begitu dalam
G
sungguh ku tak sanggup
A                  D
Ini terjadi krna ku sangat cinta

[chorus]
G               A
Inilah saat terakhirku melihat kamu
D    A/C#   Bm
Jatuh air mataku menangis pilu
G        E
Hanya mampu ucapkan
A
Selamat jalan kasih

D          A/C#
Satu jam saja kutelah bisa
Bm                  G
cintai kamu kamu kamu di hatiku
D          A
Namun bagiku melupaknmu
G           A
buth waktuku seumur hidup

D            A/C#
Satu jam saja kutelah bisa
Bm     G
sayangi kamu di hatiku
D          A
Namun bagiku melupaknmu
G          A
butuh waktuku seumur hidup

[interlude] G Bm Em F# Bm A-G Em A

G D Em Bm
Mungkinkah kau tau rasa cinta yang kini membara
C A D
Yang masih tersimpan dalam lubuk jiwa
G D Em Bm
Ingin ku nyatakan lewat kata yang mesra untukmu
C A D
Namun kutak kuasa untuk melakukanya

G D
Reff : Mungkin hanya lewat lagu ini
Em Bm C
Akan kunyatakan rasa cintaku padamu
Am D
Rinduku padamu tak bertepi
G D
Mungkin hanya sebuah lagu ini
Em Bm
Yang slalu akan kunyanyikan
C Am D
Sebagai tanda betapa aku inginkan kamu

Intro : G D Em Bm C A D
E A E
Ooooo….Mungkin hanya lewat lagu ini
F#m C#m D
Akan kunyatakan rasa cintaku padamu
Bm E
Rinduku padamu tak bertepi
A E
Mungkin hanya sebuah lagu ini
F#m C#m
Yang slalu akan kunyanyikan
D Bm E
Sebagai tanda betapa aku inginkan kamu (2x)…….

Coda : A E F#m C#m D Bm E