tugas besar information retrieval

Salah satu contoh situs yang menerapkan web crawling adalah www.webcrawler.com . Di samping situs-situ mesin pencari terkemuka tentunya, seperti Google, Yahoo, Ask, Live, dan lain sebagainya.

Algoritma dari crawling adalah sebagai berikut : (Rada Mihalcea 2006)*
Initialize queue (Q) with initial set of known URL’s.
Until Q empty or page or time limit exhausted:
Pop URL, L, from front of Q.
If L is not to an HTML page (.gif, .jpeg, .ps, .pdf, .ppt…)
continue loop.
If already visited L, continue loop.
Download page, P, for L.
If cannot download P (e.g. 404 error, robot excluded)
continue loop.
Index P (e.g. add to inverted index or store cached copy).
Parse P to obtain list of new links N.
Append N to the end of Q.

Algoritma di atas menjelaskan pengambilan konten (berupa teks) dari suatu situs sampai ke halaman terakhir yang ditandai dengan tidak ada lagi tautan yang merujuk ke halaman selanjutnya.

Pada tulisan kali ini akan diberi contoh cara mengambil konten dari suatu situs berupa tautan. Dengan menggunakan bahasa pemrograman PHP, library CURL, dan penggunaan regex (regular expression).

Sumber kode :

// Fungsi untuk mengambil meng-scan seluruh konten dan disimpan dalam format teks
// Menggunakan library CURL
function scanPage($url) {
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL,$url);
curl_setopt($ch, CURLOPT_TIMEOUT, 120); //timeout after 120 seconds
curl_setopt($ch, CURLOPT_RETURNTRANSFER,1);
$result=curl_exec ($ch);
curl_close ($ch);

return $result ;
}

$url = “http://www.kohaci.com/” ; // Situs yang akan di crawl

$rs = scanPage($url) ;
/*
* Pada tahap ini telah dilakukan pengambilan seluruh
* konten dan teknik crawling telah dilakukan
*/

// Memilah isi konten untuk diambil hanya isi yang mengandung tautan saja
// Menggunakan regular expression (info selanjutnya klik di www.php.net )
preg_match_all(‘/]*)href=”(.*?)”(?:[^>]*)>(.*?)/is’,$rs,$output,PREG_SET_ORDER) ;

// Menampilkan hasil
foreach($output as $item) {
print_r($item) ;
}

Kebanyakan kamu-kamu yang suka pake social bookmark pasti udah tau digg , delicious atau stumbelupon. Free social bookmark bisa bagus buat dapatin traffic, itu juga kalo yang kamu submit adalah website/artikel bagus dan banyak disukai oleh member lainnya.

Kebanyakan social bookmark menambah tag re=nofollow di outbond link nya, artinya kalo link kamu ada di digg atau delicious, tidak akan dianggap “berarti” oleh search engine.

Berikut ini beberapa website social bookmark yang bisa kamu pake untuk nyari backlink, tentu saja dengan pagerank lumayan ) .

* http://ma.gnolia.com/ PR4
* http://www.bibsonomy.org/ PR7
* http://www.mister-wong.com/ PR7
* http://socialogs.com/ PR3
* http://www.bmaccess.net PR4

Untuk tema khusus kamu bisa coba submit di:

* http://tweako.com/ PR4
* http://www.plugim.com/ PR4
* http://www.indianpad.com/ (PR6)

A9
tujuh hari dalam seminggu
Bm7 E7 C#m7 F#m7
hidup penuh warna ku selalu mendekatimu
Bm7 E7
memberi tanda cinta
A9 Bm7 E7
engkau wanita tercantikku yang pernah ku temukan
C#m7 F#m7 Bm7 E7 A
wajahmu mengalihkan duniaku

Dm7
hey hey heee pesonamu
C#m7 Bm7 E7
dan wajahmu mengalihkanku

DM7 Dm7 C#m7 F#m7 Bm7 E7 A
pesona indah wajahmu mampu mengalihkan duniaku
DM7 Dm7 C#m7 F#m7 Bm7 E7
tak henti membayangkanmu terganggu oleh cantikmu

A9
tujuh hari dalam seminggu
Bm7 E7 C#m7 F#m7
hidup penuh warna ku selalu mendekatimu
Bm7 E7
memberi tanda cinta
A9 Bm7 E7
engkau wanita tercantikku yang pernah ku temukan
C#m7 F#m7 Bm7 E7 A
wajahmu mengalihkan duniaku

A9 Bm7 E7
hidupku penuh warna
C#m7 F#m7 Bm7 E7
ku selalu mendekatimu memberi tanda cinta hooo ooo..
A9 Bm7 E7
engkau wanita tercantikku yang pernah ku temukan
C#m7 F#m7 Bm7 E7 A
wajahmu mengalihkan duniaku

Bm7 E7 A Bm7 E7 A
duniaku… duniaku…

C F
Ajari aku `tuk bisa
G C
Menjadi yang engkau cinta
Am F C
Agar ku bisa memiliki rasa
F Dm G C
Yang luar biasa untukku dan untukmu

C F
Ku harap engkau mengerti
G C
Akan semua yang ku pinta
Am F C
Karena kau cahaya hidupku, malamku
F Dm G C
tuk terangi jalan ku yang berliku

[int] C F G C 3x

[chorus]
C F
Hanya engkau yang bisa
G C
Hanya engkau yang tahu
Am F G C
Hanya engkau yang mengerti, semua inginku

C F G C (2x)
[ajari aku `tuk bisa mencintaimu]
[ajari aku `tuk bisa mengerti kamu]

F C F G
Mungkinkah semua akan terjadi pada diriku
C F G
Hanya engkau yang tahu
C F G C
Ajari aku `tuk bisa mencintaimu

]]>