[PHP] Twitter Streaming API – 使用 Phirehose.php

要使用 Twitter Streaming API 來撈資料，首先還是要了解 Twitter Streaming API 是什麼，可以<!--看參考這裡(因為我覺的官網說明還是有點模糊)，或是直接-->去官網

Phirehose.php 是由 fennb (Fenn Bailey) 包裝的一個存取 Twitter Streaming API 工具，

要以使用 Twitter Streaming API，有兩個除了可解讀 PHP 的伺服器外的預備工作：

1.      下載 Phirehose：你可以直接到這個專案的 GitHub 下載 Zip 來用：https://github.com/fennb/phirehose ，下載回來的 Zip 解壓縮以後會有兩個資料夾和一些文字檔案，其中合新的檔案都在lib資料夾中的三個，example 資料夾中的檔案是作者的示範 PHP 程式，我主要以 sample.php 做測試，只會用到 lib 中的 OauthPhirehose.php 和 Phirehose.php

2.      取得認證鑰匙 Consumer Key、Consumer Secret、OAuth Access Token 和 OAuth Access Secret：可以直接在開發者頁面的『My Applications』那邊取得，也可以到 Streaming API 的三個 API (Public、User、Site) 頁面中的任何一個 Endpoints 頁面，中間右邊的 bar 會有一個 OAuth Tool，那邊也會有你創建過的 Application 項目，選好 Application 按下 Generate 的按鈕，也可以得到這四個認證鑰匙。

      

     OK！

       首先將解壓縮後的整個 Phirehose 放到伺服器的根目錄(如：C:\AppServ\www)，接著開 

       啟 example 中的 sample.php 檔，稍微來分析一下 sample.php 的程式結構：

1)    最開始的兩行就是引用了 Phirehose.php 和 OauthPhirehose.php 這兩個檔案，前者是主要連線存取用的類別檔案，後者是用來做 OAuth 認證的檔案類別

require_once('..\lib\Phirehose.php');

require_once('..\lib\OauthPhirehose.php');

2)    接下來的 SampleConsumer 是一個繼承了 OauthPhirehose 類別的作者自定義類別，如此一來我們就可以直接用 SampleConsumer 的實體來進行驗證

class SampleConsumer extends OauthPhirehose

3)      SampleConsumer 裡面主要就是將 API 回傳的 JSON 檔案解碼後印出

4)      在下來的 define，是要設定驗證的四個鑰匙

define("TWITTER_CONSUMER_KEY", "[Yours]");

define("TWITTER_CONSUMER_SECRET", "[Yours]");

define("OAUTH_TOKEN", "[Yours]");

define("OAUTH_SECRET", "[Yours]");

5)      最後作者只給了兩行

$sc = new SampleConsumer(OAUTH_TOKEN, OAUTH_SECRET, Phirehose::METHOD_FILTER);

$sc->consume();

第一行是用來進行驗證 (*1)，並選擇要使用的 Streaming API (*2)，作者是以 public stream 的 statuses/filter 為例，所以傳入的第三個參數是 METHOD_FILTER

第二行就是在所有的設定完成後，執行連線存取API的方法

        瞭解了 sample 結構，還無法正確的使用 filter 這個資源，因為 filter 必須指定follower、location、track 三種搜尋依據至少一者，我以 track 為例，也就是以關鍵字去查詢，可以打開 Phirehose 的實作，有一個setTrack的方法，就是用來設定查詢時的 track，實做中可以看到 setTrack 的參數 $trackWord 是一個 array，所以我們回到 sample.php 中，在最後一行 $sc->consume(); 前加上下面兩行：

$track = array(        "track" => "Justin");        //設定要查詢的關鍵字 (*3)

$sc->setTrack($track);                            //呼叫 setTrack() 方法設定 track

      好了！然後我們就可以打開瀏覽器來執行sample.php，或是用命令提示字元(command line, terminal)，cd 到 example 這個目錄後，輸入 php sample.php (*4) 來執行這支程式

↓ Command Line 執行畫面 ↓

Microsoft Windows [版本 6.1.7601]

Copyright (c) 2009 Microsoft Corporation.  All rights reserved.

C:\Users\Veck\Desktop>cd C:\AppServ\www\PhirehoseForStreamAPI\example

C:\AppServ\www\PhirehoseForStreamAPI\example>php sample.php

Phirehose: Connecting to twitter stream: https://stream.twitter.com/1.1/statuses

/filter.json with params: array (  'delimited' => 'length',  'track' => 'Justin'

,)

Phirehose: Resolved host stream.twitter.com to 199.59.148.229, 199.59.148.138

Phirehose: Connecting to ssl://199.59.148.138, port=443, connectTimeout=5

Phirehose: Connection established to 199.59.148.138

Phirehose: POST /1.1/statuses/filter.json HTTP/1.0

Phirehose: Host: stream.twitter.com:443

Phirehose: Content-type: application/x-www-form-urlencoded

Phirehose: Content-length: 29

Phirehose: Accept: */*

Phirehose: Authorization: OAuth realm="",oauth_consumer_key="***",oauth_nonce="***",oauth_signature_method="***",oauth_timestamp="***",oauth_version="1.0",oauth_token="***",oauth_signature="***"

Phirehose: User-Agent: Phirehose/0.2.gitmaster +https://github.com/fennb/phireho

se

Phirehose:

Phirehose: delimited=length&track=Justin

Phirehose:

GeneralovaTori: @justinbieber  Justin, you are everything to me! turn on me atte

ntion please!I can not live without you.....

_SwagLikeJBiebs: RT @teamstr0nger_: Justin, si ya tienes grabado el video 聶PORQ

U? NO LO SUBES Y YA?.

SouZicaBieber: - Gente Rapido , olha isso, a primeira foto ou a segunda https://

t.co/6t9eNb6xeS

routemalik69: RT @InBiebersArmy: #imagine you and Justin cuddling together   htt

p://t.co/D0tcCicvIc

(...略...)

IAmRayitaJB: RT @OLLGconsejos: A Justin le gusta que las chicas respeten su cuer

po, porqu矇 para 矇l las chicas son mucho m獺s que un f穩sico. #BieberHechos

klaudyna_bieber: 4. Justin Bieber - Believe #My50FavouriteSongs

JailienysA: RT @jdbdrxws: #MTVSummerClash Justin Bieber

^C

C:\AppServ\www\PhirehoseForStreamAPI\example>c

   我把上面第一個撈到的 PO 文 (User GeneralovaTori) 用紅色標起來：

GeneralovaTori: @justinbieber  Justin, you are everything to me! turn on me atte

ntion please!I can not live without you.....

   然後上網去查，可以看到這則推文以及他的發文時間卻實就是不久之前

   PS. 因為我抓下來之後過了一陣子才去查這推文的頁面，所以時間有點久，但也不過就剛才而以：

事實上，官網有說一次可以抓很多筆資料，所已在command line 下會一直跑出抓到的資料，可以自己按ctrl+C 中止程式，但是在網頁的時候就會跑很久，按下取消連線沒辦法只顯示已經抓到的資料，而且很容易讓瀏覽器當掉，我就沒有截圖了

*********************************************************************************************************************

*1 網路上有一些解答是用 $sc = new SampleConsumer([username], [password], Phirehose::METHOD_FILTER);，我測試的結果是會有 HTTP 401 的 Unauthorized 結果，我想可能那些都是比較早的問題，也許是在 Version 1 的使用方式

 *2 Phirehose好像主要是針對 Public Stream，User Stream 要另外使用 UserstreamPhirehose，而 Site Stream，這裡暫時不介紹

*3 經過實驗，track 可以使用 + 或 +OR+ 來做多關鍵字的查詢

*4 要使用 php 直些執行，需要將 PHP 安裝的資料夾中的 bin 資料夾覺對路徑加入系統環境變數 PATH 中，且可能需要修改php_mbstring.dll的問題

***可能問題***

1.      如果 php sample.php 的錯誤訊息是如下

Phirehose: TCP failure 1 of 20 connecting to stream: Unable to find the socket transport “ssl” – did you forget to enable it when you configured PHP? <14357249>. Sleeping for 1 seconds.

解決辦法是到 php.ini 中啟用 extension=php_openssl.so (拿掉前方的 “;”)

2.      使用瀏覽器執行，可能會有下列錯誤訊息：

Fatal error: Maximum execution time of 30 seconds exceeded in C:\AppServ\www…\sample.php on line 617

這是因為 php 預設只會執行一支 PHP 程式等帶三十秒，解決辦法可以修改 php.ini 的 max_execution_time=30 為更高的時間，然後重新啟動Apache；也可以在程式中直接使用 ini_set(“max_execution_time”, “xxx”); 或 set_time_limit(xxx) [0為無限]

<!-- 對REST API有興趣，可以參考：[PHP] Twitter REST API (以Search API為例) – 使用 TwitterAPIExchange.php -->