北京時間8月31日下午消息,Twitter開源項目經(jīng)理克里斯·阿里斯扎克(Chris Aniszcyk)今天在CloudOpen大會上做了主題演講,講述了Twitter是如何使用開源技術(shù)的。
阿里斯扎克在演講中列舉了被Twitter使用的開源技術(shù),包括:
——MySQL。MySQL是一種關(guān)系型數(shù)據(jù)庫的開源技術(shù),該技術(shù)被Twitter大量采用,主要用來存儲Twitter消息。Twitter公司與其它上游社區(qū)協(xié)作,開創(chuàng)了MySQL一個重要的開源分支。
——Cassandra、Hadoop、Lucene、Pig以及其它多種被Twitter用來支持分析和搜索服務的Apache項目。阿里斯扎克表示,該公司也對這些技術(shù)有回饋,反過來促進這些技術(shù)的進步。Twitter是Apache軟件基金會的贊助商之一。Cassandra是一種 NoSQL數(shù)據(jù)庫。Hadoop是一種分布式文件系統(tǒng),通常與高級語言一起搭配使用,譬如Pig。Lucene是一種開源搜索技術(shù)。Pig是一種用于大數(shù)據(jù)分析的高層次平臺。
——Memcached。Memcached被用于Twitter的緩存基礎(chǔ)設(shè)施,以應對日益增長的訪問流量。最近,Twitter公布的 Twemcache開源項目很大程度上受到Memcached代碼庫的啟發(fā)。Memcached的作用是加速動態(tài)Web應用程序,減輕數(shù)據(jù)庫負載。
此外,Twitter還開源了一些該公司專用的軟件,包括:
——Lago。Lago是一個負載生成器,用來在產(chǎn)品正式發(fā)布前做流量負載測試。
——Ziplink。Ziplink是一個分布式跟蹤系統(tǒng),被用于收集應用服務對Twitter API發(fā)起請求時的時序數(shù)據(jù)。本質(zhì)上講,Ziplink的作用就是幫助Tiwtter更快。
——Scalding。Scalding是一個Scala庫,它能使在Hadoop中寫入MapReduce時變得更容易。Scalding是 Twitter為層疊(Cascading)而開發(fā)的項目。層疊是一種專為Java開發(fā)者設(shè)計的用于在Hadoop上建立大數(shù)據(jù)應用的框架。 Scalding廣為人知的功能是能夠抽象復雜的MapReduce以及讓Hadoop集群更容易管理。MapReduce最初由谷歌開發(fā),用來處理搜索數(shù)據(jù)。Scala是一種通用編程語言。
除Twitter外,F(xiàn)acebook和谷歌也開源了他們的部分技術(shù)。開源趨勢在企業(yè)市場尤為明顯,以分布式計算開源框架Hadoop為例,該技術(shù)最初主要由雅虎開發(fā),但現(xiàn)在已經(jīng)成為企業(yè)市場大數(shù)據(jù)推送的基礎(chǔ)技術(shù)。
推薦閱讀
經(jīng)營成本持續(xù)增加 杭芝機電進行二次轉(zhuǎn)型
相當部分外資公司以調(diào)整產(chǎn)能布局來回應勞動力成本上漲,其中代工企業(yè)更是明顯。以總部位于香港的服裝代工商聯(lián)泰控股(0311.HK)為例,董事局主席陳守仁即在公司2011年報中表示,“中國在生產(chǎn)一些需要高技術(shù)勞工以及短>>>詳細閱讀
本文標題:Twitter如何使用開源技術(shù):開發(fā)多款軟件
地址:http://www.oumuer.cn/a/xie/20120330/118840.html