Categories
- Android (5)
- Cloud Computing (10)
- Development (14)
- Linux (36)
- Uncategorized (38)
- WordPress (5)
Tags
Archives
-
Random Posts
Delicious Bookmarks
- Build a Killer Customized Arch Linux Installation (and Learn All About Linux in the Process) 2012/04/25
- openflow 2012/04/12
- sheepdog(牧羊犬):一种EBS的开源实现 2012/04/05
- HBase vs Cassandra: why we moved 2012/04/04
- High Availability for HDFS 2012/03/16
- Hypertable vs HBase II 2012/02/09
Google Reader Shares
- Hudson vs. Jenkins: Is it too soon to declare a winner?
- Galaxy Nexus 的 Super AMOLED 屏幕多了 HD,但少了 Plus
- Faenza Icon theme for Gnome 3.2 makes Ubuntu a little more eye candy
- Google 在台湾、香港及新加坡兴建自己的数据中心,一到两年后启用
- 既定的秩序是教育的结果
- Amazon S3 - 566 Billion Objects, 370,000 Requests/Second, and Hiring!
Links
Meta
Category Archives: Development
Toy 3: Invoking Live Search Web Service
继续造玩具。本来不想写微软的这个鸡肋型的 Live 搜索引擎的,不过看在它位列三公很久的份上,也写写吧。正如同微软产品中普遍存在过多冗余代码的状况一样,它老人家提供的这个基于 SOAP 的 Web Service 也很多冗余嵌套,一层一层又一层无甚必要的封装,就怕用户不晕菜。更小心眼的是,它居然只提供支持 .NET 的 SDK 、开发文档和样例,其他的开发技术似乎都难入 M$ 的法眼啊。 不过在查询次数限制方面,微软的每天10000次与 Google 的1000次、 Yahoo 的5000次相比就慷慨多了。 玩法一:Generating Web Service Client 就是 wsdl2java 。除了命令行的方式,很多开发工具也提供这种生成功能,比如 Eclipse, NetBeans 都有这方面的支援能力。以下我使用的 Eclipse 3.2.2 + WTP 1.5.3,其内置的 SOAP 实现是 Axis v1.3,共生成了17个 .java 文件。 … Continue reading
Toy 2: Consuming Yahoo Search Web Services
与 Google 相比, Yahoo 提供的用于搜索方面的 web services 更多些,方方面面都涉及到了,包括 web, image, audio, video, news, local 等等,而且 Yahoo 好像也大度一点点,它对于查询量的限制是每天每个 IP 不多于5000次,算得上是慷慨了。另外值得一提的是, Yahoo Search Web Services 都是基于 REST 的,而非 SOAP ,比较时髦。 玩法一:Using Yahoo Search SDK Yahoo 的这个 SDK 还是做的挺认真的,常见的开发语言几乎都支持,比如 Java, JavaScript, PHP, Perl, … Continue reading
Toy 1: Developing Your Searcher with Google SOAP Search API
现在的主流搜索引擎厂商基本都非常 nice 地提供了适当的 web service 允许第三方应用集成其搜索能力和数据,当然,厂商们为了维护自己的商业利益,对使用这些 web service 也都做了相当严格的限制,比如,不允许用于商业用途、每个授权码(key/appid)每天最多只允许1000次查询,等等。因此,想要拿这些 web service 来开发大用户量的应用,那是不现实的,只能用来玩玩票。 本“玩具制造指南系列”从引擎老大 Google 开始。 Google SOAP Search API 支持三种操作: web 搜索、获取快照(缓存)、拼写建议。 玩法一:Using Google’s developer kit 最简单的方法自然是使用 Google 官方提供的开发包,其中包含了对 Java, C#, VB 的支持。 public GoogleSearchResultElement[] search(String query, int start) throws … Continue reading
Using Nutch 0.8.1 for Intranet Crawling and Searching
本文尝试使用 Nutch 0.8.1 来为几个指定的网站建立全文索引,且不使用 Hadoop 提供的分布式能力,只是简单地在一台单独的机器上完成索引工作。如果需要使用 Nutch 的分布式能力,需要熟悉一下 Hadoop. 约定 Nutch 部署后的目录结构如下: /home/hys/nutch-deployed /nutch-0.8.1 (Nutch 0.8.1 installation goes here) /nutch-0.8.1-web (Nutch web module for searching goes here) 1. Setting environment variable(s) $ export NUTCH_JAVA_HOME=/usr/lib/jvm/java-1.5.0-sun-1.5.0.08 $ export JAVA_HOME=/usr/lib/jvm/java-1.5.0-sun-1.5.0.08 $ export NUTCH_HOME=/home/hys/nutch-deployed/nutch-0.8.1 … Continue reading