Category Archives: Cloud Computing

Focus on virtualization, distributed computing, and some SaaS services.

Create a Xen Virtual Machine

Posted on December 7, 2011 by Richard Huang

This tutorial shows how to create a VM (virtual machine) on Xen and install CentOS 6.0. 1. Prepare Virtual Disk Image Xen supports to run VM on physical device or virtual disk image. Here I am going to use virtual … Continue reading →

Posted in Cloud Computing | Tagged , | Leave a comment

QEMU-KVM with SPICE Support on Ubuntu 11.10 64-bit

Posted on October 16, 2011 by Richard Huang

SPICE server requires 64-bit system. Make sure you are running Oneiric x86_64. 1. Remove AppArmor $ sudo invoke-rc.d apparmor stop $ sudo update-rc.d -f apparmor remove $ sudo apt-get autoremove –purge apparmor $ sudo reboot After the machine is rebooted, … Continue reading →

Posted in Cloud Computing | Tagged , , | 7 Comments

Install a Windows Guest with SPICE

Posted on October 9, 2011 by Richard Huang

There are many choices for desktop virtualization (sometimes called desktop cloud): ICA – Citrix XenDesktop supports it PCoIP – VMWare View supports it RDP – Microsoft supports it SPICE – Red Hat (RHEV) supports it … … The last one, … Continue reading →

Posted in Cloud Computing | Tagged , , , | 1 Comment

Compile and Install SPICE Client on Ubuntu

Posted on October 9, 2011 by Richard Huang

Since 11.10 (Oneiric), Ubuntu includes SPICE client in its official repository. But how can we get SPICE client if we still use the old Ubuntu releases prior to Oneiric? The following describes how to compile and install a SPICE client … Continue reading →

Posted in Cloud Computing | Tagged , | 1 Comment

Using KVM and libvirt for Virtualization on Ubuntu 10.10

Posted on June 26, 2011 by Richard Huang

The version of libvirt in Ubuntu 10.10 repository is 0.8.3, it has some known stability issues which are not acceptable for production use. So I have to install a newer libvirt from compiling source. Since the version of qemu in … Continue reading →

Posted in Cloud Computing | Tagged , , , | Leave a comment

Getting Started with HBase Fully-Distributed

Posted on January 20, 2011 by Richard Huang

本文描述如何安装配置 HBase 集群，并使用一个外置的 ZooKeeper 集群。 使用的软件版本： CentOS 5.5, Sun JDK 1.6.0_22, ZooKeeper 3.2.2, Hadoop 0.20.2, HBase 0.20.6. 1. 操作系统准备 本文的实验环境共用到了三台机器，分别为： hmc1.yunsong.net: 10.10.30.221 hmc2.yunsong.net: 10.10.30.222 hmc3.yunsong.net: 10.10.30.223 三台机器上运行的组件分配： hmc1: zookeeper, hadoop namenode/jobtracker, hbase master hmc2: zookeeper, hadoop datanode/tasktracker, hbase regionserver hmc3: … Continue reading →

Posted in Cloud Computing | Tagged , , | Leave a comment

Google Storage for Developers 初印象

Posted on June 23, 2010 by Richard Huang

前天收到 Google Storage (GS) for Developers 的注册邀请，我都忘记我曾经提交过申请了，还好 Google 的排队系统记得   昨晚试用了一下，初印象就是一个类似 Amazon S3 的存储服务。很好，我正好需要一个类似 S3 的在线存储服务。 Google Storage for Developers is a RESTful service for storing and accessing your data on Google’s infrastructure. 简单地说，就是你可以把数据存放在 Google 的云计算基础设施里，并使用 Google 或者第三方提供的一系列 services, APIs, … Continue reading →

Posted in Cloud Computing | Tagged , | 1 Comment

Dropbox

Posted on January 10, 2009 by Richard Huang

Cloud Computing 越来越引人注目，成为时尚，storage 作为一个最现实的需求，有不少厂商涉足，比如 Amazon S3、box.net、Windows Live SkyDrive 等等，在这纷繁的服务之中，Dropbox 是很有理由引人注目的。 Dropbox 不仅仅是让用户将本地文件上传到其服务器，而且还很细致地保存了每一次文件更新时的修订（revision）。用过 CVS/SVN 等版本管理系统的人对此应该很熟悉。是否有必要保存所有文件的修订版，这是一个仁者见仁、智者见智的事情，也要视乎用户的具体需求。Dropbox 也可以考虑提供一些配置项，让进阶用户可以自行控制。 Dropbox 的客户端非常小巧，且支持 Windows, Mac, Linux 三大主流桌面操作系统，这样的做法很好地兼容了用户现有的习惯，这个小小的客户端将本地数据与远程数据进行同步，对用户来说，一切都是透明的。我最初接触 Dropbox 的客户端时就立刻想起了 TortoiseCVS 和 TortoiseSVN 这两个很酷的 CVS/SVN 客户端。我猜 Dropbox 的开发团队的灵感应该多少来自于这两只“乌龟”。 在用户本地，Dropbox 指定一个本地目录作为其工作目录，这样就要求所有受管资源都位于此目录下，这自然是一种简单、易懂的方式，但其实可以做的更灵活一些，允许用户在本地文件系统中任意漫游指定需要加入到 Dropbox 管理矩阵中的资源。与此相关联的一个需求是，Dropbox 需要一个忽略机制，即，允许忽略受管父资源旗下的某些符合条件的子资源。 Dropbox 也为图片管理提供一种新思路，它最大限度地利用了现有的文件系统的资源组织模式，一个目录映射成一个相册。受到现有文件系统的局限，这种图片管理方式简则简矣，但缺少必要的进阶图片管理的手段。我觉得至少需要支持图片信息的编辑，比如 title、description、camera、geographic、tag 等，可以利用多种手段达到这一目的，包括图片元数据或者 … Continue reading →

Posted in Cloud Computing | Tagged | 1 Comment

Running Hadoop 0.15.1 on Single Node

Posted on January 4, 2008 by Richard Huang

一年前我曾经写过一篇文章介绍如何安装和配置 Hadoop cluster，但从开发者实践角度来说，在开发阶段通常需要把 Hadoop 配置在单机（单节点）上，这样比较现实，谁能有事没事就随身带着 N 台机器组成的 cluster 呢？再者，当时我用的版本是 0.9.2，现在最新的 Hadoop 是 0.15.1，毕竟 Hadoop 还处于 pre-1.0 阶段，版本的变化很大。 本文的目标是描述在一台机器上配置 Hadoop，以伪分布式模式（pseudo-distributed mode）运行，即，每个 Hadoop daemon 运行在不同的 Java process 中。主要用于开发环境的构建 or just play with Hadoop. 我使用的是 Ubuntu Linux 7.10，若你需要在 Windows 系统上玩，请安装 Cygwin，并确保选择了 openssh 包。 … Continue reading →

Posted in Cloud Computing | Tagged | Leave a comment

Getting Started with Hadoop, Part 1

Posted on December 31, 2006 by Richard Huang

我一直都对分布式文件系统非常感兴趣，特别喜欢研究如何在庞大的廉价的异构系统集群上进行容错性良好的分布式存储。这些话题总是能吸引我的注意力。记得2002年的时候因公司的需要有机会实践了一把 OpenAFS 和 Coda ，印象深刻，呵呵。好了，闲话少叙，今天将要谈论的是后起之秀 Hadoop 。 Hadoop 是大名鼎鼎的 Lucene 旗下的子项目，它原先是 Nutch 项目的组成部分，于2006年初从 Nutch 中分离出来成为一个独立的项目。Hadoop 其实并非一个单纯用于存储的分布式文件系统，而是一个被设计用来在由普通硬件设备组成的大型集群上执行分布式应用的框架（framework）。Hadoop 包含两个部分：一个分布式文件系统 HDFS (Hadoop Distributed File System)，和一个 MapReduce 实现。因此，Hadoop 的目标是为开发分布式应用提供一个框架，而不是像 OpenAFS, Coda 那样为存储提供一个分布式文件系统。搜索引擎就是一种典型的分布式程序，Nutch 就是基于 Hadoop 开发的。 本文的目标是描述如何安装和使用 Hadoop 0.9.2，不涉及如何使用 Hadoop 框架来开发分布式程序（此话题我将在 Part 2 中介绍之）。 本文内容： … Continue reading →

Posted in Cloud Computing | Tagged | 15 Comments