短网址服务搭建

短网址服务搭建随着类似Twitter的微型博客网站的出现,由于字符数的限制,网址缩短服务日渐增多。加上网址缩短服务提供商提供网址追踪等服务,这一业务日渐兴起。知名网址缩短服务商Bit.ly的主要业务便是为微博Twitter提供网址缩短服务。比如sina微博的sinaurl.cn,腾讯微博的url.cn等。实

大家好,欢迎来到IT知识分享网。

随着类似Twitter的微型博客网站的出现,由于字符数的限制,网址缩短服务日渐增多。加上网址缩短服务提供商提供网址追踪等服务,这一业务日渐 兴起。知名网址缩短服务商Bit.ly的主要业务便是为微博Twitter提供网址缩短服务。 比如sina微博的sinaurl.cn,腾讯微博的url.cn等。

  实现原理很简单,主要是将用户提交的 url 地址转化成一个唯一的字串,这个字串就对应着真实的 url,怎么样实现这种转换呢?

  url 的转换摘自:短网址服务搭建

  数据库只有两个字段seq(自增长数字)和url(数字的url地址,建立索引)。

  用户输入一个url地址,查询表是否包含此url,如果存在,则返回seq的数字,

  如果不存在,则插入数据库,得到一个新增加的自增seq数字,为了缩短数字占用的字符数,我们可以把abc等字母的大小写用上。这样10个数 字,26个小写字母,26个大小字母就组成了一个62进制了。比如数字10000000000(100亿)转换后就是aUKYOA,只有6位了,这样就能 缩短很多的网址了。

public static string[] ShortUrl(string url)
        {
            //可以自定义生成MD5加密字符传前的混合KEY
            string key = "Leejor";
            //要使用生成URL的字符
            string[] chars = new string[]{
                "a","b","c","d","e","f","g","h",
                "i","j","k","l","m","n","o","p",
                "q","r","s","t","u","v","w","x",
                "y","z","0","1","2","3","4","5",
                "6","7","8","9","A","B","C","D",
                "E","F","G","H","I","J","K","L",
                "M","N","O","P","Q","R","S","T",
                "U","V","W","X","Y","Z"

              };
            //对传入网址进行MD5加密
            string hex = System.Web.Security.FormsAuthentication.HashPasswordForStoringInConfigFile(key + url, "md5");

            string[] resUrl = new string[4];

            for (int i = 0; i < 4; i++)
            {
                //把加密字符按照8位一组16进制与0x3FFFFFFF进行位与运算
                int hexint = 0x3FFFFFFF & Convert.ToInt32("0x" + hex.Substring(i * 8, 8), 16);
                string outChars = string.Empty;
                for (int j = 0; j < 6; j++)
                {
                    //把得到的值与0x0000003D进行位与运算,取得字符数组chars索引
                    int index = 0x0000003D & hexint;
                    //把取得的字符相加
                    outChars += chars[index];
                    //每次循环按位右移5位
                    hexint = hexint >> 5;
                }
                //把字符串存入对应索引的输出数组
                resUrl[i] = outChars;
            }

            return resUrl;
        }

现在可以直接使用该方法,可以等到下面四组值

ShortUrl(http://www.me3.cn)[0];  //得到值fAVfui

ShortUrl(http://www.me3.cn)[1];  //得到值3ayQry

ShortUrl(http://www.me3.cn)[2];  //得到值UZzyUr

ShortUrl(http://www.me3.cn)[3];  //得到值36rQZn

 

得到缩短的网址以后,怎样实现网址的转发呢?可以利用 ttserver,将缩短网缩字串当作key,真实的 url 地址当作 value,存入ttserver中。ttserver本身就提供 http 访问,只需要稍加修改就可以直接利用 ttserver 进行缩短网址的转发:

  在 ttserver 源码目录下找到 ttserver.c 这个文件,这里我用的是 tokyotyrant-1.1.39 ,跳到第 2981 行,将下面的几行改成图中所示:

微博缩短网址的实现

  保存退出,编译安装 ttserver,网上有很多安装教程,可以参考。

 

  启动 ttserver,并向里面写入一条 key 为 aaaaaa,value为 http://www.baidu.com 的值。

 

curl -X PUT http://127.0.0.10:11221/aaaaaa -d "http://www.baidu.com"

 

主要目的是用 http 访问 ttserver 时直接取得到真实的 url 并做转发。这样做很方便,但不安全,ttserver 的 http 还支持删除、修改、插入数据(当然也可以修改 ttserver 的 http 访问入口,屏蔽掉这几种操作)。负载均衡方面,可以通过添加多条 A 记录随机转发到不同的 ttserver 机器上,但这样每台机器上存放的数据必须相同,网上也有说过ttserver  存过千万左右的数据以后不太稳定。

  利用 nginx 就能很好解决直接用 ttserver 的问题,用 nginx 过滤掉 http 访问 ttserver 的删除、修改、插入的操作,并为多台 ttserver 提供反向代理的功能。如下图所示:

微博缩短网址的实现

  安装 nginx,我这里采用的是 nginx-0.8.36.tar.gz。安装 nginx 请参考:http://blog.s135.com/nginx_php_v6。

  打开 nginx.conf 配置文件:

#user  nobody;

#启动 8 个 nginx 进程
worker_processes  8;

#error_log  logs/error.log;
#error_log  logs/error.log  notice;
#error_log  logs/error.log  info;

#pid        logs/nginx.pid;

events {
    # 用 epoll,最大连接数
    use epoll;
    worker_connections 65535;
}

http {
    include       mime.types;
    default_type  application/octet-stream;

    #log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
    #                  '$status $body_bytes_sent "$http_referer" '
    #                  '"$http_user_agent" "$http_x_forwarded_for"';

    #access_log  logs/access.log  main;

    sendfile        on;
    #tcp_nopush     on;

    # 由于只做转发,将超时时间设为 0
    keepalive_timeout  0;

    #gzip  on;
    # 反向代理 ttserver 1 号机,这里我放在一台机器上开了三个不同端口
    upstream backend_1 {
        server 127.0.0.10:11221 weight=5 max_fails=3 fail_timeout=1s;
    }
    # 反向代理 ttserver 2 号机
    upstream backend_2 {
        server 127.0.0.10:11221 weight=5 max_fails=3 fail_timeout=1s;
    }
    # 反向代理 ttserver 3 号机
    upstream backend_3 {
        server 127.0.0.10:11221 weight=5 max_fails=3 fail_timeout=1s;
    }

    server {
        listen       80;
        server_name  url.cn;

        #charset koi8-r;

        #access_log  logs/host.access.log  main;
        #当路径包含/count的时候,则代理到ttserver后端进行请求数据。
    #请注意,这里屏蔽了PUT,DELETE,POST方法,只是使用了GET,主要目的是为了安全性,
    #因为DELETE,POST,PUT是可以修改数据的
    location ~* /count(.*) {
        if ($request_method = PUT ) {
            return 403;
        }
        if ($request_method = DELETE ) {
            return 403;
        }
        if ($request_method = POST ) {
            return 403;
        }
        proxy_method GET;
    }
        #将以 a-z 为第一个字符的 url 代理到 ttserver 1 号机
    location ~* "^/([a-z]{1})([a-zA-Z0-9]{5})" {
        proxy_pass http://backend_1;
    }
        #将以 A-Z 为第一个字符的 url 代理到 ttserver 2 号机
    location ~* "^/([A-Z]{1})([a-zA-Z0-9]{5})" {
        proxy_pass http://backend_2;
    }
        #将以 0-9 为第一个字符的 url 代理到 ttserver 3 号机
    location ~* "^/([0-9]{1})([a-zA-Z0-9]{5})" {
        proxy_pass http://backend_3;
    }

        #error_page  404              /404.html;

        # redirect server error pages to the static page /50x.html
        #
        error_page   500 502 503 504  /50x.html;
        location = /50x.html {
            root   html;
        }
    }
}

保存 nginx.conf 退出,现在就可以启动 ttserver了,我这里做演示,为了方便就在一台机器的三个端口启动了三个 ttserver。如图:

这里用 /ttserver/url_1 存放 ttserver 1号机的数据,依此类推,分别在 11222、11223启动 ttserver。

  接着启动 nginx:

ulimit -SHn 65535
/usr/local/nginx/sbin/nginx

接着在服务器上用下面的命令插入测试数据:

curl -X PUT http://127.0.0.10:11221/aaaaaa -d "http://www.baidu.com"
curl -X PUT http://127.0.0.10:11222/Aaaaaa -d "http://www.soso.com"
curl -X PUT http://127.0.0.10:11223/1aaaaa -d "http://www.qq.com"

配置你机器的 hosts 指向 nginx 服务器:

127.0.0.1    url.cn

现在我们就可以打开浏览器,输入 http://url.cn/aaaaaa 就可以跳转到 baidu 上了,http://url.cn/Aaaaaa 就可以跳转到 soso 了,http://url.cn/1aaaaa 就可以跳转到 qq 上。至此配置完成,nginx只做转发工作,应付大规模的访问应该没什么问题,这也正是 nginx 所擅长的。ttserver 数据的取值操作也是很快的,在后面可以多开几台 ttserver,分散大量访问时的负载。

  前台程序根据用户提交的 url 生成短的 url 后,根据前面的 nginx 分发规则写到某一台 ttserver 中,就可以了。nginx还支持一直 url hash 的均衡,但需要安装一个第三方模块ngx_http_upstream_hash_module,具体可以参考:http://blog.sina.com.cn/s/blog_5426e0180100dwsp.html

 
 
 

免责声明:本站所有文章内容,图片,视频等均是来源于用户投稿和互联网及文摘转载整编而成,不代表本站观点,不承担相关法律责任。其著作权各归其原作者或其出版社所有。如发现本站有涉嫌抄袭侵权/违法违规的内容,侵犯到您的权益,请在线联系站长,一经查实,本站将立刻删除。 本文来自网络,若有侵权,请联系删除,如若转载,请注明出处:https://yundeesoft.com/33800.html

(0)

相关推荐

发表回复

您的电子邮箱地址不会被公开。 必填项已用 * 标注

关注微信