该博客已停止更新
该博客已经停止更新
获取作者最新动态,请前往 https://feclub.cn 或其他社交网络:
- 微博:http://weibo.com/wileexiong
- github:https://github.com/xiongwilee
- 邮箱:xiongwilee[at]foxmail.com
获取作者最新动态,请前往 https://feclub.cn 或其他社交网络:
关于前后端分离,我的感觉其实也是:这么老土的话题,为什么还要拿出来老调重弹?
但越来越发现基于前后端分离的类RESTful架构,能很好的满足WebAPP的业务需求。尤其是WebAPP+NativeAPP产品为主的中小型公司,能让整个公司的服务端研发和部署更灵活。
PS:已经了解前后端分离和koajs(不喜欢看背景和扯淡)同学可以直接跳到:三、如何实践。
前后端分离的概念和优势在这里不再赘述,有兴趣的同学可以看各个前辈们一系列总结和讨论:
尤其是《前后端分离的思考与实践》系列文章非常全面的阐述了前后端分离的意义和技术实现。如果不想看上面的文章,可以在脑海里留下这样一个轮廓就好:
本文主要阐述趣店团队基于Koajs的前后端分离实践方案。
koa是由Express 原班人马打造的一个更小、更健壮、更富有表现力的 Web 框架。(koa官网需用梯子,中文文档可以参考郭宇大神的翻译:koa中文文档,这里也不详细介绍。)
看到koa之后,简单看了下文档和源码,立刻感觉koa不就是为前后端分离而诞生的轻量级框架吗?
因为:
总之,koa给我的第一印象就是:如果用它来实现一套前后端分离的框架,非常高效
、轻量
、易扩展
。
在谈如何实现基于koajs的前后端分离框架的之前,必须提一下在做分离之前趣店(原趣分期)的情况:
写到这儿想贴代码来着,想想还是算了……
无论使用什么工具要实现前后端分离框架,无非要满足这样几点:
先看一个已经实现了demo应用的目录结构:1
.
└── demo
├── controller
│ ├── data.js
│ ├── defaultCtrl.js
│ └── home.js
├── static
│ ├── css
│ ├── image
│ └── js
└── views
└── home.html
这个结构大家再熟悉不过:controller
提供路由;static
包含静态文件;views
提供模板文件。
这里可能大家会有疑问,如果我的前端构建是components的模式怎么办呢?1
├──components_a
│ ├── home.js
│ ├── home.css
│ └── home.html
├──components_b
...
没关系,do what u want!很多boilerplate可以直接拿到这个框架下直接使用,我们团队自己也正在使用了requirejs和vue的构建方案。
controller
回到上文提到的案例:
1 | controller ├── data.js └── home.js |
这段代码生成的是一个/data/*
,/home/*
路由,用过Express的同学对这种路由实现肯定一点都不陌生。
但有一点不一样的是,koa下面每一个路由是一个独立的generator函数(很遗憾,generator函数不能使用箭头函数的语法来表示),参看controller/home.js
:1
exports.index = function* () {
yield this.bindDefault();
yield this.render('home', {
title: 'Hello , Grace!'
});
}
你还可以用一个对象把一个controller包起来,,参看controller/data.js
:1
exports.info = {
repo: function*(){
yield this.proxy('github:repos/xiongwilee/koa-grace')
}
}
这种写法非常适用于仅仅用来做一个数据代理的ajax请求的控制器。当然,如果需要的话,你还可以在控制器里对数据做一些加工。
另外,还有几个细节与express的路由控制器不太一样:
res.end()
来终止请求;this.req
获取request对象;yield
。我们对现在的路由方式做了一个压测:8核CPU/8G内存的机器,通过一个路由返回hello world!
,结果显示:8核CPU/8G至少能扛住1000QPS的压力(cpu idle不到60%,cpu load接近8)。
前后端分离模式下的,数据代理主要有这两种使命:
第一种场景,比如:一个用户中心的页面,需要展示用户的用户信息、订单列表、喜欢的商品推荐等等信息。由于后端的架构,用户、订单、商品可能都是属于不同的服务,这就意味着,后端同学需要给你同时拼装这么多数据,拼装还有可能是同步获取每个接口然后再一起返回给前端。
现在,就可以尽情的发挥nodejs异步并发及koa的generator同步语法的优势,我们还可以这么写:
1 | repo: function*(){ yield this.proxy({ data1:'github:repos/xiongwilee/data1', data2:'github:repos/xiongwilee/data2', data3:'github:repos/xiongwilee/data3' }) } |
koa会自动并发请求所有接口,然后将结果返回给你,然后可以在上下文的backData
中获取结果集。
另外一种场景,比如用户需要上传一张图片或者提交一篇文章,你也可以这样写:1
submit: function*(){
yield this.proxy('http://test.com/submit')
}
不用做任何配置,koa会直接把request数据buffer直接通过管道pipe给后端接口。
值得一提的是:
最后,我们也做了一个压测:8核CPU/8G内存的机器,通过一个路由将请求代理到另外一个接口,结果显示:8核CPU/8G至少能扛住300QPS的压力,这个结果比纯路由的压测情况要低很多,值得注意。
不过有意思的一点是,我们压测发现:proxy的性能与接口响应时间无关,与接口响应content大小有密切关系:接口响应内容越大,proxy性能越差。
基于koa可以实现各类有意思的中间件。比如:可以拦截请求计算请求总耗时中间件、可以匹配路径实现本地的静态文件服务器、可以不需要再另开server实现一个mock数据的功能……
上文提到过一个DEMO的文件目录,具体在开发环境和生产环境中整体目录结构中其实是这样的:1
├── app // 开发模式下应用模块目录
│ ├── blog
│ └── demo
├── cli // 配套命令行工具
│ ├── bin
│ ├── lib
│ └── package.json
├── log // 日志目录
└── server // 服务器目录
├── app // 实际服务端引用的模块目录
│ ├── blog
│ └── demo
├── bin
├── config
├── src
└── package.json
在开发环境下,你可以将./app
下的项目源文件直接编译到./server/app
目录,这就意味着:./app/
目录下的各个项目,你自己想怎么玩就怎么玩。
我们目前有基于gulp+requirejs的模块化方案和基于webpack+vue的前端构建方案,其中gulp+requirejs的方案已经开源:https://github.com/xiongwilee/gulp-requirejs-boilerplate 。
基于上文提到的路由和数据代理的功能,现在我们的开发模式就可以优化为:前后端确定接口→前后端同时开发→联调提测上线。给开发带来的好处自不必说:
生产环境的部署与大多数服务部署类似:经过SLB
之后到nginx
进行反向代理,走到nodejs服务响应请求;可以在nginx层进行负载均衡和监控;如果需要用到缓存,可以在nginx和nodejs之间再加一层Varnish
。
这里必须要推荐下最牛哔的nodejs进程管理工具:pm2,完成了趣店生产环境下nodejs进程管理和nodejs日志切分。
然后提一下,我们的沙盒环境和测试环境部署。
沙盒只需要摘一台性能比较low的线上机器,提供给办公网络访问就行。因为数据代理的接口直接走的服务端对应环境的接口,整个沙盒环境和测试环境的搭建也非常愉快。
另外,我们对线上业务做了一个压测:单台8核CPU/8G机器,能扛住500QPS左右的压力。
最后,关于环境部署,再提两个场景:
一个场景是,超越前后端分离框架的本职工作,实现团队文档系统。
因为前后端分离框架本身是不支持数据库和SESSION存储功能的,为了满足一些简单的数据库和文件上传需求,我们自己实现了两个中间件,一个能够利用mongoose很简单地与mongo打交道,一个利用formidable
,koa-send
模块轻易实现文件上传和下载;从而很快实现了团队博客和文档系统。
当然了,这个文档系统和团队博客仅限在内网系统中使用。
另外一场景是,后端环境使用Java MVC框架下的前后端独立开发。
我们团队与蚂蚁金服团队深度合作(事实上是作为TP,实现支付宝下的业务需求),必须使用蚂蚁金服的基于Java的sofalite MVC框架,而且坑爹的是:蚂蚁金服不能提供他们的前端构建框架!
这就意味着:我们团队的前端同学需要回到刀耕火种时代,跟后端同学用一个仓储自己搭建Java环境进行本地开发了。
但是,别忘了,我们现在有基于koa的前后端分离框架啊(知乎腔)!
事实上,前后端独立开发的唯一瓶颈就在与Java的velocity
模板引擎;而我们的前后端分离框架的模板引擎是可配的。
所以,前后端定好了接口,然后前端就愉快地用上mock数据独立开发去了;最后,整个项目提前四天开发联调完成。
主(guang)角(gao)终于要出场了!
这套前后端分离框架——koa-grace:基于koa的前后端分离框架已经开源。欢迎各路大神star
/fork
/提ISSUE
,谢谢!!!
另外,配套命令行工具暂时仅限内网使用,后续会开源出来。最后,关于koa-garce还得啰嗦两点:
1)koa-grace是基于koa 1.x
版本
目前koa-grace所有的中间件都是基于koa 1.x
,而koa 2.x
正式发布之后会立刻跟进。
但koa-grace毕竟只是一个轻量级的框架:Requiring babel to run your server is just not good developer experience.
(引自:koa/issues/533)。
2)koa-grace需要完善测试用例
vue的作者尤雨溪说过,不写测试的开源项目不是合格的开源项目
。而koa-grace目前还没有测试用例覆盖,希望大家一起来完善。
无论前端怎么玩、无论技术怎么发展,任何架构最终都是为了服务于产品。
减少技术成本,提升迭代效率和产品体验是Web技术的核心诉求(尤其是在做产品不快则死的创业公司)。
趣店产品项目在逐渐升级,我们也在随着产品升级而将业务迁移到这套前后端分离架构上来;目前来看,koa-grace给趣店产品和技术部署带来了不少便利。
就说到这儿,老板喊我去写PHP了…………
koa-grace是基于koa 1.x的新一代Nodejs多站点MVC框架。项目地址:https://github.com/xiongwilee/koa-grace
为什么koa-grace是新一代Nodejs MVC框架:
路径即路由
,更优雅的路由方式;1 | ├── app // 站点总目录 |
在开始使用koa-grace之前请确保您已经安装并运行了下面的工具:
$ git clone https://github.com/xiongwilee/koa-grace.git
$ cd koa-grace && npm install
在koa-grace目录下,打开配置文件:
$ vi config/main.js
修改配置项:config.mongo.blog
为您的本地mongoDB的路径:
// mongo configuration
mongo: {
'blog': 'mongodb://localhost:27017/blog'
}
**更多关于配置项的文档可以看下面的使用文档。
在koa-grace目录下执行,可能需要root权限:
$ npm run dev
然后访问 http://127.0.0.1:3000 ,就可以看到koa-grace其中的一个案例站点了!
您也可以访问koa-grace的一个线上应用: http://mlsfe.biz 。
虽说koa-grace是一个完整的MVC框架 , 但其本质是基于一种多站点解决方案的koa中间件的集合。其核心中间件包括但不仅限于: koa-router , koa-views , koa-mount , koa-static , koa-grace-vhost , koa-grace-router , koa-grace-proxy , koa-grace-model , koa-grace-mongo , …
koa-grace是基于 koa-grace-vhost 进行vhost管理,基本原理是:
一个域名对应一个应用,一个应用对应一个目录
如此一来,配置多站点就很简单了,在配置文件config/main.js
中:
1 | // vhost配置 |
其中,vhost配置中127.0.0.1
是URI的hostname
, blog
是站点总目录app下的一个目录app/blog
。如果当前请求URI为:http://127.0.0.1/home 则koa-grace会自动访问app/blog
目录里的路由、模型、静态文件。
需要说明的是,多站点配置仅以URI的hostname为主键 ;也就是说,访问带端口号的http://127.0.0.1:3000/home 也会定位到app/blog目录。
很好,如果你配置好了一个vhost为'127.0.0.1':'blog'
, koa-grace就会自动生成一个vhost到app/blog
目录了!接下来,进入app/blog/controller
目录进行路由配置。
koa-grace基于 koa-grace-router 进行路由管理的,koa-grace-router又是依赖于:koa-router 。
以blog
站点为例,koa-grace-router
会找到 app/blog/*
目录下的所有.js
后缀的文件,并以文件路径生成路由。我们再看一下案例中blog
的路由文件:
1 | ├── api │ └── post.js ├── dashboard │ ├── post.js │ ├── site.js │ ├── user.js │ └── userAuthor.js ├── error.js ├── home.js ├── post.js └── user.js |
如果当前请求URI为:http://127.0.0.1/dashboard/post/* 则路由将自动落在dashboard/post.js
文件中。
那么,如果请求路径如果是http://127.0.0.1/dashboard/post/list ,这个dashboard/post.js
文件是如何控制的呢?
打开app/blog/controller/dashboard/post.js
文件:
1 | /*...*/ |
对,就是你猜的那样:koa-grace-router是通过post.js的module.exports进行下一步的路由控制。
另外,需要说明以下几点:
POST
方法,则post.js中声明 exports.list.__method__ = 'post'
即可(不声明默认为get请求),更多方法类型请参看:koa-router#routergetputpostpatchdelete–router;exports.list.__regular__ = '/:id';
即可,更多相关配置请参看:koa-router#named-routesmodule.exports
返回一个yield方法即可,可以参考案例blog
中的controll/home.js
exports.__controller__ = false
,该文件就不会生成路由了当然,如果一个路由文件中的控制器方法都是post方法,您可以在控制器文件最底部加入:module.exports.__method__ = 'post'
即可。__regular__
的配置同理。
刚刚我们看到了post.js中的exports.list方法,事实上它就是一个控制器(controller)了。
您可以新建一个app/blog/controller/hello.js
文件
1 | exports.koagrace = funtion* (){ |
访问 http://127.0.0.1/hello/koagrace ,就可以看到“hello koa-grace!”输出。它是典型的一个基于上下文(context)的yield方法。几个关键方法/参数使用如下:
context属性 | 类型 | 说明 |
---|---|---|
this.query |
object |
get参数 |
this.request.body |
object |
post参数,由于koa-grace默认引入了koa-bodypaser,您可以直接在this.request.body中获取到post参数 |
this.bindDefault |
function |
公共控制器,相当于require('app/blog/model/defaultCtrl.js') |
this.render |
function |
模板引擎渲染方法,请参看:3.5 模板引擎- Template engine |
this.mongo |
function |
数据库操作方法,请参看:3.3 数据库 - Database |
this.mongoMap |
function |
并行数据库多操作方法,请参看:3.3 数据库 - Database |
this.proxy |
function |
RESTful数据请求方法,请参看:3.4.1 数据代理 |
this.download |
function |
文件请求代理方法,请参看:3.4.2 请求代理 |
this.upload |
function |
文件上传方法,请参看: 3.4.3 文件上传 |
更多context文档请参看koa官网,或http://koajs.in/doc/
koa-grace引入基于mongoose的koa-grace-mongo ,可以非常便捷地使用mongoDB。
在配置文件config/main.js
中进行配置:
1 | // mongo配置 |
其中,mongo.options
配置mongo连接池等信息,mongo.api
配置站点对应的数据库连接路径。
值得注意的是,配置好数据库之后,一旦koa-grace server启动mongoose就启动连接,直到koa-grace server关闭
依旧以案例blog
为例,参看app/blog/model/mongo
目录:
1 | └── mongo ├── Category.js ├── Link.js ├── Post.js └── User.js |
一个js文件即一个数据库表即相关配置,以app/blog/model/mongo/Category.js
:
1 | 'use strict'; |
主要有四个参数:
model
, 即表名,最好与当前文件同名schema
, 即mongoose schemamethods
, 即schema扩展方法,推荐把数据库元操作都定义在这个对象中statics
, 即静态操作方法在控制器中使用非常简单,主要通过this.mongo
,this.mongoMap
两个方法。
this.mongo(name)
调用mongoose Entity对象进行数据库CURD操作
参数说明:
@param [string] name
: 在app/blog/model/mongo
中配置Schema名,
返回:
@return [object]
一个实例化Schema之后的Mongoose Entity对象,可以通过调用该对象的methods进行数据库操作
案例
参考上文中的Category.js的配置,以app/blog/controller/dashboard/post.js
为例,如果要在博客列表页中获取博客分类数据:
1 | // http://127.0.0.1/dashboard/post/list |
this.mongoMap(option)
并行多个数据库操作
参数说明
@param [array] option
@param [Object] option[].model
mongoose Entity对象,通过this.mongo(model)获取
@param [function] option[].fun
mongoose Entity对象方法
@param [array] option[].arg
mongoose Entity对象方法参数
返回
@return [array]
数据库操作结果,以对应数组的形式返回
案例
1 | let PostModel = this.mongo('Post'); |
除了在控制器中直接进行数据库操作,Web应用还有可能由其他服务进行后端部署。针对这种场景,koa-grace引入了基于 Request 的 koa-grace-proxy。
在koa-grace的控制器中使用this.proxy
方法进行数据代理非常简单:
1 | exports.list = function* (){ |
你也可以不传this.backData
参数,默认注入到上下文的this.backData
对象中:
1 | exports.list = function* (){ |
另外,github:post:user/login/oauth/access_token?client_id=****
说明如下:
github
: 为在config.main.js
的 api
对象中进行配置;post
: 为数据代理请求的请求方法,该参数可以不传,默认为get
path
: 后面请求路径中的query参数会覆盖当前页面的请求参数(this.query),将query一同传到请求的接口{userInfo:'https://api.github.com/user/login?test=test'}
文件请求代理也很简单,比如如果需要从github代理一个图片请求返回到浏览器中,参考:http://mlsfe.biz/user/avatar?img=https://avatars.githubusercontent.com/u/1962352?v=3
1 | exports.avatar = function* (){ |
TODO: 文件上传并代理到其他服务或者存储到本地
koa-grace引入koa-views , 进行模板引擎管理。默认的模板引擎为swig, 您可以在config/main.js
中配置template
属性您想要模板引擎:
1 | // 模板引擎配置 |
目前支持的模板引擎列表在这里:consolidate.js#supported-template-engines
在控制器中调用this.render
方法渲染模板引擎:
1 | exports.home = function* () { |
模板文件在app/blog/views
目录中。
koa-grace引入koa-mount 及 koa-static,将静态文件代理到/static
:
1 | // 配置静态文件路由 |
以案例中blog
的静态文件为例,静态文件在blog项目下的路径为:app/blog/static/image/bg.jpg
,则访问路径为http://127.0.0.1/static/image/bg.jpg。
在开发环境可以使用npm命令完成。
1) 普通启动:
$ npm run start
2) watch启动:
$ npm run dev
# 在80端口启动
$ npm PORT=80 run dev
# DEBUG模式启动,默认为DEBUG=koa-grace*
$ npm DEBUG=* run dev
在生产环境推荐使用 pm2 进行进程管理:
$ npm install pm2 -g
$ pm2 start node ./bin/server.js
更多使用方法,请参看 pm2。