JavaScript 异步解决方案 async/await

简介

异步操作一直都是 JavaScript 中一个比较麻烦的事情，从最早的 callback hell，到TJ大神的 co，再到 Promise 对象，然后ES6中的 Generator 函数，每次都有所改进，但都不是那么彻底，而且理解起来总是很复杂。

直到 async/await 出现，让写异步的人根本不用关心它是不是异步，可以说是目前最好的 JavaScript 异步解决方案。

more >>

展开全文 >>

Python 协程

背景

第一次听同学提到协程 Coroutine，说是一个类似于多线程而又不是多线程的东西，听得云里雾里，不觉明厉。后来找了个机会好好看了一下相关的知识，发现协程是一个很有趣的东西。

Wiki百科给协程的定义是：“与子例程一样，协程也是一种程序组件。。。协程更适合于用来实现彼此熟悉的程序组件，如合作式多任务，迭代器，无限列表和管道。”

那什么是子程序呢？Wiki百科给出的定义是：“在计算机科学中，子程序（英语：Subroutine, procedure, function, routine, method, subprogram, callable unit），是一个大型程序中的某部分代码，由一个或多个语句块组成。它负责完成某项特定任务，而且相较于其他代码，具备相对的独立性。”

more >>

展开全文 >>

如何判断页面编码

W3C

在编写微博爬虫的时候，稍微学习了一下网页编码的知识，主要来自于 W3C 官方文档的 5.2.2 小节。

To sum up, conforming user agents must observe the following priorities when determining a document’s character encoding (from highest priority to lowest):

  1. An HTTP “charset” parameter in a “Content-Type” field.
  2. A META declaration with “http-equiv” set to “Content-Type” and a value set for “charset”.
  3. The charset attribute set on an element that designates an external resource.

首先看 http 头信息中的 Content-Type 字段，如果没有的话，会查看 Meta 信息，如果还没有的话，会查看一些外部资源的信息，比如css或者JavaScript的charset字段。
如果以上信息依然不能确定编码的话，就采用默认的 ISO-8859-1 字符集去解析网页。

gb2312 页面解析

在爬取 “珠海市人力资源和社会保障局” 的网站的时候，遇到中文编码 gb2312，使用 iconv-lite 对其进行处理，代码如下：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
"use strict";
const request = require('request');
const cheerio = require('cheerio');
const iconv = require('iconv-lite');

let req = request('http://www.zhrsj.gov.cn/xinxi/gzzk/');
req.on('error', (err)=> {
    console.log('error', err);
});
let chunks = [];
req.on('data', (res)=> {
    chunks.push(res);
});
req.on('end', ()=> {
    let decodedBody = iconv.decode(Buffer.concat(chunks), 'gb2312');
    let $ = cheerio.load(decodedBody);
    $("table[width='96%']").find('tr').each((index, e)=> {
        let a = $(e).children();
        console.log(a.eq(1).text());
    });
});

展开全文 >>

微博情绪分析

简介

本项目ITA的一个大数据学习的项目，以下是我的大体思路。

  1. 使用node.js爬虫每天从「新浪微博」上爬取一定数量的微博。主要实现登录，抓取发布微博，抓取关注人和粉丝的功能，暂时把数据存放在MongoDB中。
  2. 对微博进行分词，分词是非常复杂的功能，需要机器学习训练模型，因此采用哈工大开源项目「LTP-Cloud」直接调用现成API。感谢哈工大社会计算与信息检索研究中心 (HIT-SCIR)。
  3. 然后对分词后的词语进行情绪分析，这里使用大连理工大学林鸿飞教授带领全体教研室成员整理而成的「情感词汇本体库」。
  4. 最后使用spark将情绪分析结果进行数据整合。
more >>

展开全文 >>

tag:

<div>精通 JavaScript、Python、Ruby、Java、Lisp等技术<sup>名词拼写</sup>。 擅长各种从入门到放弃。 毕业于世界著名学府——北大<sup>青鸟</sup>。 如果你也有志于成为一名程序员<sup>鼓励师</sup>的话，请联系我。</div>