ITeye博客

杜神的技术博客

Du_wood · 共 66 篇文章

[置顶] 150行代码写爬虫(二)

上篇内容: http://dushen.iteye.com/blog/2415336 项目地址: https://gitee.com/dushen666/spider.git 继续上一篇的内容,在上一篇的时候,我们已经可以将数据爬取下来了,并保存为了json文件的形式。本篇我要将数据插入关系型数据库,并实现去重。 此处以MySQL数据库为例: 我们依照上一篇的items创建表结构: /* SQLyog Ultimate v10.42 MySQL - 5.7.20-0ubuntu0.16.04.1 : Database - movie-website1 ********************…

2018-04-13T01:08:34Z · 开源软件 · 评论(0)

[置顶] 150行代码写爬虫(一)

目的:爬取某视频网站的所有视频; 工具:scrapy、MySQL、python 2.7; 项目地址: https://gitee.com/dushen666/spider.git ; scrapy是一个python的爬虫框架,有兴趣的同学可以了解一下,本篇我将介绍如何用scrapy从零开始编写一个爬虫; 步骤↓ 安装python 2.7,并配置好环境变量 ,此处不多说。 安装scrapy: pip install Scrapy 若没有pip请自行安装 构建一个scrapy项目:进入想要保存项目的路径,执行以下代码: scrapy startproject spider 可以看到当前目录下已经…

2018-04-02T22:40:43Z · 开源软件 · 评论(0)

[置顶] 从零开始搭建Python web框架——Django(四)

本章将介绍Django的admin工具: 通常一个网站或应用都会有一个给用户使用交互界面和一个给维护人员使用的管理端,管理端最基本的功能就是进行内容管理。Django admin工具提供了常用的对模型的CURD操作,可以实现三分钟搭一个管理端。 步骤↓ 当我们使用django-admin startproject xxx 构建好一个Django项目时,我们会发现在settings.py中存在以下代码: INSTALLED_APPS = [ 'django.contrib.admin', 'django.contrib.auth', 'django.contrib.contenttypes',…

2018-03-31T21:24:34Z · 编程语言 · 评论(0)

[置顶] 从零开始搭建Python web框架——Django(三)

Django支持多种数据库,如PostgreSQL、MySQL、SQLite、Oracle。Django模型提供了统一的接口实现数据的CURD操作,所以可以很方便地切换数据库。 下面将介绍Django model的使用,笔者以MySQL数据库为例: 步骤↓ 安装mysqlclient,用于Django与数据库的交互: ubuntu系统如下: sudo apt-get install libmysql-dev sudo apt-get install libmysqlclient-dev sudo apt-get install python-dev sudo pip install mysq…

2018-03-21T21:08:09Z · 编程语言 · 评论(0)

[置顶] 从零开始搭建Python web框架——Django(二)

Django模板↓ 在上一篇建立的项目下的templates目录下新建模板文件hello.html,目录结构如下: HelloWorld/ |-- HelloWorld |-- manage.py `-- templates `-- hello.html hello.html代码如下: {{hello}} 修改HelloWorld/settings.py,修改 TEMPLATES 中的 DIRS : TEMPLATES = [ { 'BACKEND': 'django.template.backends.django.DjangoTemplates', 'DIRS': [BASE_DIR+"…

2018-02-27T21:33:50Z · 编程语言 · 评论(0)

[置顶] 从零开始搭建Python web框架——Django(一)

Django是python下一个开源的、mvc模式的web应用框架,我们都知道,python版本不向下兼容,下表为Django版本与python版本的对应关系: Django version Python versions 1.8 2.7, 3.2 (until the end of 2016), 3.3, 3.4, 3.5 1.9, 1.10 2.7, 3.4, 3.5 1.11 2.7, 3.4, 3.5, 3.6 2.0 3.4, 3.5, 3.6 2.1 3.5, 3.6, 3.7 下面我将介绍如何从零使用Django构建一个web应用。 步骤↓ 安装python环境(此处不介绍),…

2018-02-27T19:15:26Z · 编程语言 · 评论(0)

[置顶] linux服务器安全—— 一次redis攻击的遭遇

笔者在写这篇文章的时候,个人的服务器正在遭受攻击,为了避免更多的人被坑,笔者淡定地边处理边写下这篇博客,希望可以帮助到大家! 环境: ubuntu16.04.1 云服务器 redis 部署于tomcat上的个人应用 背景: 查看服务器状态时,发现redis用户的cpu使用率过高,打开redis日志,发现大量如下信息: [10167] 04 Feb 19:05:20.065 * 1 changes in 900 seconds. Saving... [10167] 04 Feb 19:05:20.066 * Background saving started by pid 21837 [218…

2018-02-04T22:56:17Z · 操作系统 · 评论(0)

[置顶] 自动化运维工具Ansible入门笔记(一)

一、简介: ansible是新出现的自动化运维工具,基于Python开发,集合了众多运维工具(puppet、cfengine、chef、func、fabric)的优点,实现了批量系统配置、批量程序部署、批量运行命令等功能。 ansible是基于模块工作的,本身没有批量部署的能力。真正具有批量部署的是ansible所运行的模块,ansible只是提供一种框架。主要包括: (1)、连接插件connection plugins:负责和被监控端实现通信; (2)、host inventory:指定操作的主机,是一个配置文件里面定义监控的主机; (3)、各种模块核心模块、command模块、自定义模块…

2018-01-30T01:01:48Z · 开源软件 · 评论(0)

[置顶] 从零开始,在java中使用七牛云实现文件云存储(二)

在上一篇博客中,笔者简单介绍了从零开始,在java中使用七牛云实现文件的上传和下载。本章,笔者将介绍qiniu SDK的其他功能。 上篇文章的链接: 从零开始,在java中使用七牛云实现文件云存储(一) 好了,直接进入正题,先介绍一下qiniu SDK的资源管理! 获取文件信息。就是获得已经上传到七牛云上的文件的详细信息,如上传时间、hash值、文件大小、类型等。直接上代码: /** * 获取文件信息 * @param zone * @param key * @param auth * @param bucket * @return */ public static FileInfo get…

2017-12-31T00:13:46Z · 互联网 · 评论(0)

[置顶] Mybatis-Plus——为Mybatis镀一层金

Mybatis-Plus是一个Mybatis的增强工具,它在Mybatis的基础上做了增强,却不做改变。我们在使用Mybatis-Plus之后既可以使用Mybatis-Plus的特有功能,又能够正常使用Mybatis的原生功能。Mybatis-Plus(以下简称MP)是为简化开发、提高开发效率而生,但它也提供了一些很有意思的插件,比如SQL性能监控、乐观锁、执行分析等。 Mybatis虽然已经给我们提供了很大的方便,但它还是有不足之处,实际上没有什么东西是完美的,MP的存在就是为了稍稍弥补Mybatis的不足。在我们使用Mybatis时会发现,每当要写一个业务逻辑的时候都要在DAO层写一个方…

2017-12-31T00:08:06Z · 互联网 · 评论(1)

[置顶] RESTful API的灵魂伴侣——Swagger

开篇总是要写一些概括性的东西! Swagger 是一个RESTful接口的文档的实时生成与测试工具。没接触过类似工具的你可能对这句话没什么概念,不要急,我来慢慢解释。 使用REST的原因之一就是方便前后端分离开发,后端开发者写后端的逻辑,前端开发者写前端的逻辑,然后大家约定好一个API的风格,使用HTTP的get、post、put、delete来对应资源的CURD。避免了这种情况的发生:前端开发者拿着后端提供的厚厚的API文档边查阅边愤愤地开发,每个业务逻辑对应一个接口规范,混乱不堪。然后某一天后端改了逻辑,删掉了几个接口又增加了几个接口,前端又要大范围地改代码,然后前后端就打起来了。 为了…

2017-12-25T22:46:48Z · 互联网 · 评论(0)

[置顶] 从零开始,在java中使用七牛云实现文件云存储(三)

在上一篇博客中,笔者简单介绍了qiniu SDK的资源管理以及各种上传凭证的生成,本章笔者将介绍qiniu SDK的资源批量管理功能。 上篇文章的链接: 从零开始,在java中使用七牛云实现文件云存储(二) 进入正题! 批量获取文件状态: /** * 批量获取文件状态 * @param zone * @param auth * @param keyList 文件名列表, 单次批量请求的文件数量不得超过1000 * @param bucket * @return */ public static BatchStatus[] getFilesStat(Zone zone,Auth auth,St…

2017-12-24T19:51:37Z · 互联网 · 评论(0)

[置顶] 一篇文章入门正则表达式

适合阅读本编博客的读者:正则表达式的初学者、想要入门正则表达式的程序员们 正则表达式描述了一种字符串匹配的模式,可以用来检测字符串是否匹配某种规则。大多数编程语言都集成了正则表达式,虽然流派的不同使得在各个语言中正则表达式的语法略有差异,但使用正则表达式的基本思路、以及正则表达式的常用语法是互通的。 在日常编程以及维护中,正则表达式的使用还是很广泛的,例如在JavaScript中我们对表单内容做校验、使用Nginx做反向代理时对url做匹配亦或是在Linux系统使用grep命令查找文本内容以及文本替换等,例子太多了。 初次接触正则表达式时,其实一开始我是拒绝的,他们长成这个样子→^[a-zA…

2017-12-24T00:26:33Z · 编程语言 · 评论(2)

[置顶] java项目中,如何加密配置文件中的敏感信息

在日常开发中,我们常常会把一些敏感信息写进*.properties配置文件中,比如数据库密码、redis密码、admin用户的密码甚至系统用户的密码等。 我在某银行做运维时,经常会遇到这样的情况: 银行的系统都是通过堡垒机管理的,应用管理人员理论上不应该知道任何系统用户的密码,只需通过堡垒机,使用只读key或可写key即可登录相应的用户。但在一次偶尔查看应用的配置文件时,我发现应用在调用CD时需要登录系统用户,而用户名和密码均使用明文写在了配置文件中。知道了用户名密码,就可以使用su命令随意切换用户了。诸如此类的还有数据库密码等,均可在配置文件中找到,这在信息安全和权限控制等方面有很大的隐患…

2017-12-23T12:22:17Z · 互联网 · 评论(0)

[置顶] ubuntu 16.04.1 上tomcat的安装与配置

主机:腾讯云服务器(ubuntu 16.04.1)系统 工具:xshell 步骤↓: 下载所需版本的Tomcat,Tomcat官网:http://tomcat.apache.org/,本文以Tomcat8为例: 下载所选版本Tomcat中,core中的tar.gz包。 使用FTP工具上传tar.gz包到主机,本文使用xshell配套的xftp: 使用xshell登录主机,切换至Redis的管理用户,笔者使用的root用户: Shell代码 ubuntu@VM-202-164-ubuntu:~$ su Password: root@VM-202-164-ubuntu:/home/ubuntu#…

2017-12-20T23:21:32Z · 开源软件 · 评论(0)