leign
- 浏览: 166620 次
- 性别:
- 来自: 北京
-
最新评论
-
xing00lian：
这个不错啊，参考参考，呵呵
Mysql时间类型与JAVA时间类型的转换 -
swanky_yao：
现在的情况是：jira和confluence使用的是一个用户管 ...
Confluence与Jira整合之统一用户管理 -
ibio：
非常棒，推拉模式总结得很到位。学习了！
推拉模式与观察者模式 -
leign：
009dsa 写道兄弟 我不明白你在干什么?
中文可以取半个 ...
无乱码截取汉字字母数字混合字符串 -
009dsa：
兄弟 我不明白你在干什么?中文可以取半个吗?
无乱码截取汉字字母数字混合字符串
文章列表
点击这里给我发消息
新浪微博 智修_聪明的一休
腾讯微博
leign.du@gmail.com
1.Introduce
Thrift is a software library and set of code-generation tools developed at Facebook to expedite development and implementation of efficient and scalable backend services.
Its primary goal is to enable efficient and reliable communication across programming languages by abstracting the po ...
上次大概地介绍了一下现在常用的推荐算法，下面来介绍两种比较优化的算法。
Apriori算法
关联规则挖掘发现大量数据中项集之间有趣的关联或相关联系。它在数据挖掘中是一个重要的课题，最近几年已被业界所广泛研究。
经 ...
推荐系统估计是以后的一个大的方向，应用广泛，根据用户个性化地定制或自动推荐，提高用户体验。像亚马逊首页的商品推荐，以后的搜索推荐等等。最近听了一些讲座和分享，自己也学习了一下，下面做一点总结和分享。
...
Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件hive映射为一张数据库表，并提供完整的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。
Hive目前还不支持像Mysql那样的sql脚本，如果遇到需要批量处理HQL就会比较麻烦(这两天就遇到需要批量删除有命名规则的表的情况，想了许多土方法)。
于是就想到了用shell脚本去实现执行批量HQL命令的方法。
其实原理很简单，在shell脚本中用echo命令将HQL命令以字符串的形式‘导入’Hive客户端里面去执行，还可以用重定向将执行结果保存到脚本日志中。
下面来个简单的一例子：
#如果已经配好 ...
数据分发还是同步
最近需要将一些文件从一台server备份到另一台server上(刷新新的数据到正式机上)
是根据刷新操作触发自动同步？ 还是主动推(分发)过去？
想了想，觉得比较合理的解决还是看需要备份的数据量，如果是大规模的文件，为了提高效率，还是主动一点吧，推过去。 小批量文件，则还是可以被动同步。
用哪种方式
1、scp/sftp(SHH2)
可以使用http://www.ganymed.ethz.ch/ssh2/提供的jar包中的API，可以调用其接口进行基于SSH的连接，实现执行远程命令
import java.io.BufferedReader;
import java. ...
最近用JADE去模拟一个基于gossip的分布式系统，为了实验师兄设计的p2p管理协议。规模大概在1000个Agent左右，其实每台server跑个2000个也不成问题，但花了不少开销在同步和中心管理上，最终每台server只跑了500个。
用了之后，感觉 ...
最近遇到一个需要判断在某一时间段条件的查询，最开始用的between..and，后来想了想为啥不能用小于、大于，然后又想到用datediff函数先求出两个时间差再做正负判断。
后来再了一次测试，数据比较少，大概500条数据，结果如下：
SELECT * FROM `userleveldetaillog` as u where u.`operatedate` >'2010-03-01' AND u.`operatedate`<'2010-04-01';
415 rows fetched (31 ms)
SELECT * FROM `userleveldetaillog` as ...
最近做一个消息系统，其中涉及到新消息数的即时更新，当时就想到了观察者模式，后来听同事提到推拉模式，感觉推模式原理上应该还是属于观察者模式，只不过把server变成了被观察对象，client被动观察 。。。
其实推拉模式我们经常遇到，如广播(推)、HTTP请求(拉)，只是没有刻意去追求概念。设计时还是应该多考虑到。
考虑到性能还效率，最终还是选择了拉模式，每隔一断时间请求一次、更新。
下面是引用:
推(push)模式是一种基于客户器/服务器机制、由服务器主动将信息送到客户器的技术。在push模式应用中，服务器把信息送给客户器之前，并没有明显的客户请求。push事务由服务器发起。push模式可以 ...
最近公司类似SNS的社区项目，开始接触WEB前端技术，在已经切好的页面基础上套页面。
首先要做的，是根据后台提供的接口写前端接口(写成Action,Servlet,JSP都行)，在前端接口进行数据提取与数据拼接，拼成json格式的数据再写回 ...
说到Confluence与Jira的整合，首先就得提到用户的整合，有两种方式:
1、通过统一使用外部数据库
2、通过LDAP服务器
这几天都在搞整合，配置出错导致重新配置也数不清次数了。。
首先讲一讲用外部数据库统一用户管理
使用这种方式的提前是你配置的Jira必须是使用外部数据库，我用的是Mysql，操作系统是Linux服务器。在分别装好Jira和Confluence(这个我也使用了外部数据库,安装之前最好把所有需要的JAR包(语言包、jdbc包、插件包)到放WEB-INF/lib下，再启动服务器开始安装)之后，网上很很多整合配置的文章，但我的情况不同，我把两者分开配置了，这也导致我多 ...
最近写一个搜索方面的代码，需要用JS异步请求以JSON格式与服务器传输数据，于是开始了JSON和Rest的学习。
intro
JSON(Javascript Object Notation)是一种轻量级的数据交换语言，以文字为基础，且易于让人阅读。尽管JSON是在Javascript的一个子集，但JSON是独立于语言的文本格式，并且采用了类似于C语言家族的一些习惯---百科
JSON用于描述数据结构，有两种基本形式存在
名称/值对(collection)：名称和值之间使用“:”隔开，每个名称/值对之间使用“,”分割，并且使用“{”“}”括起来；一般的形式是：
{name:value}
这样 ...
最近遇到这样一个问题:
服务器A不能上外网，但功能需求让它能获取URL的图片，于是想到用同域的另外一台能上外网的服务器B上进行中转。方法是，在服务器B其上写个JSP或Servlet，A通过访问B上的JSP或Servlet,B以流的形式吐出，A获取流数据并生成图片。
以下是主要的实现代码
A上的请求Action主要代码
try {
String fileurl="http://www.iteye.com/upload/logo/user/166347/a62f68ef-ba87-3080-92ee-f95b3ff6189f.jpg?1257847065"; //图片 ...
这天几做了一些有关XML的应用，如从数据库取出数据以XML格式为FLASH提供数据源，以及以XML为基础的接口应用，主要还是用它来保存数据、传输数据。
如今JAVA中XML API大概有4种，DOM、SAX、JDOM、DOM4J，不过应用最多的算是DOM4J，性能最好。它是一个非常非常优秀的Java XML API，具有性能优异、功能强大和极端易用使用的特点，同时它也是一个开放源代码的软件。如今你可以看到越来越多的Java软件都在使用DOM4J来读写XML，特别值得一提的是连Sun的JAXM也在用DOM4J.
如下是一个DOM4J的小实例：
package com.dujiali.test ...
Mysql跨服务器查询
最近遇到一个问题，需要在两个服务上的两个数据库进行联表查询，本以为一两句SQL语句就能把问题解决，后来发现没有这么简单。
原因很简单，Mysql虽然支持同一服务器上跨数据库的联表查询(我用的版本是5.0,经证实可行)，但并不支持跨服务器。网上有一些跨服务器联表查询的SQL语句，但都是SQL SERVER的，并不适合MYSQL。后来用Hibernate配了两个数据源，想用HQL来查询，结果失败(后来才发现虽然是配了两个数据库，但是还是用的2个seesion)。于是经过大半天的Search和Practise，发现至少有两种解决方法。
以前做数学题，老是要进行化归，即把未知 ...