- 浏览: 322926 次
- 来自: 上海交通大学软件学院
文章分类
最新评论
-
whatable:
楼主写得很好!!
小试org.eclipse.jface.dialogs.TitleAreaDialog -
yeshaoting:
顶~~顶~~顶~~
另一只眼看Eclipse,所谓的开源 -
wenhai_zhang:
好,不错。发贴留地址
小试org.eclipse.jface.dialogs.TitleAreaDialog -
ss1:
具体点,我还是不会啊
在Liferay Portal中使用DWR -
rubynroll:
robbin 写道每次当我想操起ruby写rake file的 ...
我的第一关rake文件
手头一个项目有这样一个需求,数据库中有一张学生表students,其中每个学生都有自己的生源地(come_from),用户希望能够随机的选择一些学生出来,但是要保证每个生源地的学生都有。
我的开发环境是RoR + MySql,简单考虑了一下后,第一个能想到的方法是在rails中生成随机数,然后用offset来得到随机的学生。但是这样做比较麻烦,性能也会很差,因为首先要知道每个生源地下有多少学生,不然的话,生成的随机数可能会过大。
排除了这个选择,于是考虑是否可以在sql级别实现。去查了查MySql的manual,发现有个然数RAND()可以用来生成0到1之间的随机浮点数,感觉可以用这个来做,马上试试看。
注意,这里的随机方式与一般的想法不同。一般的想法是生成一个随机数作为offset,然后去找在offset上的数据项;而这里的做法是随机的对数据项进行排序(即shuffle),然后获得第一个。
以上sql多运行了几次下来,确实随机返回不同的学生,离目标近了一步,好事情。剩下来就是如何随机的在所有生源地上选择一个学生,如果学生个数不够,还要再随机选择剩余学生。出于性能考虑,我打算用stored procedure:
以上代码还是挺简单的,就是先找到所有的生源地,然后循环,以每个生源地作为条件随机出一个学生来。一开始的时候我还想传入一个参数,代表想要得到的学生个数,比如50、100的。因为这个个数通常比生源地个数要多,所以后面还应该随机取出一些学生来。但是我不知道这个sql应该怎么写,因为假设我们可以得到变量student_number代表想要的学生个数、come_from_number代表生源地的个数,那么sql语句应该差不多如下:
但是其中加粗的部分,sql自然是不认识的,也就是说LIMIT后面不能接变量,所以我也不知道该怎么办,所幸就拿到stored procedure外面来做了。
以上可以说是实现了MySql端的东东,那么rails方面呢?一开始我尝试使用
结果报错说:ActiveRecord::StatementInvalid: Mysql::Error: PROCEDURE vc.testsp can’t return a result set in the given context.
到网上搜了一下,发现rails的wiki里面就有一篇讲怎么使用sp的,于是就按部就班的做了,不过网上的教程有点儿过时了,这里稍微做一个介绍:
[list=1]先保证自己装的是MySql 5.0+版本。
安装native MySql Connector:gem install mysql。
修改rails中的mysql_adapter.rb,文件在$RUBY_ROOT/lib/ruby/gems/1.8/gems/activerecord-$VERSION/lib/active_record/connection_adapters中,具体修改如下:
==>
这是因为sp有可能会返回多个结果集(说白了就是有多个SELECT,像我的sp就是这样),而rails默认的连接设置不支持这个,就会报错,而且即使只返回一个结果集,也会报一样的错误。65536代表的是MySql选项CLIENT_MULTI_STATEMENTS,这样一来就知道怎么回事儿了。为rails添加一个调用sp的方法:
这个方法应该添加在ConnectionAdapters::MysqlColumn中(仍然在mysql_adapter.rb中),可以加到SCHEMA STATEMENTS段。最后在Student.rb里面加入调用sp的方法:
[/list]
写了这么多,以为可以万事大吉了,谁知道调用下来,却报了下面这个错误:Commands out of sync; you can't run this command now.这下可不知道怎么办了,搜了一阵子也没有答案。我猜想可能与多结果集有关,于是写了一个单结果集的sp来调用,果然就没有问题。看来我的这个功能还真不能在sql里面做咧,于是只好全部转到ruby里面,不过还好有MySql的RAND()函数,性能不是太差,而且我数据库里面大概就2w数据,不多。
我的开发环境是RoR + MySql,简单考虑了一下后,第一个能想到的方法是在rails中生成随机数,然后用offset来得到随机的学生。但是这样做比较麻烦,性能也会很差,因为首先要知道每个生源地下有多少学生,不然的话,生成的随机数可能会过大。
排除了这个选择,于是考虑是否可以在sql级别实现。去查了查MySql的manual,发现有个然数RAND()可以用来生成0到1之间的随机浮点数,感觉可以用这个来做,马上试试看。
SELECT * FROM students WHERE come_from = '上海市' ORDER BY RAND() LIMIT 1;
注意,这里的随机方式与一般的想法不同。一般的想法是生成一个随机数作为offset,然后去找在offset上的数据项;而这里的做法是随机的对数据项进行排序(即shuffle),然后获得第一个。
以上sql多运行了几次下来,确实随机返回不同的学生,离目标近了一步,好事情。剩下来就是如何随机的在所有生源地上选择一个学生,如果学生个数不够,还要再随机选择剩余学生。出于性能考虑,我打算用stored procedure:
CREATE DEFINER=`root`@`%` PROCEDURE `random_students`() BEGIN DECLARE done INT DEFAULT 0; DECLARE var_come_from VARCHAR(255); DECLARE come_from_cursor CURSOR FOR SELECT come_from FROM eva_development.students GROUP BY come_from; DECLARE CONTINUE HANDLER FOR SQLSTATE '02000' SET done = 1; OPEN come_from_cursor; REPEAT FETCH come_from_cursor INTO var_come_from; SELECT * FROM eva_development.students where come_from = var_come_from order by rand() limit 1; UNTIL done END REPEAT; CLOSE come_from_cursor; END
以上代码还是挺简单的,就是先找到所有的生源地,然后循环,以每个生源地作为条件随机出一个学生来。一开始的时候我还想传入一个参数,代表想要得到的学生个数,比如50、100的。因为这个个数通常比生源地个数要多,所以后面还应该随机取出一些学生来。但是我不知道这个sql应该怎么写,因为假设我们可以得到变量student_number代表想要的学生个数、come_from_number代表生源地的个数,那么sql语句应该差不多如下:
SELECT * FROM students LIMIT [b](student_number - come_from_number)[/b];
但是其中加粗的部分,sql自然是不认识的,也就是说LIMIT后面不能接变量,所以我也不知道该怎么办,所幸就拿到stored procedure外面来做了。
以上可以说是实现了MySql端的东东,那么rails方面呢?一开始我尝试使用
Student.find_by_sql('call random_students()')
结果报错说:ActiveRecord::StatementInvalid: Mysql::Error: PROCEDURE vc.testsp can’t return a result set in the given context.
到网上搜了一下,发现rails的wiki里面就有一篇讲怎么使用sp的,于是就按部就班的做了,不过网上的教程有点儿过时了,这里稍微做一个介绍:
[list=1]
ConnectionAdapters::MysqlAdapter.new(mysql, logger, [host, username, password, database, port, socket], config)
==>
ConnectionAdapters::MysqlAdapter.new(mysql, logger, [host, username, password, database, port, socket, 65536], config)
这是因为sp有可能会返回多个结果集(说白了就是有多个SELECT,像我的sp就是这样),而rails默认的连接设置不支持这个,就会报错,而且即使只返回一个结果集,也会报一样的错误。65536代表的是MySql选项CLIENT_MULTI_STATEMENTS,这样一来就知道怎么回事儿了。
def select_sp(sql, name = nil) rows = select(sql, name = nil) while (@connection.more_results?()) @connection.next_result() end return rows end
这个方法应该添加在ConnectionAdapters::MysqlColumn中(仍然在mysql_adapter.rb中),可以加到SCHEMA STATEMENTS段。
def self.random_select(student_number) students = connection.select_sp('call random_students') students << find_by_sql(['select * from students order by rand() limit ?', student_number - students.length]) unless students.length >= student_number students.flatten[0, student_number] end
[/list]
写了这么多,以为可以万事大吉了,谁知道调用下来,却报了下面这个错误:Commands out of sync; you can't run this command now.这下可不知道怎么办了,搜了一阵子也没有答案。我猜想可能与多结果集有关,于是写了一个单结果集的sp来调用,果然就没有问题。看来我的这个功能还真不能在sql里面做咧,于是只好全部转到ruby里面,不过还好有MySql的RAND()函数,性能不是太差,而且我数据库里面大概就2w数据,不多。
def self.random_select(number = 50) result = [] students = Student.find_by_sql('select come_from from students group by come_from') students.each do |student| result << Student.find_by_sql(['select * from students where come_from = ? order by rand() limit 1', student.come_from]) end result << Student.find_by_sql(['select * from students order by rand() limit ?', number - students.length]) unless students.length >= number result.flatten[0, number] end
评论
2 楼
bernieyoo
2007-10-18
我看了一下你的Store Procedure,你所谓的多个结果集其实是可以合并到一个结果集里的。可以用如下几种方式:
1、在循环中不要直接执行SQL语句,而是拼接SQL字符串,类似这样的:
最后一次执行:
2、你在循环中取到的结果集的结构是一样的,那可以考虑将每次的结果集存入一个临时表,最后从临时表取出全部结果,类似这样:
我以上都是用SQL Server的语法写的,因为mysql不熟,但应该有类似的方法的。
另外,我调用Store Procedure是用DBI来实现的,这样可以实现对多个结果集的处理。但你这个应该是不需要的。
转变一下编程思路,会有意想不到的结果。
1、在循环中不要直接执行SQL语句,而是拼接SQL字符串,类似这样的:
select * from .... Union Select * from ...
最后一次执行:
exec(@sql)
2、你在循环中取到的结果集的结构是一样的,那可以考虑将每次的结果集存入一个临时表,最后从临时表取出全部结果,类似这样:
Create Table #temp(....) While insert into #temp select * from .... ... ... Select * from #temp
我以上都是用SQL Server的语法写的,因为mysql不熟,但应该有类似的方法的。
另外,我调用Store Procedure是用DBI来实现的,这样可以实现对多个结果集的处理。但你这个应该是不需要的。
转变一下编程思路,会有意想不到的结果。
1 楼
ivice
2007-10-06
我以前用mssql和vb写程序的时候,可以设置set nocount on 在最后一个要返回结果的select前面 可以加一个set nocount off。
这样就不会出错,mysql和rails不知道有没有这种用法。
这样就不会出错,mysql和rails不知道有没有这种用法。
发表评论
-
批量下载railscasts上视频的ruby脚本
2008-07-14 12:00 2700Railscasts 上面的视频已经出到117集了,很早就想把 ... -
在Leopard上使用NetBeans Ruby IDE
2008-01-17 10:57 1933本来像NetBeans这样到东东,应该是装上就可以用到。但是在 ... -
在Leopard上手动安装RMagick
2008-01-17 10:44 1973这几天刚刚给自己的小白安装了Leopard,开始迫不及待的把开 ... -
使用ruby生成zip文件
2007-10-23 17:28 6069首先安装rubyzip: gem install rubyz ... -
在habtm上使用polymorphic关联
2007-10-05 15:19 2645我们知道,在rails中,ha ... -
我的第一关rake文件
2007-09-23 17:10 4077早就想找个机会写写rake文件,但是接触到的项目都不怎么需要, ... -
ferret啊,为你欢喜为你忧。
2007-08-09 18:05 2213非常非常奇怪的问题。一开始在mac下面用standard ra ... -
在Mac上安装RMagick?别以为有了Locomotive就万事大吉啦~
2007-08-02 09:30 2652我或多或少算是一个Mac ... -
在controller里面怎么escape html内容?
2007-07-24 10:24 3542在view里面可以用h来escape html内容。那在con ... -
ActiveRecord中表关联的一个问题,belongs_to和has_many不是一一对应的情况。
2007-07-19 18:15 3984一个挺有意思的问题,想了半天没有解决办法。 情景是这样的:系 ... -
Rails routes mapping的一个奇怪的问题。顺便讨论一下如何做RESTful的paginate。
2007-07-18 09:33 3051大家可以试验一下,在我的开发环境中会出现这个问题,不知道是不是 ... -
[讨论]部署Rails的最佳方案是什么?
2007-07-06 13:46 13470从来没真正部署过一个production级别的rails应用, ... -
Rails中使用REST,登录相关的问题,如何获得当前正在处理的url?
2007-07-03 16:39 3884如果整个routes是使用传统的mvc方式实现的话,我们可以简 ... -
Eclipse 3.3携Europa正式发布了
2007-07-01 12:57 33687刚刚逛了一圈论坛,竟 ... -
在apple上使用ruby的郁闷事儿
2007-06-23 19:49 1998安装了那个Locomotive,还有iTerm,还有Textm ... -
在ubuntu下安装ruby需要注意的事情
2007-06-23 19:41 4934这里说的是通过apt-get安装ruby,自己编译的情况就免了 ... -
基于model动态地ComboBox为生成options
2007-06-17 16:17 2275在使用RoR创建form时,很多时候需要基于model之间的关 ... -
Meta-Programming in Ruby: 动态生成class,并添加attribute和method。
2006-12-17 16:10 4869Ruby的动态语言特性和强大的meta-programming ...
相关推荐
支持rails2.0以上版本的配置说明,文档从我自己的博客中整理出来,不愿意用资源分的朋友可以去我的博客看: http://wudihamagong.spaces.live.com/ 或者 http://blog.csdn.net/abcdefg0 ^_^
NULL 博文链接:https://zyn-zyn.iteye.com/blog/1186887
docker-rails6-mysql8 启动Rails设置 跑新轨道 $ docker-compose run web rails new . --force --no-deps --database=mysql --skip-test --webpacker docker镜像构建 $ docker-compose build 编辑database.yml ...
主要介绍了Rails中使用MySQL分区表一个提升性能的方法,本文总结出了一个简单的方法实现避免扫描全部的分区表,从而提升性能,需要的朋友可以参考下
Ruby on Rails中文指南
1.安装gem,进入gem文件夹,里面有个setup文件,直接双击就行了。 2.进入rails目录使用gem命令安装(这一步必须要上...3.复制libmySQL.dll到ruby的安装目录的bin文件夹下,然后使用gem安装mysql-2.7.3-x86-mswin32.gem.
此dll为ruby on rails使用MySql时,要用的程序
本文简单介绍了Ruby On Rails的安装步骤以及MySQL数据库的配置方法,并介绍了几个官方阅读资源。
NULL 博文链接:https://like-eagle.iteye.com/blog/994634
rails-assets, 在 Rails 中,资产管理的解决 Rails 资产 Bundler 到 Bower 代理本自述文件涉及项目的开发方面。 访问站点了解如何在你的应用程序中使用 Rails 资产。 插件开发设置git clone git@github.com:tenex/r
– c:/ruby/lib/ruby/gems/1.8/gems/mysql-2.7.3-x86-mswin32/ext/mysql.so 实际上是找不到连接所需的dll文件:libmySQL.dll 在mysql安装目录下的bin目录下将此文件复制到ruby的bin目录下即可解决此问题. ...
Ruby 的现代、简单且非常快速的 Mysql 库 - 绑定到 libmysql Mysql2 gem 旨在服务于连接、查询和迭代结果的极其常见的用例。那里的一些数据库库作为已经很复杂的可用 C API 的直接 1:1 映射。这个不是。
Ruby On Rails中文教材(PDF)
Ubuntu 11.04安装Ruby on rails 连接MySQL数据库.pdf
rails_email_preview, 在 Rails 中,预览和编辑应用程序邮件程序模板 Rails 电子邮件预览 使用这里 Rails 引擎在浏览器中预览电子邮件。 兼容 Rails 4.2 。电子邮件审阅: 所有电子邮件预览的列表: 代表有两个主题...
shoppe-example, 在 Rails 中使用Shoppe平台的示例存储实现 这是一个 Rails 应用程序,它使用 Shoppe 构建。 它具有一个可以爱的设计,以充分演示Shoppe平台提供的功能以及它在 Rails 应用程序中的。 正在启动要开始...
敏捷Rails中文教程 敏捷Rails中文教程 敏捷Rails中文教程
rails指南 中文版