每個羣組選擇N個隨機記錄

Question

大家好，星期天給大家。 我需要從每個組中選擇N個隨機記錄。

從Quassnoi

http://explainextended.com/2009/03/01/selecting-random-rows/的查詢

開始選擇X我寫這個存儲過程

delimiter // 
drop procedure if exists casualiPerGruppo // 
create procedure casualiPerGruppo(in tabella varchar(50),in campo varchar(50),in numPerGruppo int) 
comment 'Selezione di N record casuali per gruppo' 
begin 
declare elenco_campi varchar(255); 
declare valore int; 
declare finite int default 0; 
declare query1 varchar(250); 
declare query2 varchar(250); 
declare query3 varchar(250); 
declare query4 varchar(250); 
declare cur_gruppi cursor for select gruppo from tmp_view; 
declare continue handler for not found set finite = 1; 

drop table if exists tmp_casuali; 
set @query1 = concat('create temporary table tmp_casuali like ', tabella); 
prepare stmt from @query1; 
execute stmt; 
deallocate prepare stmt; 

set @query2 = concat('create or replace view tmp_view as select ',campo,' as gruppo from ',tabella,' group by ',campo); 
prepare stmt from @query2; 
execute stmt; 
deallocate prepare stmt; 

open cur_gruppi; 
mio_loop:loop 
fetch cur_gruppi into valore; 
    if finite = 1 then 
     leave mio_loop; 
    end if; 

set @query3 = concat("select group_concat(column_name) into @elenco_campi 
       from information_schema.columns 
         where table_name = '",tabella,"' and table_schema = database()"); 
prepare stmt from @query3; 
execute stmt; 
deallocate prepare stmt; 

set @query4 = concat('insert into tmp_casuali select ', 
      @elenco_campi,' from (
        select @cnt := count(*) + 1, 
        @lim :=', numPerGruppo, 
         ' from ',tabella, 
        ' where ',campo,' = ', valore, 
        ') vars 
        straight_join 
        (
        select r.*, 
        @lim := @lim - 1 
        from ', tabella, ' r 
        where (@cnt := @cnt - 1) 
        and rand() < @lim/@cnt and ', campo, ' = ', valore , 
        ') i'); 

prepare stmt from @query4; 
execute stmt; 
deallocate prepare stmt; 

end loop; 
close cur_gruppi; 
select * from tmp_casuali; 
end // 
delimiter ; 

，我以這種方式給你一個想法記得隨機記錄：

create table prova (
id int not null auto_increment primary key, 
id_gruppo int, 
altro varchar(10) 
) engine = myisam; 


insert into prova (id_gruppo,altro) values 
(1,'aaa'),(2,'bbb'),(3,'ccc'),(1,'ddd'),(1,'eee'),(2,'fff'), 
(2,'ggg'),(2,'hhh'),(3,'iii'),(3,'jjj'),(3,'kkk'),(1,'lll'),(4,'mmm'); 

call casualiPerGruppo('prova','id_gruppo',2); 

我的問題是，Quassnoi查詢，甚至t霍夫非常高效，在大型賽馬比賽中需要1秒鐘的時間。所以如果我多次將它應用於我的sp，總時間會增加很多。

你能告訴我一個更好的方法來解決我的問題嗎？ 在此先感謝

編輯。

create table `prova` (
    `id` int(11) not null auto_increment, 
    `id_gruppo` int(11) default null, 
    `prog` int(11) default null, 
    primary key (`id`) 
) engine=myisam charset=latin1; 

delimiter // 
drop procedure if exists inserisci // 
create procedure inserisci(in quanti int) 
begin 
declare i int default 0; 
while i < quanti do 
insert into prova (id_gruppo,prog) values (
         (floor(1 + (rand() * 100))), 
         (floor(1 + (rand() * 30))) 
         ); 
set i = i + 1; 
end while; 
end // 

delimiter ; 

call inserisci(1000000); 

@Clodoaldo： 我的存儲過程

call casualipergruppo('prova','id_gruppo',2); 

給了我200條記錄，並需要約23秒。您的存儲過程不斷給我錯誤代碼：1473選擇的嵌套級別太高，即使我將varchar值增加到20000.我不知道查詢中涉及的聯合是否有任何限制。

Answer 1

我從程序中刪除了tabella和campo參數，以便更容易理解。我相信你可以把他們帶回來。

delimiter // 
drop procedure if exists casualiPerGruppo // 
create procedure casualiPerGruppo(in numPerGruppo int) 
begin 
declare valore int; 
declare finite int default 0; 
declare query_part varchar(200); 
declare query_union varchar(2000); 
declare cur_gruppi cursor for select distinct id_gruppo from prova; 
declare continue handler for not found set finite = 1; 

create temporary table resultset (id int, id_gruppo int, altro varchar(10)); 

set @query_part = 'select id, id_gruppo, altro from (select id, id_gruppo, altro from prova where id_gruppo = @id_gruppo order by rand() limit @numPerGruppo) ss@id_gruppo'; 
set @query_part = replace(@query_part, '@numPerGruppo', numPerGruppo); 
set @query_union = ''; 

open cur_gruppi; 
mio_loop:loop 
fetch cur_gruppi into valore; 
    if finite = 1 then 
     leave mio_loop; 
    end if; 

set @query_union = concat(@query_union, concat(' union ', @query_part)); 
set @query_union = replace(@query_union, '@id_gruppo', valore); 

end loop; 
close cur_gruppi; 

set @query_union = substr(@query_union, 8); 
set @query_union = concat('insert into resultset ', @query_union); 

prepare stmt from @query_union; 
execute stmt; 
deallocate prepare stmt; 
select * from resultset order by id_gruppo, altro; 
drop table resultset; 

end // 
delimiter ; 

Answer 2

哇。這是一個非常簡單的複雜方式。試試這個：

假設你有順序ids（否則你可能沒有行）。

create view random_prova as 
select * from prova 
where id = (select min(id) from prova) + 
    floor(RAND(0) * (select max(id) - min(id) from prova)); 

這會給你1個隨機行。

要獲取多行，可以在存儲過程或服務器程序中循環，直到獲得足夠的行，或以編程方式創建使用聯合的查詢。 例如，這會給你3個隨機行：

select * from random_prova 
union 
select * from random_prova 
union 
select * from random_prova; 

注意，使用RAND（0），而不是RAND（）意味着讓每個調用不同的隨機數。 RAND（）會爲一個語句中的每個調用賦予相同的值（所以在union中使用RAND（）不會給你多行）。

使用聯合有一些缺點 - 可能偶然得到同一行兩次。以編程方式調用它直到獲得足夠的行更安全。

爲了提供更好的性能，使用類似Java中隨機選擇一個簡單的查詢ID，如

select * from prova where id in (...) 

，並有Java（或Perl或其他）填寫隨機ID時 - 你會避免每次都必須獲得id範圍的低效率。

如果您的ID不是順序發佈 - 有一種有效的方式，但我的解釋很長。