perf(enrich): ускорить бэкафилл (батч 240 каждые 5 мин, ~50 треков/мин)
В базе ~22к треков — прежние 30/10мин слишком медленно. Батч подобран под троттлинг очереди (~50 запросов/мин, под лимитом Discogs 60/мин), пропускаем тик если прошлый батч ещё не дожёван. Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
This commit is contained in:
@@ -32,15 +32,18 @@ export class EnrichmentService {
|
||||
void this.drain();
|
||||
}
|
||||
|
||||
// Периодически добираем не обогащённые треки (в т.ч. накопленные ранее)
|
||||
@Cron(CronExpression.EVERY_10_MINUTES)
|
||||
// Периодически добираем не обогащённые треки (в т.ч. накопленные ранее).
|
||||
// Батч ≈ объёму, который очередь успевает прожевать за интервал при троттлинге
|
||||
// ~50 запросов/мин (под лимитом Discogs 60/мин) — конвейер идёт почти непрерывно.
|
||||
@Cron(CronExpression.EVERY_5_MINUTES)
|
||||
async backfill(): Promise<void> {
|
||||
if (!this.discogs.enabled) return; // без токена смысла нет — не крутим вхолостую
|
||||
if (this.running || this.queue.length > 0) return; // ещё жуём прошлый батч
|
||||
const pending = await this.prisma.track.findMany({
|
||||
where: { enrichStatus: 'pending' },
|
||||
select: { id: true },
|
||||
orderBy: { firstSeenAt: 'desc' },
|
||||
take: 30,
|
||||
take: 240,
|
||||
});
|
||||
for (const t of pending) this.enqueue(t.id);
|
||||
}
|
||||
|
||||
Reference in New Issue
Block a user