- track_plays(played_at,track_id,station_id) покрывающий + tracks(first_seen_at) WHERE
pending частичный (применены CONCURRENTLY на проде + миграция idempotent)
- ChartsService.getTopTracks: in-memory TTL-кэш 90с по (period,genre,limit) → детальная
страница и параллельные запросы не пересчитывают тяжёлые агрегации
- NowPlayingService.ingest: не пишем now_playing и не шлём сокет, если трек не изменился
(было ~20k бесполезных upsert/час)
- enrichNowPlaying: вместо N+1 (300 upsert/мин) — один batched findMany по normKey
Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
Клиент (со своего IP, не забанен Apple) ищет арт в iTunes и шлёт ссылку.
Сервер качает (CDN из РФ доступен), конвертит в WebP (CoverStorageService),
кладёт к себе, апсертит Track по normKey. Защита: host-whitelist
(mzstatic/dzcdn, против SSRF), идемпотентность, кап одновременных загрузок.
Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
iTunes-фолбэк в coverFast с троттлингом 3.5с сериализовал проход — он не
успевал за сменой треков, покрытие падало. Теперь быстрый проход = только
Deezer (параллельно, без троттла). Промахи Deezer добирает фоновый enrichOne
(iTunes через прокси с троттлингом).
Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
Корневая причина пропавших обложек: RU-IP сервера ЗАБАНЕН Apple (iTunes search
→ 429 «Rate limit ... 121.127.37.212»), а Deezer из РФ отдаёт ПУСТОЙ каталог.
Оба источника с сервера не работали. Теперь iTunes/Deezer-поиск ходит через тот
же DE-прокси, что и Discogs (DISCOGS_PROXY): с DE-IP iTunes доступен, Deezer
отдаёт каталог. Deezer сделан первичным (высокий лимит), iTunes — фолбэк с
сериализацией (3.5с интервал), чтобы не забанить общий DE-IP. Скачивание самих
картинок (mzstatic/dzcdn) — напрямую, они из РФ доступны.
Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
Прошлый вариант делал 2 запроса iTunes на каждый now-playing-трек без обложки
(170+ играющих) → упирался в лимит iTunes ~20/мин, обложки не наливались.
coverFast теперь: 1 запрос iTunes по ОЧИЩЕННОМУ названию (чаще матчит ремиксы/
«(Original Mix)») → на промахе/429 фолбэк Deezer (отдельный лимит). Полный
fetchItunes (full→clean→deezer) остаётся для фонового enrichOne.
Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
Суффиксы названий («(Original Mix)», «(SEA)», «[... Dub]», «feat. X»)
ломали точный матч iTunes (limit=1) — у многих треков (особенно электроника/
лаунж/ремиксы Royal Radio и др.) обложка не находилась, хотя в iTunes/Deezer
она есть. Теперь fetchItunes: (1) запрос как есть → (2) очищенный (без скобок/
feat) → (3) фолбэк Deezer (публичный API, без ключа) только за обложкой.
Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
token3 ходит напрямую с RU, но форсирован IPv4 (121.127.37.212) — для Discogs
это 3-й IP (token1=RU-v6, token2=DE-v4, token3=RU-v4). ~162/мин потолок. Без
доп. инфры. concurrency 12 чтобы задействовать 3 IP.
Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
~447 живых станций, смена ~120 треков/мин — проход по 4 не успевал. Теперь 8
параллельно + guard против перекрытия крон-запусков.
Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
Discogs-лимитер делал Discogs узким местом (54/мин) для ВСЕХ треков, тормозя
обложки. Теперь крон now-playing красит эфир обложками напрямую через iTunes
(4 параллельно, без Discogs), а полное обогащение жанрами идёт фоном. Обложки
живого набора появляются быстро.
Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
Discogs ограничен ≥1.1с между вызовами (≤54/мин, без 429) независимо от
параллельности. Параллельность 5 → обложки (iTunes, без лимита) и скачивание
льются быстрее. Решает медленное наполнение обложек живого набора.
Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
Отличаем сбой запроса (сеть/HTTP-ошибка → ретраить, оставляем pending) от чистого
'не найдено' (done). Раньше транзиентный сбой iTunes под нагрузкой навсегда лишал
трек обложки. fetchItunes теперь бросает при !res.ok.
Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
Темп 83/мин давал Discogs 429 (жанры не дотягивались). concurrency=2, throttle 1.2с
→ ~40/мин, под лимитом. Обложки (iTunes) и жанры (Discogs) перестают падать по rate-limit.
Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
Пунктуация без пробела (St.Thomas, feat.) ломала запрос к iTunes — обложка
существующего трека не находилась. Заменяем не-буквенно-цифровые символы на
пробел перед поиском.
Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
Прежнее условие «очередь пуста» почти не срабатывало — now-playing-крон держал
очередь занятой, и холодный бэклог (~21k) не двигался. Теперь раз в минуту
подкидываем 100 pending когда очередь почти пуста; играющие треки идут вперёд
по приоритету.
Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
iTunes-запрос (уже делается ради обложки) теперь отдаёт и альбом/год/жанр.
Жанр: Discogs (тонкий) → iTunes (грубый фолбэк) — поднимает покрытие жанров
в чартах. Альбом и дата релиза заполняются из iTunes. Стили и лейбл — по-прежнему
только Discogs.
Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
Раз в минуту проходим now_playing: создаём Track при отсутствии (без записи
проигрывания) и приоритетно обогащаем тех, у кого нет обложки. Now-playing-обложки
(DFM и др.) появляются быстро у всех станций, не дожидаясь смены трека/бэкафилла.
Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
Покрытие обложек у Discogs низкое (нет не-электроники, нишевого). Добавлен
iTunes Search API (без ключа, Apple-арт — как у Record) основным источником
обложки: iTunes → Discogs → существующая, далее WebP. Играющие сейчас треки
(recordPlay) ставятся в НАЧАЛО очереди обогащения — обложка успевает появиться,
пока трек звучит. Троттлинг 1.5с.
Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
В базе ~22к треков — прежние 30/10мин слишком медленно. Батч подобран под
троттлинг очереди (~50 запросов/мин, под лимитом Discogs 60/мин), пропускаем
тик если прошлый батч ещё не дожёван.
Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
При первом появлении трека подтягиваем жанр/стиль/лейбл/год из Discogs
и сохраняем обложку в едином формате WebP 500x500 у себя (/covers). Дальше
пользователю отдаём только из своей БД — внешние сервисы в рантайме не дёргаем.
- Track: +genre/styles/label/year/discogsId/enrichStatus (миграция)
- EnrichModule: DiscogsService (поиск), CoverStorageService (sharp->webp),
EnrichmentService (очередь с троттлингом + бэкафилл-крон каждые 10 мин)
- charts: фильтр чартов по жанру (?genre=), GET /charts/genres,
жанр/стиль/лейбл/год в выдаче чарта и детальной странице
- main: раздача /covers статикой; docker: volume covers_data + env
DISCOGS_TOKEN/PUBLIC_BASE_URL/COVERS_DIR
- убран MusicBrainz-фолбэк (заменён Discogs)
Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
