Diamond Map — diamond-scraper subsystem (QA/NPD)
D2 view
Graphviz view
Reset
scroll = zoom · drag = pan
100%
1|
... [truncated] 107|
108|
109|
110|
111|
112|
113|
114|
115|
116|
1| 2| 4| 6| 7|
9|
10|
diamond_scraper
11|
12|
Diamond-scraper subsystem — QA/NPD us-east4 (POC, generated from config repo)
13|
14|
cluster_gke
15|
16|
GKE: mlb-entmediadm-npd-cluster1 (us-east4)
17|
18|
19|
cluster_ns
20|
21|
namespace: diamond-scraper
22|
23|
24|
cluster_pod
25|
26|
Pod: diamond-scraper (replicas:1)
27|
28|
29|
cluster_wf
30|
31|
Internal workflows (scripts)
32|
33|
34|
cluster_ext
35|
36|
External systems
37|
38| 39|
40|
ingress
41|
42|
Ingress (haproxy-internal)
43|
diamond-scraper-internal.*
44|
diamond-scraper.*
45|
46| 47|
48|
svc
49|
50|
Service (NodePort)
51|
scraper:80 · scraper-alt:3070
52|
gcpdownloader:3032
53|
54| 55|
56|
ingress->svc
57|
58|
59|
60| 61|
62|
app
63|
64|
diamond-scraper
65|
image QA-20260625-1156-4c8f5a
66|
cpu4/mem8Gi · probe /QA/Splash.html
67|
68| 69|
70|
svc->app
71|
72|
73|
74| 75|
76|
cfgs
77|
78|
79|
~60 ConfigMaps
80|
/configs/* + /scripts/*
81|
82| 83|
84|
app->cfgs
85|
86|
87|
mounts
88|
89| 90|
91|
ks
92|
93|
kyber submit/monitor
94|
95| 96|
97|
app->ks
98|
99|
100|
101| 102|
103|
uft
104|
105|
uft-monitor-s3 / sqs-watch
106|
107| 108|
109|
app->uft
110|
111|
112|
113| 114|
115|
college
116|
117|
college-scraper
118|
119| 120|
121|
app->college
122|
123|
124|
125| 126|
127|
sparkle
128|
129|
sparkle import
130|
131| 132|
133|
app->sparkle
134|
135|
136|
137| 138|
139|
imagenx
140|
141|
imagen-exporter
142|
143| 144|
145|
app->imagenx
146|
147|
148|
149| 150|
151|
webvtt
152|
153|
webvtt-ingest
154|
155| 156|
157|
app->webvtt
158|
159|
160|
161| 162|
163|
gcpbkt
164|
165|
gcp bucket checkin
166|
167| 168|
169|
app->gcpbkt
170|
171|
172|
173| 174|
175|
clouddel
176|
177|
cloud-deleter
178|
179| 180|
181|
app->clouddel
182|
183|
184|
185| 186|
187|
nfs
188|
189|
190|
NFS Filestore
191|
filestore.*-npd:/vol1 (500G)
192|
/mnt/cutter_filestore
193|
194| 195|
196|
app->nfs
197|
198|
199|
rw
200|
201| 202|
203|
percona
204|
205|
206|
Percona MySQL
207|
208| 209|
210|
app->percona
211|
212|
213|
db
214|
215| 216|
217|
pubsub
218|
219|
GCP Pub/Sub
220|
221| 222|
223|
app->pubsub
224|
225|
226|
227| 228|
229|
sheets
230|
231|
Google Sheets
232|
233| 234|
235|
app->sheets
236|
237|
238|
239| 240|
241|
cf
242|
243|
AWS CloudFront
244|
245| 246|
247|
app->cf
248|
249|
250|
251| 252|
253|
fastly
254|
255|
Fastly CDN
256|
257| 258|
259|
app->fastly
260|
261|
262|
263| 264|
265|
elem
266|
267|
Elemental
268|
269| 270|
271|
app->elem
272|
273|
274|
275| 276|
277|
okta
278|
279|
Okta
280|
281| 282|
283|
app->okta
284|
285|
286|
287| 288|
289|
slack
290|
291|
Slack
292|
293| 294|
295|
app->slack
296|
297|
298|
299| 300|
301|
vinit
302|
303|
vault-agent-init
304|
305| 306|
307|
vault
308|
309|
310|
HashiCorp Vault
311|
auth/mlb-entmediadm-npd-cluster1
312|
~22 secrets
313|
314| 315|
316|
vinit->vault
317|
318|
319|
fetch
320|
321| 322|
323|
vside
324|
325|
vault-agent (sidecar)
326|
327| 328|
329|
vside->vault
330|
331|
332|
renew
333|
334| 335|
336|
kyber
337|
338|
Kyber transcode
339|
340| 341|
342|
ks->kyber
343|
344|
345|
346| 347|
348|
s3
349|
350|
351|
AWS S3 + SQS
352|
353| 354|
355|
uft->s3
356|
357|
358|
359| 360|
361|
sparkle->percona
362|
363|
364|
365| 366|
367|
gcs
368|
369|
370|
GCS buckets
371|
372| 373|
374|
imagenx->gcs
375|
376|
377|
378| 379|
380|
threep
381|
382|
3Play Media
383|
384| 385|
386|
webvtt->threep
387|
388|
389|
390| 391|
392|
gcpbkt->gcs
393|
394|
395|
396| 397|
398|
clouddel->gcs
399|
400|
401|
402|
403|
404|