Hugging Face's logo

Laxhar
/
sensenova-u1-lora-trainer

Model card Files
xet
 Community
sensenova-u1-lora-trainer
File size: 41,612 Bytes
b34f97f
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209
210
211
212
213
214
215
216
217
218
219
220
221
222
223
224
225
226
227
228
229
230
231
232
233
234
235
236
237
238
239
240
241
242
243
244
245
246
247
248
249
250
251
252
253
254
255
256
257
258
259
260
261
262
263
264
265
266
267
268
269
270
271
272
273
274
275
276
277
278
279
280
281
282
283
284
285
286
287
288
289
290
291
292
293
294
295
296
297
298
299
300
301
302
303
304
305
306
307
308
309
310
311
312
313
314
315
316
317
318
319
320
321
322
323
324
325
326
327
328
329
330
331
332
333
334
335
336
337
338
339
340
341
342
343
344
345
346
347
348
349
350
351
352
353
354
355
356
357
358
359
360
361
362
363
364
365
366
367
368
369
370
371
372
373
374
375
376
377
378
379
380
381
382
383
384
385
386
387
388
389
390
391
392
393
394
395
396
397
398
399
400
401
402
403
404
405
406
407
408
409
410
411
412
413
414
415
416
417
418
419
420
421
422
423
424
425
426
427
428
429
430
431
432
433
434
435
436
437
438
439
440
441
442
443
444
445
446
447
448
449
450
451
452
453
454
455
456
457
458
459
460
461
462
463
464
465
466
467
468
469
470
471
472
473
474
475
476
477
478
479
480
481
482
483
484
485
486
487
488
489
490
491
492
493
494
495
496
497
498
499
500
501
502
503
504
505
506
507
508
509
510
511
512
513
514
515
516
517
518
519
520
521
522
523
524
525
526
527
528
529
530
531
532
533
534
535
536
537
538
539
540
541
542
543
544
545
546
547
548
549
550
551
552
553
554
555
556
557
558
559
560
561
562
563
564
565
566
567
568
569
570
571
572
573
574
575
576
577
578
579
580
581
582
583
584
585
586
587
588
589
590
591
592
593
594
595
596
597
598
599
600
601
602
603
604
605
606
607
608
609
610
611
612
613
614
615
616
617
618
619
620
621
622
623
624
625
626
627
628
629
630
631
632
633
634
635
636
637
638
639
640
641
642
643
644
645
646
647
648
649
650
651
652
653
654
655
656
657
658
659
660
661
662
663
664
665
666
667
668
669
670
671
672
673
674
675
676
677
678
679
680
681
682
683
684
685
686
687
688
689
690
691
692
693
694
695
696
697
698
699
700
701
702
703
704
705
706
707
708
709
710
711
712
713
714
715
716
717
718
719
720
721
722
723
724
725
726
727
728
729
730
731
732
733
734
735
736
737
738
739
740
741
742
743
744
745
746
747
748
749
750
751
752
753
754
755
756
757
758
759
760
761
762
763
764
765
766
767
768
769
770
771
772
773
774
775
776
777
778
779
780
781
782
783
784
785
786
787
788
789
790
791
792
793
794
795
796
797
798
799
800
801
802
803
804
805
806
807
808
809
810
811
812
813
814
815
816
817
818
819
820
821
822
823
824
825
826
827
828
829
830
831
832
833
834
835
836
837
838
839
840
841
842
843
844
845
846
847
848
849
850
851
852
853
854
855
856
857
858
859
860
861
862
863
864
865
866
867
868
869
870
871
872
873
874
875
876
877
878
879
880
881
882
883
884
885
886
887
888
889
890
891
892
893
894
895
896
897
898
899
900
901
902
903
904
905
906
907
908
909
910
911
912
913
914
915
916
917
918
919
920
921
922
923
924
925
926
927
928
929
930
931
932
933
934
935
936
937
938
939
940
941
942
<!doctype html>
<html lang="zh-CN">
<head>
  <meta charset="utf-8">
  <title>对 SenseNova-U1 官方训练配置在小数据风格 LoRA 场景的消融研究</title>
  <style>
    @page {
      size: A4;
      margin: 22mm 18mm 22mm 18mm;
    }
    :root {
      --ink: #1a1a1a;
      --muted: #555;
      --line: #c8c8c8;
      --rule: #2a2a2a;
      --soft: #f6f6f4;
      --accent: #6b3410;
    }
    * { box-sizing: border-box; }
    body {
      margin: 0;
      color: var(--ink);
      font-family: "Source Han Serif SC", "Noto Serif CJK SC", "STSong",
                   "Latin Modern Roman", "Linux Libertine O", "Times New Roman", Georgia, serif;
      font-size: 10.5pt;
      line-height: 1.55;
      background: white;
      text-align: justify;
      hyphens: auto;
    }
    h1, h2, h3, h4 {
      font-family: "Source Han Sans SC", "Noto Sans CJK SC",
                   "Latin Modern Sans", "Helvetica Neue", Arial, sans-serif;
      font-weight: 700;
      line-height: 1.25;
      page-break-after: avoid;
      color: var(--ink);
    }
    h1 {
      font-size: 19pt;
      margin: 0 0 6pt;
      text-align: center;
      letter-spacing: 0.5pt;
    }
    h2 {
      font-size: 13pt;
      margin: 24pt 0 8pt;
      padding-bottom: 4pt;
      border-bottom: 0.7pt solid var(--rule);
    }
    h3 {
      font-size: 11pt;
      margin: 14pt 0 4pt;
    }
    h4 {
      font-size: 10pt;
      margin: 10pt 0 3pt;
      font-style: italic;
      font-weight: 600;
    }
    p { margin: 5pt 0; text-indent: 2em; }
    p.noindent, h1 + p, h2 + p, h3 + p, h4 + p,
    .abstract p, .figure p, .table-wrap p, .equation,
    li > p, .meta { text-indent: 0; }
    .meta {
      text-align: center;
      color: var(--muted);
      font-size: 10pt;
      margin: 0 0 14pt;
    }
    .affil {
      text-align: center;
      color: var(--muted);
      font-size: 9.5pt;
      margin: 0 0 18pt;
    }
    .abstract {
      margin: 4pt 8% 18pt;
      padding: 10pt 14pt;
      border: 0.5pt solid var(--line);
      background: var(--soft);
    }
    .abstract h3 {
      margin: 0 0 4pt;
      text-align: center;
      font-size: 10.5pt;
      letter-spacing: 1pt;
      text-transform: uppercase;
    }
    .abstract p { text-indent: 0; margin: 4pt 0; font-size: 10pt; }
    .keywords {
      font-size: 9.5pt;
      margin-top: 8pt;
    }
    .keywords strong { letter-spacing: 0.5pt; }
    code, pre, .mono {
      font-family: "Latin Modern Mono", "DejaVu Sans Mono", "Consolas", monospace;
    }
    code { font-size: 9.5pt; background: #f0f0ec; padding: 0 2pt; border-radius: 2pt; }
    pre {
      background: #f4f4f0;
      color: #1a1a1a;
      padding: 8pt 10pt;
      font-size: 9pt;
      border: 0.5pt solid var(--line);
      border-radius: 3pt;
      overflow: hidden;
      white-space: pre-wrap;
      page-break-inside: avoid;
    }
    table {
      width: 100%;
      border-collapse: collapse;
      margin: 4pt 0 6pt;
      font-size: 9.5pt;
      page-break-inside: avoid;
    }
    th, td {
      border-top: 0.5pt solid var(--rule);
      border-bottom: 0.5pt solid var(--rule);
      padding: 4pt 6pt;
      vertical-align: top;
      text-align: left;
    }
    th {
      background: transparent;
      font-weight: 600;
      border-top: 0.8pt solid var(--rule);
      border-bottom: 0.8pt solid var(--rule);
    }
    tbody tr td { border-top: none; }
    tbody tr:last-child td { border-bottom: 0.8pt solid var(--rule); }
    table.bordered td, table.bordered th { border: 0.5pt solid var(--line); }

    .figure {
      page-break-inside: avoid;
      margin: 10pt 0 12pt;
    }
    .figure img {
      display: block;
      width: 100%;
      max-width: 100%;
      margin: 0 auto;
      border: 0.5pt solid var(--line);
      background: white;
    }
    .figure.center img { margin: 0 auto; }
    .figure.narrow img { width: 78%; }
    .figure.full img { width: 100%; }
    /* Multi-slice figures: a tall composite split into A4-fitting slices.
       Each slice is its own atomic page-break-inside-avoid; the caption
       sits on the last slice. */
    .figure.sliced {
      page-break-inside: auto;
    }
    .figure.sliced .slice {
      page-break-inside: avoid;
      margin: 0 0 4pt;
    }
    .figure.sliced .slice img {
      width: 100%;
      max-height: 245mm;
      object-fit: contain;
    }
    .figure.sliced.narrow .slice img {
      width: 65%;
      margin: 0 auto;
      display: block;
    }
    /* Side-by-side / stacked closeup with row labels */
    .closeup-row {
      display: grid;
      grid-template-columns: 70pt 1fr;
      align-items: center;
      gap: 8pt;
      margin: 0 0 4pt;
      page-break-inside: avoid;
    }
    .closeup-row .label {
      font-size: 9.5pt;
      font-family: "Source Han Sans SC", "Noto Sans CJK SC", sans-serif;
      color: var(--ink);
      text-align: right;
      padding-right: 4pt;
    }
    .closeup-row .label .tag {
      font-weight: 700;
      font-size: 11pt;
      display: block;
      margin-bottom: 1pt;
    }
    .closeup-row .label .sub {
      color: var(--muted);
      font-size: 8.5pt;
    }
    .closeup-row img {
      width: 100%;
      max-height: 70mm;
      object-fit: cover;
      object-position: center;
      border: 0.5pt solid var(--line);
      display: block;
    }
    .closeup-figure {
      page-break-inside: avoid;
      margin: 10pt 0 14pt;
    }
    .caption {
      color: var(--ink);
      font-size: 9pt;
      margin: 4pt 0 0;
      line-height: 1.45;
      text-align: left;
      text-indent: 0;
    }
    .caption strong { font-size: 9pt; letter-spacing: 0.3pt; }

    .grid-2 {
      display: grid;
      grid-template-columns: 1fr 1fr;
      gap: 8pt;
      margin: 8pt 0;
    }
    .grid-2 .figure { margin: 0; }
    .table-wrap { page-break-inside: avoid; margin: 6pt 0 14pt; }
    .table-title { font-size: 9.5pt; margin: 0 0 4pt; text-indent: 0; }
    .table-title strong { letter-spacing: 0.3pt; }

    .equation {
      margin: 8pt 0;
      text-align: center;
      font-size: 10.5pt;
      page-break-inside: avoid;
    }
    .eq-row {
      display: flex;
      align-items: center;
      justify-content: center;
      gap: 14pt;
    }
    .eq-label { font-style: italic; color: var(--muted); font-size: 9.5pt; }
    /* Static math rendering — no MathJax, works in weasyprint PDF */
    .m, em.m { font-style: italic; font-family: "Latin Modern Math", "STIX Two Math", "Cambria Math", "Times New Roman", serif; }
    .m-up { font-style: normal; }
    .m-cal { font-style: italic; font-family: "Latin Modern Math", "STIX Two Math", "Cambria Math", cursive, serif; }
    .frac {
      display: inline-block;
      vertical-align: -0.35em;
      text-align: center;
      font-size: 90%;
      margin: 0 3pt;
      line-height: 1.1;
      white-space: nowrap;
    }
    .frac .num,
    .frac .den {
      display: block;
      white-space: nowrap;
      padding: 0 4pt;
    }
    .frac .num { border-bottom: 0.6pt solid var(--ink); padding-bottom: 1pt; }
    .frac .den { padding-top: 1pt; }
    sub, sup { line-height: 0; font-size: 75%; }
    .eq-bracket {
      font-size: 150%;
      vertical-align: -0.25em;
      font-weight: 400;
    }

    ol.refs { padding-left: 1.2em; font-size: 9.5pt; line-height: 1.5; }
    ol.refs li { margin: 3pt 0; }

    .page-break { page-break-before: always; }
    .small { font-size: 9pt; color: var(--muted); }
    section.body { padding: 0 4pt; }

    /* Column layout for compact paragraphs (not used full-width to keep figures full) */
    .two-col {
      column-count: 2;
      column-gap: 14pt;
      column-rule: 0.3pt solid var(--line);
    }
    .two-col p:first-of-type { margin-top: 0; }
  </style>
</head>
<body>

<header>
  <h1>对 SenseNova-U1 官方训练配置在小数据风格 LoRA 场景的消融研究</h1>
  <p class="meta">
    内部技术报告 · 2026 年 5 月 · train_u1 工具链
  </p>
  <p class="affil">
    针对 SenseNova-U1-8B-MoT 基模的 LoRA / Partial Fine-tuning 训练器维护团队
  </p>

  <div class="abstract">
    <h3>Abstract</h3>
    <p>
      SenseNova-U1 公开技术报告披露的 text-to-image 流匹配训练在三个关键算法层
      上做出特定选择：以速度 (velocity) 为目标的损失函数、logit-normal 时间步采样、
      以及 condition dropout 形式的无分类器引导校准。在大规模预训练或后训阶段，
      这些选择共同支撑了模型最终行为。但对小数据风格 LoRA 微调而言，是否应当继承
      这一组合并未由现有公开文献回答。本文以 56 张 Hayateluc 风格图像与 8B-MoT 基模
      为受控环境，对三个官方算法层逐一做单变量消融，并与 v18 本地基线 (x<sub>0</sub>-MSE
      损失、uniform 时间步、零 dropout) 进行对比，同时纳入 prompt 前缀格式作为额外
      受控变量。所有训练运行 6000 步，并在统一 prompt 集上做多步采样以做视觉评估。
      结果表明，逐项替换为官方设置后，<strong>训练 loss 不发散，但完整采样图像呈
      现可观察的图像重建质量劣化</strong>：(i) velocity 损失导致天空与大面积渐变上
      规则横向条纹 (banding) 与 photoreal 化；(ii) logit-normal 时间步导致大面积平
      滑色块上高频 speckle 噪点与色阶离散化；(iii) 两者组合时进一步出现远景元素缺
      失、构图被压缩的结构扭曲 (structural distortion)，已超出 "style drift" 范畴而
      属重建质量缺陷。condition dropout 是三项中唯一未引入可见劣化的项，反而轻
      微改善图像结构质量。基于该结论，我们将仓库的发布默认值保持为本地基线，并
      把官方对齐组合作为可选的 ablation 配置发布，供研究复现使用。
    </p>
    <p class="keywords">
      <strong>Keywords —</strong>
      流匹配 (flow matching) ·
      LoRA 微调 ·
      消融研究 ·
      classifier-free guidance ·
      风格迁移 ·
      SenseNova-U1
    </p>
  </div>
</header>

<section class="body">

<h2>1. 引言</h2>
<p>
  SenseNova-U1 公开报告 [1] 在 text-to-image 流匹配训练中采用三个具体的算法层：
  速度损失 (velocity loss)、logit-normal 时间步采样、以及在条件 prefix 上的 dropout
  作为 classifier-free guidance (CFG) 的校准信号。这一组合在该报告所对应的大规模
  数据与多阶段训练管线下是合理且互相支撑的设计选择。
</p>
<p>
  与之相对，在小数据风格 LoRA 微调场景下，训练目标的属性发生了实质变化：训练数据
  规模通常在 10<sup>1</sup>–10<sup>2</sup> 张量级，目的是从基模注入一个相对集中的
  视觉风格 fingerprint，而非更新一个完整的世界模型。这种情况下，将官方训练配置整
  体迁移过来是否仍最优，并不显然。
</p>
<p>
  本文以 SenseNova-U1-8B-MoT 为基模，在 56 张 Hayateluc 风格图像数据上做受控消
  融。具体贡献为三点：
</p>
<p>
  <strong>(i)</strong> 提出一组单变量消融配置，分别替换官方三个算法层中的一个，并
  与 v18 本地基线对照，使得每对差异可被归因到单一 lever。
  <strong>(ii)</strong> 指出 prompt 前缀格式 (训练时 caption 中风格 anchor 的位置)
  是一个独立而强的混淆变量；在没有控制该变量前，单纯的 lever 替换会得到误导性的视
  觉差异。
  <strong>(iii)</strong> 基于训练标量曲线与多步采样视觉评估，识别每个官方 lever
  引入的具体图像重建质量缺陷：velocity 损失→横纹 + photoreal 化、logit-normal
  时间步→噪点 + 色阶离散化、两者叠加→结构扭曲。condition dropout 是唯一对小数据
  风格 LoRA 无损甚至有益的官方算法层。
</p>

<h2>2. 背景与符号</h2>

<h3>2.1 流匹配训练目标</h3>
<p>
  设 <em class="m">x</em><sub>0</sub> 为目标图像 patch，<em class="m">ε</em> 为各向同
  性高斯噪声，时间步 <em class="m">t</em> ∈ [<em class="m">t</em><sub class="m">ε</sub>,
  1 − <em class="m">t</em><sub class="m">ε</sub>]。本仓库与上游推理共用如下线性插
  值约定 (linear-<em class="m">z</em> schedule，<em class="m">t</em> 越接近 1 越接
  近干净图)：
</p>
<div class="equation">
  <span style="white-space: nowrap;">
    <em class="m">z</em><sub class="m">t</sub> =
    <em class="m">t</em>&thinsp;<em class="m">x</em><sub>0</sub> +
    (1&minus;<em class="m">t</em>)&thinsp;<em class="m">ε</em>,
  </span>
  &emsp;&emsp;
  <span style="white-space: nowrap;">
    <em class="m">v</em><sup>★</sup> =
    <span class="frac">
      <span class="num"><em class="m">x</em><sub>0</sub> &minus; <em class="m">z</em><sub class="m">t</sub></span>
      <span class="den">1 &minus; <em class="m">t</em></span>
    </span>.
  </span>
  &emsp;<span class="eq-label">(1)</span>
</div>
<p>
  在 x<sub>0</sub>-MSE 损失下，训练目标为
  <em class="m-cal">L</em><sub class="m">x</sub><sub>0</sub> =
  𝔼 ‖<em class="m">x</em><sub class="m">θ</sub>(<em class="m">z</em><sub class="m">t</sub>,<em class="m">t</em>)
  − <em class="m">x</em><sub>0</sub>‖<sup>2</sup>；
  在 velocity 损失下，<em class="m-cal">L</em><sub class="m">v</sub> = 𝔼
  ‖<em class="m">v</em><sub class="m">θ</sub>(<em class="m">z</em><sub class="m">t</sub>,<em class="m">t</em>)
  − <em class="m">v</em><sup>★</sup>‖<sup>2</sup>。代入
  <em class="m">v</em><sup>★</sup> = (<em class="m">x</em><sub>0</sub> − <em class="m">z</em><sub class="m">t</sub>)/(1 − <em class="m">t</em>)
  与 <em class="m">v</em><sub class="m">θ</sub> = (<em class="m">x</em><sub class="m">θ</sub> − <em class="m">z</em><sub class="m">t</sub>)/(1 − <em class="m">t</em>)，可得二者关系为
</p>
<div class="equation">
  <span style="white-space: nowrap;">
    <em class="m-cal">L</em><sub class="m">v</sub> =
    𝔼<span class="eq-bracket">[</span>&hairsp;
    <span class="frac">
      <span class="num">‖<em class="m">x</em><sub class="m">θ</sub> &minus; <em class="m">x</em><sub>0</sub>‖<sup>2</sup></span>
      <span class="den">(1 &minus; <em class="m">t</em>)<sup>2</sup></span>
    </span>
    &hairsp;<span class="eq-bracket">]</span>.
  </span>
  &emsp;<span class="eq-label">(2)</span>
</div>
<p>
  即 velocity 损失等价于以 (1 − <em class="m">t</em>)<sup>−2</sup> 重新加权的
  x<sub>0</sub>-MSE。该权重在 <em class="m">t</em> → 1 (近 clean 端) 发散，因此训
  练梯度的有效分布严重偏向高 <em class="m">t</em> 区间。
</p>

<h3>2.2 时间步采样分布</h3>
<p>
  uniform 采样取 <em class="m">t</em> ∼ <em class="m-cal">U</em>(<em class="m">t</em><sub class="m">ε</sub>,
  1 − <em class="m">t</em><sub class="m">ε</sub>)。logit-normal 采样定义为
  <em class="m">u</em> ∼ <em class="m-cal">N</em>(<em class="m">μ</em>, <em class="m">σ</em><sup>2</sup>),
  <em class="m">t</em> = <em class="m">σ</em>(<em class="m">u</em>)，其中
  <em class="m">σ</em> 为 sigmoid。本文 logit-normal 取
  <em class="m">μ</em> = −0.8, <em class="m">σ</em> = 0.8，对应
  𝔼[<em class="m">t</em>] ≈ 0.34，将概率质量偏向较低 <em class="m">t</em>
  (较 noisy 一侧)。
</p>

<h3>2.3 Condition dropout</h3>
<p>
  设每步训练以独立概率 <em class="m">p</em><sub class="m-up">text</sub> 将文本条件
  替换为空 prompt 对应的 prefix KV；以独立概率 <em class="m">p</em><sub class="m-up">both</sub>
  走 “text + image” 全部 drop 的分支。在纯 T2I 场景下，这两个 drop 模式都会回退到
  统一的 unconditional prefix。本文取
  <em class="m">p</em><sub class="m-up">text</sub> = <em class="m">p</em><sub class="m-up">both</sub> = 0.10，
  即约 20% 步使用无条件 prefix。
</p>

<h2>3. 实验配置</h2>

<h3>3.1 数据集与基模</h3>
<p>
  训练数据为 56 张 Hayateluc 风格自然语言 caption 配对图像，分布在 7 个 aspect-ratio
  bucket 上 (最大像素数 ≤ 2048<sup>2</sup>)。基模为 SenseNova-U1-8B-MoT [1]，加载方式为
  bf16 CPU 驻留 + 静态前缀 KV cache 的低显存 LoRA 训练，单卡 32 GB 峰值约 21 GB。
</p>

<h3>3.2 可训练面</h3>
<p>
  所有实验共享如下可训练面，保证不同运行间差异仅来自表 1 列出的三个 lever。
  表 2 给出训练面分层；表 3 给出训练超参。
</p>

<div class="table-wrap">
  <p class="table-title"><strong>表 2.</strong> 训练面分层。LoRA / partial FT / frozen
  三类合计 286M 可训练参数。所有运行共享此结构。</p>
  <table class="bordered">
    <thead>
      <tr>
        <th style="width: 14%;">类别</th>
        <th>覆盖模块</th>
        <th style="width: 14%;">参数量</th>
        <th style="width: 18%;">备注</th>
      </tr>
    </thead>
    <tbody>
      <tr>
        <td><strong>LoRA wrap</strong></td>
        <td>
          注意力：<code>q_proj_mot_gen</code>, <code>k_proj_mot_gen</code>,
          <code>v_proj_mot_gen</code>, <code>o_proj_mot_gen</code>；<br>
          MLP：<code>mlp_mot_gen.{gate,up,down}_proj</code>
        </td>
        <td>~204M</td>
        <td>共 294 wrap；<em class="m">r</em> = 64, <em class="m">α</em> = 64</td>
      </tr>
      <tr>
        <td><strong>Partial fine-tune</strong></td>
        <td>
          <code>fm_modules.timestep_embedder</code>,<br>
          <code>fm_modules.noise_scale_embedder</code>,<br>
          <code>fm_modules.vision_model_mot_gen</code>,<br>
          <code>fm_modules.fm_head</code>
        </td>
        <td>~82M</td>
        <td>仅 <code>fm_modules</code> 子树</td>
      </tr>
      <tr>
        <td><strong>Frozen</strong></td>
        <td>Understand path 全部模块及其它未列出的所有权重</td>
        <td>—</td>
        <td>不更新</td>
      </tr>
    </tbody>
  </table>
</div>

<div class="table-wrap">
  <p class="table-title"><strong>表 3.</strong> 训练超参。所有运行共享。</p>
  <table class="bordered">
    <tbody>
      <tr>
        <td style="width: 22%;"><strong>训练步数</strong></td>
        <td>6000</td>
        <td style="width: 22%;"><strong>学习率</strong></td>
        <td>5 × 10<sup>−5</sup></td>
      </tr>
      <tr>
        <td><strong>优化器</strong></td>
        <td>PagedAdamW8bit</td>
        <td><strong>Batch size</strong></td>
        <td>1 (native resolution)</td>
      </tr>
      <tr>
        <td><strong>Gradient accumulation</strong></td>
        <td>1</td>
        <td><strong>Seed</strong></td>
        <td>固定 (cross-run)</td>
      </tr>
    </tbody>
  </table>
</div>

<h3>3.3 受控变量</h3>
<p>
  本文设五组运行做单变量消融，其中四组训练运行共享数据与可训练面 (表 1)。
</p>

<div class="table-wrap">
  <p class="table-title"><strong>表 1.</strong> 五组消融运行的算法配置。<em>baseline</em>
  Baseline 为本仓库默认；运行 (a)–(d) 对应官方算法层逐项与全部替换。</p>
  <table>
    <thead>
      <tr>
        <th>运行</th>
        <th><em class="m-cal">L</em></th>
        <th><em class="m">t</em> 分布</th>
        <th><em class="m">p</em><sub class="m-up">text</sub>, <em class="m">p</em><sub class="m-up">both</sub></th>
        <th>训练 prefix 注释</th>
      </tr>
    </thead>
    <tbody>
      <tr><td><strong>v18 baseline</strong></td><td>x<sub>0</sub></td><td>uniform</td><td>0, 0</td><td>含 think sidecar 长前缀</td></tr>
      <tr><td>(a) +velocity loss</td><td><strong>v</strong></td><td>uniform</td><td>0, 0</td><td>含 think sidecar 长前缀</td></tr>
      <tr><td>(b) +logit-normal <em class="m">t</em></td><td>x<sub>0</sub></td><td><strong>logit-normal</strong></td><td>0, 0</td><td>含 think sidecar 长前缀</td></tr>
      <tr><td>(c) +cond. dropout</td><td>x<sub>0</sub></td><td>uniform</td><td><strong>0.10, 0.10</strong></td><td>含 think sidecar 长前缀</td></tr>
      <tr><td>(d) full official (a + b + c)</td><td><strong>v</strong></td><td><strong>logit-normal</strong></td><td><strong>0.10, 0.10</strong></td><td>含 think sidecar 长前缀</td></tr>
    </tbody>
  </table>
</div>

<h3>3.4 评估协议</h3>
<p>
  训练时记录每步 active loss、x<sub>0</sub>-MSE、v-MSE、<em class="m">t</em> 统计量、
  以及 dropout 路由计数；121-step 滑动平均后绘制。采样评估使用一组固定的 12 条
  自然风景 prompts，在统一的 7 个 bucket 分辨率下做 50 步 Euler、
  <em class="m-up">cfg_scale</em> = 4.0、<em class="m-up">timestep_shift</em> = 3.0。
  我们额外引入 prompt 前缀格式变量：v1 prompts 保留与 baseline 训练分布一致的
  简短前缀；v2 prompts 在每条句首嵌入 artist anchor，与含 think sidecar 的训练
  caption 分布对齐。
</p>

<h2>4. 训练动力学结果</h2>

<p>
  图 1–3 给出 x0-MSE、active loss 与 v-MSE 三条标量曲线。x0-MSE 是唯一可跨损
  失类型公平比较的指标：它是所有运行共同执行的诊断量。可见运行 (b) 与 (d) 在
  x<sub>0</sub>-MSE 上系统性高于 Baseline，差距贯穿整个训练，并非过
  渡期偏差。
</p>

<div class="figure">
  <img src="assets/small_data_style_ablation/tb_x0_mse_curves.png" alt="x0 MSE curves">
  <p class="caption">
    <strong>图 1.</strong>&nbsp; x<sub>0</sub>-MSE 在五组运行中的演化 (121-step 滑动平均)。
    (b) 与 (d) 系统性偏高，表明把 <em class="m">t</em> 密度搬向较 noisy 区间会降低
    模型在更清晰图像状态下学习颜色与构图的机会。
  </p>
</div>

<div class="figure">
  <img src="assets/small_data_style_ablation/tb_active_loss_curves.png" alt="active loss curves">
  <p class="caption">
    <strong>图 2.</strong>&nbsp; active loss 的绝对值不可跨目标比较 (velocity 损失与
    x<sub>0</sub>-MSE 单位不同)。该图仅用于检查每组运行内部是否存在有效下降趋势，
    所有运行均下降稳定，未出现训练发散。
  </p>
</div>

<div class="figure">
  <img src="assets/small_data_style_ablation/tb_v_mse_curves.png" alt="v MSE curves">
  <p class="caption">
    <strong>图 3.</strong>&nbsp; v-MSE 作为诊断量在所有运行中都被计算。可观察到 v-MSE
    在 <em class="m">t</em> → 1 端出现极端尖峰，与 §2.1 中给出的
    (1 − <em class="m">t</em>)<sup>−2</sup> 加权一致。在 velocity 训练的运行 (a) 与 (d)
    中这些尖峰直接进入梯度，被高权重区间支配。
  </p>
</div>

<div class="grid-2">
  <div class="figure">
    <img src="assets/small_data_style_ablation/tb_t_distribution.png" alt="t distribution">
    <p class="caption">
      <strong>图 4.</strong>&nbsp; 实测 <em class="m">t</em> 分布。logit-normal 运行 (b) 与
      (d) 的经验均值约 0.34，与理论值 <em class="m">σ</em>(−0.8) ≈ 0.31 一致；其余运行
      约为 0.50。
    </p>
  </div>
  <div class="figure">
    <img src="assets/small_data_style_ablation/tb_condition_dropout_counts.png" alt="dropout counts">
    <p class="caption">
      <strong>图 5.</strong>&nbsp; 含 condition dropout 的运行 (c) 与 (d) 中每步走
      cond / uncond 分支的累计次数。最终约 21% 步走 unconditional prefix，与设定的
      <em class="m">p</em><sub class="m-up">text</sub> + <em class="m">p</em><sub class="m-up">both</sub>
      = 0.20 在大样本统计上吻合。
    </p>
  </div>
</div>

<h2 class="page-break">5. 视觉评估结果</h2>

<p>
  训练标量只反映单步去噪行为，无法替代从纯噪声开始的多步采样。在固定 seed 与
  identical sampling 超参下，我们对每组运行生成 12 张 1024–2048 像素级风景图。
</p>

<h3>5.1 同 prompt 多配方对比</h3>

<p>
  图 6 为 forest / wildflower meadow / dandelion field 三个最能体现风格 fingerprint
  的 prompt 在五组运行 (含 Baseline) 下的 contact sheet。关键观察：
</p>
<p>
  <strong>(i)</strong> Baseline 与运行 (c) 在所有三个 prompt 上都保持暖橙地平线、
  青蓝高空、清晰前景轮廓的视觉指纹。
  <strong>(ii)</strong> 运行 (a) 在 dandelion field 上系统性向 photoreal 夜景偏移：
  cyan 天空消失、puffball 密度降低、暖金核被压暗。
  <strong>(iii)</strong> 运行 (b) 在所有 prompt 上整体 palette 偏冷，紫蓝山失去层
  次。
  <strong>(iv)</strong> 运行 (d) 同时承袭 (a) 与 (b) 的劣化，并叠加 composition
  cropping：dandelion 图中失去远景 forest mass 与天空。
</p>

<div class="figure sliced">
  <div class="slice"><img src="assets/small_data_style_ablation/visual_same_prompts_contactsheet_slice1.jpg" alt="visual same-prompt contact sheet (1/3)"></div>
  <div class="slice"><img src="assets/small_data_style_ablation/visual_same_prompts_contactsheet_slice2.jpg" alt="visual same-prompt contact sheet (2/3)"></div>
  <div class="slice"><img src="assets/small_data_style_ablation/visual_same_prompts_contactsheet_slice3.jpg" alt="visual same-prompt contact sheet (3/3)">
    <p class="caption">
      <strong>图 6.</strong>&nbsp; 同 prompt × 五组运行的 contact sheet (上→中→下三页连读)。
      每列为一组运行，每行为一条 prompt。列名直接对应表 1 的算法配置差异。
      风格 fingerprint 由暖金地平线、青蓝高空、painterly 厚笔触三要素共同定义；
      运行 (a) 与 (d) 出现 atmospheric drift，运行 (b) 出现 palette 偏冷。
    </p>
  </div>
</div>

<h3>5.2 局部细节：图像重建质量劣化</h3>

<p>
  §5.1 给出的是整图尺度上 palette / brushwork / 构图层面的偏移。但在原始
  分辨率下查看局部，三个 v19 系列方案相比 v18 baseline 还呈现三类<strong>图像
  重建质量</strong>层面的劣化，且每一类都与具体 lever 的训练分布偏置直接挂钩：
</p>
<ul>
  <li><strong>横纹 (banding)：</strong>云形或色温过渡上出现规则横向条纹，主要见于
      运行 (a) 与 (d)，与 velocity 损失的高 <em class="m">t</em> 加权 (§6.1) 一致。</li>
  <li><strong>噪点 (speckle noise)：</strong>大面积渐变上出现非自然色阶离散化、
      细粒度高频纹理，主要见于运行 (b) 与 (d)，与 logit-normal 时间步的低
      <em class="m">t</em> 偏置 (§6.2) 一致。</li>
  <li><strong>结构扭曲 (structural distortion)：</strong>远景元素 (forest mass、
      cloud column) 缺失或被压平、构图整体被裁切，集中见于运行 (d)，是
      上述两个分布偏置叠加效应。</li>
</ul>
<p>
  以下分别从三个 prompt 截取细节区域 (图 7、图 8、图 9)。每图以 v18 baseline 在最
  上，按 (a) (b) (d) 顺序向下排列。
</p>

<h4>5.2.1 Sample 00 森林暗部：竖向 striation 格纹 (运行 (d) 主)</h4>
<p>
  Sample 00 (dense old-growth forest interior at dawn) 的画面左下、左侧粗树干、
  右侧暗部都是低光强、低 SNR 区域，是 v-loss + logit-normal 组合下竖向格纹伪
  影最先暴露的位置。运行 (d) 的左侧粗树干表面与右下苔藓层均出现可见的等间距
  竖线。
</p>

<div class="closeup-figure">
  <div class="closeup-row">
    <div class="label"><span class="tag">v18</span><span class="sub">baseline</span></div>
    <img src="assets/small_data_style_ablation/detail00_v18.jpg" alt="v18 forest bottom">
  </div>
  <div class="closeup-row">
    <div class="label"><span class="tag">(a)</span><span class="sub">+v-loss</span></div>
    <img src="assets/small_data_style_ablation/detail00_v19a.jpg" alt="v19a forest bottom">
  </div>
  <div class="closeup-row">
    <div class="label"><span class="tag">(b)</span><span class="sub">+logit-normal <em class="m">t</em></span></div>
    <img src="assets/small_data_style_ablation/detail00_v19b.jpg" alt="v19b forest bottom">
  </div>
  <div class="closeup-row">
    <div class="label"><span class="tag">(c)</span><span class="sub">+cond. dropout</span></div>
    <img src="assets/small_data_style_ablation/detail00_v19c.jpg" alt="v19c forest bottom">
  </div>
  <div class="closeup-row">
    <div class="label"><span class="tag">(d)</span><span class="sub">+full official</span></div>
    <img src="assets/small_data_style_ablation/detail00_v19.jpg" alt="v19 forest bottom with vertical striations">
  </div>
  <p class="caption">
    <strong>图 7.</strong>&nbsp; Sample 00 画面下半 (左粗树干 + 中间地面 + 右下苔藓 +
    右侧上层树叶) 五向对比。
    <strong>v18：</strong>painterly chunky 厚笔触树干 + 暖色秋叶碎片 + 多层 silhouette
    清晰可分；
    <strong>(a)：</strong><span style="color: #c53030; font-weight: 600;">god-rays 与 mist 大幅放大主导画面</span>，
    painterly chunky 厚笔触被 atmospheric haze 稀释成更软的笔触；树干与
    地面 silhouette 基本保留，主要问题是风格 softening 与雾化过度；
    <strong>(b)：</strong>painterly 厚笔触与树形保留较好，但
    <span style="color: #c53030; font-weight: 600;">左下暗部 + 右下暗部仍有未完全恢复的轻度竖向条纹</span>
    (强度远低于 (d))；高光 god-rays 中段也出现轻度结构化痕迹；
    <strong>(c)：</strong>五行中重建质量最接近 v18 — painterly chunky 树干 + 完整地面
    碎叶都保留，god-rays 强度略偏 (a) 但 painterly 信息完整，无格纹或条纹伪影；
    <strong>(d)：</strong><span style="color: #c53030; font-weight: 600;">左侧粗树干表面 + 中景树干 + 右下苔藓暗部出现明显竖向 striation 格纹</span>，
    暗部 banding 最严重，painterly 信息几乎完全缺失。
  </p>
</div>

<h4>5.2.2 Sample 02 湖岸：树 silhouette 与水面倒影竖纹</h4>
<p>
  Sample 02 (deep mountain lake at dawn) 的两侧针叶林 silhouette 与中央镜面倒影
  是考察树形 painterly 是否退化、倒影是否出现竖纹的核心区域。运行 (d) 在两侧
  树林区 + 水面倒影区均呈现 screen-door 竖向条纹。
</p>

<div class="closeup-figure">
  <div class="closeup-row">
    <div class="label"><span class="tag">v18</span><span class="sub">baseline</span></div>
    <img src="assets/small_data_style_ablation/detail02_v18.jpg" alt="v18 lakeside trees + reflection">
  </div>
  <div class="closeup-row">
    <div class="label"><span class="tag">(a)</span><span class="sub">+v-loss</span></div>
    <img src="assets/small_data_style_ablation/detail02_v19a.jpg" alt="v19a lakeside trees + reflection">
  </div>
  <div class="closeup-row">
    <div class="label"><span class="tag">(b)</span><span class="sub">+logit-normal <em class="m">t</em></span></div>
    <img src="assets/small_data_style_ablation/detail02_v19b.jpg" alt="v19b lakeside trees + reflection">
  </div>
  <div class="closeup-row">
    <div class="label"><span class="tag">(c)</span><span class="sub">+cond. dropout</span></div>
    <img src="assets/small_data_style_ablation/detail02_v19c.jpg" alt="v19c lakeside trees + reflection">
  </div>
  <div class="closeup-row">
    <div class="label"><span class="tag">(d)</span><span class="sub">+full official</span></div>
    <img src="assets/small_data_style_ablation/detail02_v19.jpg" alt="v19 lakeside trees + reflection with vertical striations">
  </div>
  <p class="caption">
    <strong>图 8.</strong>&nbsp; Sample 02 中段 (左右两侧 painted tree silhouette + 中央
    水面倒影 + 远雾) 五向对比。
    <strong>v18：</strong>painterly chunky 树形 + 厚笔触倒影 + 远山三层 silhouette
    清晰可分；
    <strong>(a)：</strong>整图 photoreal 化，painterly 笔触退化为 stock-photo 树形，
    倒影保留 photoreal 镜面但失去厚笔触；
    <strong>(b)：</strong>painted 风格部分保留，但远雾 + 倒影出现微弱竖向条纹；
    <strong>(c)：</strong>painted 风格保留较好，树形+倒影皆有 painterly 触感，未观察
    到明显伪影；
    <strong>(d)：</strong><span style="color: #c53030; font-weight: 600;">左侧山体 + 右侧针叶林 silhouette + 整个倒影区出现 screen-door 竖向 striation 格纹</span>，
    覆盖范围广。
  </p>
</div>

<h4>5.2.3 Sample 07 蒲公英主体：grass 区竖向条纹 + bokeh 退化</h4>
<p>
  Sample 07 (backlit dandelion field) 主体为前景蒲公英 + 草丛 + 背光，是考察
  painterly 笔触是否被替换为 photographic bokeh、草丛暗区是否出现条纹的核心
  区域。
</p>

<div class="closeup-figure">
  <div class="closeup-row">
    <div class="label"><span class="tag">v18</span><span class="sub">baseline</span></div>
    <img src="assets/small_data_style_ablation/detail07_v18.jpg" alt="v18 dandelion main subject">
  </div>
  <div class="closeup-row">
    <div class="label"><span class="tag">(a)</span><span class="sub">+v-loss</span></div>
    <img src="assets/small_data_style_ablation/detail07_v19a.jpg" alt="v19a dandelion main subject">
  </div>
  <div class="closeup-row">
    <div class="label"><span class="tag">(b)</span><span class="sub">+logit-normal <em class="m">t</em></span></div>
    <img src="assets/small_data_style_ablation/detail07_v19b.jpg" alt="v19b dandelion main subject">
  </div>
  <div class="closeup-row">
    <div class="label"><span class="tag">(c)</span><span class="sub">+cond. dropout</span></div>
    <img src="assets/small_data_style_ablation/detail07_v19c.jpg" alt="v19c dandelion main subject">
  </div>
  <div class="closeup-row">
    <div class="label"><span class="tag">(d)</span><span class="sub">+full official</span></div>
    <img src="assets/small_data_style_ablation/detail07_v19.jpg" alt="v19 dandelion main subject with cross-hatch grid">
  </div>
  <p class="caption">
    <strong>图 9.</strong>&nbsp; Sample 07 主体区 (前景蒲公英 + 草丛暗部 + 暖背光) 五向
    对比。
    <strong>v18：</strong>painterly chunky 笔触草叶 + painted 蒲公英 + 远景树线
    可见；
    <strong>(a)：</strong><span style="color: #c53030; font-weight: 600;">painterly 完全退化为 photographic bokeh</span>，
    前景蒲公英变疏散小，背景暗化呈相机散景；
    <strong>(b)：</strong>painterly 较为完整 — chunky 草叶 + painted 蒲公英都还在，
    主要变化是视野相对收紧 (前景密度减少)；草丛暗部存在轻度的竖向 streak，密度
    低于 (d)；
    <strong>(c)：</strong>painterly fingerprint 接近 v18 — 蒲公英密度高、chunky
    草叶 + 浮散种子全保留，无观察到格纹伪影；
    <strong>(d)：</strong><span style="color: #c53030; font-weight: 600;">草丛暗部出现密集 cross-hatch 格纹</span>
    (竖向 striation 为主，叠加微横向 banding)，painterly 信息几乎完全缺失，整图
    带 halftone 质感。
  </p>
</div>

<h3>5.3 Prompt 前缀格式作为混淆变量</h3>

<p>
  我们在受控分析中发现，若 inference prompt 的 artist anchor 位置与训练 caption
  不一致，会引入与 lever 无关但视觉量级相当的差异。因此对 Baseline 与运行 (c) 额外
  做两组 prompt 集对比，结果见图 10。该结果说明把 prompt 写法与训练分布对齐是
  正确归因 lever 效果的必要前置条件，并解释了我们对 README 默认配置中保留
  显式 <code>style.trigger</code> 与忽略 think sidecar 的选择。
</p>

<div class="figure sliced narrow">
  <div class="slice"><img src="assets/small_data_style_ablation/baseline_prompt_sets_contactsheet_slice1.jpg" alt="baseline prompt-set contact sheet (1/4)"></div>
  <div class="slice"><img src="assets/small_data_style_ablation/baseline_prompt_sets_contactsheet_slice2.jpg" alt="baseline prompt-set contact sheet (2/4)"></div>
  <div class="slice"><img src="assets/small_data_style_ablation/baseline_prompt_sets_contactsheet_slice3.jpg" alt="baseline prompt-set contact sheet (3/4)"></div>
  <div class="slice"><img src="assets/small_data_style_ablation/baseline_prompt_sets_contactsheet_slice4.jpg" alt="baseline prompt-set contact sheet (4/4)">
    <p class="caption">
      <strong>图 10.</strong>&nbsp; Baseline 在两组 prompt 集下的采样 (上→下四页连读)。
      左：与训练同分布的短前缀 (含显式 style trigger)；右：分布外的长 prompt。
      完整采样在分布内稳定；这表明 Baseline 的强 fingerprint 不依赖额外 prefix 文本。
    </p>
  </div>
</div>

<h2>6. 讨论</h2>

<h3>6.1 Velocity 损失的隐式重加权</h3>
<p>
  由式 (2)，<em class="m-cal">L</em><sub class="m">v</sub> =
  𝔼 [‖<em class="m">x</em><sub class="m">θ</sub> − <em class="m">x</em><sub>0</sub>‖<sup>2</sup>
  · (1 − <em class="m">t</em>)<sup>−2</sup>]，velocity 损失等价于在 x<sub>0</sub>-MSE
  上施加一个 (1 − <em class="m">t</em>)<sup>−2</sup> 的权重函数。在 uniform
  <em class="m">t</em> 下，该权重在 <em class="m">t</em> ∈ [0.9, 1.0] 区间承担约 64%
  的总积分质量。意即在 velocity 训练中，模型有大半的梯度信号被分配到 "接近 clean
  图但仍残留少量噪声" 的窗口。对于风格 LoRA 而言，颜色调性、构图、笔触特征均在
  <em class="m">t</em> ∈ [0.3, 0.7] 这一中频窗口形成；velocity 损失显著削减了该窗口的
  有效更新量，因而出现了 §5.1 (ii) 报告的 photoreal 夜景偏移。
</p>

<h3>6.2 Logit-normal 与小数据匹配的张力</h3>
<p>
  logit-normal (<em class="m">μ</em> = −0.8, <em class="m">σ</em> = 0.8) 将
  𝔼[<em class="m">t</em>] 从 0.5 移到 0.34，即把更多概率质量推向 noisy 端。该选择在
  大规模数据下使得各 <em class="m">t</em> 段都获得足够样本数；但在 56 张图、6000
  步、batch=1 的小数据规模下，每个 mid-<em class="m">t</em> bin 实际获得的有效样
  本数本就稀疏，进一步的密度偏移导致 palette 与 mid-frequency texture 统计学习
  不足，对应 §5.1 (iii) 报告的整体偏冷。
</p>

<h3>6.3 Condition dropout 的正面作用</h3>
<p>
  与上述两项不同，condition dropout 在小数据风格 LoRA 上未观察到风格损伤。其作
  用机制是把 unconditional branch 与 conditional branch 的相对几何在训练期同时
  暴露给模型，从而使 inference 时 CFG 的 uncond + <em class="m">s</em> · (cond − uncond)
  推算成立。在 <em class="m">s</em> = 4.0 这一相对较强的 CFG 下，没有 dropout 训练
  的 LoRA 经常把输出推到 LoRA 未覆盖的方向，导致结构 artefact。运行 (c) 与 Baseline
  的视觉对比显示，前者在风格指纹保持不变的前提下，前景结构 (puffball 形状、
  树干轮廓) 更清晰、稳定。
</p>

<h3>6.4 Prompt 前缀格式的去混淆作用</h3>
<p>
  §5.3 显示 prompt 中 artist anchor 的位置 (句首 vs. 句末 tag vs. 完全缺失) 与训练
  caption 分布对齐与否直接决定 LoRA delta 是否被正确激活。这一变量与目标 lever
  正交，但视觉量级与 lever 效果相当；任何不控制该变量的 lever 评估都会被
  prompt-format mismatch 污染。本文 §5.1、§5.2 与 §5.3 结论均在 v2 anchored prompt
  下复测确认。
</p>

<h2>7. 结论与发布决策</h2>
<p>
  在 SenseNova-U1-8B-MoT × 56 张 Hayateluc 风格 LoRA 微调上：
  (1) velocity 损失系统性向高 <em class="m">t</em> 端搬移梯度密度，导致天空与大面积
      渐变区域出现规则横向条纹 banding 与 painterly→photoreal 退化；
  (2) logit-normal 时间步在小数据下加剧 mid-<em class="m">t</em> 样本稀疏，引发 palette
      偏冷与大面积平滑色块的 speckle 噪点；
  (3) (1) + (2) 叠加进一步引入远景元素缺失与构图压缩等结构扭曲，劣化超出 style
      drift 范畴；
  (4) condition dropout 是三项中唯一无损反而有益的算法层；
  (5) prompt 前缀格式与训练分布的匹配是评估前置条件，必须先控制。
</p>
<p>
  据此，我们将 <code>configs/default.yaml</code> 保留为本地基线
  (<code>x0 + uniform t + 0 dropout</code> + 显式 style trigger + 忽略 think
  sidecar)，并以 <code>configs/official_alignment.yaml</code> 形式发布官方对齐组
  合，标注其用途为研究复现。该选择不否定公开报告中的算法设计，只反映其与本仓
  库目标 (小数据风格 LoRA) 的不匹配。
</p>

<h3>默认配置摘要</h3>
<pre>data:
  use_think_labels: false

style:
  trigger: "my style"
  prompt_template: official

lora:
  preset: attn_mlp_no_head

unfreeze:
  - '^fm_modules\.timestep_embedder\.'
  - '^fm_modules\.noise_scale_embedder\.'
  - '^fm_modules\.vision_model_mot_gen\.'
  - '^fm_modules\.fm_head\.'

train:
  loss_type: x0
  t_dist: uniform
  cond_dropout_text: 0.0
  cond_dropout_both: 0.0
</pre>

<h2>参考文献</h2>
<ol class="refs">
  <li>SenseNova-U1 Technical Report. <em>OpenSenseNova</em>, 2026.
      <span class="small">https://github.com/OpenSenseNova/SenseNova-U1</span></li>
  <li>Lipman, Y. et al. Flow Matching for Generative Modeling. <em>ICLR</em>, 2023.</li>
  <li>Esser, P. et al. Scaling Rectified Flow Transformers for High-Resolution
      Image Synthesis. <em>ICML</em>, 2024 — 提出 logit-normal <em class="m">t</em> 采样.</li>
  <li>Ho, J. &amp; Salimans, T. Classifier-Free Diffusion Guidance.
      <em>NeurIPS Workshop on Deep Generative Models</em>, 2021.</li>
  <li>Hu, E. J. et al. LoRA: Low-Rank Adaptation of Large Language Models.
      <em>ICLR</em>, 2022.</li>
</ol>

</section>

</body>
</html>