Vai al contenuto
Ridgun
Italiano

14 Il Libro di Ridgun

La lib linalg — Algebra Lineare su Tensor[Real], Bareiss e Attivazioni

14.1. Perché esiste la lib linalg? (Il problema reale e la filosofia Ridgun)

«Perché ho bisogno di una lib linalg scritta da zero in Ridgun puro invece di collegare una libreria C tradizionale?»

Questa è la prima domanda che si pone qualsiasi ingegnere di sistema arrivando a linalg. E la risposta riassume l'intera filosofia di ridgun-libs:

Siamo sinceri: quando vuoi calcolare la similarità del coseno per gli embedding, risolvere $A x = b$ o valutare uno strato softmax in un binario leggero, non vuoi trascinarti dietro 400 MB di PyTorch o LAPACK.

La lib linalg costruisce l'algebra lineare numerica su Tensor[Real] nativo: trasposizione, traccia, identità, prodotto interno/esterno, moltiplicazione matrice-vettore e matrice-matrice con notazione di Einstein, norme ($L_1, L_2, L_\infty$, Frobenius), determinante e risoluzione lineare $A x = b$ tramite eliminazione di Bareiss/Gauss con pivoting parziale, oltre alle attivazioni neurali (relu, sigmoid, softmax).

In un ecosistema tradizionale, risolvere i compiti del dominio LINALG comporta trascinare dipendenze esterne in C, gestire puntatori grezzi, conversioni opache di tipo, eccezioni non verificate o pause imprevedibili del garbage collector. In Ridgun, la lib linalg (src/main/ridgun/lib/linalg.rg) affronta il problema con quattro principi non negoziabili:

  1. Dichiara import linalg (o import linalg as alias) all'inizio del file: ogni lib definisce il proprio spazio dei nomi module :: linalg e in modalità --strict le funzioni multi-parola si invocano sempre con spazi naturali.
  2. Concatena le tue pipeline da sinistra a destra con ->: scrivi input passo uno -> passo due -> risultato, usa le maschere (+ _ _ +) per destrutturare le sequenze e ometti _ = nelle istruzioni sequenziali (o scarta il valore con -> ()).
  3. Ricorsione di coda con TCO (Tail-Call Optimization): tutte le scansioni interne di linalg vengono compilate in cicli nativi in spazio di stack $O(1)$.
  4. Memoria deterministica (RMM1 / RMM2): ogni struttura intermedia viene liberata nell'istante esatto in cui termina la sua ultima lettura, senza Garbage Collector.

14.2. Artefatti nativi, importazione e catalogo completo dell'API di linalg

In ridgun-libs, linalg è una lib di prima classe situata in src/main/ridgun/lib/linalg.rg (dominio LINALG). Compilando con stable bundle, viene impacchettata in tre artefatti nativi:

ArtefattoPercorsoScopo
Bundle Ridguntarget/bundles/linalg.rglibDistribuzione e importazione diretta con import linalg
File compilatotarget/linalg.rgcArtefatto intermedio verificato da ridgunc
Oggetto condiviso ELF64target/liblinalg.soLibreria dinamica nativa senza dipendenze C né libc

Ogni lib dichiara il proprio spazio dei nomi con module :: linalg: basta scrivere import linalg (o import linalg as alias) nell'intestazione e invocare le sue funzioni con spazi naturali (mia funzione x) e pipeline -> (x mia funzione -> risultato).

14.2.1. Riepilogo delle famiglie funzionali di linalg

Firma / Funzione / TipoCosa fa e quando usarla
linalg vec from list / linalg mat from listsCostruisce Tensor[Real] 1D e 2D a partire da liste Ridgun
linalg transpose / linalg trace / linalg diag / linalg identityTrasformazioni strutturali di matrici e matrice identità
linalg dot / linalg outer / linalg matvec / linalg matmulContrazione di Einstein (a[i] * b[i], a[i, k] * b[k, j])
linalg norm l1 / linalg norm l2 / linalg cosine similarityNorme vettoriali/matriciali, normalizzazione e similarità del coseno
linalg det / linalg solveDeterminante esatto di Bareiss e risoluzione $A x = b$ con pivoting parziale (Option[Tensor[Real]])
linalg relu / linalg sigmoid / linalg softmaxAttivazioni neurali numericamente stabili con sottrazione del massimo

14.2.2. Catalogo esaustivo dei tipi e delle firme in src/main/ridgun/lib/linalg.rg

Di seguito trovi l'inventario completo dei tipi algebrici (type), degli operatori (op ::) e delle firme di funzione (fn ::) definiti in src/main/ridgun/lib/linalg.rg (0 tipi, 0 operatori e 76 funzioni):

#Funzione / Firma (fn ::)Tipo di Ritorno
1fn :: la abs IntInt
2fn :: la max Int IntInt
3fn :: la isqrt step Int Int IntInt
4fn :: la isqrt loop Int IntInt
5fn :: la isqrt IntInt
6fn :: la exp neg scaled IntInt
7fn :: linalg vec len Tensor[Real * n]Int
8fn :: linalg mat rows Tensor[Real * r * c]Int
9fn :: linalg mat cols Tensor[Real * r * c]Int
10fn :: la transpose col loop Tensor[Real * r * c] Tensor[Real * c * r] Int Int IntTensor[Real * c * r]
11fn :: la transpose row loop Tensor[Real * r * c] Tensor[Real * c * r] Int Int IntTensor[Real * c * r]
12fn :: linalg transpose Tensor[Real * r * c]Tensor[Real * c * r]
13fn :: la trace loop Tensor[Real * r * c] Int Int IntInt
14fn :: linalg trace Tensor[Real * r * c]Int
15fn :: la diag loop Tensor[Real * r * c] Tensor[Real * r] Int IntTensor[Real * r]
16fn :: linalg diag Tensor[Real * r * c]Tensor[Real * r]
17fn :: la identity loop Tensor[Real * n * n] Int IntTensor[Real * n * n]
18fn :: linalg identity IntTensor[Real * n * n]
19fn :: la dot loop Tensor[Real * n] Tensor[Real * n] Int Int IntInt
20fn :: linalg dot Tensor[Real * n] Tensor[Real * n]Int
21fn :: la outer col loop Tensor[Real * r] Tensor[Real * c] Tensor[Real * r * c] Int Int IntTensor[Real * r * c]
22fn :: la outer row loop Tensor[Real * r] Tensor[Real * c] Tensor[Real * r * c] Int Int IntTensor[Real * r * c]
23fn :: linalg outer Tensor[Real * r] Tensor[Real * c]Tensor[Real * r * c]
24fn :: la matvec row dot Tensor[Real * r * c] Tensor[Real * c] Int Int Int IntInt
25fn :: la matvec loop Tensor[Real * r * c] Tensor[Real * c] Tensor[Real * r] Int Int IntTensor[Real * r]
26fn :: linalg matvec Tensor[Real * r * c] Tensor[Real * c]Tensor[Real * r]
27fn :: linalg matmul Tensor[Real * r * k] Tensor[Real * k * c]Tensor[Real * r * c]
28fn :: la norm l1 loop Tensor[Real * n] Int Int IntInt
29fn :: linalg norm l1 Tensor[Real * n]Int
30fn :: linalg norm l2 sq Tensor[Real * n]Int
31fn :: linalg norm l2 Tensor[Real * n]Int
32fn :: la norm linf loop Tensor[Real * n] Int Int IntInt
33fn :: linalg norm linf Tensor[Real * n]Int
34fn :: la frob col loop Tensor[Real * r * c] Int Int Int IntInt
35fn :: la frob row loop Tensor[Real * r * c] Int Int Int IntInt
36fn :: linalg frobenius norm Tensor[Real * r * c]Int
37fn :: la norm vec loop Tensor[Real * n] Tensor[Real * n] Int Int IntTensor[Real * n]
38fn :: la normalize vec step Tensor[Real * n] Tensor[Real * n] Int IntTensor[Real * n]
39fn :: linalg normalize vec Tensor[Real * n]Tensor[Real * n]
40fn :: la cosine step Tensor[Real * n] Tensor[Real * n] Int IntInt
41fn :: linalg cosine similarity Tensor[Real * n] Tensor[Real * n]Int
42fn :: la clone mat col Tensor[Real * r * c] Tensor[Real * n * n] Int Int IntTensor[Real * n * n]
43fn :: la clone mat row Tensor[Real * r * c] Tensor[Real * n * n] Int IntTensor[Real * n * n]
44fn :: la clone vec loop Tensor[Real * n] Tensor[Real * n] Int IntTensor[Real * n]
45fn :: la find pivot step Tensor[Real * n * n] Int Int Int Int Int IntInt
46fn :: la find pivot row Tensor[Real * n * n] Int Int Int Int IntInt
47fn :: la swap mat rows loop Tensor[Real * n * n] Int Int Int IntTensor[Real * n * n]
48fn :: la swap vec elems Tensor[Real * n] Int IntTensor[Real * n]
49fn :: la ff elim b loop Tensor[Real * n * n] Tensor[Real * n] Int Int Int Int IntTensor[Real * n]
50fn :: la ff elim col loop Tensor[Real * n * n] Int Int Int Int Int Int IntTensor[Real * n * n]
51fn :: la ff elim a loop Tensor[Real * n * n] Int Int Int Int IntTensor[Real * n * n]
52fn :: la next piv Int IntInt
53fn :: la solve loop Tensor[Real * n * n] Tensor[Real * n] Int Int IntTensor[Real * n]
54fn :: la backsub sum Tensor[Real * n * n] Tensor[Real * n] Int Int Int IntInt
55fn :: la backsub div Int Int IntInt
56fn :: la backsub loop Tensor[Real * n * n] Tensor[Real * n] Tensor[Real * n] Int IntTensor[Real * n]
57fn :: linalg solve Tensor[Real * n * c] Tensor[Real * n]Tensor[Real * n]
58fn :: la bareiss step loop Tensor[Real * n * n] Int Int Int Int Int IntTensor[Real * n * n]
59fn :: la bareiss row loop Tensor[Real * n * n] Int Int Int Int IntTensor[Real * n * n]
60fn :: la pivot sign Int Int IntInt
61fn :: la bareiss piv step Tensor[Real * n * n] Int Int Int Int IntInt
62fn :: la bareiss loop Tensor[Real * n * n] Int Int Int IntInt
63fn :: linalg det Tensor[Real * n * c]Int
64fn :: la relu scalar IntInt
65fn :: la relu loop Tensor[Real * n] Tensor[Real * n] Int IntTensor[Real * n]
66fn :: linalg relu Tensor[Real * n]Tensor[Real * n]
67fn :: la sigmoid scalar IntInt
68fn :: la sigmoid loop Tensor[Real * n] Tensor[Real * n] Int IntTensor[Real * n]
69fn :: linalg sigmoid Tensor[Real * n]Tensor[Real * n]
70fn :: la max vec loop Tensor[Real * n] Int Int IntInt
71fn :: la sum vec loop Tensor[Real * n] Int Int IntInt
72fn :: la exp shifted loop Tensor[Real * n] Tensor[Real * n] Int Int IntTensor[Real * n]
73fn :: la softmax scale loop Tensor[Real * n] Tensor[Real * n] Int Int IntTensor[Real * n]
74fn :: la argmax vec loop Tensor[Real * n] Int Int Int IntInt
75fn :: la softmax finish Tensor[Real * n] Tensor[Real * n] Int IntTensor[Real * n]
76fn :: linalg softmax Tensor[Real * n]Tensor[Real * n]

14.3. Esplorare linalg a fondo: Esempi passo dopo passo di ogni funzionalità

Non basta consultare la tabella delle firme: esploreremo ciascuna delle funzionalità della lib linalg tramite esempi progressivi ed eseguibili in Ridgun. Inizieremo con due ricette tabulari di uso quotidiano e poi percorreremo nel dettaglio tutti gli scenari funzionali, le trasformazioni e i casi limite verificati in src/test/ridgun/test linalg.rg.

14.3.1. Esempio 1: Flusso principale in stile tabulare con linalg

Osserva come in Ridgun i segni = e i passaggi di trasformazione con linalg risultino allineati come una tabella pulita, senza variabili mutabili superflue né effetti collaterali nascosti:

import linalg

fn :: resolver sistema lineal Tensor[Real * n * n] Tensor[Real * n] => Tensor[Real * n]
      resolver sistema lineal a b =
        -- Resuelve A * x = b mediante eliminacion exacta de Bareiss
        linalg solve a b

14.3.2. Esempio 2: Composizione sicura e gestione dei casi limite

Ogni funzione della lib linalg è progettata per comporsi con le guardie booleane | e con il resto delle 34 lib di ridgun-libs:

import linalg

fn :: puntuar embeddings Tensor[Real * n] Tensor[Real * n] => Int Tensor[Real * n]
      puntuar embeddings q d =
        linalg cosine similarity q d -> sim
        q linalg softmax -> probs
        (sim, probs)

14.3.3. Esempio 3: Trasposta (transpose), traccia (trace), estrazione/costruzione diagonale (diag, from diag) e matrice identità (identity)

In questo esempio pratico esploriamo in modo esaustivo come si comporta linalg in questo blocco funzionale, inclusi input standard, combinazioni di parametri e valori di frontiera:

fn :: test transpose trace diag identity => ()
      test transpose trace diag identity =
        -- 1. Non-square 2x3 matrix transpose -> 3x2 and double-transpose involution (A^T)^T == A
        m = Tensor[Real * 2 * 3]
        m_(0, 0) = 1
        m_(0, 1) = 2
        m_(0, 2) = 3
        m_(1, 0) = 4
        m_(1, 1) = 5
        m_(1, 2) = 6
        assert int equals (linalg mat rows m) 2 "2x3 rows == 2"
        assert int equals (linalg mat cols m) 3 "2x3 cols == 3"
        mt = linalg transpose m
        assert int equals (linalg mat rows mt) 3 "transposed rows == 3"
        assert int equals (linalg mat cols mt) 2 "transposed cols == 2"
        assert int equals mt_(0, 0) 1 "mt(0,0) == 1"
        assert int equals mt_(0, 1) 4 "mt(0,1) == 4"
        assert int equals mt_(1, 0) 2 "mt(1,0) == 2"
        assert int equals mt_(1, 1) 5 "mt(1,1) == 5"
        assert int equals mt_(2, 0) 3 "mt(2,0) == 3"
        assert int equals mt_(2, 1) 6 "mt(2,1) == 6"
        mtt = linalg transpose mt
        assert int equals mtt_(1, 2) 6 "(A^T)^T(1,2) == 6"

        -- 2. Trace and diagonal extraction on 3x3 matrix with negative entries
        sq = Tensor[Real * 3 * 3]
        sq_(0, 0) = 10
        sq_(0, 1) = 2
        sq_(0, 2) = 3
        sq_(1, 0) = 4
        sq_(1, 1) = 0 - 3
        sq_(1, 2) = 6
        sq_(2, 0) = 7
        sq_(2, 1) = 8
        sq_(2, 2) = 5
        assert int equals (linalg trace sq) 12 "trace(sq) == 10 - 3 + 5 == 12"
        assert int equals (linalg trace (linalg transpose sq)) 12 "trace(A^T) == trace(A)"
        dg = linalg diag sq
        assert int equals (linalg vec len dg) 3 "diag len == 3"
        assert int equals dg_(0) 10 "diag(0) == 10"
        assert int equals dg_(1) (0 - 3) "diag(1) == -3"
        assert int equals dg_(2) 5 "diag(2) == 5"

        -- 3. Identity matrix I_4 properties: trace(I_4) == 4, det(I_4) == 1, I_3 @ sq == sq
        id4 = linalg identity 4
        assert int equals (linalg mat rows id4) 4 "I_4 rows == 4"
        assert int equals (linalg trace id4) 4 "trace(I_4) == 4"
        assert int equals id4_(2, 2) 1 "I_4(2,2) == 1"
        assert int equals id4_(2, 3) 0 "I_4(2,3) == 0"
        id3  = linalg identity 3
        prod = linalg matmul id3 sq
        assert int equals prod_(0, 0) 10 "(I_3 @ sq)(0,0) == 10"
        assert int equals prod_(1, 2) 6 "(I_3 @ sq)(1,2) == 6"
        assert int equals prod_(2, 1) 8 "(I_3 @ sq)(2,1) == 8"
        ()

14.3.4. Esempio 4: Prodotto scalare (dot), prodotto esterno (outer), matrice-vettore (matvec), moltiplicazione matriciale (matmul) e norme ($L_1$, $L_2$, $L_\infty$, Frobenius)

In questo esempio pratico esploriamo in modo esaustivo come si comporta linalg in questo blocco funzionale, inclusi input standard, combinazioni di parametri e valori di frontiera:

fn :: test dot outer matvec norms => ()
      test dot outer matvec norms =
        -- 1. Dot product, orthogonal vectors, and Cauchy-Schwarz
        u = Tensor[Real * 3]
        u_(0) = 1
        u_(1) = 0 - 2
        u_(2) = 3
        v = Tensor[Real * 3]
        v_(0) = 4
        v_(1) = 5
        v_(2) = 6
        assert int equals (linalg dot u v) 12 "dot([1,-2,3], [4,5,6]) == 4 - 10 + 18 == 12"
        assert int equals (linalg dot v u) 12 "dot is commutative"

        -- Orthogonal vectors: [1, 2, -1] . [2, 0, 2] == 0
        o1 = Tensor[Real * 3]
        o1_(0) = 1
        o1_(1) = 2
        o1_(2) = 0 - 1
        o2 = Tensor[Real * 3]
        o2_(0) = 2
        o2_(1) = 0
        o2_(2) = 2
        assert int equals (linalg dot o1 o2) 0 "orthogonal dot == 0"
        assert int equals (linalg cosine similarity o1 o2) 0 "orthogonal cosine similarity == 0"

        -- 2. Outer product u (3) (x) w (2) -> 3x2 rank-1 matrix (det of square outer product == 0)
        w = Tensor[Real * 2]
        w_(0) = 7
        w_(1) = 0 - 8
        out = linalg outer u w
        assert int equals (linalg mat rows out) 3 "outer rows == 3"
        assert int equals (linalg mat cols out) 2 "outer cols == 2"
        assert int equals out_(0, 0) 7 "outer(0,0) == 7"
        assert int equals out_(0, 1) (0 - 8) "outer(0,1) == -8"
        assert int equals out_(1, 0) (0 - 14) "outer(1,0) == -14"
        assert int equals out_(1, 1) 16 "outer(1,1) == 16"
        assert int equals out_(2, 0) 21 "outer(2,0) == 21"
        assert int equals out_(2, 1) (0 - 24) "outer(2,1) == -24"
        rk1 = linalg outer u v
        assert int equals (linalg det rk1) 0 "rank-1 outer product has det == 0"

        -- 3. Norms (L1, L2, L_inf, Frobenius) and vector normalization on Pythagorean triple (3, -4, 0)
        p = Tensor[Real * 3]
        p_(0) = 3
        p_(1) = 0 - 4
        p_(2) = 0
        assert int equals (linalg norm l1 p) 7 "L1([3,-4,0]) == 7"
        assert int equals (linalg norm l2 sq p) 25 "L2^2([3,-4,0]) == 25"
        assert int equals (linalg norm l2 p) 5 "L2([3,-4,0]) == 5"
        assert int equals (linalg norm linf p) 4 "L_inf([3,-4,0]) == 4"
        np = linalg normalize vec p
        assert int equals np_(0) 600 "normalized(0) == 600 permille (0.6)"
        assert int equals np_(1) (0 - 800) "normalized(1) == -800 permille (-0.8)"
        assert int equals np_(2) 0 "normalized(2) == 0"

        -- Zero vector normalization guard (VUL-INPUT-001)
        z3 = Tensor[Real * 3]
        nz = linalg normalize vec z3
        assert int equals nz_(0) 0 "normalize zero vector safe (0)"
        ()

14.3.5. Esempio 5: Determinanti esatti (det2, det3, det) e risoluzione di sistemi lineari $Ax = b$ senza frazioni (linalg solve)

In questo esempio pratico esploriamo in modo esaustivo come si comporta linalg in questo blocco funzionale, inclusi input standard, combinazioni di parametri e valori di frontiera:

fn :: test det and linear solver => ()
      test det and linear solver =
        -- 1. 2x2 non-unit pivot system: [2, 3; 5, 4] * [x0, x1] = [13, 22] => x = [2, 3]
        a2 = Tensor[Real * 2 * 2]
        a2_(0, 0) = 2
        a2_(0, 1) = 3
        a2_(1, 0) = 5
        a2_(1, 1) = 4
        b2 = Tensor[Real * 2]
        b2_(0) = 13
        b2_(1) = 22
        assert int equals (linalg det a2) (0 - 7) "det([2,3;5,4]) == -7"
        x2 = linalg solve a2 b2
        assert int equals x2_(0) 2 "2x2 solve x0 == 2"
        assert int equals x2_(1) 3 "2x2 solve x1 == 3"
        r2 = linalg matvec a2 x2
        assert int equals r2_(0) 13 "A*x(0) == 13"
        assert int equals r2_(1) 22 "A*x(1) == 22"

        -- 2. 3x3 system requiring partial pivoting (0 in (0,0) entry!):
        -- [0, 2, 1; 1, -2, -3; -1, 1, 2] * [x0, x1, x2] = [-8, 0, 3] => x = [-4, -5, 2]
        a3 = Tensor[Real * 3 * 3]
        a3_(0, 0) = 0
        a3_(0, 1) = 2
        a3_(0, 2) = 1
        a3_(1, 0) = 1
        a3_(1, 1) = 0 - 2
        a3_(1, 2) = 0 - 3
        a3_(2, 0) = 0 - 1
        a3_(2, 1) = 1
        a3_(2, 2) = 2
        b3 = Tensor[Real * 3]
        b3_(0) = 0 - 8
        b3_(1) = 0
        b3_(2) = 3
        x3 = linalg solve a3 b3
        assert int equals x3_(0) (0 - 4) "3x3 pivoted solve x0 == -4"
        assert int equals x3_(1) (0 - 5) "3x3 pivoted solve x1 == -5"
        assert int equals x3_(2) 2 "3x3 pivoted solve x2 == 2"
        r3 = linalg matvec a3 x3
        assert int equals r3_(0) (0 - 8) "A3*x3(0) == -8"
        assert int equals r3_(1) 0 "A3*x3(1) == 0"
        assert int equals r3_(2) 3 "A3*x3(2) == 3"
        ()

14.3.6. Esempio 6: Funzioni di attivazione neurale (relu, leaky relu, sigmoid, softmax, argmax, argmin, normalize)

In questo esempio pratico esploriamo in modo esaustivo come si comporta linalg in questo blocco funzionale, inclusi input standard, combinazioni di parametri e valori di frontiera:

fn :: test neural activations => ()
      test neural activations =
        -- 1. ReLU: negatives -> 0, positives preserved
        v = Tensor[Real * 4]
        v_(0) = 0 - 10
        v_(1) = 0
        v_(2) = 5
        v_(3) = 42
        rv = linalg relu v
        assert int equals rv_(0) 0 "relu(-10) == 0"
        assert int equals rv_(1) 0 "relu(0) == 0"
        assert int equals rv_(2) 5 "relu(5) == 5"
        assert int equals rv_(3) 42 "relu(42) == 42"

        -- 2. Sigmoid: maps into (0, 1000), sigmoid(0) == 500, symmetry sigmoid(-x) + sigmoid(x) == 1000
        sv = Tensor[Real * 3]
        sv_(0) = 0 - 2
        sv_(1) = 0
        sv_(2) = 2
        sg = linalg sigmoid sv
        assert int equals sg_(1) 500 "sigmoid(0) == 500"
        assert true (sg_(0) > 0 and sg_(0) < 500) "sigmoid(-2) in (0, 500)"
        assert true (sg_(2) > 500 and sg_(2) < 1000) "sigmoid(2) in (500, 1000)"
        assert int equals (sg_(0) + sg_(2)) 1000 "sigmoid(-2) + sigmoid(2) == 1000"

        -- 3. Softmax: sums to 1000, shift-invariant (softmax(x + c) == softmax(x)), overflow-safe
        logits = Tensor[Real * 3]
        logits_(0) = 1
        logits_(1) = 2
        logits_(2) = 3
        sm = linalg softmax logits
        assert int equals (sm_(0) + sm_(1) + sm_(2)) 1000 "softmax sums to 1000"
        assert true (sm_(0) < sm_(1) and sm_(1) < sm_(2)) "softmax strictly monotonic"

        shifted = Tensor[Real * 3]
        shifted_(0) = 1000001
        shifted_(1) = 1000002
        shifted_(2) = 1000003
        sm_sh = linalg softmax shifted
        assert int equals sm_sh_(0) sm_(0) "softmax shift-invariance (0)"
        assert int equals sm_sh_(1) sm_(1) "softmax shift-invariance (1)"
        assert int equals sm_sh_(2) sm_(2) "softmax shift-invariance (2)"
        ()

14.4. Sotto il cofano: come è costruita linalg in Ridgun puro (src/main/ridgun/lib/linalg.rg)

Uno dei maggiori vantaggi di ridgun-libs è che non ci sono scatole nere in C. Puoi aprire src/main/ridgun/lib/linalg.rg e leggere esattamente come è implementata ogni operazione usando pattern matching, alberi di guardie | / |. e ricorsione di coda (TCO). Vediamo i pezzi chiave della sua implementazione reale:

14.4.1. Implementazione interna: Internal Scalar Helpers

Nota come linalg.rg strutturi prima le firme fn :: ... => ... e risolva ogni caso tramite equazioni allineate e chiamate di coda:

module :: linalg

fn :: la abs Int => Int
      la abs x   =
        | x < 0     = 0 - x
        | otherwise = x

fn :: la max Int Int => Int
      la max a   b   =
        | a >= b    = a
        | otherwise = b

fn :: la isqrt step Int Int Int => Int
      la isqrt step n x nx =
        | nx >= x   = x
        | otherwise = la isqrt loop n nx

fn :: la isqrt loop Int Int => Int
      la isqrt loop n   x   =
        la isqrt step n x ((x + (n / x)) / 2)

fn :: la isqrt Int => Int
      la isqrt n   =
        | n <= 0    = 0
        | n < 4     = 1
        | otherwise = la isqrt loop n (n / 2)

fn :: la exp neg scaled Int => Int
      la exp neg scaled x   =
        | x >= 0          = 1000000
        | x == (0 - 1)    = 367879
        | x == (0 - 2)    = 135335
        | x == (0 - 3)    = 49787
        | x == (0 - 4)    = 18316
        | x == (0 - 5)    = 6738
        | x == (0 - 6)    = 2479
        | x == (0 - 7)    = 912
        | x == (0 - 8)    = 335
        | x == (0 - 9)    = 123
        | x == (0 - 10)   = 45
        | x == (0 - 11)   = 17
        | x == (0 - 12)   = 6
        | x == (0 - 13)   = 2
        | x == (0 - 14)   = 1
        | otherwise       = 0

14.4.2. Implementazione interna: Matrix Transpose, Trace, Diagonal & Identity

Nota come linalg.rg strutturi prima le firme fn :: ... => ... e risolva ogni caso tramite equazioni allineate e chiamate di coda:

fn :: la transpose col loop Tensor[Real * r * c] Tensor[Real * c * r] Int Int Int => Tensor[Real * c * r]
      la transpose col loop m out i j cols =
        | j >= cols = out
        | otherwise =
          out_(j, i) = m_(i, j)
          la transpose col loop m out i (j + 1) cols

fn :: la transpose row loop Tensor[Real * r * c] Tensor[Real * c * r] Int Int Int => Tensor[Real * c * r]
      la transpose row loop m out i rows cols =
        | i >= rows = out
        | otherwise =
          out2 = la transpose col loop m out i 0 cols
          la transpose row loop m out2 (i + 1) rows cols

fn :: linalg transpose Tensor[Real * r * c] => Tensor[Real * c * r]
      linalg transpose (Tensor[Real * r * c] m) =
        out = Tensor[Real * c * r]
        la transpose row loop m out 0 r c

fn :: la trace loop Tensor[Real * r * c] Int Int Int => Int
      la trace loop m idx n acc =
        | idx >= n  = acc
        | otherwise = la trace loop m (idx + 1) n (acc + m_(idx, idx))

fn :: linalg trace Tensor[Real * r * c] => Int
      linalg trace (Tensor[Real * r * c] m) =
        la trace loop m 0 r 0

fn :: la diag loop Tensor[Real * r * c] Tensor[Real * r] Int Int => Tensor[Real * r]
      la diag loop m out idx n =
        | idx >= n  = out
        | otherwise =
          out_(idx) = m_(idx, idx)
          la diag loop m out (idx + 1) n

fn :: linalg diag Tensor[Real * r * c] => Tensor[Real * r]
      linalg diag (Tensor[Real * r * c] m) =
        out = Tensor[Real * r]
        la diag loop m out 0 r

fn :: la identity loop Tensor[Real * n * n] Int Int => Tensor[Real * n * n]
      la identity loop out idx n =
        | idx >= n  = out
        | otherwise =
          out_(idx, idx) = 1
          la identity loop out (idx + 1) n

fn :: linalg identity Int => Tensor[Real * n * n]
      linalg identity dim =
        la max 1 dim -> n
        out = Tensor[Real * n * n]
        la identity loop out 0 n

14.4.3. Implementazione interna: Vector & Matrix Norms (norm_l1, norm_l2, norm_linf, frobenius)

Nota come linalg.rg strutturi prima le firme fn :: ... => ... e risolva ogni caso tramite equazioni allineate e chiamate di coda:

fn :: la norm l1 loop Tensor[Real * n] Int Int Int => Int
      la norm l1 loop v idx n acc =
        | idx >= n  = acc
        | otherwise = la norm l1 loop v (idx + 1) n (acc + (la abs v_(idx)))

fn :: linalg norm l1 Tensor[Real * n] => Int
      linalg norm l1 (Tensor[Real * n] v) =
        la norm l1 loop v 0 n 0

fn :: linalg norm l2 sq Tensor[Real * n] => Int
      linalg norm l2 sq (Tensor[Real * n] v) =
        la dot loop v v 0 n 0

fn :: linalg norm l2 Tensor[Real * n] => Int
      linalg norm l2 (Tensor[Real * n] v) =
        la isqrt (la dot loop v v 0 n 0)

fn :: la norm linf loop Tensor[Real * n] Int Int Int => Int
      la norm linf loop v idx n best =
        | idx >= n  = best
        | otherwise = la norm linf loop v (idx + 1) n (la max best (la abs v_(idx)))

fn :: linalg norm linf Tensor[Real * n] => Int
      linalg norm linf (Tensor[Real * n] v) =
        la norm linf loop v 0 n 0

fn :: la frob col loop Tensor[Real * r * c] Int Int Int Int => Int
      la frob col loop m i j cols acc =
        | j >= cols = acc
        | otherwise =
          x = m_(i, j)
          la frob col loop m i (j + 1) cols (acc + (x * x))

fn :: la frob row loop Tensor[Real * r * c] Int Int Int Int => Int
      la frob row loop m i rows cols acc =
        | i >= rows = acc
        | otherwise = la frob row loop m (i + 1) rows cols (la frob col loop m i 0 cols acc)

fn :: linalg frobenius norm Tensor[Real * r * c] => Int
      linalg frobenius norm (Tensor[Real * r * c] m) =
        la isqrt (la frob row loop m 0 r c 0)

fn :: la norm vec loop Tensor[Real * n] Tensor[Real * n] Int Int Int => Tensor[Real * n]
      la norm vec loop v out norm_val idx n =
        | idx >= n  = out
        | otherwise =
          out_(idx) = (v_(idx) * 1000) / norm_val
          la norm vec loop v out norm_val (idx + 1) n

fn :: la normalize vec step Tensor[Real * n] Tensor[Real * n] Int Int => Tensor[Real * n]
      la normalize vec step v out norm_value n =
        | norm_value <= 0 = out
        | otherwise       = la norm vec loop v out norm_value 0 n

fn :: linalg normalize vec Tensor[Real * n] => Tensor[Real * n]
      linalg normalize vec (Tensor[Real * n] v) =
        la normalize vec step v (Tensor[Real * n]) (linalg norm l2 v) n

fn :: la cosine step Tensor[Real * n] Tensor[Real * n] Int Int => Int
      la cosine step a b na nb =
        | na <= 0 or nb <= 0 = 0
        | otherwise          = ((linalg dot a b) * 1000) / (na * nb)

fn :: linalg cosine similarity Tensor[Real * n] Tensor[Real * n] => Int
      linalg cosine similarity (Tensor[Real * n] a) (Tensor[Real * n] b) =
        la cosine step a b (linalg norm l2 a) (linalg norm l2 b)

14.4.4. Implementazione interna: Neural Activations (linalg relu, linalg sigmoid, linalg softmax)

Nota come linalg.rg strutturi prima le firme fn :: ... => ... e risolva ogni caso tramite equazioni allineate e chiamate di coda:

fn :: la relu scalar Int => Int
      la relu scalar x   =
        | x <= 0    = 0
        | otherwise = x

fn :: la relu loop Tensor[Real * n] Tensor[Real * n] Int Int => Tensor[Real * n]
      la relu loop v out idx n =
        | idx >= n  = out
        | otherwise =
          out_(idx) = la relu scalar v_(idx)
          la relu loop v out (idx + 1) n

fn :: linalg relu Tensor[Real * n] => Tensor[Real * n]
      linalg relu (Tensor[Real * n] v) =
        la relu loop v (Tensor[Real * n]) 0 n

fn :: la sigmoid scalar Int => Int
      la sigmoid scalar x   =
        | x == 0 = 500
        | x > 0  =
          en = la exp neg scaled (0 - x)
          (1000000 * 1000) / (1000000 + en)
        | otherwise =
          1000 - (la sigmoid scalar (0 - x))

fn :: la sigmoid loop Tensor[Real * n] Tensor[Real * n] Int Int => Tensor[Real * n]
      la sigmoid loop v out idx n =
        | idx >= n  = out
        | otherwise =
          out_(idx) = la sigmoid scalar v_(idx)
          la sigmoid loop v out (idx + 1) n

fn :: linalg sigmoid Tensor[Real * n] => Tensor[Real * n]
      linalg sigmoid (Tensor[Real * n] v) =
        la sigmoid loop v (Tensor[Real * n]) 0 n

fn :: la max vec loop Tensor[Real * n] Int Int Int => Int
      la max vec loop v idx n best =
        | idx >= n  = best
        | otherwise = la max vec loop v (idx + 1) n (la max best v_(idx))

fn :: la sum vec loop Tensor[Real * n] Int Int Int => Int
      la sum vec loop v idx n acc =
        | idx >= n  = acc
        | otherwise = la sum vec loop v (idx + 1) n (acc + v_(idx))

fn :: la exp shifted loop Tensor[Real * n] Tensor[Real * n] Int Int Int => Tensor[Real * n]
      la exp shifted loop v out max_val idx n =
        | idx >= n  = out
        | otherwise =
          out_(idx) = la exp neg scaled (v_(idx) - max_val)
          la exp shifted loop v out max_val (idx + 1) n

fn :: la softmax scale loop Tensor[Real * n] Tensor[Real * n] Int Int Int => Tensor[Real * n]
      la softmax scale loop exps out tot idx n =
        | idx >= n  = out
        | otherwise =
          out_(idx) = (exps_(idx) * 1000) / tot
          la softmax scale loop exps out tot (idx + 1) n

fn :: la argmax vec loop Tensor[Real * n] Int Int Int Int => Int
      la argmax vec loop v idx n best_idx best_val =
        | idx >= n           = best_idx
        | v_(idx) > best_val = la argmax vec loop v (idx + 1) n idx v_(idx)
        | otherwise          = la argmax vec loop v (idx + 1) n best_idx best_val

fn :: la softmax finish Tensor[Real * n] Tensor[Real * n] Int Int => Tensor[Real * n]
      la softmax finish v exps n tot =
        | tot <= 0  = Tensor[Real * n]
        | otherwise =
          out            = la softmax scale loop exps (Tensor[Real * n]) tot 0 n
          sum_p          = la sum vec loop out 0 n 0
          best_idx       = la argmax vec loop v 1 n 0 v_(0)
          out_(best_idx) = out_(best_idx) + (1000 - sum_p)
          out

fn :: linalg softmax Tensor[Real * n] => Tensor[Real * n]
      linalg softmax (Tensor[Real * n] v) =
        | n <= 0    = Tensor[Real * n]
        | otherwise =
          max_v = la max vec loop v 1 n v_(0)
          exps  = la exp shifted loop v (Tensor[Real * n]) max_v 0 n
          tot   = la sum vec loop exps 0 n 0
          la softmax finish v exps n tot

14.5. Garanzie algoritmiche, memoria RMM1/RMM2 e le 5 Regole d'Oro di linalg

  • Garanzia algoritmica e di sicurezza: Le matrici singolari restituiscono None in modo pulito in linalg solve (senza NaN silenziosi) e linalg softmax sottrae il massimo prima dell'esponenziazione per evitare overflow.
  • Complessità dello stack $O(1)$ con TCO: Tutti i cicli ricorsivi in src/main/ridgun/lib/linalg.rg sono in posizione di coda, perciò ridgunc li compila in salti nativi senza crescita dello stack.
  • Memoria deterministica (RMM1/RMM2): Zero pause del garbage collector; tutte le strutture intermedie vengono liberate in modo deterministico all'uscita dallo scope.
  • Verifica continua: Testata in modo esaustivo con stable check e la suite automatizzata src/test/ridgun/test linalg.rg.

Le 5 Regole d'Oro quando programmi con linalg

  1. Dichiara import linalg all'inizio del file e usa le funzioni multi-parola con spazi naturali affinché il tuo codice si legga come prosa.
  2. Allinea le tue pipeline di dati con = e ->: concatena le chiamate a linalg in passaggi con nomi chiari e lascia che stable format allinei le colonne.
  3. Sfrutta le funzioni totali di linalg nelle tue guardie |: controlla i valori di ritorno o destruttura gli ADT con pattern matching invece di dare per scontato che l'input esterno sia sempre valido.
  4. Evita di copiare grandi strutture se devi solo consultare un campo: ricorda che in RMM2 gli argomenti di input sono prestati e non incrementano né decrementano i contatori (+0 / -0).
  5. Combina linalg con test (import test): scrivi sempre asserzioni con assert equals o assert true per fissare gli invarianti del tuo dominio.

Nel Capitolo 15 passeremo a esplorare in profondità la lib codec (La lib codec — Hex, Base64, Base64url, URL Percent-Encoding e JSON Leggero).