generated from mathias/template-go-web
Compare commits
| Author | SHA1 | Date | |
|---|---|---|---|
|
|
e11e7d2524 | ||
|
|
f01bdde7c2 | ||
|
|
3445b6d267 |
+15
-3
@@ -5,16 +5,28 @@ tasks:
|
|||||||
desc: Run templ generate
|
desc: Run templ generate
|
||||||
cmds: [templ generate]
|
cmds: [templ generate]
|
||||||
build:
|
build:
|
||||||
desc: Build the binary
|
desc: Build all binaries
|
||||||
deps: [generate]
|
deps: [generate]
|
||||||
cmds: [go build -o bin/hostexecutor ./cmd/hostexecutor]
|
cmds:
|
||||||
|
- go build -o bin/jepa-fx-risk ./cmd/jepa-fx-risk
|
||||||
|
- go build -o bin/eval ./cmd/eval
|
||||||
run:
|
run:
|
||||||
deps: [build]
|
deps: [build]
|
||||||
cmds: [./bin/hostexecutor]
|
cmds: [./bin/jepa-fx-risk]
|
||||||
test:
|
test:
|
||||||
desc: Run all tests
|
desc: Run all tests
|
||||||
deps: [generate]
|
deps: [generate]
|
||||||
cmds: [go test ./... -race]
|
cmds: [go test ./... -race]
|
||||||
|
|
||||||
|
eval:probe:
|
||||||
|
desc: "Run linear-probe (val_vol_r2) on embeddings from metrics.json"
|
||||||
|
cmds: [./bin/eval -metric probe]
|
||||||
|
eval:silhouette:
|
||||||
|
desc: "Run silhouette on embeddings vs binary HV labels"
|
||||||
|
cmds: [./bin/eval -metric silhouette]
|
||||||
|
eval:collapse:
|
||||||
|
desc: "Run effective-rank collapse diagnostic"
|
||||||
|
cmds: [./bin/eval -metric erank]
|
||||||
lint:
|
lint:
|
||||||
cmds: [golangci-lint run ./...]
|
cmds: [golangci-lint run ./...]
|
||||||
check:
|
check:
|
||||||
|
|||||||
@@ -0,0 +1,118 @@
|
|||||||
|
// cmd/eval — CLI driver for the jepa-fx-risk evaluation harness.
|
||||||
|
// Reads embeddings from a parquet/npy-style JSON export (embeddings.json)
|
||||||
|
// and targets from eurusd_daily.parquet, then runs the requested metric.
|
||||||
|
//
|
||||||
|
// ./bin/eval -metric probe|silhouette|erank [-emb embeddings.json]
|
||||||
|
//
|
||||||
|
// embeddings.json format: {"embeddings": [[...], ...], "dates": ["2022-01-03", ...]}
|
||||||
|
// Generated by train.py when run with EXPORT_EMBEDDINGS=1.
|
||||||
|
package main
|
||||||
|
|
||||||
|
import (
|
||||||
|
"encoding/json"
|
||||||
|
"flag"
|
||||||
|
"fmt"
|
||||||
|
"log/slog"
|
||||||
|
"math"
|
||||||
|
"os"
|
||||||
|
|
||||||
|
"gitea.d-ma.be/mathias/jepa-fx-risk/internal/eval"
|
||||||
|
)
|
||||||
|
|
||||||
|
func main() {
|
||||||
|
metric := flag.String("metric", "probe", "probe | silhouette | erank")
|
||||||
|
embFile := flag.String("emb", "embeddings.json", "path to embeddings JSON")
|
||||||
|
flag.Parse()
|
||||||
|
|
||||||
|
log := slog.New(slog.NewJSONHandler(os.Stdout, nil))
|
||||||
|
|
||||||
|
emb, labels, y, err := loadEmbeddings(*embFile)
|
||||||
|
if err != nil {
|
||||||
|
log.Error("load embeddings", "err", err)
|
||||||
|
os.Exit(1)
|
||||||
|
}
|
||||||
|
log.Info("loaded", "n", len(emb), "dim", len(emb[0]), "metric", *metric)
|
||||||
|
|
||||||
|
switch *metric {
|
||||||
|
case "probe":
|
||||||
|
r2 := eval.LinearProbe(emb, y, 1e-3)
|
||||||
|
fmt.Printf(`{"metric":"val_vol_r2","value":%.6f}`+"\n", r2)
|
||||||
|
log.Info("linear probe", "val_vol_r2", fmt.Sprintf("%.4f", r2))
|
||||||
|
case "silhouette":
|
||||||
|
if labels == nil {
|
||||||
|
log.Error("silhouette requires HV labels in embeddings.json")
|
||||||
|
os.Exit(1)
|
||||||
|
}
|
||||||
|
sil, err := eval.Silhouette(emb, labels)
|
||||||
|
if err != nil {
|
||||||
|
log.Error("silhouette", "err", err)
|
||||||
|
os.Exit(1)
|
||||||
|
}
|
||||||
|
fmt.Printf(`{"metric":"silhouette","value":%.6f}`+"\n", sil)
|
||||||
|
log.Info("silhouette", "score", fmt.Sprintf("%.4f", sil))
|
||||||
|
case "erank":
|
||||||
|
er := eval.EffectiveRank(emb)
|
||||||
|
fmt.Printf(`{"metric":"effective_rank","value":%.6f}`+"\n", er)
|
||||||
|
log.Info("effective rank", "erank", fmt.Sprintf("%.2f", er))
|
||||||
|
default:
|
||||||
|
log.Error("unknown metric", "metric", *metric)
|
||||||
|
os.Exit(1)
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
type embJSON struct {
|
||||||
|
Embeddings [][]float64 `json:"embeddings"`
|
||||||
|
Dates []string `json:"dates"`
|
||||||
|
RealizedVol []float64 `json:"realized_vol"`
|
||||||
|
HVLabel []int `json:"hv_label"`
|
||||||
|
}
|
||||||
|
|
||||||
|
func loadEmbeddings(path string) (emb [][]float64, labels []int, y []float64, err error) {
|
||||||
|
f, err := os.Open(path)
|
||||||
|
if err != nil {
|
||||||
|
return nil, nil, nil, fmt.Errorf("open %s: %w", path, err)
|
||||||
|
}
|
||||||
|
defer func() { _ = f.Close() }()
|
||||||
|
|
||||||
|
var d embJSON
|
||||||
|
if err := json.NewDecoder(f).Decode(&d); err != nil {
|
||||||
|
return nil, nil, nil, fmt.Errorf("decode: %w", err)
|
||||||
|
}
|
||||||
|
if len(d.Embeddings) == 0 {
|
||||||
|
return nil, nil, nil, fmt.Errorf("empty embeddings in %s", path)
|
||||||
|
}
|
||||||
|
|
||||||
|
// standardise embeddings (zero mean, unit std) per dimension
|
||||||
|
n, dim := len(d.Embeddings), len(d.Embeddings[0])
|
||||||
|
mu := make([]float64, dim)
|
||||||
|
for _, row := range d.Embeddings {
|
||||||
|
for j, v := range row {
|
||||||
|
mu[j] += v
|
||||||
|
}
|
||||||
|
}
|
||||||
|
for j := range mu {
|
||||||
|
mu[j] /= float64(n)
|
||||||
|
}
|
||||||
|
sd := make([]float64, dim)
|
||||||
|
for _, row := range d.Embeddings {
|
||||||
|
for j, v := range row {
|
||||||
|
diff := v - mu[j]
|
||||||
|
sd[j] += diff * diff
|
||||||
|
}
|
||||||
|
}
|
||||||
|
for j := range sd {
|
||||||
|
sd[j] = math.Sqrt(sd[j]/float64(n)) + 1e-8
|
||||||
|
}
|
||||||
|
norm := make([][]float64, n)
|
||||||
|
for i, row := range d.Embeddings {
|
||||||
|
norm[i] = make([]float64, dim)
|
||||||
|
for j, v := range row {
|
||||||
|
norm[i][j] = (v - mu[j]) / sd[j]
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
if len(d.HVLabel) > 0 {
|
||||||
|
labels = d.HVLabel
|
||||||
|
}
|
||||||
|
return norm, labels, d.RealizedVol, nil
|
||||||
|
}
|
||||||
@@ -5,7 +5,7 @@ import (
|
|||||||
"net/http"
|
"net/http"
|
||||||
"os"
|
"os"
|
||||||
|
|
||||||
"gitea.d-ma.be/mathias/hostexecutor/internal/web"
|
"gitea.d-ma.be/mathias/jepa-fx-risk/internal/web"
|
||||||
)
|
)
|
||||||
|
|
||||||
func main() {
|
func main() {
|
||||||
@@ -1,7 +1,5 @@
|
|||||||
module gitea.d-ma.be/mathias/hostexecutor
|
module gitea.d-ma.be/mathias/jepa-fx-risk
|
||||||
|
|
||||||
go 1.26
|
go 1.26
|
||||||
|
|
||||||
require (
|
require github.com/a-h/templ v0.3.1020
|
||||||
github.com/a-h/templ v0.2.778
|
|
||||||
)
|
|
||||||
|
|||||||
@@ -0,0 +1,4 @@
|
|||||||
|
github.com/a-h/templ v0.3.1020 h1:ypAT/L5ySWEnZ6Zft/5yfoWXYYkhFNvEFOeeqecg4tw=
|
||||||
|
github.com/a-h/templ v0.3.1020/go.mod h1:A2DlK61v+K+NRoGnhmYbNYVmtYHcFO5/AisMvBdDxTM=
|
||||||
|
github.com/google/go-cmp v0.6.0 h1:ofyhxvXcZhMsU5ulbFiLKl/XBFqE1GSq7atu8tAmTRI=
|
||||||
|
github.com/google/go-cmp v0.6.0/go.mod h1:17dUlkBOakJ0+DkrSSNjCkIjxS6bF9zb3elmeNGIjoY=
|
||||||
@@ -0,0 +1,331 @@
|
|||||||
|
// Package eval implements the Go evaluation harness for jepa-fx-risk (#4).
|
||||||
|
// Three diagnostics on frozen embeddings exported from train.py:
|
||||||
|
// - LinearProbe — val_vol_r2: OOS R² of a ridge probe predicting next-day realized vol
|
||||||
|
// - Silhouette — mean silhouette score of embeddings vs a binary label (HV regime)
|
||||||
|
// - EffectiveRank — Roy's effective rank: exp(H(σ²)) where H is entropy of normalised singular values
|
||||||
|
package eval
|
||||||
|
|
||||||
|
import (
|
||||||
|
"errors"
|
||||||
|
"math"
|
||||||
|
)
|
||||||
|
|
||||||
|
// LinearProbe fits a ridge regression (closed-form) on (emb, y) with regularisation λ
|
||||||
|
// and returns R² on the same data. Call with train embeddings; probe on held-out by
|
||||||
|
// splitting before calling.
|
||||||
|
//
|
||||||
|
// emb[i] is the embedding vector for sample i; y[i] is the scalar target.
|
||||||
|
func LinearProbe(emb [][]float64, y []float64, lambda float64) float64 {
|
||||||
|
n := len(emb)
|
||||||
|
if n == 0 {
|
||||||
|
return 0
|
||||||
|
}
|
||||||
|
d := len(emb[0])
|
||||||
|
|
||||||
|
// Build augmented design matrix A = [emb | 1] (n × d+1)
|
||||||
|
A := make([][]float64, n)
|
||||||
|
for i, e := range emb {
|
||||||
|
row := make([]float64, d+1)
|
||||||
|
copy(row, e)
|
||||||
|
row[d] = 1.0
|
||||||
|
A[i] = row
|
||||||
|
}
|
||||||
|
|
||||||
|
// Normal equations: (AᵀA + λI) w = Aᵀy (ridge)
|
||||||
|
p := d + 1
|
||||||
|
AtA := make([][]float64, p)
|
||||||
|
for i := range AtA {
|
||||||
|
AtA[i] = make([]float64, p)
|
||||||
|
}
|
||||||
|
Aty := make([]float64, p)
|
||||||
|
|
||||||
|
for i := 0; i < n; i++ {
|
||||||
|
for j := 0; j < p; j++ {
|
||||||
|
Aty[j] += A[i][j] * y[i]
|
||||||
|
for k := 0; k < p; k++ {
|
||||||
|
AtA[j][k] += A[i][j] * A[i][k]
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
for j := 0; j < p; j++ {
|
||||||
|
AtA[j][j] += lambda
|
||||||
|
}
|
||||||
|
|
||||||
|
w := solveCholesky(AtA, Aty)
|
||||||
|
|
||||||
|
// R² = 1 - SS_res / SS_tot
|
||||||
|
yMean := mean(y)
|
||||||
|
var ssRes, ssTot float64
|
||||||
|
for i := 0; i < n; i++ {
|
||||||
|
pred := dot(A[i], w)
|
||||||
|
ssRes += (y[i] - pred) * (y[i] - pred)
|
||||||
|
ssTot += (y[i] - yMean) * (y[i] - yMean)
|
||||||
|
}
|
||||||
|
if ssTot == 0 {
|
||||||
|
return 0
|
||||||
|
}
|
||||||
|
return 1 - ssRes/ssTot
|
||||||
|
}
|
||||||
|
|
||||||
|
// Silhouette returns the mean silhouette coefficient of the embeddings with respect
|
||||||
|
// to the given integer labels. Distances are Euclidean. Returns an error if fewer
|
||||||
|
// than 2 distinct labels are present.
|
||||||
|
func Silhouette(emb [][]float64, labels []int) (float64, error) {
|
||||||
|
n := len(emb)
|
||||||
|
if n == 0 {
|
||||||
|
return 0, errors.New("eval: empty embeddings")
|
||||||
|
}
|
||||||
|
|
||||||
|
// count distinct labels
|
||||||
|
labelSet := map[int]struct{}{}
|
||||||
|
for _, l := range labels {
|
||||||
|
labelSet[l] = struct{}{}
|
||||||
|
}
|
||||||
|
if len(labelSet) < 2 {
|
||||||
|
return 0, errors.New("eval: silhouette requires at least 2 distinct labels")
|
||||||
|
}
|
||||||
|
|
||||||
|
// group indices by label
|
||||||
|
groups := map[int][]int{}
|
||||||
|
for i, l := range labels {
|
||||||
|
groups[l] = append(groups[l], i)
|
||||||
|
}
|
||||||
|
|
||||||
|
var total float64
|
||||||
|
for i := 0; i < n; i++ {
|
||||||
|
li := labels[i]
|
||||||
|
|
||||||
|
// a(i) = mean intra-cluster distance
|
||||||
|
var aSum float64
|
||||||
|
inGroup := groups[li]
|
||||||
|
for _, j := range inGroup {
|
||||||
|
if j != i {
|
||||||
|
aSum += euclidean(emb[i], emb[j])
|
||||||
|
}
|
||||||
|
}
|
||||||
|
var a float64
|
||||||
|
if len(inGroup) > 1 {
|
||||||
|
a = aSum / float64(len(inGroup)-1)
|
||||||
|
}
|
||||||
|
|
||||||
|
// b(i) = min mean inter-cluster distance
|
||||||
|
b := math.MaxFloat64
|
||||||
|
for l, idxs := range groups {
|
||||||
|
if l == li {
|
||||||
|
continue
|
||||||
|
}
|
||||||
|
var dSum float64
|
||||||
|
for _, j := range idxs {
|
||||||
|
dSum += euclidean(emb[i], emb[j])
|
||||||
|
}
|
||||||
|
avg := dSum / float64(len(idxs))
|
||||||
|
if avg < b {
|
||||||
|
b = avg
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
s := (b - a) / math.Max(a, b)
|
||||||
|
total += s
|
||||||
|
}
|
||||||
|
return total / float64(n), nil
|
||||||
|
}
|
||||||
|
|
||||||
|
// EffectiveRank computes Roy's effective rank of the embedding matrix:
|
||||||
|
// exp(H) where H = -∑ pᵢ log(pᵢ) is the Shannon entropy of the normalised
|
||||||
|
// squared singular values. Returns 1 for a rank-1 matrix and ≈ dim for
|
||||||
|
// a full-rank isotropic matrix.
|
||||||
|
func EffectiveRank(emb [][]float64) float64 {
|
||||||
|
n := len(emb)
|
||||||
|
if n == 0 {
|
||||||
|
return 0
|
||||||
|
}
|
||||||
|
d := len(emb[0])
|
||||||
|
|
||||||
|
// Compute covariance-like matrix CᵀC where C is mean-centered embedding.
|
||||||
|
mu := make([]float64, d)
|
||||||
|
for _, e := range emb {
|
||||||
|
for j, v := range e {
|
||||||
|
mu[j] += v
|
||||||
|
}
|
||||||
|
}
|
||||||
|
for j := range mu {
|
||||||
|
mu[j] /= float64(n)
|
||||||
|
}
|
||||||
|
|
||||||
|
// C = emb - mu (n × d); compute CᵀC (d × d)
|
||||||
|
CtC := make([][]float64, d)
|
||||||
|
for i := range CtC {
|
||||||
|
CtC[i] = make([]float64, d)
|
||||||
|
}
|
||||||
|
for _, e := range emb {
|
||||||
|
for j := 0; j < d; j++ {
|
||||||
|
cj := e[j] - mu[j]
|
||||||
|
for k := 0; k < d; k++ {
|
||||||
|
CtC[j][k] += cj * (e[k] - mu[k])
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
// Eigenvalues of CᵀC via power iteration approximation isn't great;
|
||||||
|
// use the Frobenius / trace approach: σᵢ² ∝ eigenvalues of CᵀC.
|
||||||
|
// For a pure-Go impl without LAPACK: use the fact that the normalised
|
||||||
|
// squared singular values equal normalised eigenvalues of CᵀC.
|
||||||
|
// Compute them via Jacobi iteration for small d, or use the analytical
|
||||||
|
// formula for 2×2, or use iterative QR for general d.
|
||||||
|
eigs := jacobiEigenvalues(CtC)
|
||||||
|
|
||||||
|
// normalise to sum-1 distribution
|
||||||
|
var sumEig float64
|
||||||
|
for _, v := range eigs {
|
||||||
|
if v > 0 {
|
||||||
|
sumEig += v
|
||||||
|
}
|
||||||
|
}
|
||||||
|
if sumEig == 0 {
|
||||||
|
return 1
|
||||||
|
}
|
||||||
|
var H float64
|
||||||
|
for _, v := range eigs {
|
||||||
|
if v > 0 {
|
||||||
|
p := v / sumEig
|
||||||
|
H -= p * math.Log(p)
|
||||||
|
}
|
||||||
|
}
|
||||||
|
return math.Exp(H)
|
||||||
|
}
|
||||||
|
|
||||||
|
// ── internal helpers ──────────────────────────────────────────────────────────
|
||||||
|
|
||||||
|
func euclidean(a, b []float64) float64 {
|
||||||
|
var s float64
|
||||||
|
for i := range a {
|
||||||
|
d := a[i] - b[i]
|
||||||
|
s += d * d
|
||||||
|
}
|
||||||
|
return math.Sqrt(s)
|
||||||
|
}
|
||||||
|
|
||||||
|
func dot(a, b []float64) float64 {
|
||||||
|
var s float64
|
||||||
|
for i := range a {
|
||||||
|
s += a[i] * b[i]
|
||||||
|
}
|
||||||
|
return s
|
||||||
|
}
|
||||||
|
|
||||||
|
func mean(y []float64) float64 {
|
||||||
|
var s float64
|
||||||
|
for _, v := range y {
|
||||||
|
s += v
|
||||||
|
}
|
||||||
|
return s / float64(len(y))
|
||||||
|
}
|
||||||
|
|
||||||
|
// solveCholesky solves Ax = b for symmetric positive-definite A via
|
||||||
|
// Cholesky decomposition. Falls back to pseudo-inverse on failure.
|
||||||
|
func solveCholesky(A [][]float64, b []float64) []float64 {
|
||||||
|
n := len(A)
|
||||||
|
// Cholesky decomposition: A = LLᵀ
|
||||||
|
L := make([][]float64, n)
|
||||||
|
for i := range L {
|
||||||
|
L[i] = make([]float64, n)
|
||||||
|
}
|
||||||
|
for i := 0; i < n; i++ {
|
||||||
|
for j := 0; j <= i; j++ {
|
||||||
|
s := A[i][j]
|
||||||
|
for k := 0; k < j; k++ {
|
||||||
|
s -= L[i][k] * L[j][k]
|
||||||
|
}
|
||||||
|
if i == j {
|
||||||
|
if s <= 0 {
|
||||||
|
s = 1e-12
|
||||||
|
}
|
||||||
|
L[i][j] = math.Sqrt(s)
|
||||||
|
} else {
|
||||||
|
L[i][j] = s / L[j][j]
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
// Forward substitution Ly = b
|
||||||
|
y := make([]float64, n)
|
||||||
|
for i := 0; i < n; i++ {
|
||||||
|
s := b[i]
|
||||||
|
for k := 0; k < i; k++ {
|
||||||
|
s -= L[i][k] * y[k]
|
||||||
|
}
|
||||||
|
y[i] = s / L[i][i]
|
||||||
|
}
|
||||||
|
// Back substitution Lᵀx = y
|
||||||
|
x := make([]float64, n)
|
||||||
|
for i := n - 1; i >= 0; i-- {
|
||||||
|
s := y[i]
|
||||||
|
for k := i + 1; k < n; k++ {
|
||||||
|
s -= L[k][i] * x[k]
|
||||||
|
}
|
||||||
|
x[i] = s / L[i][i]
|
||||||
|
}
|
||||||
|
return x
|
||||||
|
}
|
||||||
|
|
||||||
|
// jacobiEigenvalues returns eigenvalues of a symmetric matrix via Jacobi iteration.
|
||||||
|
func jacobiEigenvalues(A [][]float64) []float64 {
|
||||||
|
n := len(A)
|
||||||
|
// copy
|
||||||
|
a := make([][]float64, n)
|
||||||
|
for i := range a {
|
||||||
|
a[i] = make([]float64, n)
|
||||||
|
copy(a[i], A[i])
|
||||||
|
}
|
||||||
|
|
||||||
|
const maxIter = 100
|
||||||
|
const tol = 1e-10
|
||||||
|
for iter := 0; iter < maxIter; iter++ {
|
||||||
|
// find largest off-diagonal element
|
||||||
|
p, q, amax := 0, 1, 0.0
|
||||||
|
for i := 0; i < n; i++ {
|
||||||
|
for j := i + 1; j < n; j++ {
|
||||||
|
if v := math.Abs(a[i][j]); v > amax {
|
||||||
|
amax = v
|
||||||
|
p, q = i, j
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
if amax < tol {
|
||||||
|
break
|
||||||
|
}
|
||||||
|
// Jacobi rotation
|
||||||
|
theta := 0.5 * math.Atan2(2*a[p][q], a[q][q]-a[p][p])
|
||||||
|
c, s := math.Cos(theta), math.Sin(theta)
|
||||||
|
// apply rotation
|
||||||
|
newA := make([][]float64, n)
|
||||||
|
for i := range newA {
|
||||||
|
newA[i] = make([]float64, n)
|
||||||
|
copy(newA[i], a[i])
|
||||||
|
}
|
||||||
|
app := c*c*a[p][p] + 2*c*s*a[p][q] + s*s*a[q][q]
|
||||||
|
aqq := s*s*a[p][p] - 2*c*s*a[p][q] + c*c*a[q][q]
|
||||||
|
apq := 0.0
|
||||||
|
newA[p][p] = app
|
||||||
|
newA[q][q] = aqq
|
||||||
|
newA[p][q] = apq
|
||||||
|
newA[q][p] = apq
|
||||||
|
for r := 0; r < n; r++ {
|
||||||
|
if r == p || r == q {
|
||||||
|
continue
|
||||||
|
}
|
||||||
|
arp := c*a[r][p] + s*a[r][q]
|
||||||
|
arq := -s*a[r][p] + c*a[r][q]
|
||||||
|
newA[r][p] = arp
|
||||||
|
newA[p][r] = arp
|
||||||
|
newA[r][q] = arq
|
||||||
|
newA[q][r] = arq
|
||||||
|
}
|
||||||
|
a = newA
|
||||||
|
}
|
||||||
|
|
||||||
|
eigs := make([]float64, n)
|
||||||
|
for i := range eigs {
|
||||||
|
eigs[i] = a[i][i]
|
||||||
|
}
|
||||||
|
return eigs
|
||||||
|
}
|
||||||
@@ -0,0 +1,138 @@
|
|||||||
|
package eval_test
|
||||||
|
|
||||||
|
import (
|
||||||
|
"math"
|
||||||
|
"math/rand"
|
||||||
|
"testing"
|
||||||
|
|
||||||
|
"gitea.d-ma.be/mathias/jepa-fx-risk/internal/eval"
|
||||||
|
)
|
||||||
|
|
||||||
|
func seededRNG(seed int64) *rand.Rand {
|
||||||
|
return rand.New(rand.NewSource(seed))
|
||||||
|
}
|
||||||
|
|
||||||
|
// ── LinearProbe (val_vol_r2) ──────────────────────────────────────────────────
|
||||||
|
|
||||||
|
func TestLinearProbe_Perfect(t *testing.T) {
|
||||||
|
n := 50
|
||||||
|
emb := make([][]float64, n)
|
||||||
|
y := make([]float64, n)
|
||||||
|
for i := range emb {
|
||||||
|
emb[i] = []float64{float64(i)}
|
||||||
|
y[i] = float64(i)
|
||||||
|
}
|
||||||
|
r2 := eval.LinearProbe(emb, y, 1e-3)
|
||||||
|
if r2 < 0.99 {
|
||||||
|
t.Fatalf("perfect predictor: want R²≥0.99, got %.4f", r2)
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
func TestLinearProbe_ConstantTarget(t *testing.T) {
|
||||||
|
n := 40
|
||||||
|
emb := make([][]float64, n)
|
||||||
|
y := make([]float64, n)
|
||||||
|
for i := range emb {
|
||||||
|
emb[i] = []float64{float64(i), float64(i * i)}
|
||||||
|
y[i] = 3.0
|
||||||
|
}
|
||||||
|
r2 := eval.LinearProbe(emb, y, 1e-3)
|
||||||
|
if r2 > 0.01 {
|
||||||
|
t.Fatalf("constant target: want R²≤0.01, got %.4f", r2)
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
func TestLinearProbe_NoiseEmbedding(t *testing.T) {
|
||||||
|
rng := seededRNG(42)
|
||||||
|
n := 80
|
||||||
|
emb := make([][]float64, n)
|
||||||
|
y := make([]float64, n)
|
||||||
|
for i := range emb {
|
||||||
|
emb[i] = []float64{rng.NormFloat64(), rng.NormFloat64()}
|
||||||
|
y[i] = float64(i)
|
||||||
|
}
|
||||||
|
r2 := eval.LinearProbe(emb, y, 1e-3)
|
||||||
|
if r2 > 0.10 {
|
||||||
|
t.Fatalf("noise embedding: want R²<0.10, got %.4f", r2)
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
// ── Silhouette ────────────────────────────────────────────────────────────────
|
||||||
|
|
||||||
|
func TestSilhouette_PerfectClusters(t *testing.T) {
|
||||||
|
emb := make([][]float64, 40)
|
||||||
|
labels := make([]int, 40)
|
||||||
|
for i := range emb {
|
||||||
|
if i < 20 {
|
||||||
|
emb[i] = []float64{0.0, 0.0}
|
||||||
|
labels[i] = 0
|
||||||
|
} else {
|
||||||
|
emb[i] = []float64{1000.0, 1000.0}
|
||||||
|
labels[i] = 1
|
||||||
|
}
|
||||||
|
}
|
||||||
|
sil, err := eval.Silhouette(emb, labels)
|
||||||
|
if err != nil {
|
||||||
|
t.Fatal(err)
|
||||||
|
}
|
||||||
|
if sil < 0.95 {
|
||||||
|
t.Fatalf("perfect clusters: want sil≥0.95, got %.4f", sil)
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
func TestSilhouette_SingleLabel(t *testing.T) {
|
||||||
|
emb := [][]float64{{1, 2}, {3, 4}, {5, 6}}
|
||||||
|
labels := []int{0, 0, 0}
|
||||||
|
_, err := eval.Silhouette(emb, labels)
|
||||||
|
if err == nil {
|
||||||
|
t.Fatal("expected error for single-label input")
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
func TestSilhouette_RandomClusters(t *testing.T) {
|
||||||
|
rng := seededRNG(7)
|
||||||
|
n := 60
|
||||||
|
emb := make([][]float64, n)
|
||||||
|
labels := make([]int, n)
|
||||||
|
for i := range emb {
|
||||||
|
emb[i] = []float64{rng.NormFloat64(), rng.NormFloat64()}
|
||||||
|
labels[i] = i % 2
|
||||||
|
}
|
||||||
|
sil, err := eval.Silhouette(emb, labels)
|
||||||
|
if err != nil {
|
||||||
|
t.Fatal(err)
|
||||||
|
}
|
||||||
|
if math.Abs(sil) > 0.30 {
|
||||||
|
t.Fatalf("random clusters: want |sil|≤0.30, got %.4f", sil)
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
// ── EffectiveRank ─────────────────────────────────────────────────────────────
|
||||||
|
|
||||||
|
func TestEffectiveRank_Rank1(t *testing.T) {
|
||||||
|
emb := make([][]float64, 30)
|
||||||
|
for i := range emb {
|
||||||
|
emb[i] = []float64{1.0, 2.0, 3.0, 4.0}
|
||||||
|
}
|
||||||
|
er := eval.EffectiveRank(emb)
|
||||||
|
if er > 1.5 {
|
||||||
|
t.Fatalf("rank-1 matrix: want erank≤1.5, got %.4f", er)
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
func TestEffectiveRank_FullRank(t *testing.T) {
|
||||||
|
rng := seededRNG(99)
|
||||||
|
dim := 8
|
||||||
|
emb := make([][]float64, 200)
|
||||||
|
for i := range emb {
|
||||||
|
row := make([]float64, dim)
|
||||||
|
for j := range row {
|
||||||
|
row[j] = rng.NormFloat64()
|
||||||
|
}
|
||||||
|
emb[i] = row
|
||||||
|
}
|
||||||
|
er := eval.EffectiveRank(emb)
|
||||||
|
if er < float64(dim)*0.7 {
|
||||||
|
t.Fatalf("full-rank: want erank≥%.1f, got %.4f", float64(dim)*0.7, er)
|
||||||
|
}
|
||||||
|
}
|
||||||
@@ -0,0 +1,100 @@
|
|||||||
|
// Code generated by templ - DO NOT EDIT.
|
||||||
|
|
||||||
|
// templ: version: v0.3.1020
|
||||||
|
package web
|
||||||
|
|
||||||
|
//lint:file-ignore SA4006 This context is only used if a nested component is present.
|
||||||
|
|
||||||
|
import "github.com/a-h/templ"
|
||||||
|
import templruntime "github.com/a-h/templ/runtime"
|
||||||
|
|
||||||
|
func Index() templ.Component {
|
||||||
|
return templruntime.GeneratedTemplate(func(templ_7745c5c3_Input templruntime.GeneratedComponentInput) (templ_7745c5c3_Err error) {
|
||||||
|
templ_7745c5c3_W, ctx := templ_7745c5c3_Input.Writer, templ_7745c5c3_Input.Context
|
||||||
|
if templ_7745c5c3_CtxErr := ctx.Err(); templ_7745c5c3_CtxErr != nil {
|
||||||
|
return templ_7745c5c3_CtxErr
|
||||||
|
}
|
||||||
|
templ_7745c5c3_Buffer, templ_7745c5c3_IsBuffer := templruntime.GetBuffer(templ_7745c5c3_W)
|
||||||
|
if !templ_7745c5c3_IsBuffer {
|
||||||
|
defer func() {
|
||||||
|
templ_7745c5c3_BufErr := templruntime.ReleaseBuffer(templ_7745c5c3_Buffer)
|
||||||
|
if templ_7745c5c3_Err == nil {
|
||||||
|
templ_7745c5c3_Err = templ_7745c5c3_BufErr
|
||||||
|
}
|
||||||
|
}()
|
||||||
|
}
|
||||||
|
ctx = templ.InitializeContext(ctx)
|
||||||
|
templ_7745c5c3_Var1 := templ.GetChildren(ctx)
|
||||||
|
if templ_7745c5c3_Var1 == nil {
|
||||||
|
templ_7745c5c3_Var1 = templ.NopComponent
|
||||||
|
}
|
||||||
|
ctx = templ.ClearChildren(ctx)
|
||||||
|
templ_7745c5c3_Var2 := templruntime.GeneratedTemplate(func(templ_7745c5c3_Input templruntime.GeneratedComponentInput) (templ_7745c5c3_Err error) {
|
||||||
|
templ_7745c5c3_W, ctx := templ_7745c5c3_Input.Writer, templ_7745c5c3_Input.Context
|
||||||
|
templ_7745c5c3_Buffer, templ_7745c5c3_IsBuffer := templruntime.GetBuffer(templ_7745c5c3_W)
|
||||||
|
if !templ_7745c5c3_IsBuffer {
|
||||||
|
defer func() {
|
||||||
|
templ_7745c5c3_BufErr := templruntime.ReleaseBuffer(templ_7745c5c3_Buffer)
|
||||||
|
if templ_7745c5c3_Err == nil {
|
||||||
|
templ_7745c5c3_Err = templ_7745c5c3_BufErr
|
||||||
|
}
|
||||||
|
}()
|
||||||
|
}
|
||||||
|
ctx = templ.InitializeContext(ctx)
|
||||||
|
templ_7745c5c3_Err = templruntime.WriteString(templ_7745c5c3_Buffer, 1, "<h1 class=\"text-3xl font-semibold mb-6\">hostexecutor</h1><button hx-get=\"/api/hello\" hx-target=\"#out\" class=\"px-4 py-2 bg-slate-900 text-white rounded-md hover:bg-slate-700\">Say hello</button><div id=\"out\" class=\"mt-6 text-slate-700\"></div>")
|
||||||
|
if templ_7745c5c3_Err != nil {
|
||||||
|
return templ_7745c5c3_Err
|
||||||
|
}
|
||||||
|
return nil
|
||||||
|
})
|
||||||
|
templ_7745c5c3_Err = Layout("hostexecutor").Render(templ.WithChildren(ctx, templ_7745c5c3_Var2), templ_7745c5c3_Buffer)
|
||||||
|
if templ_7745c5c3_Err != nil {
|
||||||
|
return templ_7745c5c3_Err
|
||||||
|
}
|
||||||
|
return nil
|
||||||
|
})
|
||||||
|
}
|
||||||
|
|
||||||
|
func Hello(name string) templ.Component {
|
||||||
|
return templruntime.GeneratedTemplate(func(templ_7745c5c3_Input templruntime.GeneratedComponentInput) (templ_7745c5c3_Err error) {
|
||||||
|
templ_7745c5c3_W, ctx := templ_7745c5c3_Input.Writer, templ_7745c5c3_Input.Context
|
||||||
|
if templ_7745c5c3_CtxErr := ctx.Err(); templ_7745c5c3_CtxErr != nil {
|
||||||
|
return templ_7745c5c3_CtxErr
|
||||||
|
}
|
||||||
|
templ_7745c5c3_Buffer, templ_7745c5c3_IsBuffer := templruntime.GetBuffer(templ_7745c5c3_W)
|
||||||
|
if !templ_7745c5c3_IsBuffer {
|
||||||
|
defer func() {
|
||||||
|
templ_7745c5c3_BufErr := templruntime.ReleaseBuffer(templ_7745c5c3_Buffer)
|
||||||
|
if templ_7745c5c3_Err == nil {
|
||||||
|
templ_7745c5c3_Err = templ_7745c5c3_BufErr
|
||||||
|
}
|
||||||
|
}()
|
||||||
|
}
|
||||||
|
ctx = templ.InitializeContext(ctx)
|
||||||
|
templ_7745c5c3_Var3 := templ.GetChildren(ctx)
|
||||||
|
if templ_7745c5c3_Var3 == nil {
|
||||||
|
templ_7745c5c3_Var3 = templ.NopComponent
|
||||||
|
}
|
||||||
|
ctx = templ.ClearChildren(ctx)
|
||||||
|
templ_7745c5c3_Err = templruntime.WriteString(templ_7745c5c3_Buffer, 2, "<p>Hello, ")
|
||||||
|
if templ_7745c5c3_Err != nil {
|
||||||
|
return templ_7745c5c3_Err
|
||||||
|
}
|
||||||
|
var templ_7745c5c3_Var4 string
|
||||||
|
templ_7745c5c3_Var4, templ_7745c5c3_Err = templ.JoinStringErrs(name)
|
||||||
|
if templ_7745c5c3_Err != nil {
|
||||||
|
return templ.Error{Err: templ_7745c5c3_Err, FileName: `internal/web/index.templ`, Line: 15, Col: 17}
|
||||||
|
}
|
||||||
|
_, templ_7745c5c3_Err = templ_7745c5c3_Buffer.WriteString(templ.EscapeString(templ_7745c5c3_Var4))
|
||||||
|
if templ_7745c5c3_Err != nil {
|
||||||
|
return templ_7745c5c3_Err
|
||||||
|
}
|
||||||
|
templ_7745c5c3_Err = templruntime.WriteString(templ_7745c5c3_Buffer, 3, "!</p>")
|
||||||
|
if templ_7745c5c3_Err != nil {
|
||||||
|
return templ_7745c5c3_Err
|
||||||
|
}
|
||||||
|
return nil
|
||||||
|
})
|
||||||
|
}
|
||||||
|
|
||||||
|
var _ = templruntime.GeneratedTemplate
|
||||||
@@ -0,0 +1,61 @@
|
|||||||
|
// Code generated by templ - DO NOT EDIT.
|
||||||
|
|
||||||
|
// templ: version: v0.3.1020
|
||||||
|
package web
|
||||||
|
|
||||||
|
//lint:file-ignore SA4006 This context is only used if a nested component is present.
|
||||||
|
|
||||||
|
import "github.com/a-h/templ"
|
||||||
|
import templruntime "github.com/a-h/templ/runtime"
|
||||||
|
|
||||||
|
func Layout(title string) templ.Component {
|
||||||
|
return templruntime.GeneratedTemplate(func(templ_7745c5c3_Input templruntime.GeneratedComponentInput) (templ_7745c5c3_Err error) {
|
||||||
|
templ_7745c5c3_W, ctx := templ_7745c5c3_Input.Writer, templ_7745c5c3_Input.Context
|
||||||
|
if templ_7745c5c3_CtxErr := ctx.Err(); templ_7745c5c3_CtxErr != nil {
|
||||||
|
return templ_7745c5c3_CtxErr
|
||||||
|
}
|
||||||
|
templ_7745c5c3_Buffer, templ_7745c5c3_IsBuffer := templruntime.GetBuffer(templ_7745c5c3_W)
|
||||||
|
if !templ_7745c5c3_IsBuffer {
|
||||||
|
defer func() {
|
||||||
|
templ_7745c5c3_BufErr := templruntime.ReleaseBuffer(templ_7745c5c3_Buffer)
|
||||||
|
if templ_7745c5c3_Err == nil {
|
||||||
|
templ_7745c5c3_Err = templ_7745c5c3_BufErr
|
||||||
|
}
|
||||||
|
}()
|
||||||
|
}
|
||||||
|
ctx = templ.InitializeContext(ctx)
|
||||||
|
templ_7745c5c3_Var1 := templ.GetChildren(ctx)
|
||||||
|
if templ_7745c5c3_Var1 == nil {
|
||||||
|
templ_7745c5c3_Var1 = templ.NopComponent
|
||||||
|
}
|
||||||
|
ctx = templ.ClearChildren(ctx)
|
||||||
|
templ_7745c5c3_Err = templruntime.WriteString(templ_7745c5c3_Buffer, 1, "<!doctype html><html lang=\"en\"><head><meta charset=\"utf-8\"><meta name=\"viewport\" content=\"width=device-width,initial-scale=1\"><title>")
|
||||||
|
if templ_7745c5c3_Err != nil {
|
||||||
|
return templ_7745c5c3_Err
|
||||||
|
}
|
||||||
|
var templ_7745c5c3_Var2 string
|
||||||
|
templ_7745c5c3_Var2, templ_7745c5c3_Err = templ.JoinStringErrs(title)
|
||||||
|
if templ_7745c5c3_Err != nil {
|
||||||
|
return templ.Error{Err: templ_7745c5c3_Err, FileName: `internal/web/layout.templ`, Line: 9, Col: 17}
|
||||||
|
}
|
||||||
|
_, templ_7745c5c3_Err = templ_7745c5c3_Buffer.WriteString(templ.EscapeString(templ_7745c5c3_Var2))
|
||||||
|
if templ_7745c5c3_Err != nil {
|
||||||
|
return templ_7745c5c3_Err
|
||||||
|
}
|
||||||
|
templ_7745c5c3_Err = templruntime.WriteString(templ_7745c5c3_Buffer, 2, "</title><script src=\"https://unpkg.com/htmx.org@2.0.0\"></script><script src=\"https://cdn.tailwindcss.com\"></script></head><body class=\"min-h-screen bg-slate-50 text-slate-900 antialiased\"><main class=\"max-w-3xl mx-auto px-6 py-12\">")
|
||||||
|
if templ_7745c5c3_Err != nil {
|
||||||
|
return templ_7745c5c3_Err
|
||||||
|
}
|
||||||
|
templ_7745c5c3_Err = templ_7745c5c3_Var1.Render(ctx, templ_7745c5c3_Buffer)
|
||||||
|
if templ_7745c5c3_Err != nil {
|
||||||
|
return templ_7745c5c3_Err
|
||||||
|
}
|
||||||
|
templ_7745c5c3_Err = templruntime.WriteString(templ_7745c5c3_Buffer, 3, "</main></body></html>")
|
||||||
|
if templ_7745c5c3_Err != nil {
|
||||||
|
return templ_7745c5c3_Err
|
||||||
|
}
|
||||||
|
return nil
|
||||||
|
})
|
||||||
|
}
|
||||||
|
|
||||||
|
var _ = templruntime.GeneratedTemplate
|
||||||
@@ -0,0 +1,13 @@
|
|||||||
|
{
|
||||||
|
"label": "null",
|
||||||
|
"mean_sil": 0.018206419112781685,
|
||||||
|
"pca_sil": 0.13589094579219818,
|
||||||
|
"spread": 0.8673340065023978,
|
||||||
|
"pc1_hv_corr": 0.525803392278542,
|
||||||
|
"per_seed": [
|
||||||
|
0.026790648698806763,
|
||||||
|
0.010999602265655994,
|
||||||
|
0.016829006373882294
|
||||||
|
],
|
||||||
|
"passed": false
|
||||||
|
}
|
||||||
@@ -0,0 +1,25 @@
|
|||||||
|
# Phase-0 SSL feasibility gate — null
|
||||||
|
|
||||||
|
**Date:** 2026-06-24
|
||||||
|
**Path B deviation:** Daily 2019-2023 (not hourly 2008-2022); Python harness
|
||||||
|
(not Go #4); gate metric adapted from silhouette-on-embedding to match
|
||||||
|
available data. Go harness (#4) remains open for production experiments.
|
||||||
|
|
||||||
|
## Data
|
||||||
|
- Train: EUR/USD daily 2019-2021 (907 windows)
|
||||||
|
- OOS: EUR/USD daily 2022-2023 (593 windows)
|
||||||
|
- HV label: top-33% realized-vol days = high-volatility (196 days)
|
||||||
|
|
||||||
|
## Results
|
||||||
|
| | Value | Gate |
|
||||||
|
|---|---|---|
|
||||||
|
| TS-JEPA mean silhouette (3 seeds) | 0.0182 | > 0.20 → **False** |
|
||||||
|
| Beats PCA baseline (0.1359) | 0.0182 | > PCA → **False** |
|
||||||
|
| Seed stability (spread) | 86.73% | < 10% → **False** |
|
||||||
|
| PC1/HV correlation | 0.5258 | < 0.95 → **True** |
|
||||||
|
|
||||||
|
Per-seed: ['0.0268', '0.0110', '0.0168']
|
||||||
|
|
||||||
|
## Verdict: **NULL**
|
||||||
|
|
||||||
|
One or more gate criteria not met. See null result protocol in #5.
|
||||||
@@ -0,0 +1,237 @@
|
|||||||
|
"""Phase-0 SSL feasibility gate (path B — Python fast-close of #5).
|
||||||
|
|
||||||
|
Spec deviation documented: original spec (#5) required hourly 2008-2022 data
|
||||||
|
and a Go eval harness (#4). Path B uses daily 2019-2023 + Python harness to
|
||||||
|
close the gate quickly, since val_vol_r2 > 0 already demonstrates SSL
|
||||||
|
feasibility. The Go harness (#4) remains open for production experiments.
|
||||||
|
|
||||||
|
Gate criteria (from #5):
|
||||||
|
- Silhouette > 0.20 on held-out 2022-2023 (binary HV label: top-33% RV days)
|
||||||
|
- TS-JEPA silhouette > PCA baseline silhouette
|
||||||
|
- Rerun x3 seeds within ±10% of mean silhouette
|
||||||
|
- PC1/HV correlation < 0.95 (sanity: not trivially memorising the label)
|
||||||
|
|
||||||
|
python scripts/phase0_gate.py
|
||||||
|
"""
|
||||||
|
import json
|
||||||
|
import math
|
||||||
|
import os
|
||||||
|
import numpy as np
|
||||||
|
import pandas as pd
|
||||||
|
import torch
|
||||||
|
import torch.nn as nn
|
||||||
|
from sklearn.decomposition import PCA
|
||||||
|
from sklearn.metrics import silhouette_score
|
||||||
|
from sklearn.preprocessing import StandardScaler
|
||||||
|
|
||||||
|
SEEDS = [0, 1, 2]
|
||||||
|
WINDOW = 30
|
||||||
|
PATCH_LEN = 5
|
||||||
|
STRIDE = 5
|
||||||
|
D_MODEL = 32
|
||||||
|
DEPTH = 2
|
||||||
|
N_HEADS = 4
|
||||||
|
EPOCHS = 400
|
||||||
|
LR = 3e-4
|
||||||
|
SIGREG_LAM = 0.5
|
||||||
|
HV_PERCENTILE = 67 # top-33% = "high volatility"
|
||||||
|
|
||||||
|
dev = "cuda" if torch.cuda.is_available() else "cpu"
|
||||||
|
|
||||||
|
|
||||||
|
# ── SIGReg ──────────────────────────────────────────────────────────────────
|
||||||
|
|
||||||
|
def sigreg(tokens: torch.Tensor, knots: int = 17) -> torch.Tensor:
|
||||||
|
B, T, D = tokens.shape
|
||||||
|
z = tokens.reshape(B * T, D).float()
|
||||||
|
t = torch.linspace(0, 3, knots, device=z.device, dtype=z.dtype)
|
||||||
|
dt = 3.0 / (knots - 1)
|
||||||
|
w = torch.full((knots,), 2 * dt, device=z.device, dtype=z.dtype)
|
||||||
|
w[0] = dt; w[-1] = dt
|
||||||
|
phi = torch.exp(-t.square() / 2.0)
|
||||||
|
A = torch.randn(D, 256, device=z.device, dtype=z.dtype)
|
||||||
|
A = A / A.norm(p=2, dim=0)
|
||||||
|
x_t = (z @ A).unsqueeze(-1) * t
|
||||||
|
err = (x_t.cos().mean(0) - phi).square() + x_t.sin().mean(0).square()
|
||||||
|
return ((err @ (w * phi)) * z.shape[0]).mean()
|
||||||
|
|
||||||
|
|
||||||
|
# ── Encoder ──────────────────────────────────────────────────────────────────
|
||||||
|
|
||||||
|
class PatchEncoder(nn.Module):
|
||||||
|
def __init__(self, in_feats, patch_len, stride, d_model, depth, n_heads):
|
||||||
|
super().__init__()
|
||||||
|
self.patch_len = patch_len
|
||||||
|
self.stride = stride
|
||||||
|
self.embed = nn.Linear(patch_len * in_feats, d_model)
|
||||||
|
layer = nn.TransformerEncoderLayer(d_model, n_heads, 2 * d_model,
|
||||||
|
dropout=0.0, batch_first=True)
|
||||||
|
self.tf = nn.TransformerEncoder(layer, num_layers=depth)
|
||||||
|
n_patches = (WINDOW - patch_len) // stride + 1
|
||||||
|
pos = torch.zeros(n_patches, d_model)
|
||||||
|
for p in range(n_patches):
|
||||||
|
for i in range(0, d_model, 2):
|
||||||
|
pos[p, i] = math.sin(p / 10000 ** (i / d_model))
|
||||||
|
if i + 1 < d_model:
|
||||||
|
pos[p, i+1] = math.cos(p / 10000 ** (i / d_model))
|
||||||
|
self.register_buffer("pos", pos)
|
||||||
|
|
||||||
|
def forward(self, x):
|
||||||
|
B, W, F = x.shape
|
||||||
|
n_patches = (W - self.patch_len) // self.stride + 1
|
||||||
|
patches = torch.stack([x[:, i*self.stride:i*self.stride+self.patch_len, :]
|
||||||
|
.reshape(B, -1) for i in range(n_patches)], dim=1)
|
||||||
|
tokens = self.embed(patches) + self.pos[:n_patches]
|
||||||
|
return self.tf(tokens)
|
||||||
|
|
||||||
|
|
||||||
|
# ── Data ─────────────────────────────────────────────────────────────────────
|
||||||
|
|
||||||
|
def load_data():
|
||||||
|
df = pd.read_parquet("data/processed/eurusd_daily.parquet").reset_index(drop=True)
|
||||||
|
df["date"] = pd.to_datetime(df["date"])
|
||||||
|
train = df[df["date"].dt.year <= 2021].copy()
|
||||||
|
oos = df[df["date"].dt.year >= 2022].copy()
|
||||||
|
|
||||||
|
feats_all = df[["ret", "realized_vol"]].to_numpy(np.float32)
|
||||||
|
target_all = df["realized_vol"].to_numpy(np.float32)
|
||||||
|
dates_all = df["date"].values
|
||||||
|
|
||||||
|
mu = feats_all[:len(train)].mean(0)
|
||||||
|
sd = feats_all[:len(train)].std(0) + 1e-8
|
||||||
|
|
||||||
|
def windows(df_subset, feats_norm, dates):
|
||||||
|
idx_start = df.index[df["date"].isin(df_subset["date"])][0]
|
||||||
|
X, oos_dates, oos_rv = [], [], []
|
||||||
|
for t in range(idx_start + WINDOW, idx_start + len(df_subset)):
|
||||||
|
X.append(feats_norm[t - WINDOW:t])
|
||||||
|
oos_dates.append(dates[t])
|
||||||
|
oos_rv.append(target_all[t])
|
||||||
|
return np.stack(X), np.array(oos_rv), np.array(oos_dates)
|
||||||
|
|
||||||
|
feats_norm = (feats_all - mu) / sd
|
||||||
|
|
||||||
|
Xtr, rvtr, _ = windows(train, feats_norm, dates_all)
|
||||||
|
Xte, rvte, te_dates = windows(oos, feats_norm, dates_all)
|
||||||
|
|
||||||
|
# binary HV label: top-33% realized vol days in OOS = "high volatility"
|
||||||
|
hv_threshold = np.percentile(rvte, HV_PERCENTILE)
|
||||||
|
hv_labels = (rvte >= hv_threshold).astype(int)
|
||||||
|
|
||||||
|
return Xtr, rvtr, Xte, rvte, hv_labels
|
||||||
|
|
||||||
|
|
||||||
|
# ── Train + embed ─────────────────────────────────────────────────────────────
|
||||||
|
|
||||||
|
def train_and_embed(Xtr, Xte, seed):
|
||||||
|
torch.manual_seed(seed)
|
||||||
|
np.random.seed(seed)
|
||||||
|
enc = PatchEncoder(Xtr.shape[2], PATCH_LEN, STRIDE, D_MODEL, DEPTH, N_HEADS).to(dev)
|
||||||
|
pred = nn.Sequential(nn.Linear(D_MODEL, D_MODEL), nn.GELU(),
|
||||||
|
nn.Linear(D_MODEL, D_MODEL)).to(dev)
|
||||||
|
opt = torch.optim.AdamW(list(enc.parameters()) + list(pred.parameters()), lr=LR)
|
||||||
|
|
||||||
|
Xtr_t = torch.tensor(Xtr, device=dev)
|
||||||
|
n_patches = (WINDOW - PATCH_LEN) // STRIDE + 1
|
||||||
|
n_mask = max(1, int(0.30 * n_patches))
|
||||||
|
|
||||||
|
for ep in range(EPOCHS):
|
||||||
|
idx_mask = torch.randperm(n_patches)[:n_mask]
|
||||||
|
tokens_ctx = enc(Xtr_t)
|
||||||
|
tokens_target = enc(Xtr_t).detach()
|
||||||
|
jepa_loss = ((pred(tokens_ctx[:, idx_mask, :]) -
|
||||||
|
tokens_target[:, idx_mask, :]) ** 2).mean()
|
||||||
|
reg = sigreg(tokens_ctx)
|
||||||
|
loss = jepa_loss + SIGREG_LAM * reg
|
||||||
|
opt.zero_grad(); loss.backward(); opt.step()
|
||||||
|
|
||||||
|
enc.eval()
|
||||||
|
with torch.no_grad():
|
||||||
|
Ete = enc(torch.tensor(Xte, device=dev)).mean(1).cpu().numpy()
|
||||||
|
|
||||||
|
return Ete
|
||||||
|
|
||||||
|
|
||||||
|
# ── Gate ─────────────────────────────────────────────────────────────────────
|
||||||
|
|
||||||
|
def pca_baseline(Xte, hv_labels):
|
||||||
|
flat = Xte.reshape(len(Xte), -1)
|
||||||
|
sc = StandardScaler().fit(flat)
|
||||||
|
emb = PCA(n_components=8).fit_transform(sc.transform(flat))
|
||||||
|
return silhouette_score(emb, hv_labels), emb
|
||||||
|
|
||||||
|
|
||||||
|
def main():
|
||||||
|
os.makedirs("results/summaries", exist_ok=True)
|
||||||
|
Xtr, rvtr, Xte, rvte, hv_labels = load_data()
|
||||||
|
print(f"train={len(Xtr)} OOS={len(Xte)} HV={hv_labels.sum()}/{len(hv_labels)}")
|
||||||
|
|
||||||
|
pca_sil, pca_emb = pca_baseline(Xte, hv_labels)
|
||||||
|
pc1 = pca_emb[:, 0]
|
||||||
|
pc1_hv_corr = abs(np.corrcoef(pc1, hv_labels)[0, 1])
|
||||||
|
print(f"PCA baseline silhouette = {pca_sil:.4f} | PC1/HV |r| = {pc1_hv_corr:.4f}")
|
||||||
|
|
||||||
|
sils = []
|
||||||
|
for seed in SEEDS:
|
||||||
|
emb = train_and_embed(Xtr, Xte, seed)
|
||||||
|
sc = StandardScaler().fit(emb)
|
||||||
|
sil = silhouette_score(sc.transform(emb), hv_labels)
|
||||||
|
sils.append(sil)
|
||||||
|
print(f" seed={seed} silhouette={sil:.4f}")
|
||||||
|
|
||||||
|
mean_sil = np.mean(sils)
|
||||||
|
spread = (max(sils) - min(sils)) / mean_sil if mean_sil != 0 else 99
|
||||||
|
|
||||||
|
# gate checks
|
||||||
|
g_sil = mean_sil > 0.20
|
||||||
|
g_beats = mean_sil > pca_sil
|
||||||
|
g_stable = spread < 0.10
|
||||||
|
g_corr = pc1_hv_corr < 0.95
|
||||||
|
passed = all([g_sil, g_beats, g_stable, g_corr])
|
||||||
|
|
||||||
|
label = "pass" if passed else "null"
|
||||||
|
print(f"\nsilhouette mean={mean_sil:.4f} spread={spread:.2%} PCA={pca_sil:.4f} PC1/HV={pc1_hv_corr:.4f}")
|
||||||
|
print(f"gate: sil>0.20={g_sil} beats_pca={g_beats} stable={g_stable} corr<0.95={g_corr}")
|
||||||
|
print(f"PHASE-0: {label.upper()}")
|
||||||
|
|
||||||
|
summary = f"""# Phase-0 SSL feasibility gate — {label}
|
||||||
|
|
||||||
|
**Date:** 2026-06-24
|
||||||
|
**Path B deviation:** Daily 2019-2023 (not hourly 2008-2022); Python harness
|
||||||
|
(not Go #4); gate metric adapted from silhouette-on-embedding to match
|
||||||
|
available data. Go harness (#4) remains open for production experiments.
|
||||||
|
|
||||||
|
## Data
|
||||||
|
- Train: EUR/USD daily 2019-2021 ({len(Xtr)} windows)
|
||||||
|
- OOS: EUR/USD daily 2022-2023 ({len(Xte)} windows)
|
||||||
|
- HV label: top-{100-HV_PERCENTILE}% realized-vol days = high-volatility ({hv_labels.sum()} days)
|
||||||
|
|
||||||
|
## Results
|
||||||
|
| | Value | Gate |
|
||||||
|
|---|---|---|
|
||||||
|
| TS-JEPA mean silhouette (3 seeds) | {mean_sil:.4f} | > 0.20 → **{g_sil}** |
|
||||||
|
| Beats PCA baseline ({pca_sil:.4f}) | {mean_sil:.4f} | > PCA → **{g_beats}** |
|
||||||
|
| Seed stability (spread) | {spread:.2%} | < 10% → **{g_stable}** |
|
||||||
|
| PC1/HV correlation | {pc1_hv_corr:.4f} | < 0.95 → **{g_corr}** |
|
||||||
|
|
||||||
|
Per-seed: {[f"{s:.4f}" for s in sils]}
|
||||||
|
|
||||||
|
## Verdict: **{label.upper()}**
|
||||||
|
|
||||||
|
{"All 4 gate criteria met. TS-JEPA embeddings separate HV regimes significantly above PCA baseline with stable reproducibility." if passed else "One or more gate criteria not met. See null result protocol in #5."}
|
||||||
|
"""
|
||||||
|
path = f"results/summaries/phase-0-{label}.md"
|
||||||
|
with open(path, "w") as f:
|
||||||
|
f.write(summary)
|
||||||
|
print(f"Written: {path}")
|
||||||
|
|
||||||
|
result = {"label": label, "mean_sil": mean_sil, "pca_sil": pca_sil,
|
||||||
|
"spread": spread, "pc1_hv_corr": pc1_hv_corr,
|
||||||
|
"per_seed": sils, "passed": passed}
|
||||||
|
with open("results/summaries/phase-0-metrics.json", "w") as f:
|
||||||
|
json.dump(result, f, indent=2)
|
||||||
|
return 0 if passed else 1
|
||||||
|
|
||||||
|
|
||||||
|
if __name__ == "__main__":
|
||||||
|
raise SystemExit(main())
|
||||||
Reference in New Issue
Block a user