{"version": 2, "width": 96, "height": 200, "timestamp": 1792625508, "env": {"TERM": "xterm-256color"}}
[10.267584, "o", "\u001b[?25l"]
[10.403728, "o", "\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m0\u001b[0m\u001b[2m/1000\u001b[0m    0%  0:00:00 \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u280b\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mcompiling\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[10.540577, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m0\u001b[0m\u001b[2m/1000\u001b[0m    0%  0:00:00 \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2819\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mcompiling\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[10.679086, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m0\u001b[0m\u001b[2m/1000\u001b[0m    0%  0:00:00 \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2838\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mcompiling\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[10.843471, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m0\u001b[0m\u001b[2m/1000\u001b[0m    0%  0:00:01 \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2834\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mcompiling\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[10.992193, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m0\u001b[0m\u001b[2m/1000\u001b[0m    0%  0:00:01 \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2827\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mcompiling\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[11.14222, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m0\u001b[0m\u001b[2m/1000\u001b[0m    0%  0:00:01 \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u280f\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mcompiling\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[11.288315, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m0\u001b[0m\u001b[2m/1000\u001b[0m    0%  0:00:01 \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2819\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mcompiling\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[11.495387, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m0\u001b[0m\u001b[2m/1000\u001b[0m    0%  0:00:01 \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2838\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mcompiling\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[11.641186, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m0\u001b[0m\u001b[2m/1000\u001b[0m    0%  0:00:01 \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2834\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mcompiling\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[11.780618, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m0\u001b[0m\u001b[2m/1000\u001b[0m    0%  0:00:02 \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2827\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mcompiling\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[11.918949, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m0\u001b[0m\u001b[2m/1000\u001b[0m    0%  0:00:02 \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2807\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mcompiling\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[12.05735, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m0\u001b[0m\u001b[2m/1000\u001b[0m    0%  0:00:02 \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u280b\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mcompiling\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[12.196502, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m0\u001b[0m\u001b[2m/1000\u001b[0m    0%  0:00:02 \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2839\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mcompiling\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[12.341088, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m0\u001b[0m\u001b[2m/1000\u001b[0m    0%  0:00:02 \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u283c\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mcompiling\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[12.484571, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m0\u001b[0m\u001b[2m/1000\u001b[0m    0%  0:00:02 \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2826\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mcompiling\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[12.625702, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m0\u001b[0m\u001b[2m/1000\u001b[0m    0%  0:00:02 \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2827\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mcompiling\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[12.762522, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m0\u001b[0m\u001b[2m/1000\u001b[0m    0%  0:00:02 \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u280f\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mcompiling\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[12.899332, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m0\u001b[0m\u001b[2m/1000\u001b[0m    0%  0:00:03 \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2819\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mcompiling\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[13.035702, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m0\u001b[0m\u001b[2m/1000\u001b[0m    0%  0:00:03 \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2839\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mcompiling\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[13.184992, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m0\u001b[0m\u001b[2m/1000\u001b[0m    0%  0:00:03 \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u283c\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mcompiling\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[13.604149, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m0\u001b[0m\u001b[2m/1000\u001b[0m    0%  0:00:03 \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2826\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mcompiling\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[13.762355, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m0\u001b[0m\u001b[2m/1000\u001b[0m    0%  0:00:03 \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2819\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mcompiling\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[13.955646, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m0\u001b[0m\u001b[2m/1000\u001b[0m    0%  0:00:04 \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u283c\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mcompiling\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[14.123398, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m0\u001b[0m\u001b[2m/1000\u001b[0m    0%  0:00:04 \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2826\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mcompiling\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[14.279349, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m0\u001b[0m\u001b[2m/1000\u001b[0m    0%  0:00:04 \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2807\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mcompiling\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[14.465498, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m0\u001b[0m\u001b[2m/1000\u001b[0m    0%  0:00:04 \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u280b\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mcompiling\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[14.615174, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m0\u001b[0m\u001b[2m/1000\u001b[0m    0%  0:00:04 \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2839\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mcompiling\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[14.791944, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m0\u001b[0m\u001b[2m/1000\u001b[0m    0%  0:00:05 \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u283c\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mcompiling\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[14.929658, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m0\u001b[0m\u001b[2m/1000\u001b[0m    0%  0:00:05 \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2826\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mcompiling\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[15.055861, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m0\u001b[0m\u001b[2m/1000\u001b[0m    0%  0:00:05 \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2807\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mcompiling\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[15.182415, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m0\u001b[0m\u001b[2m/1000\u001b[0m    0%  0:00:05 \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u280f\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mcompiling\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[15.308715, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m0\u001b[0m\u001b[2m/1000\u001b[0m    0%  0:00:05 \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2819\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mcompiling\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[15.43497, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m0\u001b[0m\u001b[2m/1000\u001b[0m    0%  0:00:05 \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2839\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mcompiling\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[15.561453, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m0\u001b[0m\u001b[2m/1000\u001b[0m    0%  0:00:05 \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u283c\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mcompiling\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[15.687541, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m0\u001b[0m\u001b[2m/1000\u001b[0m    0%  0:00:05 \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2826\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mcompiling\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[15.813791, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m0\u001b[0m\u001b[2m/1000\u001b[0m    0%  0:00:06 \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2827\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mcompiling\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[15.940351, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m0\u001b[0m\u001b[2m/1000\u001b[0m    0%  0:00:06 \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u280f\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mcompiling\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[16.066459, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m0\u001b[0m\u001b[2m/1000\u001b[0m    0%  0:00:06 \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u280b\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mcompiling\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[16.192535, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n"]
[16.192616, "o", "\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m0\u001b[0m\u001b[2m/1000\u001b[0m    0%  0:00:06 \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2839\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mcompiling\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[16.318753, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n"]
[16.318833, "o", "\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m0\u001b[0m\u001b[2m/1000\u001b[0m    0%  0:00:06 \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2838\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mcompiling\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[16.445374, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n"]
[16.445434, "o", "\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m0\u001b[0m\u001b[2m/1000\u001b[0m    0%  0:00:06 \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2834\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mcompiling\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[16.571737, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n"]
[16.571816, "o", "\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m0\u001b[0m\u001b[2m/1000\u001b[0m    0%  0:00:06 \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2827\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mcompiling\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[16.698384, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n"]
[16.698456, "o", "\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m0\u001b[0m\u001b[2m/1000\u001b[0m    0%  0:00:06 \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2807\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mcompiling\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[16.824625, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n"]
[16.824703, "o", "\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m0\u001b[0m\u001b[2m/1000\u001b[0m    0%  0:00:07 \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u280b\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mcompiling\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[16.950865, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n"]
[16.950957, "o", "\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m0\u001b[0m\u001b[2m/1000\u001b[0m    0%  0:00:07 \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2819\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mcompiling\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[17.077163, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m0\u001b[0m\u001b[2m/1000\u001b[0m    0%  0:00:07 \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2838\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mcompiling\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[17.203324, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n"]
[17.203403, "o", "\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m0\u001b[0m\u001b[2m/1000\u001b[0m    0%  0:00:07 \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2834\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mcompiling\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[17.329546, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n"]
[17.32957, "o", "\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m0\u001b[0m\u001b[2m/1000\u001b[0m    0%  0:00:07 \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2826\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mcompiling\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[17.455834, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m0\u001b[0m\u001b[2m/1000\u001b[0m    0%  0:00:07 \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2807\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mcompiling\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[17.582439, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m"]
[17.582453, "o", "\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m0\u001b[0m\u001b[2m/1000\u001b[0m    0%  0:00:07 \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u280f\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mcompiling\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[17.70878, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m"]
[17.708796, "o", "\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m0\u001b[0m\u001b[2m/1000\u001b[0m    0%  0:00:07 \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2819\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mcompiling\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[17.835121, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m"]
[17.835163, "o", "\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m0\u001b[0m\u001b[2m/1000\u001b[0m    0%  0:00:08 \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2839\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mcompiling\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[17.96169, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m0\u001b[0m\u001b[2m/1000\u001b[0m    0%  0:00:08 \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u283c\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mcompiling\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[18.087863, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m"]
[18.087874, "o", "\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m0\u001b[0m\u001b[2m/1000\u001b[0m    0%  0:00:08 \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2826\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mcompiling\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[18.214136, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m0\u001b[0m\u001b[2m/1000\u001b[0m    0%  0:00:08 \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2827\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mcompiling\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[18.34037, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m0\u001b[0m\u001b[2m/1000\u001b[0m    0%  0:00:08 \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u280f\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mcompiling\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[18.466659, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n"]
[18.466725, "o", "\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m0\u001b[0m\u001b[2m/1000\u001b[0m    0%  0:00:08 \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u280b\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mcompiling\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[18.592842, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n"]
[18.592921, "o", "\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m0\u001b[0m\u001b[2m/1000\u001b[0m    0%  0:00:08 \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2839\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mcompiling\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[18.719463, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n"]
[18.71952, "o", "\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m0\u001b[0m\u001b[2m/1000\u001b[0m    0%  0:00:08 \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2838\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mcompiling\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[18.845609, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n"]
[18.845684, "o", "\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m0\u001b[0m\u001b[2m/1000\u001b[0m    0%  0:00:09 \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2834\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mcompiling\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[18.971966, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n"]
[18.972021, "o", "\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m0\u001b[0m\u001b[2m/1000\u001b[0m    0%  0:00:09 \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2827\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mcompiling\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[19.098257, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n"]
[19.098353, "o", "\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m0\u001b[0m\u001b[2m/1000\u001b[0m    0%  0:00:09 \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2807\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mcompiling\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[19.224717, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m0\u001b[0m\u001b[2m/1000\u001b[0m    0%  0:00:09 \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u280b\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mcompiling\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[19.350786, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n"]
[19.35086, "o", "\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m0\u001b[0m\u001b[2m/1000\u001b[0m    0%  0:00:09 \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2819\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mcompiling\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[19.477451, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n"]
[19.477503, "o", "\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m0\u001b[0m\u001b[2m/1000\u001b[0m    0%  0:00:09 \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2838\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mcompiling\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[19.603618, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n"]
[19.603693, "o", "\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m0\u001b[0m\u001b[2m/1000\u001b[0m    0%  0:00:09 \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2834\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mcompiling\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[19.729901, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m0\u001b[0m\u001b[2m/1000\u001b[0m    0%  0:00:09 \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2826\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mcompiling\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[19.856073, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n"]
[19.856178, "o", "\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m0\u001b[0m\u001b[2m/1000\u001b[0m    0%  0:00:10 \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2807\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mcompiling\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[19.982596, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m0\u001b[0m\u001b[2m/1000\u001b[0m    0%  0:00:10 \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u280f\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mcompiling\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[20.108543, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n"]
[20.108617, "o", "\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m0\u001b[0m\u001b[2m/1000\u001b[0m    0%  0:00:10 \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2819\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mcompiling\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[20.234813, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n"]
[20.234893, "o", "\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m0\u001b[0m\u001b[2m/1000\u001b[0m    0%  0:00:10 \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2839\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mcompiling\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[20.361098, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n"]
[20.361188, "o", "\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m0\u001b[0m\u001b[2m/1000\u001b[0m    0%  0:00:10 \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u283c\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mcompiling\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[20.487656, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n"]
[20.487733, "o", "\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m0\u001b[0m\u001b[2m/1000\u001b[0m    0%  0:00:10 \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2826\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mcompiling\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[20.613965, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m0\u001b[0m\u001b[2m/1000\u001b[0m    0%  0:00:10 \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2827\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mcompiling\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[20.740137, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n"]
[20.74023, "o", "\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m0\u001b[0m\u001b[2m/1000\u001b[0m    0%  0:00:10 \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u280f\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mcompiling\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[20.866389, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m0\u001b[0m\u001b[2m/1000\u001b[0m    0%  0:00:11 \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u280b\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mcompiling\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[20.992756, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n"]
[20.992832, "o", "\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m0\u001b[0m\u001b[2m/1000\u001b[0m    0%  0:00:11 \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2839\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mcompiling\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[21.118971, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n"]
[21.119026, "o", "\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m0\u001b[0m\u001b[2m/1000\u001b[0m    0%  0:00:11 \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2838\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mcompiling\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[21.245794, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n"]
[21.24588, "o", "\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m0\u001b[0m\u001b[2m/1000\u001b[0m    0%  0:00:11 \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2834\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mcompiling\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[21.372051, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n"]
[21.372129, "o", "\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m0\u001b[0m\u001b[2m/1000\u001b[0m    0%  0:00:11 \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2827\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mcompiling\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[21.498673, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m0\u001b[0m\u001b[2m/1000\u001b[0m    0%  0:00:11 \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2807\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mcompiling\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[21.624952, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n"]
[21.625029, "o", "\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m0\u001b[0m\u001b[2m/1000\u001b[0m    0%  0:00:11 \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u280b\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mcompiling\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[21.751313, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n"]
[21.751364, "o", "\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m0\u001b[0m\u001b[2m/1000\u001b[0m    0%  0:00:11 \u001b[38;5;38m\u2502\u001b[0m"]
[21.751412, "o", "\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2819\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mcompiling\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[21.877811, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m0\u001b[0m\u001b[2m/1000\u001b[0m    0%  0:00:12 \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2838\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mcompiling\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[22.006529, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m0\u001b[0m\u001b[2m/1000\u001b[0m    0%  0:00:12 \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2834\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mcompiling\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[22.13285, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m"]
[22.132879, "o", "\r\n"]
[22.132896, "o", "\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m"]
[22.132912, "o", "\r\n"]
[22.132927, "o", "\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m"]
[22.132942, "o", "\r\n"]
[22.132958, "o", "\u001b[38;5;38m\u2502\u001b[0m \u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m0\u001b[0m\u001b[2m/1000\u001b[0m    0%  0:00:12 \u001b[38;5;38m\u2502\u001b[0m"]
[22.133009, "o", "\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2826\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mcompiling\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[22.259645, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n"]
[22.259726, "o", "\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m0\u001b[0m\u001b[2m/1000\u001b[0m    0%  0:00:12 \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2807\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mcompiling\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[22.386019, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n"]
[22.386086, "o", "\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m0\u001b[0m\u001b[2m/1000\u001b[0m    0%  0:00:12 \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u280f\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mcompiling\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[22.512558, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m0\u001b[0m\u001b[2m/1000\u001b[0m    0%  0:00:12 \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2819\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mcompiling\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[22.640559, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m0\u001b[0m\u001b[2m/1000\u001b[0m    0%  0:00:12 \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2839\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mcompiling\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[22.768411, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m0\u001b[0m\u001b[2m/1000\u001b[0m    0%  0:00:12 \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u283c\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mcompiling\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[22.894753, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m"]
[22.894781, "o", "\r\n"]
[22.894798, "o", "\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m"]
[22.894815, "o", "\r\n"]
[22.89483, "o", "\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m"]
[22.894845, "o", "\r\n"]
[22.89486, "o", "\u001b[38;5;38m\u2502\u001b[0m \u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m0\u001b[0m\u001b[2m/1000\u001b[0m    0%  0:00:13 \u001b[38;5;38m\u2502\u001b[0m"]
[22.894876, "o", "\r\n"]
[22.894893, "o", "\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2826\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mcompiling\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[23.021115, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m"]
[23.021143, "o", "\r\n"]
[23.021159, "o", "\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m"]
[23.021176, "o", "\r\n"]
[23.021192, "o", "\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m"]
[23.021206, "o", "\r\n"]
[23.021222, "o", "\u001b[38;5;38m\u2502\u001b[0m \u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m0\u001b[0m\u001b[2m/1000\u001b[0m    0%  0:00:13 \u001b[38;5;38m\u2502\u001b[0m"]
[23.021237, "o", "\r\n"]
[23.021254, "o", "\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2827\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mcompiling\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[23.147771, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m"]
[23.147796, "o", "\r\n"]
[23.147812, "o", "\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m"]
[23.147827, "o", "\r\n"]
[23.147842, "o", "\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m"]
[23.147856, "o", "\r\n"]
[23.147871, "o", "\u001b[38;5;38m\u2502\u001b[0m \u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m0\u001b[0m\u001b[2m/1000\u001b[0m    0%  0:00:13 \u001b[38;5;38m\u2502\u001b[0m"]
[23.147887, "o", "\r\n"]
[23.147903, "o", "\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u280f\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mcompiling\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[23.274121, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m"]
[23.274144, "o", "\r\n"]
[23.27416, "o", "\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m"]
[23.274175, "o", "\r\n"]
[23.27419, "o", "\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m"]
[23.274204, "o", "\r\n"]
[23.274219, "o", "\u001b[38;5;38m\u2502\u001b[0m \u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m0\u001b[0m\u001b[2m/1000\u001b[0m    0%  0:00:13 \u001b[38;5;38m\u2502\u001b[0m"]
[23.274234, "o", "\r\n"]
[23.274251, "o", "\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u280b\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mcompiling\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[23.400739, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m"]
[23.400761, "o", "\r\n"]
[23.400777, "o", "\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m"]
[23.400792, "o", "\r\n"]
[23.400807, "o", "\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m"]
[23.400821, "o", "\r\n"]
[23.400836, "o", "\u001b[38;5;38m\u2502\u001b[0m \u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m0\u001b[0m\u001b[2m/1000\u001b[0m    0%  0:00:13 \u001b[38;5;38m\u2502\u001b[0m"]
[23.40085, "o", "\r\n"]
[23.400867, "o", "\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2839\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mcompiling\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[23.527077, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m"]
[23.527098, "o", "\r\n"]
[23.527114, "o", "\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m"]
[23.527128, "o", "\r\n"]
[23.527142, "o", "\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m"]
[23.527157, "o", "\r\n"]
[23.527172, "o", "\u001b[38;5;38m\u2502\u001b[0m \u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m0\u001b[0m\u001b[2m/1000\u001b[0m    0%  0:00:13 \u001b[38;5;38m\u2502\u001b[0m"]
[23.527186, "o", "\r\n"]
[23.527202, "o", "\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u283c\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mcompiling\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[23.65367, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m"]
[23.653691, "o", "\r\n"]
[23.653707, "o", "\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m"]
[23.653722, "o", "\r\n"]
[23.653736, "o", "\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m"]
[23.65375, "o", "\r\n"]
[23.653765, "o", "\u001b[38;5;38m\u2502\u001b[0m \u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m0\u001b[0m\u001b[2m/1000\u001b[0m    0%  0:00:13 \u001b[38;5;38m\u2502\u001b[0m"]
[23.65378, "o", "\r\n"]
[23.653796, "o", "\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2834\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mcompiling\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[23.780043, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m"]
[23.780064, "o", "\r\n"]
[23.780081, "o", "\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m"]
[23.780096, "o", "\r\n"]
[23.78011, "o", "\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m"]
[23.780124, "o", "\r\n"]
[23.780139, "o", "\u001b[38;5;38m\u2502\u001b[0m \u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m0\u001b[0m\u001b[2m/1000\u001b[0m    0%  0:00:14 \u001b[38;5;38m\u2502\u001b[0m"]
[23.780154, "o", "\r\n"]
[23.780171, "o", "\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2827\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mcompiling\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[23.906347, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m"]
[23.906373, "o", "\r\n"]
[23.906393, "o", "\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m"]
[23.906412, "o", "\r\n"]
[23.906429, "o", "\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m"]
[23.906443, "o", "\r\n"]
[23.906458, "o", "\u001b[38;5;38m\u2502\u001b[0m \u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m0\u001b[0m\u001b[2m/1000\u001b[0m    0%  0:00:14 \u001b[38;5;38m\u2502\u001b[0m"]
[23.906473, "o", "\r\n"]
[23.906489, "o", "\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2807\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mcompiling\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[24.032887, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m"]
[24.032909, "o", "\r\n"]
[24.032926, "o", "\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m"]
[24.03294, "o", "\r\n"]
[24.032955, "o", "\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m"]
[24.032969, "o", "\r\n"]
[24.032985, "o", "\u001b[38;5;38m\u2502\u001b[0m \u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m0\u001b[0m\u001b[2m/1000\u001b[0m    0%  0:00:14 \u001b[38;5;38m\u2502\u001b[0m"]
[24.033, "o", "\r\n"]
[24.033017, "o", "\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u280b\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mcompiling\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[24.159596, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m"]
[24.159617, "o", "\r\n"]
[24.159633, "o", "\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m"]
[24.159647, "o", "\r\n"]
[24.159662, "o", "\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m"]
[24.159676, "o", "\r\n"]
[24.159691, "o", "\u001b[38;5;38m\u2502\u001b[0m \u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m0\u001b[0m\u001b[2m/1000\u001b[0m    0%  0:00:14 \u001b[38;5;38m\u2502\u001b[0m"]
[24.159706, "o", "\r\n"]
[24.159723, "o", "\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2819\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mcompiling\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[24.28599, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m"]
[24.286011, "o", "\r\n"]
[24.286027, "o", "\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m"]
[24.286041, "o", "\r\n"]
[24.286056, "o", "\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m"]
[24.286083, "o", "\r\n"]
[24.286098, "o", "\u001b[38;5;38m\u2502\u001b[0m \u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m0\u001b[0m\u001b[2m/1000\u001b[0m    0%  0:00:14 \u001b[38;5;38m\u2502\u001b[0m"]
[24.286113, "o", "\r\n"]
[24.286129, "o", "\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2838\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mcompiling\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[24.605715, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m"]
[24.605743, "o", "\r\n"]
[24.60576, "o", "\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m"]
[24.605775, "o", "\r\n"]
[24.605791, "o", "\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m"]
[24.605805, "o", "\r\n"]
[24.605821, "o", "\u001b[38;5;38m\u2502\u001b[0m \u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m0\u001b[0m\u001b[2m/1000\u001b[0m    0%  0:00:14 \u001b[38;5;38m\u2502\u001b[0m"]
[24.605837, "o", "\r\n"]
[24.605854, "o", "\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2827\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mcompiling\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[24.732125, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m"]
[24.732153, "o", "\r\n"]
[24.732169, "o", "\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m"]
[24.732184, "o", "\r\n"]
[24.7322, "o", "\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m"]
[24.732214, "o", "\r\n"]
[24.732229, "o", "\u001b[38;5;38m\u2502\u001b[0m \u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m0\u001b[0m\u001b[2m/1000\u001b[0m    0%  0:00:14 \u001b[38;5;38m\u2502\u001b[0m"]
[24.732245, "o", "\r\n"]
[24.732262, "o", "\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u280f\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mcompiling\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[24.956983, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m"]
[24.957011, "o", "\r\n"]
[24.957027, "o", "\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m"]
[24.957042, "o", "\r\n"]
[24.957058, "o", "\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m"]
[24.957093, "o", "\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m0\u001b[0m\u001b[2m/1000\u001b[0m    0%  0:00:15 \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2819\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mcompiling\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[25.09865, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m"]
[25.098699, "o", "\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m0\u001b[0m\u001b[2m/1000\u001b[0m    0%  0:00:15 \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2838\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mcompiling\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[25.23509, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n"]
[25.235153, "o", "\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m0\u001b[0m\u001b[2m/1000\u001b[0m    0%  0:00:15 \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2834\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mcompiling\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[25.371704, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n"]
[25.371771, "o", "\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m0\u001b[0m\u001b[2m/1000\u001b[0m    0%  0:00:15 \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2827\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mcompiling\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[25.515043, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n"]
[25.515121, "o", "\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m0\u001b[0m\u001b[2m/1000\u001b[0m    0%  0:00:15 \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2807\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mcompiling\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[25.654508, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n"]
[25.654572, "o", "\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m0\u001b[0m\u001b[2m/1000\u001b[0m    0%  0:00:15 \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u280b\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mcompiling\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[25.807792, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n"]
[25.807853, "o", "\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m0\u001b[0m\u001b[2m/1000\u001b[0m    0%  0:00:16 \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2839\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mcompiling\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[25.951517, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n"]
[25.951581, "o", "\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m0\u001b[0m\u001b[2m/1000\u001b[0m    0%  0:00:16 \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u283c\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mcompiling\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[26.114939, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n"]
[26.115003, "o", "\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m0\u001b[0m\u001b[2m/1000\u001b[0m    0%  0:00:16 \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2826\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mcompiling\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[26.321233, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n"]
[26.321314, "o", "\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m0\u001b[0m\u001b[2m/1000\u001b[0m    0%  0:00:16 \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2807\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mcompiling\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[26.4581, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n"]
[26.458161, "o", "\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m0\u001b[0m\u001b[2m/1000\u001b[0m    0%  0:00:16 \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u280b\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mcompiling\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[26.584997, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n"]
[26.585071, "o", "\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m0\u001b[0m\u001b[2m/1000\u001b[0m    0%  0:00:16 \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2839\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mcompiling\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[26.713071, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m2\u001b[0m\u001b[2m/1000\u001b[0m    0%  0:00:16 \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2838\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[26.850032, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m7\u001b[0m\u001b[2m/1000\u001b[0m    1%  0:00:17 \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2834\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[26.977583, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n"]
[26.977624, "o", "\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m12\u001b[0m\u001b[2m/1000\u001b[0m    1%  37.5\u001b[2m step/s\u001b[0m  0:00:17\u001b[2m + \u001b[0m0:00:26\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2827\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[27.104295, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2578\u001b[0m\u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m17\u001b[0m\u001b[2m/1000\u001b[0m    2%  37.5\u001b[2m step/s\u001b[0m  0:00:17\u001b[2m + \u001b[0m0:00:26\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2807\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[27.238242, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2578\u001b[0m\u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m23\u001b[0m\u001b[2m/1000\u001b[0m    2%  39.3\u001b[2m step/s\u001b[0m  0:00:17\u001b[2m + \u001b[0m0:00:25\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u280b\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[27.368216, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m29\u001b[0m\u001b[2m/1000\u001b[0m    3%  39.3\u001b[2m step/s\u001b[0m  0:00:17\u001b[2m + \u001b[0m0:00:25\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2839\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[27.497365, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n"]
[27.497427, "o", "\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m34\u001b[0m\u001b[2m/1000\u001b[0m    3%  40.7\u001b[2m step/s\u001b[0m  0:00:17\u001b[2m + \u001b[0m0:00:24\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2838\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[27.626216, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n"]
[27.626295, "o", "\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2578\u001b[0m\u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m39\u001b[0m\u001b[2m/1000\u001b[0m    4%  40.7\u001b[2m step/s\u001b[0m  0:00:17\u001b[2m + \u001b[0m0:00:24\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2834\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[27.752648, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n"]
[27.752718, "o", "\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2578\u001b[0m\u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m45\u001b[0m\u001b[2m/1000\u001b[0m    4%  40.4\u001b[2m step/s\u001b[0m  0:00:17\u001b[2m + \u001b[0m0:00:24\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2826\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[27.887428, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n"]
[27.887484, "o", "\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m50\u001b[0m\u001b[2m/1000\u001b[0m    5%  40.4\u001b[2m step/s\u001b[0m  0:00:18\u001b[2m + \u001b[0m0:00:24\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2807\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[28.016366, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m55\u001b[0m\u001b[2m/1000\u001b[0m    6%  40.4\u001b[2m step/s\u001b[0m  0:00:18\u001b[2m + \u001b[0m0:00:23\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u280b\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[28.149359, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n"]
[28.14942, "o", "\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m58\u001b[0m\u001b[2m/1000\u001b[0m    6%  40.4\u001b[2m step/s\u001b[0m  0:00:18\u001b[2m + \u001b[0m0:00:23\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2819\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[28.276873, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2578\u001b[0m\u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m63\u001b[0m\u001b[2m/1000\u001b[0m    6%  39.0\u001b[2m step/s\u001b[0m  0:00:18\u001b[2m + \u001b[0m0:00:24\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2838\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[28.403146, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2578\u001b[0m\u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m68\u001b[0m\u001b[2m/1000\u001b[0m    7%  39.0\u001b[2m step/s\u001b[0m  0:00:18\u001b[2m + \u001b[0m0:00:24\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u283c\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[28.535883, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n"]
[28.535949, "o", "\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2578\u001b[0m\u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m71\u001b[0m\u001b[2m/1000\u001b[0m    7%  37.8\u001b[2m step/s\u001b[0m  0:00:18\u001b[2m + \u001b[0m0:00:25\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2826\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[28.662748, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m75\u001b[0m\u001b[2m/1000\u001b[0m    8%  37.8\u001b[2m step/s\u001b[0m  0:00:18\u001b[2m + \u001b[0m0:00:24\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2807\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[28.79629, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m80\u001b[0m\u001b[2m/1000\u001b[0m    8%  37.3\u001b[2m step/s\u001b[0m  0:00:19\u001b[2m + \u001b[0m0:00:25\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u280f\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[28.922888, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m85\u001b[0m\u001b[2m/1000\u001b[0m    8%  37.3\u001b[2m step/s\u001b[0m  0:00:19\u001b[2m + \u001b[0m0:00:25\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2819\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[29.051643, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n"]
[29.051679, "o", "\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;74m\u2578\u001b[0m\u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m89\u001b[0m\u001b[2m/1000\u001b[0m    9%  37.4\u001b[2m step/s\u001b[0m  0:00:19\u001b[2m + \u001b[0m0:00:24\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2838\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[29.17833, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n"]
[29.178381, "o", "\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;74m\u2578\u001b[0m\u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m94\u001b[0m\u001b[2m/1000\u001b[0m    9%  37.4\u001b[2m step/s\u001b[0m  0:00:19\u001b[2m + \u001b[0m0:00:24\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u283c\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[29.312963, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n"]
[29.313028, "o", "\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;74m\u2578\u001b[0m\u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m98\u001b[0m\u001b[2m/1000\u001b[0m   10%  36.9\u001b[2m step/s\u001b[0m  0:00:19\u001b[2m + \u001b[0m0:00:24\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2826\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[29.439907, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;74m\u2578\u001b[0m\u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m100\u001b[0m\u001b[2m/1000\u001b[0m   10%  36.9\u001b[2m step/s\u001b[0m  0:00:19\u001b[2m + \u001b[0m0:00:24\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2827\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[29.566103, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n"]
[29.566178, "o", "\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;74m\u2578\u001b[0m\u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m100\u001b[0m\u001b[2m/1000\u001b[0m   10%  36.9\u001b[2m step/s\u001b[0m  0:00:19\u001b[2m + \u001b[0m0:00:24\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u280f\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[29.726976, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n"]
[29.727052, "o", "\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;74m\u2578\u001b[0m\u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m101\u001b[0m\u001b[2m/1000\u001b[0m   10%  33.1\u001b[2m step/s\u001b[0m  0:00:19\u001b[2m + \u001b[0m0:00:27\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2mdata \u001b[0m\u001b[1;2m6,592\u001b[0m\u001b[2m rows\u001b[0m\u001b[2m  \u00b7  \u001b[0m\u001b[1;2m0\u001b[0m\u001b[2m rejected\u001b[0m                                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mtrain                                                                                       \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss             \u001b[0m  \u001b[1m     2.011\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  ce               \u001b[0m  \u001b[1m     2.011\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity       \u001b[0m  \u001b[1m     7.471\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  token_accuracy   \u001b[0m  \u001b[1m     40.5%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  data_wait_ms     \u001b[0m  \u001b[1m   0.01886\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  grad_norm        \u001b[0m  \u001b[1m     1.018\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  compiles         \u001b[0m  \u001b[1m     1.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_hits       \u001b[0m  \u001b[1m     9.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_misses     \u001b[0m  \u001b[1m     2.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  peak_memory_gib  \u001b[0m  \u001b[1m     4.016\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mthroughput                                                                                  \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  step_time_ms     \u001b[0m  \u001b[1m     30.55\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  samples_per_sec  \u001b[0m  \u001b[1m     2,095\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens           \u001b[0m  \u001b[1m    16,076\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens_per_s     \u001b[0m  \u001b[1m   526,153\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  mfu              \u001b[0m  \u001b[1m     11.4%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hlo_flops_util \u2265 \u001b[0m  \u001b[1m     12.3%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hfu \u2265            \u001b[0m  \u001b[1m     12.3%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  uncounted kernels\u001b[0m  \u001b[1m     50.00\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                "]
[29.727065, "o", "                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98moptimizer                                                                                   \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  accepted         \u001b[0m  \u001b[1m    100.0%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  learning_rate    \u001b[0m  \u001b[1m 9.822e-04\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2819\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[29.868499, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n"]
[29.86862, "o", "\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m107\u001b[0m\u001b[2m/1000\u001b[0m   11%  33.1\u001b[2m step/s\u001b[0m  0:00:20\u001b[2m + \u001b[0m0:00:27\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2mdata \u001b[0m\u001b[1;2m6,592\u001b[0m\u001b[2m rows\u001b[0m\u001b[2m  \u00b7  \u001b[0m\u001b[1;2m0\u001b[0m\u001b[2m rejected\u001b[0m                                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mtrain                                                                                       \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss             \u001b[0m  \u001b[1m     2.011\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  ce               \u001b[0m  \u001b[1m     2.011\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity       \u001b[0m  \u001b[1m     7.471\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  token_accuracy   \u001b[0m  \u001b[1m     40.5%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  data_wait_ms     \u001b[0m  \u001b[1m   0.01886\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  grad_norm        \u001b[0m  \u001b[1m     1.018\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  compiles         \u001b[0m  \u001b[1m     1.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_hits       \u001b[0m  \u001b[1m     9.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_misses     \u001b[0m  \u001b[1m     2.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  peak_memory_gib  \u001b[0m  \u001b[1m     4.016\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mthroughput                                                                                  \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  step_time_ms     \u001b[0m  \u001b[1m     30.55\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  samples_per_sec  \u001b[0m  \u001b[1m     2,095\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens           \u001b[0m  \u001b[1m    16,076\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens_per_s     \u001b[0m  \u001b[1m   526,153\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  mfu              \u001b[0m  \u001b[1m     11.4%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hlo_flops_util \u2265 \u001b[0m  \u001b[1m     12.3%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hfu \u2265            \u001b[0m  \u001b[1m     12.3%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  uncounted kernels\u001b[0m  \u001b[1m     50.00\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                "]
[29.868632, "o", "                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98moptimizer                                                                                   \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  accepted         \u001b[0m  \u001b[1m    100.0%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  learning_rate    \u001b[0m  \u001b[1m 9.822e-04\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2838\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[30.006056, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n"]
[30.006156, "o", "\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m112\u001b[0m\u001b[2m/1000\u001b[0m   11%  33.5\u001b[2m step/s\u001b[0m  0:00:20\u001b[2m + \u001b[0m0:00:27\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2mdata \u001b[0m\u001b[1;2m6,592\u001b[0m\u001b[2m rows\u001b[0m\u001b[2m  \u00b7  \u001b[0m\u001b[1;2m0\u001b[0m\u001b[2m rejected\u001b[0m                                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mtrain                                                                                       \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss             \u001b[0m  \u001b[1m     2.011\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  ce               \u001b[0m  \u001b[1m     2.011\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity       \u001b[0m  \u001b[1m     7.471\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  token_accuracy   \u001b[0m  \u001b[1m     40.5%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  data_wait_ms     \u001b[0m  \u001b[1m   0.01886\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  grad_norm        \u001b[0m  \u001b[1m     1.018\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  compiles         \u001b[0m  \u001b[1m     1.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_hits       \u001b[0m  \u001b[1m     9.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_misses     \u001b[0m  \u001b[1m     2.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  peak_memory_gib  \u001b[0m  \u001b[1m     4.016\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mthroughput                                                                                  \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  step_time_ms     \u001b[0m  \u001b[1m     30.55\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  samples_per_sec  \u001b[0m  \u001b[1m     2,095\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens           \u001b[0m  \u001b[1m    16,076\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens_per_s     \u001b[0m  \u001b[1m   526,153\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  mfu              \u001b[0m  \u001b[1m     11.4%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hlo_flops_util \u2265 \u001b[0m  \u001b[1m     12.3%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hfu \u2265            \u001b[0m  \u001b[1m     12.3%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  uncounted kernels\u001b[0m  \u001b[1m     50.00\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                "]
[30.006168, "o", "                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98moptimizer                                                                                   \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  accepted         \u001b[0m  \u001b[1m    100.0%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  learning_rate    \u001b[0m  \u001b[1m 9.822e-04\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u283c\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[30.147809, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n"]
[30.147947, "o", "\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2578\u001b[0m\u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m118\u001b[0m\u001b[2m/1000\u001b[0m   12%  33.5\u001b[2m step/s\u001b[0m  0:00:20\u001b[2m + \u001b[0m0:00:26\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2mdata \u001b[0m\u001b[1;2m6,592\u001b[0m\u001b[2m rows\u001b[0m\u001b[2m  \u00b7  \u001b[0m\u001b[1;2m0\u001b[0m\u001b[2m rejected\u001b[0m                                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mtrain                                                                                       \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss             \u001b[0m  \u001b[1m     2.011\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  ce               \u001b[0m  \u001b[1m     2.011\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity       \u001b[0m  \u001b[1m     7.471\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  token_accuracy   \u001b[0m  \u001b[1m     40.5%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  data_wait_ms     \u001b[0m  \u001b[1m   0.01886\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  grad_norm        \u001b[0m  \u001b[1m     1.018\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  compiles         \u001b[0m  \u001b[1m     1.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_hits       \u001b[0m  \u001b[1m     9.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_misses     \u001b[0m  \u001b[1m     2.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  peak_memory_gib  \u001b[0m  \u001b[1m     4.016\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mthroughput                                                                                  \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  step_time_ms     \u001b[0m  \u001b[1m     30.55\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  samples_per_sec  \u001b[0m  \u001b[1m     2,095\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens           \u001b[0m  \u001b[1m    16,076\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens_per_s     \u001b[0m  \u001b[1m   526,153\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  mfu              \u001b[0m  \u001b[1m     11.4%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hlo_flops_util \u2265 \u001b[0m  \u001b[1m     12.3%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hfu \u2265            \u001b[0m  \u001b[1m     12.3%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  uncounted kernels\u001b[0m  \u001b[1m     50.00\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                  "]
[30.14796, "o", "                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98moptimizer                                                                                   \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  accepted         \u001b[0m  \u001b[1m    100.0%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  learning_rate    \u001b[0m  \u001b[1m 9.822e-04\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2826\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[30.28644, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n"]
[30.286515, "o", "\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2578\u001b[0m\u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m124\u001b[0m\u001b[2m/1000\u001b[0m   12%  33.9\u001b[2m step/s\u001b[0m  0:00:20\u001b[2m + \u001b[0m0:00:26\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2mdata \u001b[0m\u001b[1;2m6,592\u001b[0m\u001b[2m rows\u001b[0m\u001b[2m  \u00b7  \u001b[0m\u001b[1;2m0\u001b[0m\u001b[2m rejected\u001b[0m                                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mtrain                                                                                       \u001b[0m \u001b[38;5;38m\u2502\u001b[0m"]
[30.28657, "o", "\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss             \u001b[0m  \u001b[1m     2.011\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  ce               \u001b[0m  \u001b[1m     2.011\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity       \u001b[0m  \u001b[1m     7.471\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n"]
[30.286607, "o", "\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  token_accuracy   \u001b[0m  \u001b[1m     40.5%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  data_wait_ms     \u001b[0m  \u001b[1m   0.01886\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  grad_norm        \u001b[0m  \u001b[1m     1.018\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m"]
[30.286696, "o", "\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  compiles         \u001b[0m  \u001b[1m     1.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_hits       \u001b[0m  \u001b[1m     9.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_misses     \u001b[0m  \u001b[1m     2.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  peak_memory_gib  \u001b[0m  \u001b[1m     4.016\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mthroughput                                                                                  \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  step_time_ms     \u001b[0m  \u001b[1m     30.55\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  samples_per_sec  \u001b[0m  \u001b[1m     2,095\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens           \u001b[0m  \u001b[1m    16,076\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens_per_s     \u001b[0m  \u001b[1m   526,153\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  mfu              \u001b[0m  \u001b[1m     11.4%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hlo_flops_util \u2265 \u001b[0m  \u001b[1m     12.3%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hfu \u2265            \u001b[0m  \u001b[1m     12.3%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  uncounted kernels\u001b[0m  \u001b[1m     50.00\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98moptimizer                                                                                   \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  accepted         \u001b[0m  \u001b[1m    100.0%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  learning_rate    \u001b[0m  \u001b[1m 9.822e-04\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2807\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[30.424953, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n"]
[30.425037, "o", "\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m129\u001b[0m\u001b[2m/1000\u001b[0m   13%  33.9\u001b[2m step/s\u001b[0m  0:00:20\u001b[2m + \u001b[0m0:00:26\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2mdata \u001b[0m\u001b[1;2m6,592\u001b[0m\u001b[2m rows\u001b[0m\u001b[2m  \u00b7  \u001b[0m\u001b[1;2m0\u001b[0m\u001b[2m rejected\u001b[0m                                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mtrain                                                                                       \u001b[0m \u001b[38;5;38m\u2502\u001b[0m"]
[30.425091, "o", "\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss             \u001b[0m  \u001b[1m     2.011\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  ce               \u001b[0m  \u001b[1m     2.011\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity       \u001b[0m  \u001b[1m     7.471\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n"]
[30.425132, "o", "\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  token_accuracy   \u001b[0m  \u001b[1m     40.5%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  data_wait_ms     \u001b[0m  \u001b[1m   0.01886\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  grad_norm        \u001b[0m  \u001b[1m     1.018\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n"]
[30.425223, "o", "\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  compiles         \u001b[0m  \u001b[1m     1.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_hits       \u001b[0m  \u001b[1m     9.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_misses     \u001b[0m  \u001b[1m     2.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  peak_memory_gib  \u001b[0m  \u001b[1m     4.016\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mthroughput                                                                                  \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  step_time_ms     \u001b[0m  \u001b[1m     30.55\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  samples_per_sec  \u001b[0m  \u001b[1m     2,095\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens           \u001b[0m  \u001b[1m    16,076\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens_per_s     \u001b[0m  \u001b[1m   526,153\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  mfu              \u001b[0m  \u001b[1m     11.4%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hlo_flops_util \u2265 \u001b[0m  \u001b[1m     12.3%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hfu \u2265            \u001b[0m  \u001b[1m     12.3%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  uncounted kernels\u001b[0m  \u001b[1m     50.00\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98moptimizer                                                                                   \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  accepted         \u001b[0m  \u001b[1m    100.0%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  learning_rate    \u001b[0m  \u001b[1m 9.822e-04\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u280b\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[30.561044, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n"]
[30.561115, "o", "\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m135\u001b[0m\u001b[2m/1000\u001b[0m   14%  34.3\u001b[2m step/s\u001b[0m  0:00:20\u001b[2m + \u001b[0m0:00:25\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2mdata \u001b[0m\u001b[1;2m6,592\u001b[0m\u001b[2m rows\u001b[0m\u001b[2m  \u00b7  \u001b[0m\u001b[1;2m0\u001b[0m\u001b[2m rejected\u001b[0m                                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n"]
[30.561173, "o", "\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mtrain                                                                                       \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss             \u001b[0m  \u001b[1m     2.011\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  ce               \u001b[0m  \u001b[1m     2.011\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity       \u001b[0m  \u001b[1m     7.471\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m"]
[30.561228, "o", "\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  token_accuracy   \u001b[0m  \u001b[1m     40.5%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  data_wait_ms     \u001b[0m  \u001b[1m   0.01886\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  grad_norm        \u001b[0m  \u001b[1m     1.018\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  compiles         \u001b[0m  \u001b[1m     1.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_hits       \u001b[0m  \u001b[1m     9.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_misses     \u001b[0m  \u001b[1m     2.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  peak_memory_gib  \u001b[0m  \u001b[1m     4.016\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mthroughput                                                                                  \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  step_time_ms     \u001b[0m  \u001b[1m     30.55\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  samples_per_sec  \u001b[0m  \u001b[1m     2,095\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens           \u001b[0m  \u001b[1m    16,076\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens_per_s     \u001b[0m  \u001b[1m   526,153\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  mfu              \u001b[0m  \u001b[1m     11.4%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hlo_flops_util \u2265 \u001b[0m  \u001b[1m     12.3%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hfu \u2265            \u001b[0m  \u001b[1m     12.3%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  uncounted kernels\u001b[0m  \u001b[1m     50.00\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98moptimizer                                                                                   \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  accepted         \u001b[0m  \u001b[1m    100.0%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  learning_rate    \u001b[0m  \u001b[1m 9.822e-04\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2819\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[30.708612, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m"]
[30.708664, "o", "\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m141\u001b[0m\u001b[2m/1000\u001b[0m   14%  34.3\u001b[2m step/s\u001b[0m  0:00:20\u001b[2m + \u001b[0m0:00:25\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m"]
[30.708769, "o", "\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2mdata \u001b[0m\u001b[1;2m6,592\u001b[0m\u001b[2m rows\u001b[0m\u001b[2m  \u00b7  \u001b[0m\u001b[1;2m0\u001b[0m\u001b[2m rejected\u001b[0m                                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mtrain                                                                                       \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss             \u001b[0m  \u001b[1m     2.011\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  ce               \u001b[0m  \u001b[1m     2.011\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity       \u001b[0m  \u001b[1m     7.471\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  token_accuracy   \u001b[0m  \u001b[1m     40.5%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  data_wait_ms     \u001b[0m  \u001b[1m   0.01886\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  grad_norm        \u001b[0m  \u001b[1m     1.018\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  compiles         \u001b[0m  \u001b[1m     1.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_hits       \u001b[0m  \u001b[1m     9.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_misses     \u001b[0m  \u001b[1m     2.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  peak_memory_gib  \u001b[0m  \u001b[1m     4.016\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mthroughput                                                                                  \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  step_time_ms     \u001b[0m  \u001b[1m     30.55\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  samples_per_sec  \u001b[0m  \u001b[1m     2,095\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens           \u001b[0m  \u001b[1m    16,076\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens_per_s     \u001b[0m  \u001b[1m   526,153\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  mfu              \u001b[0m  \u001b[1m     11.4%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hlo_flops_util \u2265 \u001b[0m  \u001b[1m     12.3%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hfu \u2265            \u001b[0m  \u001b[1m     12.3%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  uncounted kernels\u001b[0m  \u001b[1m     50.00\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98moptimizer                                                                                   \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  accepted         \u001b[0m  \u001b[1m    100.0%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  learning_rate    \u001b[0m  \u001b[1m 9.822e-04\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500"]
[30.708781, "o", "\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2838\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[30.848068, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n"]
[30.848138, "o", "\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2578\u001b[0m\u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m146\u001b[0m\u001b[2m/1000\u001b[0m   15%  34.7\u001b[2m step/s\u001b[0m  0:00:21\u001b[2m + \u001b[0m0:00:25\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2mdata \u001b[0m\u001b[1;2m6,592\u001b[0m\u001b[2m rows\u001b[0m\u001b[2m  \u00b7  \u001b[0m\u001b[1;2m0\u001b[0m\u001b[2m rejected\u001b[0m                                                               \u001b[38;5;38m\u2502\u001b[0m"]
[30.848189, "o", "\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mtrain                                                                                       \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss             \u001b[0m  \u001b[1m     2.011\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m"]
[30.848231, "o", "\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  ce               \u001b[0m  \u001b[1m     2.011\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity       \u001b[0m  \u001b[1m     7.471\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m"]
[30.848295, "o", "\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  token_accuracy   \u001b[0m  \u001b[1m     40.5%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  data_wait_ms     \u001b[0m  \u001b[1m   0.01886\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  grad_norm        \u001b[0m  \u001b[1m     1.018\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m"]
[30.848425, "o", "\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  compiles         \u001b[0m  \u001b[1m     1.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_hits       \u001b[0m  \u001b[1m     9.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_misses     \u001b[0m  \u001b[1m     2.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  peak_memory_gib  \u001b[0m  \u001b[1m     4.016\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mthroughput                                                                                  \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  step_time_ms     \u001b[0m  \u001b[1m     30.55\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  samples_per_sec  \u001b[0m  \u001b[1m     2,095\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens           \u001b[0m  \u001b[1m    16,076\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens_per_s     \u001b[0m  \u001b[1m   526,153\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  mfu              \u001b[0m  \u001b[1m     11.4%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hlo_flops_util \u2265 \u001b[0m  \u001b[1m     12.3%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hfu \u2265            \u001b[0m  \u001b[1m     12.3%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  uncounted kernels\u001b[0m  \u001b[1m     50.00\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98moptimizer                                                                                   \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  accepted         \u001b[0m  \u001b[1m    100.0%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  learning_rate    \u001b[0m  \u001b[1m 9.822e-04\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2834\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[30.984431, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m"]
[30.984511, "o", "\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2578\u001b[0m\u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m151\u001b[0m\u001b[2m/1000\u001b[0m   15%  34.7\u001b[2m step/s\u001b[0m  0:00:21\u001b[2m + \u001b[0m0:00:24\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2mdata \u001b[0m\u001b[1;2m6,592\u001b[0m\u001b[2m rows\u001b[0m\u001b[2m  \u00b7  \u001b[0m\u001b[1;2m0\u001b[0m\u001b[2m rejected\u001b[0m                                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mtrain                                                                                       \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss             \u001b[0m  \u001b[1m     2.011\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  ce               \u001b[0m  \u001b[1m     2.011\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity       \u001b[0m  \u001b[1m     7.471\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  token_accuracy   \u001b[0m  \u001b[1m     40.5%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  data_wait_ms     \u001b[0m  \u001b[1m   0.01886\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  grad_norm        \u001b[0m  \u001b[1m     1.018\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  compiles         \u001b[0m  \u001b[1m     1.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_hits       \u001b[0m  \u001b[1m     9.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_misses     \u001b[0m  \u001b[1m     2.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  peak_memory_gib  \u001b[0m  \u001b[1m     4.016\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mthroughput                                                                                  \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  step_time_ms     \u001b[0m  \u001b[1m     30.55\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  samples_per_sec  \u001b[0m  \u001b[1m     2,095\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens           \u001b[0m  \u001b[1m    16,076\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens_per_s     \u001b[0m  \u001b[1m   526,153\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  mfu              \u001b[0m  \u001b[1m     11.4%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hlo_flops_util \u2265 \u001b[0m  \u001b[1m     12.3%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hfu \u2265            \u001b[0m  \u001b[1m     12.3%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  uncounted kernels\u001b[0m  \u001b[1m     50.00\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m  "]
[30.984542, "o", "                                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98moptimizer                                                                                   \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  accepted         \u001b[0m  \u001b[1m    100.0%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  learning_rate    \u001b[0m  \u001b[1m 9.822e-04\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2827\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[31.119951, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m"]
[31.120056, "o", "\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m156\u001b[0m\u001b[2m/1000\u001b[0m   16%  35.0\u001b[2m step/s\u001b[0m  0:00:21\u001b[2m + \u001b[0m0:00:24\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2mdata \u001b[0m\u001b[1;2m6,592\u001b[0m\u001b[2m rows\u001b[0m\u001b[2m  \u00b7  \u001b[0m\u001b[1;2m0\u001b[0m\u001b[2m rejected\u001b[0m                                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mtrain                                                                                       \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss             \u001b[0m  \u001b[1m     2.011\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  ce               \u001b[0m  \u001b[1m     2.011\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity       \u001b[0m  \u001b[1m     7.471\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  token_accuracy   \u001b[0m  \u001b[1m     40.5%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  data_wait_ms     \u001b[0m  \u001b[1m   0.01886\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  grad_norm        \u001b[0m  \u001b[1m     1.018\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  compiles         \u001b[0m  \u001b[1m     1.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_hits       \u001b[0m  \u001b[1m     9.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_misses     \u001b[0m  \u001b[1m     2.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  peak_memory_gib  \u001b[0m  \u001b[1m     4.016\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mthroughput                                                                                  \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  step_time_ms     \u001b[0m  \u001b[1m     30.55\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  samples_per_sec  \u001b[0m  \u001b[1m     2,095\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens           \u001b[0m  \u001b[1m    16,076\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens_per_s     \u001b[0m  \u001b[1m   526,153\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  mfu              \u001b[0m  \u001b[1m     11.4%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hlo_flops_util \u2265 \u001b[0m  \u001b[1m     12.3%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hfu \u2265            \u001b[0m  \u001b[1m     12.3%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  uncounted kernels\u001b[0m  \u001b[1m     50.00\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m  "]
[31.120079, "o", "                                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98moptimizer                                                                                   \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  accepted         \u001b[0m  \u001b[1m    100.0%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  learning_rate    \u001b[0m  \u001b[1m 9.822e-04\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2807\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[31.255988, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m161\u001b[0m\u001b[2m/1000\u001b[0m   16%  35.0\u001b[2m step/s\u001b[0m  0:00:21\u001b[2m + \u001b[0m0:00:24\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2mdata \u001b[0m\u001b[1;2m6,592\u001b[0m\u001b[2m rows\u001b[0m\u001b[2m  \u00b7  \u001b[0m\u001b[1;2m0\u001b[0m\u001b[2m rejected\u001b[0m                                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mtrain                                                                                       \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss             \u001b[0m  \u001b[1m     2.011\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  ce               \u001b[0m  \u001b[1m     2.011\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity       \u001b[0m  \u001b[1m     7.471\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  token_accuracy   \u001b[0m  \u001b[1m     40.5%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  data_wait_ms     \u001b[0m  \u001b[1m   0.01886\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  grad_norm        \u001b[0m  \u001b[1m     1.018\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  compiles         \u001b[0m  \u001b[1m     1.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_hits       \u001b[0m  \u001b[1m     9.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_misses     \u001b[0m  \u001b[1m     2.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  peak_memory_gib  \u001b[0m  \u001b[1m     4.016\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mthroughput                                                                                  \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  step_time_ms     \u001b[0m  \u001b[1m     30.55\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  samples_per_sec  \u001b[0m  \u001b[1m     2,095\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens           \u001b[0m  \u001b[1m    16,076\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens_per_s     \u001b[0m  \u001b[1m   526,153\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;"]
[31.256022, "o", "5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  mfu              \u001b[0m  \u001b[1m     11.4%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hlo_flops_util \u2265 \u001b[0m  \u001b[1m     12.3%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hfu \u2265            \u001b[0m  \u001b[1m     12.3%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  uncounted kernels\u001b[0m  \u001b[1m     50.00\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98moptimizer                                                                                   \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  accepted         \u001b[0m  \u001b[1m    100.0%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  learning_rate    \u001b[0m  \u001b[1m 9.822e-04\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u280b\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[31.400859, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2578\u001b[0m\u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m167\u001b[0m\u001b[2m/1000\u001b[0m   17%  35.1\u001b[2m step/s\u001b[0m  0:00:21\u001b[2m + \u001b[0m0:00:24\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2mdata \u001b[0m\u001b[1;2m6,592\u001b[0m\u001b[2m rows\u001b[0m\u001b[2m  \u00b7  \u001b[0m\u001b[1;2m0\u001b[0m\u001b[2m rejected\u001b[0m                                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mtrain                                                                                       \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss             \u001b[0m  \u001b[1m     2.011\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  ce               \u001b[0m  \u001b[1m     2.011\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity       \u001b[0m  \u001b[1m     7.471\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  token_accuracy   \u001b[0m  \u001b[1m     40.5%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  data_wait_ms     \u001b[0m  \u001b[1m   0.01886\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  grad_norm        \u001b[0m  \u001b[1m     1.018\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  compiles         \u001b[0m  \u001b[1m     1.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_hits       \u001b[0m  \u001b[1m     9.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_misses     \u001b[0m  \u001b[1m     2.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  peak_memory_gib  \u001b[0m  \u001b[1m     4.016\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mthroughput                                                                                  \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  step_time_ms     \u001b[0m  \u001b[1m     30.55\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  samples_per_sec  \u001b[0m  \u001b[1m     2,095\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens           \u001b[0m  \u001b[1m    16,076\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens_per_s     \u001b[0m  \u001b[1m   526,153\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                  "]
[31.400907, "o", "         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  mfu              \u001b[0m  \u001b[1m     11.4%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hlo_flops_util \u2265 \u001b[0m  \u001b[1m     12.3%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hfu \u2265            \u001b[0m  \u001b[1m     12.3%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  uncounted kernels\u001b[0m  \u001b[1m     50.00\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98moptimizer                                                                                   \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  accepted         \u001b[0m  \u001b[1m    100.0%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  learning_rate    \u001b[0m  \u001b[1m 9.822e-04\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2839\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[31.545087, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2578\u001b[0m\u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m172\u001b[0m\u001b[2m/1000\u001b[0m   17%  35.2\u001b[2m step/s\u001b[0m  0:00:21\u001b[2m + \u001b[0m0:00:23\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2mdata \u001b[0m\u001b[1;2m6,592\u001b[0m\u001b[2m rows\u001b[0m\u001b[2m  \u00b7  \u001b[0m\u001b[1;2m0\u001b[0m\u001b[2m rejected\u001b[0m                                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mtrain                                                                                       \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss             \u001b[0m  \u001b[1m     2.011\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  ce               \u001b[0m  \u001b[1m     2.011\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity       \u001b[0m  \u001b[1m     7.471\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  token_accuracy   \u001b[0m  \u001b[1m     40.5%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  data_wait_ms     \u001b[0m  \u001b[1m   0.01886\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  grad_norm        \u001b[0m  \u001b[1m     1.018\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  compiles         \u001b[0m  \u001b[1m     1.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_hits       \u001b[0m  \u001b[1m     9.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_misses     \u001b[0m  \u001b[1m     2.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  peak_memory_gib  \u001b[0m  \u001b[1m     4.016\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mthroughput                                                                                  \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  step_time_ms     \u001b[0m  \u001b[1m     30.55\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  samples_per_sec  \u001b[0m  \u001b[1m     2,095\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens           \u001b[0m  \u001b[1m    16,076\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens_per_s     \u001b[0m  \u001b[1m   526,153\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                  "]
[31.545126, "o", "         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  mfu              \u001b[0m  \u001b[1m     11.4%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hlo_flops_util \u2265 \u001b[0m  \u001b[1m     12.3%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hfu \u2265            \u001b[0m  \u001b[1m     12.3%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  uncounted kernels\u001b[0m  \u001b[1m     50.00\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98moptimizer                                                                                   \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  accepted         \u001b[0m  \u001b[1m    100.0%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  learning_rate    \u001b[0m  \u001b[1m 9.822e-04\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u283c\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[31.686648, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m"]
[31.686715, "o", "\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2578\u001b[0m\u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m176\u001b[0m\u001b[2m/1000\u001b[0m   18%  35.2\u001b[2m step/s\u001b[0m  0:00:21\u001b[2m + \u001b[0m0:00:23\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2mdata \u001b[0m\u001b[1;2m6,592\u001b[0m\u001b[2m rows\u001b[0m\u001b[2m  \u00b7  \u001b[0m\u001b[1;2m0\u001b[0m\u001b[2m rejected\u001b[0m                                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mtrain                                                                                       \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss             \u001b[0m  \u001b[1m     2.011\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  ce               \u001b[0m  \u001b[1m     2.011\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity       \u001b[0m  \u001b[1m     7.471\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  token_accuracy   \u001b[0m  \u001b[1m     40.5%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  data_wait_ms     \u001b[0m  \u001b[1m   0.01886\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  grad_norm        \u001b[0m  \u001b[1m     1.018\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  compiles         \u001b[0m  \u001b[1m     1.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_hits       \u001b[0m  \u001b[1m     9.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_misses     \u001b[0m  \u001b[1m     2.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  peak_memory_gib  \u001b[0m  \u001b[1m     4.016\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mthroughput                                                                                  \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  step_time_ms     \u001b[0m  \u001b[1m     30.55\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  samples_per_sec  \u001b[0m  \u001b[1m     2,095\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens           \u001b[0m  \u001b[1m    16,076\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens_per_s     \u001b[0m  \u001b[1m   526,153\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  mfu              \u001b[0m  \u001b[1m     11.4%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hlo_flops_util \u2265 \u001b[0m  \u001b[1m     12.3%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hfu \u2265            \u001b[0m  \u001b[1m     12.3%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  uncounted kernels\u001b[0m  \u001b[1m     50.00\u001b[0m  \u001b[38;"]
[31.686739, "o", "5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98moptimizer                                                                                   \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  accepted         \u001b[0m  \u001b[1m    100.0%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  learning_rate    \u001b[0m  \u001b[1m 9.822e-04\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2834\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[31.822582, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m"]
[31.822644, "o", "\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m181\u001b[0m\u001b[2m/1000\u001b[0m   18%  35.0\u001b[2m step/s\u001b[0m  0:00:22\u001b[2m + \u001b[0m0:00:23\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2mdata \u001b[0m\u001b[1;2m6,592\u001b[0m\u001b[2m rows\u001b[0m\u001b[2m  \u00b7  \u001b[0m\u001b[1;2m0\u001b[0m\u001b[2m rejected\u001b[0m                                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mtrain                                                                                       \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss             \u001b[0m  \u001b[1m     2.011\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  ce               \u001b[0m  \u001b[1m     2.011\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity       \u001b[0m  \u001b[1m     7.471\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  token_accuracy   \u001b[0m  \u001b[1m     40.5%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  data_wait_ms     \u001b[0m  \u001b[1m   0.01886\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  grad_norm        \u001b[0m  \u001b[1m     1.018\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  compiles         \u001b[0m  \u001b[1m     1.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_hits       \u001b[0m  \u001b[1m     9.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_misses     \u001b[0m  \u001b[1m     2.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  peak_memory_gib  \u001b[0m  \u001b[1m     4.016\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mthroughput                                                                                  \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  step_time_ms     \u001b[0m  \u001b[1m     30.55\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  samples_per_sec  \u001b[0m  \u001b[1m     2,095\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens           \u001b[0m  \u001b[1m    16,076\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens_per_s     \u001b[0m  \u001b[1m   526,153\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  mfu              \u001b[0m  \u001b[1m     11.4%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hlo_flops_util \u2265 \u001b[0m  \u001b[1m     12.3%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hfu \u2265            \u001b[0m  \u001b[1m     12.3%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  uncounted kernels\u001b[0m  \u001b[1m     50.00\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98moptimizer                                                                                   \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  accepted         \u001b[0m  \u001b[1m    100.0%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  learning_rate    \u001b[0m  \u001b[1m 9.822e-04\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                              "]
[31.822662, "o", "                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2827\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[31.958611, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m185\u001b[0m\u001b[2m/1000\u001b[0m   18%  35.0\u001b[2m step/s\u001b[0m  0:00:22\u001b[2m + \u001b[0m0:00:23\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2mdata \u001b[0m\u001b[1;2m6,592\u001b[0m\u001b[2m rows\u001b[0m\u001b[2m  \u00b7  \u001b[0m\u001b[1;2m0\u001b[0m\u001b[2m rejected\u001b[0m                                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mtrain                                                                                       \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss             \u001b[0m  \u001b[1m     2.011\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  ce               \u001b[0m  \u001b[1m     2.011\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity       \u001b[0m  \u001b[1m     7.471\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  token_accuracy   \u001b[0m  \u001b[1m     40.5%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  data_wait_ms     \u001b[0m  \u001b[1m   0.01886\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  grad_norm        \u001b[0m  \u001b[1m     1.018\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  compiles         \u001b[0m  \u001b[1m     1.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_hits       \u001b[0m  \u001b[1m     9.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_misses     \u001b[0m  \u001b[1m     2.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  peak_memory_gib  \u001b[0m  \u001b[1m     4.016\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mthroughput                                                                                  \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  step_time_ms     \u001b[0m  \u001b[1m     30.55\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  samples_per_sec  \u001b[0m  \u001b[1m     2,095\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens           \u001b[0m  \u001b[1m    16,076\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens_per_s     \u001b[0m  \u001b[1m   526,153\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                  "]
[31.958646, "o", "         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  mfu              \u001b[0m  \u001b[1m     11.4%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hlo_flops_util \u2265 \u001b[0m  \u001b[1m     12.3%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hfu \u2265            \u001b[0m  \u001b[1m     12.3%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  uncounted kernels\u001b[0m  \u001b[1m     50.00\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98moptimizer                                                                                   \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  accepted         \u001b[0m  \u001b[1m    100.0%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  learning_rate    \u001b[0m  \u001b[1m 9.822e-04\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u280f\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[32.0951, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m189\u001b[0m\u001b[2m/1000\u001b[0m   19%  34.9\u001b[2m step/s\u001b[0m  0:00:22\u001b[2m + \u001b[0m0:00:23\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2mdata \u001b[0m\u001b[1;2m6,592\u001b[0m\u001b[2m rows\u001b[0m\u001b[2m  \u00b7  \u001b[0m\u001b[1;2m0\u001b[0m\u001b[2m rejected\u001b[0m                                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mtrain                                                                                       \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss             \u001b[0m  \u001b[1m     2.011\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  ce               \u001b[0m  \u001b[1m     2.011\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity       \u001b[0m  \u001b[1m     7.471\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  token_accuracy   \u001b[0m  \u001b[1m     40.5%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  data_wait_ms     \u001b[0m  \u001b[1m   0.01886\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  grad_norm        \u001b[0m  \u001b[1m     1.018\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  compiles         \u001b[0m  \u001b[1m     1.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_hits       \u001b[0m  \u001b[1m     9.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_misses     \u001b[0m  \u001b[1m     2.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  peak_memory_gib  \u001b[0m  \u001b[1m     4.016\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mthroughput                                                                                  \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  step_time_ms     \u001b[0m  \u001b[1m     30.55\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  samples_per_sec  \u001b[0m  \u001b[1m     2,095\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens           \u001b[0m  \u001b[1m    16,076\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens_per_s     \u001b[0m  \u001b[1m   526,153\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                  "]
[32.095135, "o", "         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  mfu              \u001b[0m  \u001b[1m     11.4%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hlo_flops_util \u2265 \u001b[0m  \u001b[1m     12.3%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hfu \u2265            \u001b[0m  \u001b[1m     12.3%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  uncounted kernels\u001b[0m  \u001b[1m     50.00\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98moptimizer                                                                                   \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  accepted         \u001b[0m  \u001b[1m    100.0%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  learning_rate    \u001b[0m  \u001b[1m 9.822e-04\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2819\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[32.232992, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m"]
[32.233039, "o", "\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2578\u001b[0m\u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m194\u001b[0m\u001b[2m/1000\u001b[0m   19%  34.9\u001b[2m step/s\u001b[0m  0:00:22\u001b[2m + \u001b[0m0:00:23\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2mdata \u001b[0m\u001b[1;2m6,592\u001b[0m\u001b[2m rows\u001b[0m\u001b[2m  \u00b7  \u001b[0m\u001b[1;2m0\u001b[0m\u001b[2m rejected\u001b[0m                                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mtrain                                                                                       \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss             \u001b[0m  \u001b[1m     2.011\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  ce               \u001b[0m  \u001b[1m     2.011\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity       \u001b[0m  \u001b[1m     7.471\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  token_accuracy   \u001b[0m  \u001b[1m     40.5%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  data_wait_ms     \u001b[0m  \u001b[1m   0.01886\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  grad_norm        \u001b[0m  \u001b[1m     1.018\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  compiles         \u001b[0m  \u001b[1m     1.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_hits       \u001b[0m  \u001b[1m     9.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_misses     \u001b[0m  \u001b[1m     2.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  peak_memory_gib  \u001b[0m  \u001b[1m     4.016\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mthroughput                                                                                  \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  step_time_ms     \u001b[0m  \u001b[1m     30.55\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  samples_per_sec  \u001b[0m  \u001b[1m     2,095\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens           \u001b[0m  \u001b[1m    16,076\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens_per_s     \u001b[0m  \u001b[1m   526,153\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  mfu              \u001b[0m  \u001b[1m     11.4%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hlo_flops_util \u2265 \u001b[0m  \u001b[1m     12.3%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hfu \u2265            \u001b[0m  \u001b[1m     12.3%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  uncounted kernels\u001b[0m  \u001b[1m     50"]
[32.233085, "o", ".00\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98moptimizer                                                                                   \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  accepted         \u001b[0m  \u001b[1m    100.0%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  learning_rate    \u001b[0m  \u001b[1m 9.822e-04\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2839\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[32.367911, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m"]
[32.367982, "o", "\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2578\u001b[0m\u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m199\u001b[0m\u001b[2m/1000\u001b[0m   20%  34.8\u001b[2m step/s\u001b[0m  0:00:22\u001b[2m + \u001b[0m0:00:23\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2mdata \u001b[0m\u001b[1;2m6,592\u001b[0m\u001b[2m rows\u001b[0m\u001b[2m  \u00b7  \u001b[0m\u001b[1;2m0\u001b[0m\u001b[2m rejected\u001b[0m                                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mtrain                                                                                       \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss             \u001b[0m  \u001b[1m     2.011\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  ce               \u001b[0m  \u001b[1m     2.011\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity       \u001b[0m  \u001b[1m     7.471\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  token_accuracy   \u001b[0m  \u001b[1m     40.5%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  data_wait_ms     \u001b[0m  \u001b[1m   0.01886\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  grad_norm        \u001b[0m  \u001b[1m     1.018\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  compiles         \u001b[0m  \u001b[1m     1.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_hits       \u001b[0m  \u001b[1m     9.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_misses     \u001b[0m  \u001b[1m     2.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  peak_memory_gib  \u001b[0m  \u001b[1m     4.016\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mthroughput                                                                                  \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  step_time_ms     \u001b[0m  \u001b[1m     30.55\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  samples_per_sec  \u001b[0m  \u001b[1m     2,095\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens           \u001b[0m  \u001b[1m    16,076\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens_per_s     \u001b[0m  \u001b[1m   526,153\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  mfu              \u001b[0m  \u001b[1m     11.4%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hlo_flops_util \u2265 \u001b[0m  \u001b[1m     12.3%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hfu \u2265            \u001b[0m  \u001b[1m     12.3%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  uncounted kernels\u001b[0m  \u001b[1m     50"]
[32.367998, "o", ".00\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98moptimizer                                                                                   \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  accepted         \u001b[0m  \u001b[1m    100.0%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  learning_rate    \u001b[0m  \u001b[1m 9.822e-04\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u283c\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[32.50277, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2578\u001b[0m\u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m200\u001b[0m\u001b[2m/1000\u001b[0m   20%  34.8\u001b[2m step/s\u001b[0m  0:00:22\u001b[2m + \u001b[0m0:00:23\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2mdata \u001b[0m\u001b[1;2m6,592\u001b[0m\u001b[2m rows\u001b[0m\u001b[2m  \u00b7  \u001b[0m\u001b[1;2m0\u001b[0m\u001b[2m rejected\u001b[0m                                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mtrain                                                                                       \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss             \u001b[0m  \u001b[1m     2.011\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  ce               \u001b[0m  \u001b[1m     2.011\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity       \u001b[0m  \u001b[1m     7.471\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  token_accuracy   \u001b[0m  \u001b[1m     40.5%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  data_wait_ms     \u001b[0m  \u001b[1m   0.01886\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  grad_norm        \u001b[0m  \u001b[1m     1.018\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  compiles         \u001b[0m  \u001b[1m     1.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_hits       \u001b[0m  \u001b[1m     9.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_misses     \u001b[0m  \u001b[1m     2.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  peak_memory_gib  \u001b[0m  \u001b[1m     4.016\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mthroughput                                                                                  \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  step_time_ms     \u001b[0m  \u001b[1m     30.55\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  samples_per_sec  \u001b[0m  \u001b[1m     2,095\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens           \u001b[0m  \u001b[1m    16,076\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens_per_s     \u001b[0m  \u001b[1m   526,153\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                    "]
[32.502803, "o", "                       \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  mfu              \u001b[0m  \u001b[1m     11.4%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hlo_flops_util \u2265 \u001b[0m  \u001b[1m     12.3%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hfu \u2265            \u001b[0m  \u001b[1m     12.3%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  uncounted kernels\u001b[0m  \u001b[1m     50.00\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98moptimizer                                                                                   \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  accepted         \u001b[0m  \u001b[1m    100.0%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  learning_rate    \u001b[0m  \u001b[1m 9.822e-04\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2826\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[32.636743, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2578\u001b[0m\u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m200\u001b[0m\u001b[2m/1000\u001b[0m   20%  34.8\u001b[2m step/s\u001b[0m  0:00:22\u001b[2m + \u001b[0m0:00:23\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2mdata \u001b[0m\u001b[1;2m6,592\u001b[0m\u001b[2m rows\u001b[0m\u001b[2m  \u00b7  \u001b[0m\u001b[1;2m0\u001b[0m\u001b[2m rejected\u001b[0m                                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mtrain                                                                                       \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss             \u001b[0m  \u001b[1m     2.011\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  ce               \u001b[0m  \u001b[1m     2.011\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity       \u001b[0m  \u001b[1m     7.471\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  token_accuracy   \u001b[0m  \u001b[1m     40.5%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  data_wait_ms     \u001b[0m  \u001b[1m   0.01886\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  grad_norm        \u001b[0m  \u001b[1m     1.018\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  compiles         \u001b[0m  \u001b[1m     1.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_hits       \u001b[0m  \u001b[1m     9.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_misses     \u001b[0m  \u001b[1m     2.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  peak_memory_gib  \u001b[0m  \u001b[1m     4.016\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mthroughput                                                                                  \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  step_time_ms     \u001b[0m  \u001b[1m     30.55\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  samples_per_sec  \u001b[0m  \u001b[1m     2,095\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens           \u001b[0m  \u001b[1m    16,076\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens_per_s     \u001b[0m  \u001b[1m   526,153\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                    "]
[32.636796, "o", "                       \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  mfu              \u001b[0m  \u001b[1m     11.4%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hlo_flops_util \u2265 \u001b[0m  \u001b[1m     12.3%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hfu \u2265            \u001b[0m  \u001b[1m     12.3%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  uncounted kernels\u001b[0m  \u001b[1m     50.00\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98moptimizer                                                                                   \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  accepted         \u001b[0m  \u001b[1m    100.0%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  learning_rate    \u001b[0m  \u001b[1m 9.822e-04\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2827\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[32.778329, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2578\u001b[0m\u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m204\u001b[0m\u001b[2m/1000\u001b[0m   20%  33.2\u001b[2m step/s\u001b[0m  0:00:22\u001b[2m + \u001b[0m0:00:24\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2mdata \u001b[0m\u001b[1;2m12,992\u001b[0m\u001b[2m rows\u001b[0m\u001b[2m  \u00b7  \u001b[0m\u001b[1;2m0\u001b[0m\u001b[2m rejected\u001b[0m                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mtrain                                                                                       \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss             \u001b[0m  \u001b[1m     1.625\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 19%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  ce               \u001b[0m  \u001b[1m     1.625\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 19%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity       \u001b[0m  \u001b[1m     5.079\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 32%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  token_accuracy   \u001b[0m  \u001b[1m     50.4%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 9.9 pt\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  data_wait_ms     \u001b[0m  \u001b[1m   0.01962\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m   \u2191 4.1%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  grad_norm        \u001b[0m  \u001b[1m    0.4653\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 54%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  compiles         \u001b[0m  \u001b[1m     1.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m        \u2192\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_hits       \u001b[0m  \u001b[1m     9.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m        \u2192\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_misses     \u001b[0m  \u001b[1m     3.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m    \u2191 50%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  peak_memory_gib  \u001b[0m  \u001b[1m     4.016\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m        \u2192\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mthroughput                                                                                  \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  step_time_ms     \u001b[0m  \u001b[1m     30.20\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m   \u2193 1.2%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  samples_per_sec  \u001b[0m  \u001b[1m     2,120\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m   \u2191 1.2%\u001b[0m"]
[32.778354, "o", "                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens           \u001b[0m  \u001b[1m    16,055\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m   \u2193 0.1%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens_per_s     \u001b[0m  \u001b[1m   531,694\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m   \u2191 1.1%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  mfu              \u001b[0m  \u001b[1m     11.5%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 0.1 pt\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hlo_flops_util \u2265 \u001b[0m  \u001b[1m     12.4%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 0.1 pt\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hfu \u2265            \u001b[0m  \u001b[1m     12.4%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 0.1 pt\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  uncounted kernels\u001b[0m  \u001b[1m     50.00\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m        \u2192\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98moptimizer                                                                                   \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  accepted         \u001b[0m  \u001b[1m    100.0%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m        \u2192\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  learning_rate    \u001b[0m  \u001b[1m 9.215e-04\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m   \u2193 6.2%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u280f\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[32.917993, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m209\u001b[0m\u001b[2m/1000\u001b[0m   21%  33.2\u001b[2m step/s\u001b[0m  0:00:23\u001b[2m + \u001b[0m0:00:24\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2mdata \u001b[0m\u001b[1;2m12,992\u001b[0m\u001b[2m rows\u001b[0m\u001b[2m  \u00b7  \u001b[0m\u001b[1;2m0\u001b[0m\u001b[2m rejected\u001b[0m                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mtrain                                                                                       \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss             \u001b[0m  \u001b[1m     1.625\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 19%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  ce               \u001b[0m  \u001b[1m     1.625\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 19%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity       \u001b[0m  \u001b[1m     5.079\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 32%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  token_accuracy   \u001b[0m  \u001b[1m     50.4%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 9.9 pt\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  data_wait_ms     \u001b[0m  \u001b[1m   0.01962\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m   \u2191 4.1%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  grad_norm        \u001b[0m  \u001b[1m    0.4653\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 54%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  compiles         \u001b[0m  \u001b[1m     1.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m        \u2192\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_hits       \u001b[0m  \u001b[1m     9.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m        \u2192\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_misses     \u001b[0m  \u001b[1m     3.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m    \u2191 50%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  peak_memory_gib  \u001b[0m  \u001b[1m     4.016\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m        \u2192\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mthroughput                                                                                  \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  step_time_ms     \u001b[0m  \u001b[1m     30.20\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m   \u2193 1.2%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  samples_per_sec  \u001b[0m  \u001b[1m     2,120\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m   \u2191 1.2%\u001b[0m"]
[32.918031, "o", "                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens           \u001b[0m  \u001b[1m    16,055\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m   \u2193 0.1%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens_per_s     \u001b[0m  \u001b[1m   531,694\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m   \u2191 1.1%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  mfu              \u001b[0m  \u001b[1m     11.5%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 0.1 pt\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hlo_flops_util \u2265 \u001b[0m  \u001b[1m     12.4%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 0.1 pt\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hfu \u2265            \u001b[0m  \u001b[1m     12.4%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 0.1 pt\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  uncounted kernels\u001b[0m  \u001b[1m     50.00\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m        \u2192\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98moptimizer                                                                                   \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  accepted         \u001b[0m  \u001b[1m    100.0%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m        \u2192\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  learning_rate    \u001b[0m  \u001b[1m 9.215e-04\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m   \u2193 6.2%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2819\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[33.062475, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m215\u001b[0m\u001b[2m/1000\u001b[0m   22%  33.5\u001b[2m step/s\u001b[0m  0:00:23\u001b[2m + \u001b[0m0:00:23\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2mdata \u001b[0m\u001b[1;2m12,992\u001b[0m\u001b[2m rows\u001b[0m\u001b[2m  \u00b7  \u001b[0m\u001b[1;2m0\u001b[0m\u001b[2m rejected\u001b[0m                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mtrain                                                                                       \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss             \u001b[0m  \u001b[1m     1.625\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 19%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  ce               \u001b[0m  \u001b[1m     1.625\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 19%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity       \u001b[0m  \u001b[1m     5.079\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 32%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  token_accuracy   \u001b[0m  \u001b[1m     50.4%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 9.9 pt\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  data_wait_ms     \u001b[0m  \u001b[1m   0.01962\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m   \u2191 4.1%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  grad_norm        \u001b[0m  \u001b[1m    0.4653\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 54%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  compiles         \u001b[0m  \u001b[1m     1.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m        \u2192\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_hits       \u001b[0m  \u001b[1m     9.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m        \u2192\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_misses     \u001b[0m  \u001b[1m     3.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m    \u2191 50%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  peak_memory_gib  \u001b[0m  \u001b[1m     4.016\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m        \u2192\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mthroughput                                                                                  \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  step_time_ms     \u001b[0m  \u001b[1m     30.20\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m   \u2193 1.2%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  samples_per_sec  \u001b[0m  \u001b[1m     2,120\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m   \u2191 1.2%\u001b[0m"]
[33.062502, "o", "                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens           \u001b[0m  \u001b[1m    16,055\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m   \u2193 0.1%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens_per_s     \u001b[0m  \u001b[1m   531,694\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m   \u2191 1.1%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  mfu              \u001b[0m  \u001b[1m     11.5%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 0.1 pt\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hlo_flops_util \u2265 \u001b[0m  \u001b[1m     12.4%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 0.1 pt\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hfu \u2265            \u001b[0m  \u001b[1m     12.4%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 0.1 pt\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  uncounted kernels\u001b[0m  \u001b[1m     50.00\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m        \u2192\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98moptimizer                                                                                   \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  accepted         \u001b[0m  \u001b[1m    100.0%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m        \u2192\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  learning_rate    \u001b[0m  \u001b[1m 9.215e-04\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m   \u2193 6.2%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2838\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[33.20032, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;68m\u2578\u001b[0m\u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m220\u001b[0m\u001b[2m/1000\u001b[0m   22%  33.5\u001b[2m step/s\u001b[0m  0:00:23\u001b[2m + \u001b[0m0:00:23\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2mdata \u001b[0m\u001b[1;2m12,992\u001b[0m\u001b[2m rows\u001b[0m\u001b[2m  \u00b7  \u001b[0m\u001b[1;2m0\u001b[0m\u001b[2m rejected\u001b[0m                                                              \u001b[38;5;38m\u2502\u001b[0m"]
[33.200381, "o", "\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mtrain                                                                                       \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss             \u001b[0m  \u001b[1m     1.625\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 19%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  ce               \u001b[0m  \u001b[1m     1.625\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 19%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity       \u001b[0m  \u001b[1m     5.079\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 32%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  token_accuracy   \u001b[0m  \u001b[1m     50.4%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 9.9 pt\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  data_wait_ms     \u001b[0m  \u001b[1m   0.01962\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m   \u2191 4.1%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  grad_norm        \u001b[0m  \u001b[1m    0.4653\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 54%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  compiles         \u001b[0m  \u001b[1m     1.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m        \u2192\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_hits       \u001b[0m  \u001b[1m     9.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m        \u2192\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_misses     \u001b[0m  \u001b[1m     3.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m    \u2191 50%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  peak_memory_gib  \u001b[0m  \u001b[1m     4.016\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m        \u2192\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mthroughput                                                                                  \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  step_time_ms     \u001b[0m  \u001b[1m     30.20\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m   \u2193 1.2%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  samples_per_sec  \u001b[0m  \u001b[1m     2,120\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m   \u2191 1.2%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens           \u001b[0m  \u001b[1m    16,055\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m   \u2193 0.1%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens_per_s     \u001b[0m  \u001b[1m   531,694\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m   \u2191 1.1%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  mfu              \u001b[0m  \u001b[1m     11.5%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 0.1 pt\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hlo_flops_util \u2265 \u001b[0m  \u001b[1m     12.4%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 0.1 pt\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hfu \u2265            \u001b[0m  \u001b[1m     12.4%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 0.1 pt\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  uncounted kernels\u001b[0m  \u001b[1m     50.00\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m        \u2192\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98moptimizer                                                                                   \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  accepted         \u001b[0m  \u001b[1m    100.0%\u001b[0m  \u001b[38;5;38m"]
[33.200401, "o", "\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m        \u2192\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  learning_rate    \u001b[0m  \u001b[1m 9.215e-04\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m   \u2193 6.2%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u283c\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[33.344744, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;68m\u2578\u001b[0m\u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m226\u001b[0m\u001b[2m/1000\u001b[0m   23%  33.5\u001b[2m step/s\u001b[0m  0:00:23\u001b[2m + \u001b[0m0:00:23\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2mdata \u001b[0m\u001b[1;2m12,992\u001b[0m\u001b[2m rows\u001b[0m\u001b[2m  \u00b7  \u001b[0m\u001b[1;2m0\u001b[0m\u001b[2m rejected\u001b[0m                                                              \u001b[38;5;38m\u2502\u001b[0m"]
[33.344763, "o", "\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mtrain                                                                                       \u001b[0m \u001b[38;5;38m\u2502\u001b[0m"]
[33.344773, "o", "\r\n"]
[33.344855, "o", "\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss             \u001b[0m  \u001b[1m     1.625\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 19%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  ce               \u001b[0m  \u001b[1m     1.625\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 19%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity       \u001b[0m  \u001b[1m     5.079\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 32%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  token_accuracy   \u001b[0m  \u001b[1m     50.4%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 9.9 pt\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  data_wait_ms     \u001b[0m  \u001b[1m   0.01962\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m   \u2191 4.1%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  grad_norm        \u001b[0m  \u001b[1m    0.4653\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 54%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  compiles         \u001b[0m  \u001b[1m     1.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m        \u2192\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_hits       \u001b[0m  \u001b[1m     9.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m        \u2192\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_misses     \u001b[0m  \u001b[1m     3.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m    \u2191 50%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  peak_memory_gib  \u001b[0m  \u001b[1m     4.016\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m        \u2192\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mthroughput                                                                                  \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  step_time_ms     \u001b[0m  \u001b[1m     30.20\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m   \u2193 1.2%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  samples_per_sec  \u001b[0m  \u001b[1m     2,120\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m   \u2191 1.2%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens           \u001b[0m  \u001b[1m    16,055\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m   \u2193 0.1%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens_per_s     \u001b[0m  \u001b[1m   531,694\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m   \u2191 1.1%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  mfu              \u001b[0m  \u001b[1m     11.5%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 0.1 pt\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hlo_flops_util \u2265 \u001b[0m  \u001b[1m     12.4%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 0.1 pt\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hfu \u2265            \u001b[0m  \u001b[1m     12.4%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 0.1 pt\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  uncounted kernels\u001b[0m  \u001b[1m     50.00\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m        \u2192\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98moptimizer                                                                                   \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  accepted         \u001b[0m  \u001b[1m    100.0%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m        \u2192\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  learning_rate    \u001b[0m  \u001b[1m 9.215e-04\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m   \u2193 6.2%\u001b[0m                                             "]
[33.344869, "o", "  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2826\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[33.48194, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m232\u001b[0m\u001b[2m/1000\u001b[0m   23%  33.5\u001b[2m step/s\u001b[0m  0:00:23\u001b[2m + \u001b[0m0:00:23\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2mdata \u001b[0m\u001b[1;2m12,992\u001b[0m\u001b[2m rows\u001b[0m\u001b[2m  \u00b7  \u001b[0m\u001b[1;2m0\u001b[0m\u001b[2m rejected\u001b[0m                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mtrain                                                                                       \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss             \u001b[0m  \u001b[1m     1.625\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 19%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  ce               \u001b[0m  \u001b[1m     1.625\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 19%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity       \u001b[0m  \u001b[1m     5.079\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 32%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  token_accuracy   \u001b[0m  \u001b[1m     50.4%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 9.9 pt\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  data_wait_ms     \u001b[0m  \u001b[1m   0.01962\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m   \u2191 4.1%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  grad_norm        \u001b[0m  \u001b[1m    0.4653\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 54%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  compiles         \u001b[0m  \u001b[1m     1.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m        \u2192\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_hits       \u001b[0m  \u001b[1m     9.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m        \u2192\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_misses     \u001b[0m  \u001b[1m     3.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m    \u2191 50%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  peak_memory_gib  \u001b[0m  \u001b[1m     4.016\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m        \u2192\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mthroughput                                                                                  \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  step_time_ms     \u001b[0m  \u001b[1m     30.20\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m   \u2193 1.2%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  samples_per_sec  \u001b[0m  \u001b[1m     2,120\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m "]
[33.481985, "o", "  \u2191 1.2%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens           \u001b[0m  \u001b[1m    16,055\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m   \u2193 0.1%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens_per_s     \u001b[0m  \u001b[1m   531,694\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m   \u2191 1.1%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  mfu              \u001b[0m  \u001b[1m     11.5%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 0.1 pt\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hlo_flops_util \u2265 \u001b[0m  \u001b[1m     12.4%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 0.1 pt\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hfu \u2265            \u001b[0m  \u001b[1m     12.4%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 0.1 pt\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  uncounted kernels\u001b[0m  \u001b[1m     50.00\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m        \u2192\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98moptimizer                                                                                   \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  accepted         \u001b[0m  \u001b[1m    100.0%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m        \u2192\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  learning_rate    \u001b[0m  \u001b[1m 9.215e-04\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m   \u2193 6.2%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2807\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[33.622137, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m237\u001b[0m\u001b[2m/1000\u001b[0m   24%  33.5\u001b[2m step/s\u001b[0m  0:00:23\u001b[2m + \u001b[0m0:00:23\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2mdata \u001b[0m\u001b[1;2m12,992\u001b[0m\u001b[2m rows\u001b[0m\u001b[2m  \u00b7  \u001b[0m\u001b[1;2m0\u001b[0m\u001b[2m rejected\u001b[0m                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mtrain                                                                                       \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss             \u001b[0m  \u001b[1m     1.625\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 19%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  ce               \u001b[0m  \u001b[1m     1.625\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 19%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity       \u001b[0m  \u001b[1m     5.079\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 32%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  token_accuracy   \u001b[0m  \u001b[1m     50.4%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 9.9 pt\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  data_wait_ms     \u001b[0m  \u001b[1m   0.01962\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m   \u2191 4.1%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  grad_norm        \u001b[0m  \u001b[1m    0.4653\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 54%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  compiles         \u001b[0m  \u001b[1m     1.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m        \u2192\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_hits       \u001b[0m  \u001b[1m     9.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m        \u2192\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_misses     \u001b[0m  \u001b[1m     3.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m    \u2191 50%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  peak_memory_gib  \u001b[0m  \u001b[1m     4.016\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m        \u2192\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mthroughput                                                                                  \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  step_time_ms     \u001b[0m  \u001b[1m     30.20\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m   \u2193 1.2%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  samples_per_sec  \u001b[0m  \u001b[1m     2,120\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m "]
[33.622161, "o", "  \u2191 1.2%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens           \u001b[0m  \u001b[1m    16,055\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m   \u2193 0.1%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens_per_s     \u001b[0m  \u001b[1m   531,694\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m   \u2191 1.1%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  mfu              \u001b[0m  \u001b[1m     11.5%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 0.1 pt\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hlo_flops_util \u2265 \u001b[0m  \u001b[1m     12.4%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 0.1 pt\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hfu \u2265            \u001b[0m  \u001b[1m     12.4%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 0.1 pt\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  uncounted kernels\u001b[0m  \u001b[1m     50.00\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m        \u2192\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98moptimizer                                                                                   \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  accepted         \u001b[0m  \u001b[1m    100.0%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m        \u2192\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  learning_rate    \u001b[0m  \u001b[1m 9.215e-04\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m   \u2193 6.2%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u280b\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[33.770157, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m243\u001b[0m\u001b[2m/1000\u001b[0m   24%  33.4\u001b[2m step/s\u001b[0m  0:00:23\u001b[2m + \u001b[0m0:00:23\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2mdata \u001b[0m\u001b[1;2m12,992\u001b[0m\u001b[2m rows\u001b[0m\u001b[2m  \u00b7  \u001b[0m\u001b[1;2m0\u001b[0m\u001b[2m rejected\u001b[0m                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mtrain                                                                                       \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss             \u001b[0m  \u001b[1m     1.625\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 19%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  ce               \u001b[0m  \u001b[1m     1.625\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 19%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity       \u001b[0m  \u001b[1m     5.079\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 32%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  token_accuracy   \u001b[0m  \u001b[1m     50.4%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 9.9 pt\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  data_wait_ms     \u001b[0m  \u001b[1m   0.01962\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m   \u2191 4.1%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  grad_norm        \u001b[0m  \u001b[1m    0.4653\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 54%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  compiles         \u001b[0m  \u001b[1m     1.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m        \u2192\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_hits       \u001b[0m  \u001b[1m     9.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m        \u2192\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_misses     \u001b[0m  \u001b[1m     3.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m    \u2191 50%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  peak_memory_gib  \u001b[0m  \u001b[1m     4.016\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m        \u2192\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mthroughput                                                                                  \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  step_time_ms     \u001b[0m  \u001b[1m     30.20\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m   \u2193 1.2%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  samples_per_sec  \u001b[0m  \u001b[1m     2,120\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m "]
[33.770191, "o", "  \u2191 1.2%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens           \u001b[0m  \u001b[1m    16,055\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m   \u2193 0.1%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens_per_s     \u001b[0m  \u001b[1m   531,694\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m   \u2191 1.1%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  mfu              \u001b[0m  \u001b[1m     11.5%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 0.1 pt\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hlo_flops_util \u2265 \u001b[0m  \u001b[1m     12.4%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 0.1 pt\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hfu \u2265            \u001b[0m  \u001b[1m     12.4%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 0.1 pt\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  uncounted kernels\u001b[0m  \u001b[1m     50.00\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m        \u2192\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98moptimizer                                                                                   \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  accepted         \u001b[0m  \u001b[1m    100.0%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m        \u2192\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  learning_rate    \u001b[0m  \u001b[1m 9.215e-04\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m   \u2193 6.2%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2819\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[33.92406, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2578\u001b[0m\u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m249\u001b[0m\u001b[2m/1000\u001b[0m   25%  33.4\u001b[2m step/s\u001b[0m  0:00:24\u001b[2m + \u001b[0m0:00:23\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2mdata \u001b[0m\u001b[1;2m12,992\u001b[0m\u001b[2m rows\u001b[0m\u001b[2m  \u00b7  \u001b[0m\u001b[1;2m0\u001b[0m\u001b[2m rejected\u001b[0m                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mtrain                                                                                       \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss             \u001b[0m  \u001b[1m     1.625\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 19%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  ce               \u001b[0m  \u001b[1m     1.625\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 19%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity       \u001b[0m  \u001b[1m     5.079\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 32%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  token_accuracy   \u001b[0m  \u001b[1m     50.4%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 9.9 pt\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  data_wait_ms     \u001b[0m  \u001b[1m   0.01962\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m   \u2191 4.1%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  grad_norm        \u001b[0m  \u001b[1m    0.4653\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 54%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  compiles         \u001b[0m  \u001b[1m     1.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m        \u2192\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_hits       \u001b[0m  \u001b[1m     9.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m        \u2192\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_misses     \u001b[0m  \u001b[1m     3.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m    \u2191 50%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  peak_memory_gib  \u001b[0m  \u001b[1m     4.016\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m        \u2192\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mthroughput                                                                                  \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  step_time_ms     \u001b[0m  \u001b[1m     30.20\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m   \u2193 1.2%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  samples_per_sec  \u001b[0m  \u001b[1m     2,120\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2588\u001b[0"]
[33.924094, "o", "m  \u001b[38;5;71m   \u2191 1.2%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens           \u001b[0m  \u001b[1m    16,055\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m   \u2193 0.1%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens_per_s     \u001b[0m  \u001b[1m   531,694\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m   \u2191 1.1%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  mfu              \u001b[0m  \u001b[1m     11.5%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 0.1 pt\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hlo_flops_util \u2265 \u001b[0m  \u001b[1m     12.4%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 0.1 pt\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hfu \u2265            \u001b[0m  \u001b[1m     12.4%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 0.1 pt\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  uncounted kernels\u001b[0m  \u001b[1m     50.00\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m        \u2192\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98moptimizer                                                                                   \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  accepted         \u001b[0m  \u001b[1m    100.0%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m        \u2192\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  learning_rate    \u001b[0m  \u001b[1m 9.215e-04\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m   \u2193 6.2%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2838\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[34.074765, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2578\u001b[0m\u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m255\u001b[0m\u001b[2m/1000\u001b[0m   26%  33.3\u001b[2m step/s\u001b[0m  0:00:24\u001b[2m + \u001b[0m0:00:22\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2mdata \u001b[0m\u001b[1;2m12,992\u001b[0m\u001b[2m rows\u001b[0m\u001b[2m  \u00b7  \u001b[0m\u001b[1;2m0\u001b[0m\u001b[2m rejected\u001b[0m                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mtrain                                                                                       \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss             \u001b[0m  \u001b[1m     1.625\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 19%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  ce               \u001b[0m  \u001b[1m     1.625\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 19%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity       \u001b[0m  \u001b[1m     5.079\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 32%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  token_accuracy   \u001b[0m  \u001b[1m     50.4%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 9.9 pt\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  data_wait_ms     \u001b[0m  \u001b[1m   0.01962\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m   \u2191 4.1%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  grad_norm        \u001b[0m  \u001b[1m    0.4653\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 54%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  compiles         \u001b[0m  \u001b[1m     1.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m        \u2192\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_hits       \u001b[0m  \u001b[1m     9.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m        \u2192\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_misses     \u001b[0m  \u001b[1m     3.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m    \u2191 50%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  peak_memory_gib  \u001b[0m  \u001b[1m     4.016\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m        \u2192\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mthroughput                                                                                  \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  step_time_ms     \u001b[0m  \u001b[1m     30.20\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m   \u2193 1.2%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  samples_per_sec  \u001b[0m  \u001b[1m     2,120\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2588\u001b[0"]
[34.074803, "o", "m  \u001b[38;5;71m   \u2191 1.2%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens           \u001b[0m  \u001b[1m    16,055\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m   \u2193 0.1%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens_per_s     \u001b[0m  \u001b[1m   531,694\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m   \u2191 1.1%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  mfu              \u001b[0m  \u001b[1m     11.5%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 0.1 pt\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hlo_flops_util \u2265 \u001b[0m  \u001b[1m     12.4%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 0.1 pt\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hfu \u2265            \u001b[0m  \u001b[1m     12.4%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 0.1 pt\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  uncounted kernels\u001b[0m  \u001b[1m     50.00\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m        \u2192\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98moptimizer                                                                                   \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  accepted         \u001b[0m  \u001b[1m    100.0%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m        \u2192\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  learning_rate    \u001b[0m  \u001b[1m 9.215e-04\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m   \u2193 6.2%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2834\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[34.226236, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m261\u001b[0m\u001b[2m/1000\u001b[0m   26%  33.3\u001b[2m step/s\u001b[0m  0:00:24\u001b[2m + \u001b[0m0:00:22\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2mdata \u001b[0m\u001b[1;2m12,992\u001b[0m\u001b[2m rows\u001b[0m\u001b[2m  \u00b7  \u001b[0m\u001b[1;2m0\u001b[0m\u001b[2m rejected\u001b[0m                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mtrain                                                                                       \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss             \u001b[0m  \u001b[1m     1.625\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 19%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  ce               \u001b[0m  \u001b[1m     1.625\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 19%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity       \u001b[0m  \u001b[1m     5.079\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 32%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  token_accuracy   \u001b[0m  \u001b[1m     50.4%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 9.9 pt\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  data_wait_ms     \u001b[0m  \u001b[1m   0.01962\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m   \u2191 4.1%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  grad_norm        \u001b[0m  \u001b[1m    0.4653\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 54%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  compiles         \u001b[0m  \u001b[1m     1.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m        \u2192\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_hits       \u001b[0m  \u001b[1m     9.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m        \u2192\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_misses     \u001b[0m  \u001b[1m     3.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m    \u2191 50%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  peak_memory_gib  \u001b[0m  \u001b[1m     4.016\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m        \u2192\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mthroughput                                                                                  \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  step_time_ms     \u001b[0m  \u001b[1m     30.20\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m   \u2193 1.2%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  samples_per_sec  \u001b[0m  \u001b[1m     2,120\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2588\u001b[0"]
[34.226261, "o", "m  \u001b[38;5;71m   \u2191 1.2%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens           \u001b[0m  \u001b[1m    16,055\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m   \u2193 0.1%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens_per_s     \u001b[0m  \u001b[1m   531,694\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m   \u2191 1.1%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  mfu              \u001b[0m  \u001b[1m     11.5%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 0.1 pt\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hlo_flops_util \u2265 \u001b[0m  \u001b[1m     12.4%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 0.1 pt\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hfu \u2265            \u001b[0m  \u001b[1m     12.4%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 0.1 pt\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  uncounted kernels\u001b[0m  \u001b[1m     50.00\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m        \u2192\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98moptimizer                                                                                   \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  accepted         \u001b[0m  \u001b[1m    100.0%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m        \u2192\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  learning_rate    \u001b[0m  \u001b[1m 9.215e-04\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m   \u2193 6.2%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2827\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[34.363198, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m266\u001b[0m\u001b[2m/1000\u001b[0m   27%  33.2\u001b[2m step/s\u001b[0m  0:00:24\u001b[2m + \u001b[0m0:00:22\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2mdata \u001b[0m\u001b[1;2m12,992\u001b[0m\u001b[2m rows\u001b[0m\u001b[2m  \u00b7  \u001b[0m\u001b[1;2m0\u001b[0m\u001b[2m rejected\u001b[0m                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mtrain                                                                                       \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss             \u001b[0m  \u001b[1m     1.625\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 19%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  ce               \u001b[0m  \u001b[1m     1.625\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 19%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity       \u001b[0m  \u001b[1m     5.079\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 32%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  token_accuracy   \u001b[0m  \u001b[1m     50.4%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 9.9 pt\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  data_wait_ms     \u001b[0m  \u001b[1m   0.01962\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m   \u2191 4.1%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  grad_norm        \u001b[0m  \u001b[1m    0.4653\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 54%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  compiles         \u001b[0m  \u001b[1m     1.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m        \u2192\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_hits       \u001b[0m  \u001b[1m     9.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m        \u2192\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_misses     \u001b[0m  \u001b[1m     3.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m    \u2191 50%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  peak_memory_gib  \u001b[0m  \u001b[1m     4.016\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m        \u2192\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mthroughput                                                                                  \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  step_time_ms     \u001b[0m  \u001b[1m     30.20\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m   \u2193 1.2%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  samples_per_sec  \u001b[0m  \u001b[1m     2,120\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2588\u001b[0"]
[34.363222, "o", "m  \u001b[38;5;71m   \u2191 1.2%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens           \u001b[0m  \u001b[1m    16,055\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m   \u2193 0.1%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens_per_s     \u001b[0m  \u001b[1m   531,694\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m   \u2191 1.1%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  mfu              \u001b[0m  \u001b[1m     11.5%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 0.1 pt\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hlo_flops_util \u2265 \u001b[0m  \u001b[1m     12.4%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 0.1 pt\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hfu \u2265            \u001b[0m  \u001b[1m     12.4%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 0.1 pt\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  uncounted kernels\u001b[0m  \u001b[1m     50.00\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m        \u2192\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98moptimizer                                                                                   \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  accepted         \u001b[0m  \u001b[1m    100.0%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m        \u2192\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  learning_rate    \u001b[0m  \u001b[1m 9.215e-04\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m   \u2193 6.2%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u280f\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[34.513201, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2578\u001b[0m\u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m271\u001b[0m\u001b[2m/1000\u001b[0m   27%  33.2\u001b[2m step/s\u001b[0m  0:00:24\u001b[2m + \u001b[0m0:00:22\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2mdata \u001b[0m\u001b[1;2m12,992\u001b[0m\u001b[2m rows\u001b[0m\u001b[2m  \u00b7  \u001b[0m\u001b[1;2m0\u001b[0m\u001b[2m rejected\u001b[0m                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mtrain                                                                                       \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss             \u001b[0m  \u001b[1m     1.625\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 19%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  ce               \u001b[0m  \u001b[1m     1.625\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 19%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity       \u001b[0m  \u001b[1m     5.079\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 32%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  token_accuracy   \u001b[0m  \u001b[1m     50.4%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 9.9 pt\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  data_wait_ms     \u001b[0m  \u001b[1m   0.01962\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m   \u2191 4.1%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  grad_norm        \u001b[0m  \u001b[1m    0.4653\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 54%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  compiles         \u001b[0m  \u001b[1m     1.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m        \u2192\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_hits       \u001b[0m  \u001b[1m     9.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m        \u2192\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_misses     \u001b[0m  \u001b[1m     3.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m    \u2191 50%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  peak_memory_gib  \u001b[0m  \u001b[1m     4.016\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m        \u2192\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mthroughput                                                                                  \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  step_time_ms     \u001b[0m  \u001b[1m     30.20\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m   \u2193 1.2%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  samples_per_sec  \u001b[0m  \u001b[1m     2,120\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b["]
[34.513226, "o", "38;5;98m\u2588\u001b[0m  \u001b[38;5;71m   \u2191 1.2%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens           \u001b[0m  \u001b[1m    16,055\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m   \u2193 0.1%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens_per_s     \u001b[0m  \u001b[1m   531,694\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m   \u2191 1.1%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  mfu              \u001b[0m  \u001b[1m     11.5%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 0.1 pt\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hlo_flops_util \u2265 \u001b[0m  \u001b[1m     12.4%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 0.1 pt\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hfu \u2265            \u001b[0m  \u001b[1m     12.4%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 0.1 pt\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  uncounted kernels\u001b[0m  \u001b[1m     50.00\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m        \u2192\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98moptimizer                                                                                   \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  accepted         \u001b[0m  \u001b[1m    100.0%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m        \u2192\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  learning_rate    \u001b[0m  \u001b[1m 9.215e-04\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m   \u2193 6.2%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2819\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[34.656384, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m"]
[34.656425, "o", "\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2578\u001b[0m\u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m276\u001b[0m\u001b[2m/1000\u001b[0m   28%  33.4\u001b[2m step/s\u001b[0m  0:00:24\u001b[2m + \u001b[0m0:00:22\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2mdata \u001b[0m\u001b[1;2m12,992\u001b[0m\u001b[2m rows\u001b[0m\u001b[2m  \u00b7  \u001b[0m\u001b[1;2m0\u001b[0m\u001b[2m rejected\u001b[0m                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mtrain                                                                                       \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss             \u001b[0m  \u001b[1m     1.625\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 19%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  ce               \u001b[0m  \u001b[1m     1.625\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 19%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity       \u001b[0m  \u001b[1m     5.079\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 32%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  token_accuracy   \u001b[0m  \u001b[1m     50.4%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 9.9 pt\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  data_wait_ms     \u001b[0m  \u001b[1m   0.01962\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m   \u2191 4.1%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  grad_norm        \u001b[0m  \u001b[1m    0.4653\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 54%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  compiles         \u001b[0m  \u001b[1m     1.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m        \u2192\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_hits       \u001b[0m  \u001b[1m     9.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m        \u2192\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_misses     \u001b[0m  \u001b[1m     3.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m    \u2191 50%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  peak_memory_gib  \u001b[0m  \u001b[1m     4.016\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m        \u2192\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mthroughput                                                                                  \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  step_time_ms     \u001b[0m  \u001b[1m     30.20\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m   \u2193 1.2%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  samples_per_sec  \u001b[0m  \u001b[1m     2,120\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m   \u2191 1.2%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens           \u001b[0m  \u001b[1m    16,055\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m   \u2193 0.1%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens_per_s     \u001b[0m  \u001b[1m   531,694\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m   \u2191 1.1%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  mfu              \u001b[0m  \u001b[1m     11.5%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2588\u001b[0"]
[34.656442, "o", "m  \u001b[38;5;71m \u2191 0.1 pt\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hlo_flops_util \u2265 \u001b[0m  \u001b[1m     12.4%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 0.1 pt\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hfu \u2265            \u001b[0m  \u001b[1m     12.4%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 0.1 pt\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  uncounted kernels\u001b[0m  \u001b[1m     50.00\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m        \u2192\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98moptimizer                                                                                   \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  accepted         \u001b[0m  \u001b[1m    100.0%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m        \u2192\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  learning_rate    \u001b[0m  \u001b[1m 9.215e-04\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m   \u2193 6.2%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2838\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[34.792582, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n"]
[34.792596, "o", "\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2578\u001b[0m\u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m281\u001b[0m\u001b[2m/1000\u001b[0m   28%  33.6\u001b[2m step/s\u001b[0m  0:00:25\u001b[2m + \u001b[0m0:00:21\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2mdata \u001b[0m\u001b[1;2m12,992\u001b[0m\u001b[2m rows\u001b[0m\u001b[2m  \u00b7  \u001b[0m\u001b[1;2m0\u001b[0m\u001b[2m rejected\u001b[0m                                                              \u001b[38;5;38m\u2502\u001b[0m"]
[34.792603, "o", "\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m"]
[34.792669, "o", "\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mtrain                                                                                       \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss             \u001b[0m  \u001b[1m     1.625\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 19%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  ce               \u001b[0m  \u001b[1m     1.625\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 19%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity       \u001b[0m  \u001b[1m     5.079\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 32%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  token_accuracy   \u001b[0m  \u001b[1m     50.4%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 9.9 pt\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  data_wait_ms     \u001b[0m  \u001b[1m   0.01962\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m   \u2191 4.1%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  grad_norm        \u001b[0m  \u001b[1m    0.4653\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 54%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  compiles         \u001b[0m  \u001b[1m     1.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m        \u2192\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_hits       \u001b[0m  \u001b[1m     9.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m        \u2192\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_misses     \u001b[0m  \u001b[1m     3.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m    \u2191 50%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  peak_memory_gib  \u001b[0m  \u001b[1m     4.016\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m        \u2192\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mthroughput                                                                                  \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  step_time_ms     \u001b[0m  \u001b[1m     30.20\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m   \u2193 1.2%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  samples_per_sec  \u001b[0m  \u001b[1m     2,120\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m   \u2191 1.2%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens           \u001b[0m  \u001b[1m    16,055\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m   \u2193 0.1%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens_per_s     \u001b[0m  \u001b[1m   531,694\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m   \u2191 1.1%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  mfu              \u001b[0m  \u001b[1m     11.5%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 0.1 pt\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hlo_flops_util \u2265 \u001b[0m  \u001b[1m     12.4%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 0.1 pt\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hfu \u2265            \u001b[0m  \u001b[1m     12.4%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 0.1 pt\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  uncounted kernels\u001b[0m  \u001b[1m     50.00\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m        \u2192\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98moptimizer                                                                                   \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  accepted         \u001b[0m  \u001b[1m    100.0%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m        \u2192\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b"]
[34.792689, "o", "[2m  learning_rate    \u001b[0m  \u001b[1m 9.215e-04\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m   \u2193 6.2%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u283c\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[34.941677, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m"]
[34.941715, "o", "\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m286\u001b[0m\u001b[2m/1000\u001b[0m   29%  33.6\u001b[2m step/s\u001b[0m  0:00:25\u001b[2m + \u001b[0m0:00:21\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2mdata \u001b[0m\u001b[1;2m12,992\u001b[0m\u001b[2m rows\u001b[0m\u001b[2m  \u00b7  \u001b[0m\u001b[1;2m0\u001b[0m\u001b[2m rejected\u001b[0m                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mtrain                                                                                       \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss             \u001b[0m  \u001b[1m     1.625\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 19%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  ce               \u001b[0m  \u001b[1m     1.625\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 19%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity       \u001b[0m  \u001b[1m     5.079\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 32%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  token_accuracy   \u001b[0m  \u001b[1m     50.4%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 9.9 pt\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  data_wait_ms     \u001b[0m  \u001b[1m   0.01962\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m   \u2191 4.1%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  grad_norm        \u001b[0m  \u001b[1m    0.4653\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 54%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  compiles         \u001b[0m  \u001b[1m     1.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m        \u2192\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_hits       \u001b[0m  \u001b[1m     9.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m        \u2192\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_misses     \u001b[0m  \u001b[1m     3.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m    \u2191 50%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  peak_memory_gib  \u001b[0m  \u001b[1m     4.016\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m        \u2192\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mthroughput                                                                                  \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  step_time_ms     \u001b[0m  \u001b[1m     30.20\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m   \u2193 1.2%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  samples_per_sec  \u001b[0m  \u001b[1m     2,120\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m   \u2191 1.2%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens           \u001b[0m  \u001b[1m    16,055\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m   \u2193 0.1%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens_per_s     \u001b[0m  \u001b[1m   531,694\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m   \u2191 1.1%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  mfu              \u001b[0m  \u001b[1m     11.5%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2588\u001b[0"]
[34.941731, "o", "m  \u001b[38;5;71m \u2191 0.1 pt\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hlo_flops_util \u2265 \u001b[0m  \u001b[1m     12.4%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 0.1 pt\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hfu \u2265            \u001b[0m  \u001b[1m     12.4%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 0.1 pt\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  uncounted kernels\u001b[0m  \u001b[1m     50.00\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m        \u2192\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98moptimizer                                                                                   \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  accepted         \u001b[0m  \u001b[1m    100.0%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m        \u2192\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  learning_rate    \u001b[0m  \u001b[1m 9.215e-04\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m   \u2193 6.2%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2826\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[35.087173, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m290\u001b[0m\u001b[2m/1000\u001b[0m   29%  33.5\u001b[2m step/s\u001b[0m  0:00:25\u001b[2m + \u001b[0m0:00:21\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2mdata \u001b[0m\u001b[1;2m12,992\u001b[0m\u001b[2m rows\u001b[0m\u001b[2m  \u00b7  \u001b[0m\u001b[1;2m0\u001b[0m\u001b[2m rejected\u001b[0m                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mtrain                                                                                       \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss             \u001b[0m  \u001b[1m     1.625\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 19%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  ce               \u001b[0m  \u001b[1m     1.625\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 19%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity       \u001b[0m  \u001b[1m     5.079\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 32%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  token_accuracy   \u001b[0m  \u001b[1m     50.4%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 9.9 pt\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  data_wait_ms     \u001b[0m  \u001b[1m   0.01962\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m   \u2191 4.1%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  grad_norm        \u001b[0m  \u001b[1m    0.4653\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 54%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  compiles         \u001b[0m  \u001b[1m     1.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m        \u2192\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_hits       \u001b[0m  \u001b[1m     9.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m        \u2192\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_misses     \u001b[0m  \u001b[1m     3.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m    \u2191 50%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  peak_memory_gib  \u001b[0m  \u001b[1m     4.016\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m        \u2192\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mthroughput                                                                                  \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  step_time_ms     \u001b[0m  \u001b[1m     30.20\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m   \u2193 1.2%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  samples_per_sec  \u001b[0m  \u001b[1m     2,120\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b["]
[35.087196, "o", "38;5;98m\u2588\u001b[0m  \u001b[38;5;71m   \u2191 1.2%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens           \u001b[0m  \u001b[1m    16,055\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m   \u2193 0.1%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens_per_s     \u001b[0m  \u001b[1m   531,694\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m   \u2191 1.1%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  mfu              \u001b[0m  \u001b[1m     11.5%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 0.1 pt\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hlo_flops_util \u2265 \u001b[0m  \u001b[1m     12.4%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 0.1 pt\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hfu \u2265            \u001b[0m  \u001b[1m     12.4%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 0.1 pt\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  uncounted kernels\u001b[0m  \u001b[1m     50.00\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m        \u2192\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98moptimizer                                                                                   \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  accepted         \u001b[0m  \u001b[1m    100.0%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m        \u2192\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  learning_rate    \u001b[0m  \u001b[1m 9.215e-04\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m   \u2193 6.2%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2807\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[35.224628, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2578\u001b[0m\u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m295\u001b[0m\u001b[2m/1000\u001b[0m   30%  33.5\u001b[2m step/s\u001b[0m  0:00:25\u001b[2m + \u001b[0m0:00:21\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2mdata \u001b[0m\u001b[1;2m12,992\u001b[0m\u001b[2m rows\u001b[0m\u001b[2m  \u00b7  \u001b[0m\u001b[1;2m0\u001b[0m\u001b[2m rejected\u001b[0m                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mtrain                                                                                       \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss             \u001b[0m  \u001b[1m     1.625\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 19%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  ce               \u001b[0m  \u001b[1m     1.625\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 19%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity       \u001b[0m  \u001b[1m     5.079\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 32%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  token_accuracy   \u001b[0m  \u001b[1m     50.4%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 9.9 pt\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  data_wait_ms     \u001b[0m  \u001b[1m   0.01962\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m   \u2191 4.1%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  grad_norm        \u001b[0m  \u001b[1m    0.4653\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 54%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  compiles         \u001b[0m  \u001b[1m     1.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m        \u2192\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_hits       \u001b[0m  \u001b[1m     9.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m        \u2192\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_misses     \u001b[0m  \u001b[1m     3.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m    \u2191 50%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  peak_memory_gib  \u001b[0m  \u001b[1m     4.016\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m        \u2192\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mthroughput                                                                                  \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  step_time_ms     \u001b[0m  \u001b[1m     30.20\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m   \u2193 1.2%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  samples_per_sec  \u001b[0m  \u001b[1m     2,120\u001b[0m  \u001b[38;"]
[35.224666, "o", "5;38m\u2581\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m   \u2191 1.2%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens           \u001b[0m  \u001b[1m    16,055\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m   \u2193 0.1%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens_per_s     \u001b[0m  \u001b[1m   531,694\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m   \u2191 1.1%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  mfu              \u001b[0m  \u001b[1m     11.5%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 0.1 pt\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hlo_flops_util \u2265 \u001b[0m  \u001b[1m     12.4%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 0.1 pt\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hfu \u2265            \u001b[0m  \u001b[1m     12.4%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 0.1 pt\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  uncounted kernels\u001b[0m  \u001b[1m     50.00\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m        \u2192\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98moptimizer                                                                                   \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  accepted         \u001b[0m  \u001b[1m    100.0%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m        \u2192\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  learning_rate    \u001b[0m  \u001b[1m 9.215e-04\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m   \u2193 6.2%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u280b\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[35.373523, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2578\u001b[0m\u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m300\u001b[0m\u001b[2m/1000\u001b[0m   30%  33.5\u001b[2m step/s\u001b[0m  0:00:25\u001b[2m + \u001b[0m0:00:21\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2mdata \u001b[0m\u001b[1;2m12,992\u001b[0m\u001b[2m rows\u001b[0m\u001b[2m  \u00b7  \u001b[0m\u001b[1;2m0\u001b[0m\u001b[2m rejected\u001b[0m                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mtrain                                                                                       \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss             \u001b[0m  \u001b[1m     1.625\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 19%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  ce               \u001b[0m  \u001b[1m     1.625\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 19%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity       \u001b[0m  \u001b[1m     5.079\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 32%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  token_accuracy   \u001b[0m  \u001b[1m     50.4%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 9.9 pt\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  data_wait_ms     \u001b[0m  \u001b[1m   0.01962\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m   \u2191 4.1%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  grad_norm        \u001b[0m  \u001b[1m    0.4653\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 54%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  compiles         \u001b[0m  \u001b[1m     1.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m        \u2192\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_hits       \u001b[0m  \u001b[1m     9.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m        \u2192\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_misses     \u001b[0m  \u001b[1m     3.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m    \u2191 50%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  peak_memory_gib  \u001b[0m  \u001b[1m     4.016\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m        \u2192\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mthroughput                                                                                  \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  step_time_ms     \u001b[0m  \u001b[1m     30.20\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m   \u2193 1.2%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  samples_per_sec  \u001b[0m  \u001b[1m     2,120\u001b[0m  \u001b[38;"]
[35.373545, "o", "5;38m\u2581\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m   \u2191 1.2%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens           \u001b[0m  \u001b[1m    16,055\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m   \u2193 0.1%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens_per_s     \u001b[0m  \u001b[1m   531,694\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m   \u2191 1.1%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  mfu              \u001b[0m  \u001b[1m     11.5%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 0.1 pt\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hlo_flops_util \u2265 \u001b[0m  \u001b[1m     12.4%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 0.1 pt\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hfu \u2265            \u001b[0m  \u001b[1m     12.4%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 0.1 pt\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  uncounted kernels\u001b[0m  \u001b[1m     50.00\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m        \u2192\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98moptimizer                                                                                   \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  accepted         \u001b[0m  \u001b[1m    100.0%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m        \u2192\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  learning_rate    \u001b[0m  \u001b[1m 9.215e-04\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m   \u2193 6.2%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2839\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[35.509697, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2578\u001b[0m\u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m300\u001b[0m\u001b[2m/1000\u001b[0m   30%  33.5\u001b[2m step/s\u001b[0m  0:00:25\u001b[2m + \u001b[0m0:00:21\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2mdata \u001b[0m\u001b[1;2m12,992\u001b[0m\u001b[2m rows\u001b[0m\u001b[2m  \u00b7  \u001b[0m\u001b[1;2m0\u001b[0m\u001b[2m rejected\u001b[0m                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mtrain                                                                                       \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss             \u001b[0m  \u001b[1m     1.625\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 19%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  ce               \u001b[0m  \u001b[1m     1.625\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 19%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity       \u001b[0m  \u001b[1m     5.079\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 32%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  token_accuracy   \u001b[0m  \u001b[1m     50.4%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 9.9 pt\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  data_wait_ms     \u001b[0m  \u001b[1m   0.01962\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m   \u2191 4.1%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  grad_norm        \u001b[0m  \u001b[1m    0.4653\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 54%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  compiles         \u001b[0m  \u001b[1m     1.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m        \u2192\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_hits       \u001b[0m  \u001b[1m     9.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m        \u2192\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_misses     \u001b[0m  \u001b[1m     3.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m    \u2191 50%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  peak_memory_gib  \u001b[0m  \u001b[1m     4.016\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m        \u2192\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mthroughput                                                                                  \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  step_time_ms     \u001b[0m  \u001b[1m     30.20\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m   \u2193 1.2%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  samples_per_sec  \u001b[0m  \u001b[1m     2,120\u001b[0m  \u001b[38;"]
[35.509718, "o", "5;38m\u2581\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m   \u2191 1.2%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens           \u001b[0m  \u001b[1m    16,055\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m   \u2193 0.1%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens_per_s     \u001b[0m  \u001b[1m   531,694\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m   \u2191 1.1%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  mfu              \u001b[0m  \u001b[1m     11.5%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 0.1 pt\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hlo_flops_util \u2265 \u001b[0m  \u001b[1m     12.4%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 0.1 pt\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hfu \u2265            \u001b[0m  \u001b[1m     12.4%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 0.1 pt\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  uncounted kernels\u001b[0m  \u001b[1m     50.00\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m        \u2192\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98moptimizer                                                                                   \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  accepted         \u001b[0m  \u001b[1m    100.0%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m        \u2192\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  learning_rate    \u001b[0m  \u001b[1m 9.215e-04\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m   \u2193 6.2%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2838\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[35.644921, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m"]
[35.645, "o", "\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2578\u001b[0m\u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m300\u001b[0m\u001b[2m/1000\u001b[0m   30%  33.5\u001b[2m step/s\u001b[0m  0:00:25\u001b[2m + \u001b[0m0:00:21\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2mdata \u001b[0m\u001b[1;2m12,992\u001b[0m\u001b[2m rows\u001b[0m\u001b[2m  \u00b7  \u001b[0m\u001b[1;2m0\u001b[0m\u001b[2m rejected\u001b[0m                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mtrain                                                                                       \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss             \u001b[0m  \u001b[1m     1.625\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 19%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  ce               \u001b[0m  \u001b[1m     1.625\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 19%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity       \u001b[0m  \u001b[1m     5.079\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 32%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  token_accuracy   \u001b[0m  \u001b[1m     50.4%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 9.9 pt\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  data_wait_ms     \u001b[0m  \u001b[1m   0.01962\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m   \u2191 4.1%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  grad_norm        \u001b[0m  \u001b[1m    0.4653\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 54%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  compiles         \u001b[0m  \u001b[1m     1.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m        \u2192\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_hits       \u001b[0m  \u001b[1m     9.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m        \u2192\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_misses     \u001b[0m  \u001b[1m     3.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m    \u2191 50%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  peak_memory_gib  \u001b[0m  \u001b[1m     4.016\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m        \u2192\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mthroughput                                                                                  \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  step_time_ms     \u001b[0m  \u001b[1m     30.20\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m   \u2193 1.2%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  samples_per_sec  \u001b[0m  \u001b[1m     2,120\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m   \u2191 1.2%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens           \u001b[0m  \u001b[1m    16,055\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m   \u2193 0.1%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens_per_s     \u001b[0m  \u001b[1m   531,694\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m   \u2191 1.1%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  mfu              \u001b[0m  \u001b[1m     11.5%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b["]
[35.645017, "o", "38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 0.1 pt\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hlo_flops_util \u2265 \u001b[0m  \u001b[1m     12.4%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 0.1 pt\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hfu \u2265            \u001b[0m  \u001b[1m     12.4%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 0.1 pt\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  uncounted kernels\u001b[0m  \u001b[1m     50.00\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m        \u2192\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98moptimizer                                                                                   \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  accepted         \u001b[0m  \u001b[1m    100.0%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m        \u2192\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  learning_rate    \u001b[0m  \u001b[1m 9.215e-04\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m   \u2193 6.2%\u001b[0m                                               \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2834\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[35.787492, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m"]
[35.787521, "o", "\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2578\u001b[0m\u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m306\u001b[0m\u001b[2m/1000\u001b[0m   31%  31.9\u001b[2m step/s\u001b[0m  0:00:26\u001b[2m + \u001b[0m0:00:22\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2mdata \u001b[0m\u001b[1;2m19,392\u001b[0m\u001b[2m rows\u001b[0m\u001b[2m  \u00b7  \u001b[0m\u001b[1;2m0\u001b[0m\u001b[2m rejected\u001b[0m                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mtrain                                                                                       \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss             \u001b[0m  \u001b[1m     1.520\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 24%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  ce               \u001b[0m  \u001b[1m     1.520\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 24%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity       \u001b[0m  \u001b[1m     4.573\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 39%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  token_accuracy   \u001b[0m  \u001b[1m     53.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m\u2191 13.1 pt\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  data_wait_ms     \u001b[0m  \u001b[1m   0.01966\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m   \u2191 4.2%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  grad_norm        \u001b[0m  \u001b[1m    0.3693\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 64%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_misses     \u001b[0m  \u001b[1m     3.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m    \u2191 50%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2mcompiles \u001b[0m\u001b[1m1.000\u001b[0m   \u001b[2mcache_hits \u001b[0m\u001b[1m9.000\u001b[0m   \u001b[2mpeak_memory_gib \u001b[0m\u001b[1m4.016\u001b[0m                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mthroughput                                                                                  \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  step_time_ms     \u001b[0m  \u001b[1m     29.66\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m   \u2193 2.9%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  samples_per_sec  \u001b[0m  \u001b[1m     2,158\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m   \u2191 3.0%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens           \u001b[0m  \u001b[1m    16,082\u001b[0m  \u001b[38;5;38m\u2586\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m        \u2192\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens_per_s     \u001b[0m  \u001b[1m   542,210\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m   \u2191 3.1%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  mfu              \u001b[0m  \u001b[1m     11.8%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hlo_flops_util \u2265 \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m"]
[35.787555, "o", "\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 0.4 pt\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hfu \u2265            \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 0.4 pt\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2muncounted kernels \u001b[0m\u001b[1m50.00\u001b[0m                                                                    \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98moptimizer                                                                                   \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  learning_rate    \u001b[0m  \u001b[1m 8.237e-04\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 16%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2maccepted \u001b[0m\u001b[1m100.0%\u001b[0m                                                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2827\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[35.924812, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m312\u001b[0m\u001b[2m/1000\u001b[0m   31%  33.9\u001b[2m step/s\u001b[0m  0:00:26\u001b[2m + \u001b[0m0:00:20\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2mdata \u001b[0m\u001b[1;2m19,392\u001b[0m\u001b[2m rows\u001b[0m\u001b[2m  \u00b7  \u001b[0m\u001b[1;2m0\u001b[0m\u001b[2m rejected\u001b[0m                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n"]
[35.924834, "o", "\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mtrain                                                                                       \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n"]
[35.924843, "o", "\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss             \u001b[0m  \u001b[1m     1.520\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 24%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n"]
[35.924852, "o", "\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  ce               \u001b[0m  \u001b[1m     1.520\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 24%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m"]
[35.924858, "o", "\r\n"]
[35.924864, "o", "\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity       \u001b[0m  \u001b[1m     4.573\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 39%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n"]
[35.924886, "o", "\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  token_accuracy   \u001b[0m  \u001b[1m     53.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m\u2191 13.1 pt\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n"]
[35.924893, "o", "\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  data_wait_ms     \u001b[0m  \u001b[1m   0.01966\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m   \u2191 4.2%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n"]
[35.924911, "o", "\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  grad_norm        \u001b[0m  \u001b[1m    0.3693\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 64%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_misses     \u001b[0m  \u001b[1m     3.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m    \u2191 50%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n"]
[35.924919, "o", "\u001b[38;5;38m\u2502\u001b[0m   \u001b[2mcompiles \u001b[0m\u001b[1m1.000\u001b[0m   \u001b[2mcache_hits \u001b[0m\u001b[1m9.000\u001b[0m   \u001b[2mpeak_memory_gib \u001b[0m\u001b[1m4.016\u001b[0m                                  \u001b[38;5;38m\u2502\u001b[0m"]
[35.924927, "o", "\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mthroughput                                                                                  \u001b[0m \u001b[38;5;38m\u2502\u001b[0m"]
[35.924933, "o", "\r\n"]
[35.924939, "o", "\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  step_time_ms     \u001b[0m  \u001b[1m     29.66\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m   \u2193 2.9%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m"]
[35.924945, "o", "\r\n"]
[35.924951, "o", "\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  samples_per_sec  \u001b[0m  \u001b[1m     2,158\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m   \u2191 3.0%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n"]
[35.924969, "o", "\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens           \u001b[0m  \u001b[1m    16,082\u001b[0m  \u001b[38;5;38m\u2586\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m        \u2192\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n"]
[35.924988, "o", "\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens_per_s     \u001b[0m  \u001b[1m   542,210\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m   \u2191 3.1%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n"]
[35.925004, "o", "\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  mfu              \u001b[0m  \u001b[1m     11.8%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n"]
[35.925011, "o", "\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hlo_flops_util \u2265 \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 0.4 pt\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n"]
[35.925018, "o", "\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hfu \u2265            \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 0.4 pt\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m"]
[35.925023, "o", "\r\n"]
[35.925029, "o", "\u001b[38;5;38m\u2502\u001b[0m   \u001b[2muncounted kernels \u001b[0m\u001b[1m50.00\u001b[0m                                                                    \u001b[38;5;38m\u2502\u001b[0m"]
[35.925036, "o", "\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98moptimizer                                                                                   \u001b[0m \u001b[38;5;38m\u2502\u001b[0m"]
[35.925042, "o", "\r\n"]
[35.92505, "o", "\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  learning_rate    \u001b[0m  \u001b[1m 8.237e-04\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 16%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m"]
[35.925056, "o", "\r\n"]
[35.925062, "o", "\u001b[38;5;38m\u2502\u001b[0m   \u001b[2maccepted \u001b[0m\u001b[1m100.0%\u001b[0m                                                                            \u001b[38;5;38m\u2502\u001b[0m\r\n"]
[35.925084, "o", "\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2807\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[36.074107, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m317\u001b[0m\u001b[2m/1000\u001b[0m   32%  33.9\u001b[2m step/s\u001b[0m  0:00:26\u001b[2m + \u001b[0m0:00:20\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2mdata \u001b[0m\u001b[1;2m19,392\u001b[0m\u001b[2m rows\u001b[0m\u001b[2m  \u00b7  \u001b[0m\u001b[1;2m0\u001b[0m\u001b[2m rejected\u001b[0m                                                              \u001b[38;5;38m\u2502\u001b[0m"]
[36.074129, "o", "\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mtrain                                                                                       \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n"]
[36.074137, "o", "\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss             \u001b[0m  \u001b[1m     1.520\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 24%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n"]
[36.074145, "o", "\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  ce               \u001b[0m  \u001b[1m     1.520\u001b[0m  \u001b[38;5;38m\u2588\u001b[0"]
[36.074152, "o", "m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 24%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n"]
[36.074159, "o", "\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity       \u001b[0m  \u001b[1m     4.573\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 39%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m"]
[36.074165, "o", "\r\n"]
[36.074171, "o", "\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  token_accuracy   \u001b[0m  \u001b[1m     53.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m\u2191 13.1 pt\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n"]
[36.074189, "o", "\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  data_wait_ms     \u001b[0m  \u001b[1m   0.01966\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m   \u2191 4.2%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  grad_norm        \u001b[0m  \u001b[1m    0.3693\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 64%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m"]
[36.074196, "o", "\r\n"]
[36.074219, "o", "\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_misses     \u001b[0m  \u001b[1m     3.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m    \u2191 50%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2mcompiles \u001b[0m\u001b[1m1.000\u001b[0m   \u001b[2mcache_hits \u001b[0m\u001b[1m9.000\u001b[0m   \u001b[2mpeak_memory_gib \u001b[0m\u001b[1m4.016\u001b[0m                                  \u001b[38;5;38m\u2502\u001b[0m"]
[36.074227, "o", "\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mthroughput                                                                                  \u001b[0m \u001b[38;5;38m\u2502\u001b[0m"]
[36.074233, "o", "\r\n"]
[36.074239, "o", "\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  step_time_ms     \u001b[0m  \u001b[1m     29.66\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m   \u2193 2.9%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m"]
[36.074246, "o", "\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  samples_per_sec  \u001b[0m  \u001b[1m     2,158\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m   \u2191 3.0%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m"]
[36.074251, "o", "\r\n"]
[36.074257, "o", "\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens           \u001b[0m  \u001b[1m    16,082\u001b[0m  \u001b[38;5;38m\u2586\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m        \u2192\u001b[0m                "]
[36.074264, "o", "                              \u001b[38;5;38m\u2502\u001b[0m"]
[36.074292, "o", "\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens_per_s     \u001b[0m  \u001b[1m   542,210\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m   \u2191 3.1%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m"]
[36.074299, "o", "\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  mfu              \u001b[0m  \u001b[1m     11.8%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n"]
[36.074318, "o", "\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hlo_flops_util \u2265 \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 0.4 pt\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hfu \u2265            \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 0.4 pt\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m"]
[36.074325, "o", "\r\n"]
[36.074331, "o", "\u001b[38;5;38m\u2502\u001b[0m   \u001b[2muncounted kernels \u001b[0m\u001b[1m50.00\u001b[0m                                                                    \u001b[38;5;38m\u2502\u001b[0m\r\n"]
[36.074347, "o", "\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98moptimizer                                                                                   \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n"]
[36.074354, "o", "\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  learning_rate    \u001b[0m  \u001b[1m 8.237e-04\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 16%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n"]
[36.07436, "o", "\u001b[38;5;38m\u2502\u001b[0m   \u001b[2maccepted \u001b[0m\u001b[1m100.0%\u001b[0m                                                                            \u001b[38;5;38m\u2502\u001b[0m"]
[36.074366, "o", "\r\n"]
[36.074372, "o", "\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u280b\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[36.212486, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n"]
[36.2125, "o", "\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2578\u001b[0m\u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m322\u001b[0m\u001b[2m/1000\u001b[0m   32%  33.9\u001b[2m step/s\u001b[0m  0:00:26\u001b[2m + \u001b[0m0:00:20\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2mdata \u001b[0m\u001b[1;2m19,392\u001b[0m\u001b[2m rows\u001b[0m\u001b[2m  \u00b7  \u001b[0m\u001b[1;2m0\u001b[0m\u001b[2m rejected\u001b[0m                                                              \u001b[38;5;38m\u2502\u001b[0m"]
[36.212507, "o", "\r\n"]
[36.212512, "o", "\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n"]
[36.212529, "o", "\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mtrain                                                                                       \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n"]
[36.212535, "o", "\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss             \u001b[0m  \u001b[1m     1.520\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 24%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n"]
[36.212549, "o", "\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  ce               \u001b[0m  \u001b[1m     1.520\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 24%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m"]
[36.212554, "o", "\r\n"]
[36.212559, "o", "\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity       \u001b[0m  \u001b[1m     4.573\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 39%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m"]
[36.212563, "o", "\r\n"]
[36.212576, "o", "\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  token_accuracy   \u001b[0m  \u001b[1m     53.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m\u2191 13.1 pt\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n"]
[36.212581, "o", "\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  data_wait_ms     \u001b[0m  \u001b[1m   0.01966\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m   \u2191 4.2%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m"]
[36.212586, "o", "\r\n"]
[36.212591, "o", "\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  grad_norm        \u001b[0m  \u001b[1m    0.3693\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 64%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m"]
[36.212596, "o", "\r\n"]
[36.2126, "o", "\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_misses     \u001b[0m  \u001b[1m     3.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m    \u2191 50%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m"]
[36.212605, "o", "\r\n"]
[36.21261, "o", "\u001b[38;5;38m\u2502\u001b[0m   \u001b[2mcompiles \u001b[0m\u001b[1m1.000\u001b[0m   \u001b[2mcache_hits \u001b[0m\u001b[1m9.000\u001b[0m   \u001b[2mpeak_memory_gib \u001b[0m\u001b[1m4.016\u001b[0m                                  \u001b[38;5;38m\u2502\u001b[0m"]
[36.212615, "o", "\r\n"]
[36.21262, "o", "\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mthroughput                                                                                  \u001b[0m \u001b[38;5;38m\u2502\u001b[0m"]
[36.212625, "o", "\r\n"]
[36.212629, "o", "\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  step_time_ms     \u001b[0m  \u001b[1m     29.66\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m   \u2193 2.9%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m"]
[36.212634, "o", "\r\n"]
[36.212639, "o", "\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  samples_per_sec  \u001b[0m  \u001b[1m     2,158\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m   \u2191 3.0%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m"]
[36.212654, "o", "\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens           \u001b[0m  \u001b[1m    16,082\u001b[0m  \u001b[38;5;38m\u2586\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m        \u2192\u001b[0m  "]
[36.212665, "o", "                                            \u001b[38;5;38m\u2502\u001b[0m\r\n"]
[36.212671, "o", "\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens_per_s     \u001b[0m  \u001b[1m   542,210\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m   \u2191 3.1%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n"]
[36.21269, "o", "\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  mfu              \u001b[0m  \u001b[1m     11.8%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hlo_flops_util \u2265 \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 0.4 pt\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m"]
[36.212696, "o", "\r\n"]
[36.212701, "o", "\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hfu \u2265            \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 0.4 pt\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m"]
[36.212705, "o", "\r\n"]
[36.21271, "o", "\u001b[38;5;38m\u2502\u001b[0m   \u001b[2muncounted kernels \u001b[0m\u001b[1m50.00\u001b[0m                                                                    \u001b[38;5;38m\u2502\u001b[0m"]
[36.212714, "o", "\r\n"]
[36.212728, "o", "\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98moptimizer                                                                                   \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n"]
[36.212733, "o", "\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  learning_rate    \u001b[0m  \u001b[1m 8.237e-04\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 16%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m"]
[36.212738, "o", "\r\n"]
[36.212742, "o", "\u001b[38;5;38m\u2502\u001b[0m   \u001b[2maccepted \u001b[0m\u001b[1m100.0%\u001b[0m                                                                            \u001b[38;5;38m\u2502\u001b[0m"]
[36.212746, "o", "\r\n"]
[36.212763, "o", "\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2839\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[36.353308, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n"]
[36.353324, "o", "\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2578\u001b[0m\u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m328\u001b[0m\u001b[2m/1000\u001b[0m   33%  33.9\u001b[2m step/s\u001b[0m  0:00:26\u001b[2m + \u001b[0m0:00:20\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2mdata \u001b[0m\u001b[1;2m19,392\u001b[0m\u001b[2m rows\u001b[0m\u001b[2m  \u00b7  \u001b[0m\u001b[1;2m0\u001b[0m\u001b[2m rejected\u001b[0m                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n"]
[36.353333, "o", "\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m"]
[36.35334, "o", "\r\n"]
[36.353362, "o", "\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mtrain                                                                                       \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n"]
[36.353369, "o", "\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss             \u001b[0m  \u001b[1m     1.520\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 24%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m"]
[36.353375, "o", "\r\n"]
[36.353396, "o", "\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  ce               \u001b[0m  \u001b[1m     1.520\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 24%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m"]
[36.353402, "o", "\r\n"]
[36.353408, "o", "\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity       \u001b[0m  \u001b[1m     4.573\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 39%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n"]
[36.353428, "o", "\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  token_accuracy   \u001b[0m  \u001b[1m     53.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m\u2191 13.1 pt\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n"]
[36.353434, "o", "\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  data_wait_ms     \u001b[0m  \u001b[1m   0.01966\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m   \u2191 4.2%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n"]
[36.353452, "o", "\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  grad_norm        \u001b[0m  \u001b[1m    0.3693\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 64%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n"]
[36.353458, "o", "\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_misses     \u001b[0m  \u001b[1m     3.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m    \u2191 50%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n"]
[36.353486, "o", "\u001b[38;5;38m\u2502\u001b[0m   \u001b[2mcompiles \u001b[0m\u001b[1m1.000\u001b[0m   \u001b[2mcache_hits \u001b[0m\u001b[1m9.000\u001b[0m   \u001b[2mpeak_memory_gib \u001b[0m\u001b[1m4.016\u001b[0m                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mthroughput                                                                                  \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n"]
[36.353494, "o", "\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  step_time_ms     \u001b[0m  \u001b[1m     29.66\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m   \u2193 2.9%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n"]
[36.353511, "o", "\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  samples_per_sec  \u001b[0m  \u001b[1m     2,158\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m   \u2191 3.0%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens           \u001b[0m  \u001b[1m    16,082\u001b[0m  \u001b[38;5;38m\u2586\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m        \u2192\u001b[0m  "]
[36.353518, "o", "                                            \u001b[38;5;38m\u2502\u001b[0m"]
[36.353524, "o", "\r\n"]
[36.35353, "o", "\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens_per_s     \u001b[0m  \u001b[1m   542,210\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m   \u2191 3.1%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n"]
[36.353547, "o", "\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  mfu              \u001b[0m  \u001b[1m     11.8%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hlo_flops_util \u2265 \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 0.4 pt\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m"]
[36.353554, "o", "\r\n"]
[36.35356, "o", "\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hfu \u2265            \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 0.4 pt\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m"]
[36.353566, "o", "\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2muncounted kernels \u001b[0m\u001b[1m50.00\u001b[0m                                                                    \u001b[38;5;38m\u2502\u001b[0m"]
[36.353572, "o", "\r\n"]
[36.353578, "o", "\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98moptimizer                                                                                   \u001b[0m \u001b[38;5;38m\u2502\u001b[0m"]
[36.353584, "o", "\r\n"]
[36.35359, "o", "\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  learning_rate    \u001b[0m  \u001b[1m 8.237e-04\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 16%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n"]
[36.353606, "o", "\u001b[38;5;38m\u2502\u001b[0m   \u001b[2maccepted \u001b[0m\u001b[1m100.0%\u001b[0m                                                                            \u001b[38;5;38m\u2502\u001b[0m\r\n"]
[36.353612, "o", "\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u283c\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[36.491526, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n"]
[36.49154, "o", "\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2578\u001b[0m\u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m333\u001b[0m\u001b[2m/1000\u001b[0m   33%  33.9\u001b[2m step/s\u001b[0m  0:00:26\u001b[2m + \u001b[0m0:00:20\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2mdata \u001b[0m\u001b[1;2m19,392\u001b[0m\u001b[2m rows\u001b[0m\u001b[2m  \u00b7  \u001b[0m\u001b[1;2m0\u001b[0m\u001b[2m rejected\u001b[0m                                                              \u001b[38;5;38m\u2502\u001b[0m"]
[36.491563, "o", "\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n"]
[36.49157, "o", "\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mtrain                                                                                       \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n"]
[36.491587, "o", "\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss             \u001b[0m  \u001b[1m     1.520\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 24%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  ce               \u001b[0m  \u001b[1m     1.520\u001b[0m  \u001b["]
[36.491604, "o", "38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 24%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n"]
[36.491611, "o", "\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity       \u001b[0m  \u001b[1m     4.573\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 39%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n"]
[36.491617, "o", "\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  token_accuracy   \u001b[0m  \u001b[1m     53.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m\u2191 13.1 pt\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m"]
[36.491623, "o", "\r\n"]
[36.491639, "o", "\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  data_wait_ms     \u001b[0m  \u001b[1m   0.01966\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m   \u2191 4.2%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n"]
[36.491646, "o", "\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  grad_norm        \u001b[0m  \u001b[1m    0.3693\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 64%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n"]
[36.491652, "o", "\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_misses     \u001b[0m  \u001b[1m     3.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m    \u2191 50%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m"]
[36.491658, "o", "\r\n"]
[36.491664, "o", "\u001b[38;5;38m\u2502\u001b[0m   \u001b[2mcompiles \u001b[0m\u001b[1m1.000\u001b[0m   \u001b[2mcache_hits \u001b[0m\u001b[1m9.000\u001b[0m   \u001b[2mpeak_memory_gib \u001b[0m\u001b[1m4.016\u001b[0m                                  \u001b[38;5;38m\u2502\u001b[0m\r\n"]
[36.491681, "o", "\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mthroughput                                                                                  \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n"]
[36.491687, "o", "\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  step_time_ms     \u001b[0m  \u001b[1m     29.66\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m   \u2193 2.9%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n"]
[36.491703, "o", "\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  samples_per_sec  \u001b[0m  \u001b[1m     2,158\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m   \u2191 3.0%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n"]
[36.491728, "o", "\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens           \u001b[0m  \u001b[1m    16,082\u001b[0m  \u001b[38;5;38m\u2586\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m        \u2192\u001b[0m  "]
[36.491745, "o", "                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens_per_s     \u001b[0m  \u001b[1m   542,210\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m   \u2191 3.1%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n"]
[36.491763, "o", "\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  mfu              \u001b[0m  \u001b[1m     11.8%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n"]
[36.49177, "o", "\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hlo_flops_util \u2265 \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 0.4 pt\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n"]
[36.491778, "o", "\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hfu \u2265            \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 0.4 pt\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m"]
[36.491784, "o", "\r\n"]
[36.491789, "o", "\u001b[38;5;38m\u2502\u001b[0m   \u001b[2muncounted kernels \u001b[0m\u001b[1m50.00\u001b[0m                                                                    \u001b[38;5;38m\u2502\u001b[0m\r\n"]
[36.491807, "o", "\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98moptimizer                                                                                   \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  learning_rate    \u001b[0m  \u001b[1m 8.237e-04\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 16%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m"]
[36.491813, "o", "\r\n"]
[36.491819, "o", "\u001b[38;5;38m\u2502\u001b[0m   \u001b[2maccepted \u001b[0m\u001b[1m100.0%\u001b[0m                                                                            \u001b[38;5;38m\u2502\u001b[0m"]
[36.491825, "o", "\r\n"]
[36.491831, "o", "\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2826\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[36.627968, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n"]
[36.627982, "o", "\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m339\u001b[0m\u001b[2m/1000\u001b[0m   34%  33.9\u001b[2m step/s\u001b[0m  0:00:26\u001b[2m + \u001b[0m0:00:20\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n"]
[36.627989, "o", "\u001b[38;5;38m\u2502\u001b[0m \u001b[2mdata \u001b[0m\u001b[1;2m19,392\u001b[0m\u001b[2m rows\u001b[0m\u001b[2m  \u00b7  \u001b[0m\u001b[1;2m0\u001b[0m\u001b[2m rejected\u001b[0m                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n"]
[36.627996, "o", "\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m"]
[36.628002, "o", "\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mtrain                                                                                       \u001b[0m \u001b[38;5;38m\u2502\u001b[0m"]
[36.628011, "o", "\r\n"]
[36.628017, "o", "\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss             \u001b[0m  \u001b[1m     1.520\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 24%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n"]
[36.628035, "o", "\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  ce               \u001b[0m  \u001b[1m     1.520\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 24%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n"]
[36.628052, "o", "\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity       \u001b[0m  \u001b[1m     4.573\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 39%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n"]
[36.628058, "o", "\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  token_accuracy   \u001b[0m  \u001b[1m     53.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m\u2191 13.1 pt\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n"]
[36.628074, "o", "\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  data_wait_ms     \u001b[0m  \u001b[1m   0.01966\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m   \u2191 4.2%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  grad_norm        \u001b[0m  \u001b[1m    0.3693\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 64%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m"]
[36.628081, "o", "\r\n"]
[36.628087, "o", "\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_misses     \u001b[0m  \u001b[1m     3.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m    \u2191 50%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m"]
[36.628093, "o", "\r\n"]
[36.628099, "o", "\u001b[38;5;38m\u2502\u001b[0m   \u001b[2mcompiles \u001b[0m\u001b[1m1.000\u001b[0m   \u001b[2mcache_hits \u001b[0m\u001b[1m9.000\u001b[0m   \u001b[2mpeak_memory_gib \u001b[0m\u001b[1m4.016\u001b[0m                                  \u001b[38;5;38m\u2502\u001b[0m\r\n"]
[36.628116, "o", "\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mthroughput                                                                                  \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  step_time_ms     \u001b[0m  \u001b[1m     29.66\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m   \u2193 2.9%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m"]
[36.628123, "o", "\r\n"]
[36.628128, "o", "\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  samples_per_sec  \u001b[0m  \u001b[1m     2,158\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m   \u2191 3.0%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m"]
[36.628135, "o", "\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens           \u001b[0m  \u001b[1m    16,082\u001b[0m  \u001b[38;5;38m\u2586\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m        \u2192\u001b[0m  "]
[36.628152, "o", "                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens_per_s     \u001b[0m  \u001b[1m   542,210\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m   \u2191 3.1%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m"]
[36.628159, "o", "\r\n"]
[36.628165, "o", "\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  mfu              \u001b[0m  \u001b[1m     11.8%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m"]
[36.628171, "o", "\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hlo_flops_util \u2265 \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 0.4 pt\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m"]
[36.628177, "o", "\r\n"]
[36.628183, "o", "\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hfu \u2265            \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 0.4 pt\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m"]
[36.628188, "o", "\r\n"]
[36.628194, "o", "\u001b[38;5;38m\u2502\u001b[0m   \u001b[2muncounted kernels \u001b[0m\u001b[1m50.00\u001b[0m                                                                    \u001b[38;5;38m\u2502\u001b[0m\r\n"]
[36.628218, "o", "\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98moptimizer                                                                                   \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  learning_rate    \u001b[0m  \u001b[1m 8.237e-04\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 16%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m"]
[36.628224, "o", "\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2maccepted \u001b[0m\u001b[1m100.0%\u001b[0m                                                                            \u001b[38;5;38m\u2502\u001b[0m"]
[36.62823, "o", "\r\n"]
[36.62825, "o", "\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2827\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[36.768703, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m345\u001b[0m\u001b[2m/1000\u001b[0m   34%  33.8\u001b[2m step/s\u001b[0m  0:00:26\u001b[2m + \u001b[0m0:00:19\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m"]
[36.76872, "o", "\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2mdata \u001b[0m\u001b[1;2m19,392\u001b[0m\u001b[2m rows\u001b[0m\u001b[2m  \u00b7  \u001b[0m\u001b[1;2m0\u001b[0m\u001b[2m rejected\u001b[0m                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m"]
[36.768727, "o", "\r\n"]
[36.768733, "o", "\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mtrain                                                                                       \u001b[0m \u001b[38;5;38m\u2502\u001b[0m"]
[36.76874, "o", "\r\n"]
[36.768746, "o", "\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss             \u001b[0m  \u001b[1m     1.520\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 24%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n"]
[36.768766, "o", "\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  ce               \u001b[0m  \u001b[1m     1.520\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 24%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n"]
[36.768784, "o", "\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity       \u001b[0m  \u001b[1m     4.573\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 39%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  token_accuracy   \u001b[0m  \u001b[1m     53.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m\u2191 13.1 pt\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m"]
[36.768792, "o", "\r\n"]
[36.768798, "o", "\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  data_wait_ms     \u001b[0m  \u001b[1m   0.01966\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m   \u2191 4.2%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m"]
[36.768803, "o", "\r\n"]
[36.768809, "o", "\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  grad_norm        \u001b[0m  \u001b[1m    0.3693\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 64%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n"]
[36.768826, "o", "\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_misses     \u001b[0m  \u001b[1m     3.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m    \u2191 50%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n"]
[36.768832, "o", "\u001b[38;5;38m\u2502\u001b[0m   \u001b[2mcompiles \u001b[0m\u001b[1m1.000\u001b[0m   \u001b[2mcache_hits \u001b[0m\u001b[1m9.000\u001b[0m   \u001b[2mpeak_memory_gib \u001b[0m\u001b[1m4.016\u001b[0m                                  \u001b[38;5;38m\u2502\u001b[0m"]
[36.768838, "o", "\r\n"]
[36.768844, "o", "\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mthroughput                                                                                  \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n"]
[36.76886, "o", "\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  step_time_ms     \u001b[0m  \u001b[1m     29.66\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m   \u2193 2.9%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n"]
[36.768867, "o", "\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  samples_per_sec  \u001b[0m  \u001b[1m     2,158\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m   \u2191 3.0%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n"]
[36.768884, "o", "\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens           \u001b[0m  \u001b[1m    16,082\u001b[0m  \u001b[38;5;38m\u2586\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m        \u2192\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m"]
[36.76889, "o", "\r\n"]
[36.768896, "o", "\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens_per_s     \u001b[0m  \u001b[1m   542,210\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m   \u2191 3.1%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n"]
[36.768903, "o", "\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  mfu              \u001b[0m  \u001b[1m     11.8%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m"]
[36.768908, "o", "\r\n"]
[36.768914, "o", "\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hlo_flops_util \u2265 \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 0.4 pt\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n"]
[36.768931, "o", "\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hfu \u2265            \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 0.4 pt\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n"]
[36.768945, "o", "\u001b[38;5;38m\u2502\u001b[0m   \u001b[2muncounted kernels \u001b[0m\u001b[1m50.00\u001b[0m                                                                    \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98moptimizer                                                                                   \u001b[0m \u001b[38;5;38m\u2502\u001b[0m"]
[36.768952, "o", "\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  learning_rate    \u001b[0m  \u001b[1m 8.237e-04\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 16%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m"]
[36.768958, "o", "\r\n"]
[36.768964, "o", "\u001b[38;5;38m\u2502\u001b[0m   \u001b[2maccepted \u001b[0m\u001b[1m100.0%\u001b[0m                                                                            \u001b[38;5;38m\u2502\u001b[0m"]
[36.768969, "o", "\r\n"]
[36.768976, "o", "\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u280f\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[36.915895, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2578\u001b[0m\u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m350\u001b[0m\u001b[2m/1000\u001b[0m   35%  33.8\u001b[2m step/s\u001b[0m  0:00:27\u001b[2m + \u001b[0m0:00:19\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2mdata \u001b[0m\u001b[1;2m19,392\u001b[0m\u001b[2m rows\u001b[0m\u001b[2m  \u00b7  \u001b[0m\u001b[1;2m0\u001b[0m\u001b[2m rejected\u001b[0m                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mtrain                                                                                       \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss             \u001b[0m  \u001b[1m     1.520\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 24%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  ce               \u001b[0m  \u001b[1m     1.520\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 24%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity       \u001b[0m  \u001b[1m     4.573\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 39%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  token_accuracy   \u001b[0m  \u001b[1m     53.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m\u2191 13.1 pt\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  data_wait_ms     \u001b[0m  \u001b[1m   0.01966\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m   \u2191 4.2%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  grad_norm        \u001b[0m  \u001b[1m    0.3693\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 64%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_misses     \u001b[0m  \u001b[1m     3.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m    \u2191 50%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2mcompiles \u001b[0m\u001b[1m1.000\u001b[0m   \u001b[2mcache_hits \u001b[0m\u001b[1m9.000\u001b[0m   \u001b[2mpeak_memory_gib \u001b[0m\u001b[1m4.016\u001b[0m                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mthroughput                                                                                  \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  step_time_ms     \u001b[0m  \u001b[1m     29.66\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m   \u2193 2.9%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  samples_per_sec  \u001b[0m  \u001b[1m     2,158\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m   \u2191 3.0%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens           \u001b[0m  \u001b[1m    16,082\u001b[0m  \u001b[38;5;38m\u2586\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m        \u2192\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens_per_s     \u001b[0m  \u001b[1m   542,210\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m   \u2191 3.1%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  mfu              \u001b[0m  \u001b[1m     11.8%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hlo_flops_util \u2265 \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 0.4 pt\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hfu \u2265            \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 0.4 pt\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2muncounted kernels \u001b[0m\u001b[1m50.00\u001b[0m                                                                    \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98moptimizer                                                                                   \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  learning_rate    \u001b[0m  \u001b[1m 8.237e-04\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 16%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2maccepted \u001b[0m\u001b[1m100.0%\u001b[0m                                                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2819\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[37.054846, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2578\u001b[0m\u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m355\u001b[0m\u001b[2m/1000\u001b[0m   36%  33.7\u001b[2m step/s\u001b[0m  0:00:27\u001b[2m + \u001b[0m0:00:19\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2mdata \u001b[0m\u001b[1;2m19,392\u001b[0m\u001b[2m rows\u001b[0m\u001b[2m  \u00b7  \u001b[0m\u001b[1;2m0\u001b[0m\u001b[2m rejected\u001b[0m                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mtrain                                                                                       \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss             \u001b[0m  \u001b[1m     1.520\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 24%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  ce               \u001b[0m  \u001b[1m     1.520\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 24%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity       \u001b[0m  \u001b[1m     4.573\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 39%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  token_accuracy   \u001b[0m  \u001b[1m     53.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m\u2191 13.1 pt\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  data_wait_ms     \u001b[0m  \u001b[1m   0.01966\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m   \u2191 4.2%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  grad_norm        \u001b[0m  \u001b[1m    0.3693\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 64%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_misses     \u001b[0m  \u001b[1m     3.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m    \u2191 50%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2mcompiles \u001b[0m\u001b[1m1.000\u001b[0m   \u001b[2mcache_hits \u001b[0m\u001b[1m9.000\u001b[0m   \u001b[2mpeak_memory_gib \u001b[0m\u001b[1m4.016\u001b[0m                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mthroughput                                                                                  \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  step_time_ms     \u001b[0m  \u001b[1m     29.66\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m   \u2193 2.9%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  samples_per_sec  \u001b[0m  \u001b[1m     2,158\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m   \u2191 3.0%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens           \u001b[0m  \u001b[1m    16,082\u001b[0m  \u001b[38;5;38m\u2586\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;"]
[37.054875, "o", "98m\u2588\u001b[0m  \u001b[2m        \u2192\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens_per_s     \u001b[0m  \u001b[1m   542,210\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m   \u2191 3.1%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  mfu              \u001b[0m  \u001b[1m     11.8%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hlo_flops_util \u2265 \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 0.4 pt\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hfu \u2265            \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 0.4 pt\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2muncounted kernels \u001b[0m\u001b[1m50.00\u001b[0m                                                                    \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98moptimizer                                                                                   \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  learning_rate    \u001b[0m  \u001b[1m 8.237e-04\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 16%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2maccepted \u001b[0m\u001b[1m100.0%\u001b[0m                                                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2838\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[37.193953, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m360\u001b[0m\u001b[2m/1000\u001b[0m   36%  33.7\u001b[2m step/s\u001b[0m  0:00:27\u001b[2m + \u001b[0m0:00:19\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2mdata \u001b[0m\u001b[1;2m19,392\u001b[0m\u001b[2m rows\u001b[0m\u001b[2m  \u00b7  \u001b[0m\u001b[1;2m0\u001b[0m\u001b[2m rejected\u001b[0m                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mtrain                                                                                       \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss             \u001b[0m  \u001b[1m     1.520\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 24%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  ce               \u001b[0m  \u001b[1m     1.520\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 24%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity       \u001b[0m  \u001b[1m     4.573\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 39%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  token_accuracy   \u001b[0m  \u001b[1m     53.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m\u2191 13.1 pt\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  data_wait_ms     \u001b[0m  \u001b[1m   0.01966\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m   \u2191 4.2%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  grad_norm        \u001b[0m  \u001b[1m    0.3693\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 64%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_misses     \u001b[0m  \u001b[1m     3.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m    \u2191 50%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2mcompiles \u001b[0m\u001b[1m1.000\u001b[0m   \u001b[2mcache_hits \u001b[0m\u001b[1m9.000\u001b[0m   \u001b[2mpeak_memory_gib \u001b[0m\u001b[1m4.016\u001b[0m                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mthroughput                                                                                  \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  step_time_ms     \u001b[0m  \u001b[1m     29.66\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m   \u2193 2.9%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  samples_per_sec  \u001b[0m  \u001b[1m     2,158\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m   \u2191 3.0%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens           \u001b[0m  \u001b[1m    16,082\u001b[0m  \u001b[38;5;38m\u2586\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;"]
[37.193982, "o", "98m\u2588\u001b[0m  \u001b[2m        \u2192\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens_per_s     \u001b[0m  \u001b[1m   542,210\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m   \u2191 3.1%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  mfu              \u001b[0m  \u001b[1m     11.8%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hlo_flops_util \u2265 \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 0.4 pt\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hfu \u2265            \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 0.4 pt\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2muncounted kernels \u001b[0m\u001b[1m50.00\u001b[0m                                                                    \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98moptimizer                                                                                   \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  learning_rate    \u001b[0m  \u001b[1m 8.237e-04\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 16%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2maccepted \u001b[0m\u001b[1m100.0%\u001b[0m                                                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u283c\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[37.336839, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m366\u001b[0m\u001b[2m/1000\u001b[0m   37%  33.6\u001b[2m step/s\u001b[0m  0:00:27\u001b[2m + \u001b[0m0:00:19\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2mdata \u001b[0m\u001b[1;2m19,392\u001b[0m\u001b[2m rows\u001b[0m\u001b[2m  \u00b7  \u001b[0m\u001b[1;2m0\u001b[0m\u001b[2m rejected\u001b[0m                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mtrain                                                                                       \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss             \u001b[0m  \u001b[1m     1.520\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 24%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  ce               \u001b[0m  \u001b[1m     1.520\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 24%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity       \u001b[0m  \u001b[1m     4.573\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 39%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  token_accuracy   \u001b[0m  \u001b[1m     53.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m\u2191 13.1 pt\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  data_wait_ms     \u001b[0m  \u001b[1m   0.01966\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m   \u2191 4.2%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  grad_norm        \u001b[0m  \u001b[1m    0.3693\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 64%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_misses     \u001b[0m  \u001b[1m     3.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m    \u2191 50%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2mcompiles \u001b[0m\u001b[1m1.000\u001b[0m   \u001b[2mcache_hits \u001b[0m\u001b[1m9.000\u001b[0m   \u001b[2mpeak_memory_gib \u001b[0m\u001b[1m4.016\u001b[0m                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mthroughput                                                                                  \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  step_time_ms     \u001b[0m  \u001b[1m     29.66\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m   \u2193 2.9%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  samples_per_sec  \u001b[0m  \u001b[1m     2,158\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m   \u2191 3.0%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens           \u001b[0m  \u001b[1m    16,082\u001b[0m  \u001b[38;5;38m\u2586\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m        \u2192\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens_per_s     \u001b[0m  \u001b[1m   542,210\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m   \u2191 3.1%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  mfu              \u001b[0m  \u001b[1m     11.8%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hlo_flops_util \u2265 \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 0.4 pt\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hfu \u2265            \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 0.4 pt\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2muncounted kernels \u001b[0m\u001b[1m50.00\u001b[0m                                                                    \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98moptimizer                                                                                   \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  learning_rate    \u001b[0m  \u001b[1m 8.237e-04\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 16%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2maccepted \u001b[0m\u001b[1m100.0%\u001b[0m                                                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2826\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[37.48564, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m371\u001b[0m\u001b[2m/1000\u001b[0m   37%  33.6\u001b[2m step/s\u001b[0m  0:00:27\u001b[2m + \u001b[0m0:00:19\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2mdata \u001b[0m\u001b[1;2m19,392\u001b[0m\u001b[2m rows\u001b[0m\u001b[2m  \u00b7  \u001b[0m\u001b[1;2m0\u001b[0m\u001b[2m rejected\u001b[0m                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mtrain                                                                                       \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss             \u001b[0m  \u001b[1m     1.520\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 24%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  ce               \u001b[0m  \u001b[1m     1.520\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 24%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity       \u001b[0m  \u001b[1m     4.573\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 39%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  token_accuracy   \u001b[0m  \u001b[1m     53.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m\u2191 13.1 pt\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  data_wait_ms     \u001b[0m  \u001b[1m   0.01966\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m   \u2191 4.2%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  grad_norm        \u001b[0m  \u001b[1m    0.3693\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 64%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_misses     \u001b[0m  \u001b[1m     3.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m    \u2191 50%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2mcompiles \u001b[0m\u001b[1m1.000\u001b[0m   \u001b[2mcache_hits \u001b[0m\u001b[1m9.000\u001b[0m   \u001b[2mpeak_memory_gib \u001b[0m\u001b[1m4.016\u001b[0m                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mthroughput                                                                                  \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  step_time_ms     \u001b[0m  \u001b[1m     29.66\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m   \u2193 2.9%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  samples_per_sec  \u001b[0m  \u001b[1m     2,158\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m   \u2191 3.0%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens           \u001b[0m  \u001b[1m    16,082\u001b[0m  \u001b[38;5;38m\u2586\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;"]
[37.485666, "o", "98m\u2588\u001b[0m  \u001b[2m        \u2192\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens_per_s     \u001b[0m  \u001b[1m   542,210\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m   \u2191 3.1%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  mfu              \u001b[0m  \u001b[1m     11.8%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hlo_flops_util \u2265 \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 0.4 pt\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hfu \u2265            \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 0.4 pt\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2muncounted kernels \u001b[0m\u001b[1m50.00\u001b[0m                                                                    \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98moptimizer                                                                                   \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  learning_rate    \u001b[0m  \u001b[1m 8.237e-04\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 16%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2maccepted \u001b[0m\u001b[1m100.0%\u001b[0m                                                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2807\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[37.633128, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2578\u001b[0m\u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m376\u001b[0m\u001b[2m/1000\u001b[0m   38%  33.7\u001b[2m step/s\u001b[0m  0:00:27\u001b[2m + \u001b[0m0:00:19\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2mdata \u001b[0m\u001b[1;2m19,392\u001b[0m\u001b[2m rows\u001b[0m\u001b[2m  \u00b7  \u001b[0m\u001b[1;2m0\u001b[0m\u001b[2m rejected\u001b[0m                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m"]
[37.633153, "o", "\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mtrain                                                                                       \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss             \u001b[0m  \u001b[1m     1.520\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 24%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  ce               "]
[37.633165, "o", "\u001b[0m  \u001b[1m     1.520\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 24%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m"]
[37.633227, "o", "\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity       \u001b[0m  \u001b[1m     4.573\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 39%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  token_accuracy   \u001b[0m  \u001b[1m     53.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m\u2191 13.1 pt\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  data_wait_ms     \u001b[0m  \u001b[1m   0.01966\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m   \u2191 4.2%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  grad_norm        \u001b[0m  \u001b[1m    0.3693\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 64%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_misses     \u001b[0m  \u001b[1m     3.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m    \u2191 50%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2mcompiles \u001b[0m\u001b[1m1.000\u001b[0m   \u001b[2mcache_hits \u001b[0m\u001b[1m9.000\u001b[0m   \u001b[2mpeak_memory_gib \u001b[0m\u001b[1m4.016\u001b[0m                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mthroughput                                                                                  \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  step_time_ms     \u001b[0m  \u001b[1m     29.66\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m   \u2193 2.9%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  samples_per_sec  \u001b[0m  \u001b[1m     2,158\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m   \u2191 3.0%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens           \u001b[0m  \u001b[1m    16,082\u001b[0m  \u001b[38;5;38m\u2586\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m        \u2192\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens_per_s     \u001b[0m  \u001b[1m   542,210\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m   \u2191 3.1%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  mfu              \u001b[0m  \u001b[1m     11.8%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hlo_flops_util \u2265 \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 0.4 pt\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hfu \u2265            \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 0.4 pt\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2muncounted kernels \u001b[0m\u001b[1m50.00\u001b[0m                                                                    \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98moptimizer                                                                                   \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  learning_rate    \u001b[0m  \u001b[1m 8.237e-04\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 16%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2maccepted \u001b[0m\u001b[1m100.0%\u001b[0m                                                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u280b\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[37.782174, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2578\u001b[0m\u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m381\u001b[0m\u001b[2m/1000\u001b[0m   38%  33.5\u001b[2m step/s\u001b[0m  0:00:28\u001b[2m + \u001b[0m0:00:18\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2mdata \u001b[0m\u001b[1;2m19,392\u001b[0m\u001b[2m rows\u001b[0m\u001b[2m  \u00b7  \u001b[0m\u001b[1;2m0\u001b[0m\u001b[2m rejected\u001b[0m                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mtrain                                                                                       \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss             \u001b[0m  \u001b[1m     1.520\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 24%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  ce               \u001b[0m  \u001b[1m     1.520\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 24%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity       \u001b[0m  \u001b[1m     4.573\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 39%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  token_accuracy   \u001b[0m  \u001b[1m     53.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m\u2191 13.1 pt\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  data_wait_ms     \u001b[0m  \u001b[1m   0.01966\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m   \u2191 4.2%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  grad_norm        \u001b[0m  \u001b[1m    0.3693\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 64%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_misses     \u001b[0m  \u001b[1m     3.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m    \u2191 50%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2mcompiles \u001b[0m\u001b[1m1.000\u001b[0m   \u001b[2mcache_hits \u001b[0m\u001b[1m9.000\u001b[0m   \u001b[2mpeak_memory_gib \u001b[0m\u001b[1m4.016\u001b[0m                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mthroughput                                                                                  \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  step_time_ms     \u001b[0m  \u001b[1m     29.66\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m   \u2193 2.9%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  samples_per_sec  \u001b[0m  \u001b[1m     2,158\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m   \u2191 3.0%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens           \u001b[0m  \u001b[1m    16,082\u001b[0m  \u001b[38;5;38m\u2586\u001b[0m\u001b[38;5;68m"]
[37.782221, "o", "\u2581\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m        \u2192\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens_per_s     \u001b[0m  \u001b[1m   542,210\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m   \u2191 3.1%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  mfu              \u001b[0m  \u001b[1m     11.8%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hlo_flops_util \u2265 \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 0.4 pt\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hfu \u2265            \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 0.4 pt\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2muncounted kernels \u001b[0m\u001b[1m50.00\u001b[0m                                                                    \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98moptimizer                                                                                   \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  learning_rate    \u001b[0m  \u001b[1m 8.237e-04\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 16%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2maccepted \u001b[0m\u001b[1m100.0%\u001b[0m                                                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2839\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[37.919489, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m"]
[37.919537, "o", "\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m385\u001b[0m\u001b[2m/1000\u001b[0m   38%  33.5\u001b[2m step/s\u001b[0m  0:00:28\u001b[2m + \u001b[0m0:00:18\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2mdata \u001b[0m\u001b[1;2m19,392\u001b[0m\u001b[2m rows\u001b[0m\u001b[2m  \u00b7  \u001b[0m\u001b[1;2m0\u001b[0m\u001b[2m rejected\u001b[0m                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mtrain                                                                                       \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss             \u001b[0m  \u001b[1m     1.520\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 24%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  ce               \u001b[0m  \u001b[1m     1.520\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 24%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity       \u001b[0m  \u001b[1m     4.573\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 39%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  token_accuracy   \u001b[0m  \u001b[1m     53.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m\u2191 13.1 pt\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  data_wait_ms     \u001b[0m  \u001b[1m   0.01966\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m   \u2191 4.2%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  grad_norm        \u001b[0m  \u001b[1m    0.3693\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 64%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_misses     \u001b[0m  \u001b[1m     3.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m    \u2191 50%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2mcompiles \u001b[0m\u001b[1m1.000\u001b[0m   \u001b[2mcache_hits \u001b[0m\u001b[1m9.000\u001b[0m   \u001b[2mpeak_memory_gib \u001b[0m\u001b[1m4.016\u001b[0m                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mthroughput                                                                                  \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  step_time_ms     \u001b[0m  \u001b[1m     29.66\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m   \u2193 2.9%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  samples_per_sec  \u001b[0m  \u001b[1m     2,158\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m   \u2191 3.0%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens           \u001b[0m  \u001b[1m    16,082\u001b[0m  \u001b[38;5;38m\u2586\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m        \u2192\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens_per_s     \u001b[0m  \u001b[1m   542,210\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m   \u2191 3.1%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  mfu              \u001b[0m  \u001b[1m     11.8%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hlo_flops_util \u2265 \u001b"]
[37.919554, "o", "[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 0.4 pt\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hfu \u2265            \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 0.4 pt\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2muncounted kernels \u001b[0m\u001b[1m50.00\u001b[0m                                                                    \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98moptimizer                                                                                   \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  learning_rate    \u001b[0m  \u001b[1m 8.237e-04\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 16%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2maccepted \u001b[0m\u001b[1m100.0%\u001b[0m                                                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2838\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[38.054151, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m390\u001b[0m\u001b[2m/1000\u001b[0m   39%  33.5\u001b[2m step/s\u001b[0m  0:00:28\u001b[2m + \u001b[0m0:00:18\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2mdata \u001b[0m\u001b[1;2m19,392\u001b[0m\u001b[2m rows\u001b[0m\u001b[2m  \u00b7  \u001b[0m\u001b[1;2m0\u001b[0m\u001b[2m rejected\u001b[0m                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mtrain                                                                                       \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss             \u001b[0m  \u001b[1m     1.520\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 24%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  ce               \u001b[0m  \u001b[1m     1.520\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 24%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity       \u001b[0m  \u001b[1m     4.573\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 39%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  token_accuracy   \u001b[0m  \u001b[1m     53.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m\u2191 13.1 pt\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  data_wait_ms     \u001b[0m  \u001b[1m   0.01966\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m   \u2191 4.2%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  grad_norm        \u001b[0m  \u001b[1m    0.3693\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 64%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_misses     \u001b[0m  \u001b[1m     3.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m    \u2191 50%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2mcompiles \u001b[0m\u001b[1m1.000\u001b[0m   \u001b[2mcache_hits \u001b[0m\u001b[1m9.000\u001b[0m   \u001b[2mpeak_memory_gib \u001b[0m\u001b[1m4.016\u001b[0m                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mthroughput                                                                                  \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  step_time_ms     \u001b[0m  \u001b[1m     29.66\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m   \u2193 2.9%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  samples_per_sec  \u001b[0m  \u001b[1m     2,158\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m   \u2191 3.0%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens           \u001b[0m  \u001b[1m    16,082\u001b[0m  \u001b[38;5;38m\u2586\u001b[0m\u001b[38;5;68m"]
[38.05419, "o", "\u2581\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m        \u2192\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens_per_s     \u001b[0m  \u001b[1m   542,210\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m   \u2191 3.1%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  mfu              \u001b[0m  \u001b[1m     11.8%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hlo_flops_util \u2265 \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 0.4 pt\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hfu \u2265            \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 0.4 pt\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2muncounted kernels \u001b[0m\u001b[1m50.00\u001b[0m                                                                    \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98moptimizer                                                                                   \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  learning_rate    \u001b[0m  \u001b[1m 8.237e-04\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 16%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2maccepted \u001b[0m\u001b[1m100.0%\u001b[0m                                                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2834\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[38.197353, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m"]
[38.197442, "o", "\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m394\u001b[0m\u001b[2m/1000\u001b[0m   39%  33.5\u001b[2m step/s\u001b[0m  0:00:28\u001b[2m + \u001b[0m0:00:18\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2mdata \u001b[0m\u001b[1;2m19,392\u001b[0m\u001b[2m rows\u001b[0m\u001b[2m  \u00b7  \u001b[0m\u001b[1;2m0\u001b[0m\u001b[2m rejected\u001b[0m                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mtrain                                                                                       \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss             \u001b[0m  \u001b[1m     1.520\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 24%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  ce               \u001b[0m  \u001b[1m     1.520\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 24%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity       \u001b[0m  \u001b[1m     4.573\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 39%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  token_accuracy   \u001b[0m  \u001b[1m     53.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m\u2191 13.1 pt\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  data_wait_ms     \u001b[0m  \u001b[1m   0.01966\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m   \u2191 4.2%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  grad_norm        \u001b[0m  \u001b[1m    0.3693\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 64%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_misses     \u001b[0m  \u001b[1m     3.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m    \u2191 50%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2mcompiles \u001b[0m\u001b[1m1.000\u001b[0m   \u001b[2mcache_hits \u001b[0m\u001b[1m9.000\u001b[0m   \u001b[2mpeak_memory_gib \u001b[0m\u001b[1m4.016\u001b[0m                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mthroughput                                                                                  \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  step_time_ms     \u001b[0m  \u001b[1m     29.66\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m   \u2193 2.9%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  samples_per_sec  \u001b[0m  \u001b[1m     2,158\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m   \u2191 3.0%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens           \u001b[0m  \u001b[1m    16,082\u001b[0m  \u001b[38;5;38m\u2586\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m        \u2192\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens_per_s     \u001b[0m  \u001b[1m   542,210\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m   \u2191 3.1%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  mfu              \u001b[0m  \u001b[1m     11.8%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hlo_flops_util \u2265 \u001b"]
[38.197462, "o", "[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 0.4 pt\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hfu \u2265            \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 0.4 pt\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2muncounted kernels \u001b[0m\u001b[1m50.00\u001b[0m                                                                    \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98moptimizer                                                                                   \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  learning_rate    \u001b[0m  \u001b[1m 8.237e-04\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 16%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2maccepted \u001b[0m\u001b[1m100.0%\u001b[0m                                                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2827\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[38.331944, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m"]
[38.332006, "o", "\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2578\u001b[0m\u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m399\u001b[0m\u001b[2m/1000\u001b[0m   40%  33.6\u001b[2m step/s\u001b[0m  0:00:28\u001b[2m + \u001b[0m0:00:18\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2mdata \u001b[0m\u001b[1;2m19,392\u001b[0m\u001b[2m rows\u001b[0m\u001b[2m  \u00b7  \u001b[0m\u001b[1;2m0\u001b[0m\u001b[2m rejected\u001b[0m                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mtrain                                                                                       \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss             \u001b[0m  \u001b[1m     1.520\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 24%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  ce               \u001b[0m  \u001b[1m     1.520\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 24%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity       \u001b[0m  \u001b[1m     4.573\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 39%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  token_accuracy   \u001b[0m  \u001b[1m     53.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m\u2191 13.1 pt\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  data_wait_ms     \u001b[0m  \u001b[1m   0.01966\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m   \u2191 4.2%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  grad_norm        \u001b[0m  \u001b[1m    0.3693\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 64%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_misses     \u001b[0m  \u001b[1m     3.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m    \u2191 50%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2mcompiles \u001b[0m\u001b[1m1.000\u001b[0m   \u001b[2mcache_hits \u001b[0m\u001b[1m9.000\u001b[0m   \u001b[2mpeak_memory_gib \u001b[0m\u001b[1m4.016\u001b[0m                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mthroughput                                                                                  \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  step_time_ms     \u001b[0m  \u001b[1m     29.66\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m   \u2193 2.9%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  samples_per_sec  \u001b[0m  \u001b[1m     2,158\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m   \u2191 3.0%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens           \u001b[0m  \u001b[1m    16,082\u001b[0m  \u001b[38;5;38m\u2586\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m        \u2192\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens_per_s     \u001b[0m  \u001b[1m   542,210\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m   \u2191 3.1%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  mfu              \u001b[0m  \u001b[1m     11.8%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hlo_fl"]
[38.332031, "o", "ops_util \u2265 \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 0.4 pt\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hfu \u2265            \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 0.4 pt\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2muncounted kernels \u001b[0m\u001b[1m50.00\u001b[0m                                                                    \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98moptimizer                                                                                   \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  learning_rate    \u001b[0m  \u001b[1m 8.237e-04\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 16%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2maccepted \u001b[0m\u001b[1m100.0%\u001b[0m                                                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u280f\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[38.467501, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m"]
[38.467572, "o", "\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2578\u001b[0m\u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m400\u001b[0m\u001b[2m/1000\u001b[0m   40%  33.6\u001b[2m step/s\u001b[0m  0:00:28\u001b[2m + \u001b[0m0:00:18\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2mdata \u001b[0m\u001b[1;2m19,392\u001b[0m\u001b[2m rows\u001b[0m\u001b[2m  \u00b7  \u001b[0m\u001b[1;2m0\u001b[0m\u001b[2m rejected\u001b[0m                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mtrain                                                                                       \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss             \u001b[0m  \u001b[1m     1.520\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 24%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  ce               \u001b[0m  \u001b[1m     1.520\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 24%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity       \u001b[0m  \u001b[1m     4.573\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 39%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  token_accuracy   \u001b[0m  \u001b[1m     53.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m\u2191 13.1 pt\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  data_wait_ms     \u001b[0m  \u001b[1m   0.01966\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m   \u2191 4.2%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  grad_norm        \u001b[0m  \u001b[1m    0.3693\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 64%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_misses     \u001b[0m  \u001b[1m     3.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m    \u2191 50%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2mcompiles \u001b[0m\u001b[1m1.000\u001b[0m   \u001b[2mcache_hits \u001b[0m\u001b[1m9.000\u001b[0m   \u001b[2mpeak_memory_gib \u001b[0m\u001b[1m4.016\u001b[0m                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mthroughput                                                                                  \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  step_time_ms     \u001b[0m  \u001b[1m     29.66\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m   \u2193 2.9%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  samples_per_sec  \u001b[0m  \u001b[1m     2,158\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m   \u2191 3.0%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens           \u001b[0m  \u001b[1m    16,082\u001b[0m  \u001b[38;5;38m\u2586\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m        \u2192\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens_per_s     \u001b[0m  \u001b[1m   542,210\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m   \u2191 3.1%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  mfu              \u001b[0m  \u001b[1m     11.8%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hlo_fl"]
[38.467596, "o", "ops_util \u2265 \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 0.4 pt\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hfu \u2265            \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 0.4 pt\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2muncounted kernels \u001b[0m\u001b[1m50.00\u001b[0m                                                                    \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98moptimizer                                                                                   \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  learning_rate    \u001b[0m  \u001b[1m 8.237e-04\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 16%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2maccepted \u001b[0m\u001b[1m100.0%\u001b[0m                                                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u280b\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[38.601996, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2578\u001b[0m\u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m400\u001b[0m\u001b[2m/1000\u001b[0m   40%  33.6\u001b[2m step/s\u001b[0m  0:00:28\u001b[2m + \u001b[0m0:00:18\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2mdata \u001b[0m\u001b[1;2m19,392\u001b[0m\u001b[2m rows\u001b[0m\u001b[2m  \u00b7  \u001b[0m\u001b[1;2m0\u001b[0m\u001b[2m rejected\u001b[0m                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mtrain                                                                                       \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss             \u001b[0m  \u001b[1m     1.520\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 24%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  ce               \u001b[0m  \u001b[1m     1.520\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 24%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity       \u001b[0m  \u001b[1m     4.573\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 39%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  token_accuracy   \u001b[0m  \u001b[1m     53.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m\u2191 13.1 pt\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  data_wait_ms     \u001b[0m  \u001b[1m   0.01966\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m   \u2191 4.2%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  grad_norm        \u001b[0m  \u001b[1m    0.3693\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 64%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_misses     \u001b[0m  \u001b[1m     3.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m    \u2191 50%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2mcompiles \u001b[0m\u001b[1m1.000\u001b[0m   \u001b[2mcache_hits \u001b[0m\u001b[1m9.000\u001b[0m   \u001b[2mpeak_memory_gib \u001b[0m\u001b[1m4.016\u001b[0m                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mthroughput                                                                                  \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  step_time_ms     \u001b[0m  \u001b[1m     29.66\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m   \u2193 2.9%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  samples_per_sec  \u001b[0m  \u001b[1m     2,158\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m   \u2191 3.0%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens           \u001b[0m  \u001b[1m    16,082\u001b[0m  \u001b[38;5;38m\u2586"]
[38.602024, "o", "\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m        \u2192\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens_per_s     \u001b[0m  \u001b[1m   542,210\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m   \u2191 3.1%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  mfu              \u001b[0m  \u001b[1m     11.8%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hlo_flops_util \u2265 \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 0.4 pt\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hfu \u2265            \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 0.4 pt\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2muncounted kernels \u001b[0m\u001b[1m50.00\u001b[0m                                                                    \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98moptimizer                                                                                   \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  learning_rate    \u001b[0m  \u001b[1m 8.237e-04\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 16%\u001b[0m                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2maccepted \u001b[0m\u001b[1m100.0%\u001b[0m                                                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2839\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[38.740716, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2578\u001b[0m\u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m405\u001b[0m\u001b[2m/1000\u001b[0m   40%  32.2\u001b[2m step/s\u001b[0m  0:00:28\u001b[2m + \u001b[0m0:00:18\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2mdata \u001b[0m\u001b[1;2m25,792\u001b[0m\u001b[2m rows\u001b[0m\u001b[2m  \u00b7  \u001b[0m\u001b[1;2m0\u001b[0m\u001b[2m rejected\u001b[0m                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mtrain                                                                                       \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss             \u001b[0m  \u001b[1m     1.340\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 33%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  ce               \u001b[0m  \u001b[1m     1.340\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 33%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity       \u001b[0m  \u001b[1m     3.817\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 49%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  token_accuracy   \u001b[0m  \u001b[1m     58.2%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m\u2191 17.6 pt\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  data_wait_ms     \u001b[0m  \u001b[1m   0.02096\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m    \u2191 11%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  grad_norm        \u001b[0m  \u001b[1m    0.3388\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 67%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_misses     \u001b[0m  \u001b[1m     3.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m    \u2191 50%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2mcompiles \u001b[0m\u001b[1m1.000\u001b[0m   \u001b[2mcache_hits \u001b[0m\u001b[1m9.000\u001b[0m   \u001b[2mpeak_memory_gib \u001b[0m\u001b[1m4.016\u001b[0m                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mthroughput                                                                                  \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  step_time_ms     \u001b[0m  \u001b[1m     29.73\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[38;5;71m   \u2193 2.7%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  samples_per_sec  \u001b[0m  \u001b[1m     2,152\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m   \u2191 2.8%\u001b[0m"]
[38.740764, "o", "                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens           \u001b[0m  \u001b[1m    16,066\u001b[0m  \u001b[38;5;38m\u2586\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2584\u001b[0m  \u001b[2m   \u2193 0.1%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens_per_s     \u001b[0m  \u001b[1m   540,341\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m   \u2191 2.7%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  mfu              \u001b[0m  \u001b[1m     11.7%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hlo_flops_util \u2265 \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hfu \u2265            \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2muncounted kernels \u001b[0m\u001b[1m50.00\u001b[0m                                                                    \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98moptimizer                                                                                   \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  learning_rate    \u001b[0m  \u001b[1m 6.985e-04\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 29%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2maccepted \u001b[0m\u001b[1m100.0%\u001b[0m                                                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u283c\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[38.878597, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m411\u001b[0m\u001b[2m/1000\u001b[0m   41%  32.2\u001b[2m step/s\u001b[0m  0:00:29\u001b[2m + \u001b[0m0:00:18\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2mdata \u001b[0m\u001b[1;2m25,792\u001b[0m\u001b[2m rows\u001b[0m\u001b[2m  \u00b7  \u001b[0m\u001b[1;2m0\u001b[0m\u001b[2m rejected\u001b[0m                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mtrain                                                                                       \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss             \u001b[0m  \u001b[1m     1.340\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 33%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  ce               \u001b[0m  \u001b[1m     1.340\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 33%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity       \u001b[0m  \u001b[1m     3.817\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 49%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  token_accuracy   \u001b[0m  \u001b[1m     58.2%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m\u2191 17.6 pt\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  data_wait_ms     \u001b[0m  \u001b[1m   0.02096\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m    \u2191 11%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  grad_norm        \u001b[0m  \u001b[1m    0.3388\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 67%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_misses     \u001b[0m  \u001b[1m     3.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m    \u2191 50%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2mcompiles \u001b[0m\u001b[1m1.000\u001b[0m   \u001b[2mcache_hits \u001b[0m\u001b[1m9.000\u001b[0m   \u001b[2mpeak_memory_gib \u001b[0m\u001b[1m4.016\u001b[0m                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mthroughput                                                                                  \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  step_time_ms     \u001b[0m  \u001b[1m     29.73\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[38;5;71m   \u2193 2.7%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  samples_per_sec  \u001b[0m  \u001b[1m     2,152\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m   \u2191 2.8%\u001b[0m"]
[38.878636, "o", "                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens           \u001b[0m  \u001b[1m    16,066\u001b[0m  \u001b[38;5;38m\u2586\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2584\u001b[0m  \u001b[2m   \u2193 0.1%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens_per_s     \u001b[0m  \u001b[1m   540,341\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m   \u2191 2.7%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  mfu              \u001b[0m  \u001b[1m     11.7%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hlo_flops_util \u2265 \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hfu \u2265            \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2muncounted kernels \u001b[0m\u001b[1m50.00\u001b[0m                                                                    \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98moptimizer                                                                                   \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  learning_rate    \u001b[0m  \u001b[1m 6.985e-04\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 29%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2maccepted \u001b[0m\u001b[1m100.0%\u001b[0m                                                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2834\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[39.017381, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m416\u001b[0m\u001b[2m/1000\u001b[0m   42%  33.9\u001b[2m step/s\u001b[0m  0:00:29\u001b[2m + \u001b[0m0:00:17\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2mdata \u001b[0m\u001b[1;2m25,792\u001b[0m\u001b[2m rows\u001b[0m\u001b[2m  \u00b7  \u001b[0m\u001b[1;2m0\u001b[0m\u001b[2m rejected\u001b[0m                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mtrain                                                                                       \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss             \u001b[0m  \u001b[1m     1.340\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 33%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  ce               \u001b[0m  \u001b[1m     1.340\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 33%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity       \u001b[0m  \u001b[1m     3.817\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 49%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  token_accuracy   \u001b[0m  \u001b[1m     58.2%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m\u2191 17.6 pt\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  data_wait_ms     \u001b[0m  \u001b[1m   0.02096\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m    \u2191 11%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  grad_norm        \u001b[0m  \u001b[1m    0.3388\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 67%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_misses     \u001b[0m  \u001b[1m     3.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m    \u2191 50%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2mcompiles \u001b[0m\u001b[1m1.000\u001b[0m   \u001b[2mcache_hits \u001b[0m\u001b[1m9.000\u001b[0m   \u001b[2mpeak_memory_gib \u001b[0m\u001b[1m4.016\u001b[0m                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mthroughput                                                                                  \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  step_time_ms     \u001b[0m  \u001b[1m     29.73\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[38;5;71m   \u2193 2.7%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  samples_per_sec  \u001b[0m  \u001b[1m     2,152\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m   \u2191 2.8%\u001b[0m"]
[39.017407, "o", "                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens           \u001b[0m  \u001b[1m    16,066\u001b[0m  \u001b[38;5;38m\u2586\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2584\u001b[0m  \u001b[2m   \u2193 0.1%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens_per_s     \u001b[0m  \u001b[1m   540,341\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m   \u2191 2.7%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  mfu              \u001b[0m  \u001b[1m     11.7%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hlo_flops_util \u2265 \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hfu \u2265            \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2muncounted kernels \u001b[0m\u001b[1m50.00\u001b[0m                                                                    \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98moptimizer                                                                                   \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  learning_rate    \u001b[0m  \u001b[1m 6.985e-04\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 29%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2maccepted \u001b[0m\u001b[1m100.0%\u001b[0m                                                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2827\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[39.155035, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m421\u001b[0m\u001b[2m/1000\u001b[0m   42%  33.9\u001b[2m step/s\u001b[0m  0:00:29\u001b[2m + \u001b[0m0:00:17\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2mdata \u001b[0m\u001b[1;2m25,792\u001b[0m\u001b[2m rows\u001b[0m\u001b[2m  \u00b7  \u001b[0m\u001b[1;2m0\u001b[0m\u001b[2m rejected\u001b[0m                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mtrain                                                                                       \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss             \u001b[0m  \u001b[1m     1.340\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 33%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  ce               \u001b[0m  \u001b[1m     1.340\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 33%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity       \u001b[0m  \u001b[1m     3.817\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 49%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  token_accuracy   \u001b[0m  \u001b[1m     58.2%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m\u2191 17.6 pt\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  data_wait_ms     \u001b[0m  \u001b[1m   0.02096\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m    \u2191 11%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  grad_norm        \u001b[0m  \u001b[1m    0.3388\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 67%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_misses     \u001b[0m  \u001b[1m     3.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m    \u2191 50%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2mcompiles \u001b[0m\u001b[1m1.000\u001b[0m   \u001b[2mcache_hits \u001b[0m\u001b[1m9.000\u001b[0m   \u001b[2mpeak_memory_gib \u001b[0m\u001b[1m4.016\u001b[0m                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mthroughput                                                                                  \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  step_time_ms     \u001b[0m  \u001b[1m     29.73\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[38;5;71m   \u2193 2.7%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  samples_per_sec  \u001b[0m  \u001b[1m     2,152\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m   \u2191 2.8%\u001b[0m"]
[39.155062, "o", "                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens           \u001b[0m  \u001b[1m    16,066\u001b[0m  \u001b[38;5;38m\u2586\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2584\u001b[0m  \u001b[2m   \u2193 0.1%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens_per_s     \u001b[0m  \u001b[1m   540,341\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m   \u2191 2.7%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  mfu              \u001b[0m  \u001b[1m     11.7%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hlo_flops_util \u2265 \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hfu \u2265            \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2muncounted kernels \u001b[0m\u001b[1m50.00\u001b[0m                                                                    \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98moptimizer                                                                                   \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  learning_rate    \u001b[0m  \u001b[1m 6.985e-04\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 29%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2maccepted \u001b[0m\u001b[1m100.0%\u001b[0m                                                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u280f\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[39.295976, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2578\u001b[0m\u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m427\u001b[0m\u001b[2m/1000\u001b[0m   43%  33.9\u001b[2m step/s\u001b[0m  0:00:29\u001b[2m + \u001b[0m0:00:17\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2mdata \u001b[0m\u001b[1;2m25,792\u001b[0m\u001b[2m rows\u001b[0m\u001b[2m  \u00b7  \u001b[0m\u001b[1;2m0\u001b[0m\u001b[2m rejected\u001b[0m                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m"]
[39.295997, "o", "\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mtrain                                                                                       \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss             \u001b[0m  \u001b[1m     1.340\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 33%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m"]
[39.296086, "o", "\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  ce               \u001b[0m  \u001b[1m     1.340\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 33%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity       \u001b[0m  \u001b[1m     3.817\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 49%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  token_accuracy   \u001b[0m  \u001b[1m     58.2%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m\u2191 17.6 pt\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  data_wait_ms     \u001b[0m  \u001b[1m   0.02096\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m    \u2191 11%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  grad_norm        \u001b[0m  \u001b[1m    0.3388\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 67%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_misses     \u001b[0m  \u001b[1m     3.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m    \u2191 50%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2mcompiles \u001b[0m\u001b[1m1.000\u001b[0m   \u001b[2mcache_hits \u001b[0m\u001b[1m9.000\u001b[0m   \u001b[2mpeak_memory_gib \u001b[0m\u001b[1m4.016\u001b[0m                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mthroughput                                                                                  \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  step_time_ms     \u001b[0m  \u001b[1m     29.73\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[38;5;71m   \u2193 2.7%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  samples_per_sec  \u001b[0m  \u001b[1m     2,152\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m   \u2191 2.8%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens           \u001b[0m  \u001b[1m    16,066\u001b[0m  \u001b[38;5;38m\u2586\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2584\u001b[0m  \u001b[2m   \u2193 0.1%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens_per_s     \u001b[0m  \u001b[1m   540,341\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m   \u2191 2.7%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  mfu              \u001b[0m  \u001b[1m     11.7%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hlo_flops_util \u2265 \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hfu \u2265            \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2muncounted kernels \u001b[0m\u001b[1m50.00\u001b[0m                                                                    \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98moptimizer                                                                                   \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  learning_rate    \u001b[0m  \u001b[1m 6.985e-04\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 29%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2maccepted \u001b[0m\u001b[1m100.0%\u001b[0m                                                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500"]
[39.296099, "o", "\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2819\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[39.435406, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2578\u001b[0m\u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m433\u001b[0m\u001b[2m/1000\u001b[0m   43%  34.1\u001b[2m step/s\u001b[0m  0:00:29\u001b[2m + \u001b[0m0:00:17\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2mdata \u001b[0m\u001b[1;2m25,792\u001b[0m\u001b[2m rows\u001b[0m\u001b[2m  \u00b7  \u001b[0m\u001b[1;2m0\u001b[0m\u001b[2m rejected\u001b[0m                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mtrain                                                                                       \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss             \u001b[0m  \u001b[1m     1.340\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 33%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  ce               \u001b[0m  \u001b[1m     1.340\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 33%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity       \u001b[0m  \u001b[1m     3.817\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 49%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  token_accuracy   \u001b[0m  \u001b[1m     58.2%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m\u2191 17.6 pt\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  data_wait_ms     \u001b[0m  \u001b[1m   0.02096\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m    \u2191 11%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  grad_norm        \u001b[0m  \u001b[1m    0.3388\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 67%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_misses     \u001b[0m  \u001b[1m     3.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m    \u2191 50%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2mcompiles \u001b[0m\u001b[1m1.000\u001b[0m   \u001b[2mcache_hits \u001b[0m\u001b[1m9.000\u001b[0m   \u001b[2mpeak_memory_gib \u001b[0m\u001b[1m4.016\u001b[0m                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mthroughput                                                                                  \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  step_time_ms     \u001b[0m  \u001b[1m     29.73\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[38;5;71m   \u2193 2.7%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  samples_per_sec  \u001b[0m  \u001b[1m     2,152\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m "]
[39.435459, "o", "  \u2191 2.8%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens           \u001b[0m  \u001b[1m    16,066\u001b[0m  \u001b[38;5;38m\u2586\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2584\u001b[0m  \u001b[2m   \u2193 0.1%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens_per_s     \u001b[0m  \u001b[1m   540,341\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m   \u2191 2.7%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  mfu              \u001b[0m  \u001b[1m     11.7%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hlo_flops_util \u2265 \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hfu \u2265            \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2muncounted kernels \u001b[0m\u001b[1m50.00\u001b[0m                                                                    \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98moptimizer                                                                                   \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  learning_rate    \u001b[0m  \u001b[1m 6.985e-04\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 29%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2maccepted \u001b[0m\u001b[1m100.0%\u001b[0m                                                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2839\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[39.580131, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m438\u001b[0m\u001b[2m/1000\u001b[0m   44%  34.1\u001b[2m step/s\u001b[0m  0:00:29\u001b[2m + \u001b[0m0:00:16\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2mdata \u001b[0m\u001b[1;2m25,792\u001b[0m\u001b[2m rows\u001b[0m\u001b[2m  \u00b7  \u001b[0m\u001b[1;2m0\u001b[0m\u001b[2m rejected\u001b[0m                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mtrain                                                                                       \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss             \u001b[0m  \u001b[1m     1.340\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 33%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  ce               \u001b[0m  \u001b[1m     1.340\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 33%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity       \u001b[0m  \u001b[1m     3.817\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 49%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  token_accuracy   \u001b[0m  \u001b[1m     58.2%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m\u2191 17.6 pt\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  data_wait_ms     \u001b[0m  \u001b[1m   0.02096\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m    \u2191 11%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  grad_norm        \u001b[0m  \u001b[1m    0.3388\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 67%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_misses     \u001b[0m  \u001b[1m     3.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m    \u2191 50%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2mcompiles \u001b[0m\u001b[1m1.000\u001b[0m   \u001b[2mcache_hits \u001b[0m\u001b[1m9.000\u001b[0m   \u001b[2mpeak_memory_gib \u001b[0m\u001b[1m4.016\u001b[0m                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mthroughput                                                                                  \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  step_time_ms     \u001b[0m  \u001b[1m     29.73\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[38;5;71m   \u2193 2.7%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  samples_per_sec  \u001b[0m  \u001b[1m     2,152\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m "]
[39.580192, "o", "  \u2191 2.8%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens           \u001b[0m  \u001b[1m    16,066\u001b[0m  \u001b[38;5;38m\u2586\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2584\u001b[0m  \u001b[2m   \u2193 0.1%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens_per_s     \u001b[0m  \u001b[1m   540,341\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m   \u2191 2.7%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  mfu              \u001b[0m  \u001b[1m     11.7%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hlo_flops_util \u2265 \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hfu \u2265            \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2muncounted kernels \u001b[0m\u001b[1m50.00\u001b[0m                                                                    \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98moptimizer                                                                                   \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  learning_rate    \u001b[0m  \u001b[1m 6.985e-04\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 29%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2maccepted \u001b[0m\u001b[1m100.0%\u001b[0m                                                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u283c\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[39.719078, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m443\u001b[0m\u001b[2m/1000\u001b[0m   44%  33.9\u001b[2m step/s\u001b[0m  0:00:29\u001b[2m + \u001b[0m0:00:16\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2mdata \u001b[0m\u001b[1;2m25,792\u001b[0m\u001b[2m rows\u001b[0m\u001b[2m  \u00b7  \u001b[0m\u001b[1;2m0\u001b[0m\u001b[2m rejected\u001b[0m                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mtrain                                                                                       \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss             \u001b[0m  \u001b[1m     1.340\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 33%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  ce               \u001b[0m  \u001b[1m     1.340\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 33%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity       \u001b[0m  \u001b[1m     3.817\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 49%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  token_accuracy   \u001b[0m  \u001b[1m     58.2%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m\u2191 17.6 pt\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  data_wait_ms     \u001b[0m  \u001b[1m   0.02096\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m    \u2191 11%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  grad_norm        \u001b[0m  \u001b[1m    0.3388\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 67%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_misses     \u001b[0m  \u001b[1m     3.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m    \u2191 50%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2mcompiles \u001b[0m\u001b[1m1.000\u001b[0m   \u001b[2mcache_hits \u001b[0m\u001b[1m9.000\u001b[0m   \u001b[2mpeak_memory_gib \u001b[0m\u001b[1m4.016\u001b[0m                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mthroughput                                                                                  \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  step_time_ms     \u001b[0m  \u001b[1m     29.73\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[38;5;71m   \u2193 2.7%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  samples_per_sec  \u001b[0m  \u001b[1m     2,152\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m "]
[39.719104, "o", "  \u2191 2.8%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens           \u001b[0m  \u001b[1m    16,066\u001b[0m  \u001b[38;5;38m\u2586\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2584\u001b[0m  \u001b[2m   \u2193 0.1%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens_per_s     \u001b[0m  \u001b[1m   540,341\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m   \u2191 2.7%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  mfu              \u001b[0m  \u001b[1m     11.7%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hlo_flops_util \u2265 \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hfu \u2265            \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2muncounted kernels \u001b[0m\u001b[1m50.00\u001b[0m                                                                    \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98moptimizer                                                                                   \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  learning_rate    \u001b[0m  \u001b[1m 6.985e-04\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 29%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2maccepted \u001b[0m\u001b[1m100.0%\u001b[0m                                                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2826\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[39.862166, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2578\u001b[0m\u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m449\u001b[0m\u001b[2m/1000\u001b[0m   45%  33.9\u001b[2m step/s\u001b[0m  0:00:30\u001b[2m + \u001b[0m0:00:16\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2mdata \u001b[0m\u001b[1;2m25,792\u001b[0m\u001b[2m rows\u001b[0m\u001b[2m  \u00b7  \u001b[0m\u001b[1;2m0\u001b[0m\u001b[2m rejected\u001b[0m                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mtrain                                                                                       \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss             \u001b[0m  \u001b[1m     1.340\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 33%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  ce               \u001b[0m  \u001b[1m     1.340\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 33%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity       \u001b[0m  \u001b[1m     3.817\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 49%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  token_accuracy   \u001b[0m  \u001b[1m     58.2%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m\u2191 17.6 pt\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  data_wait_ms     \u001b[0m  \u001b[1m   0.02096\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m    \u2191 11%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  grad_norm        \u001b[0m  \u001b[1m    0.3388\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 67%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_misses     \u001b[0m  \u001b[1m     3.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m    \u2191 50%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2mcompiles \u001b[0m\u001b[1m1.000\u001b[0m   \u001b[2mcache_hits \u001b[0m\u001b[1m9.000\u001b[0m   \u001b[2mpeak_memory_gib \u001b[0m\u001b[1m4.016\u001b[0m                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mthroughput                                                                                  \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  step_time_ms     \u001b[0m  \u001b[1m     29.73\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[38;5;71m   \u2193 2.7%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  samples_per_sec  \u001b[0m  \u001b[1m     2,152\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2587\u001b[0"]
[39.862189, "o", "m  \u001b[38;5;71m   \u2191 2.8%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens           \u001b[0m  \u001b[1m    16,066\u001b[0m  \u001b[38;5;38m\u2586\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2584\u001b[0m  \u001b[2m   \u2193 0.1%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens_per_s     \u001b[0m  \u001b[1m   540,341\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m   \u2191 2.7%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  mfu              \u001b[0m  \u001b[1m     11.7%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hlo_flops_util \u2265 \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hfu \u2265            \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2muncounted kernels \u001b[0m\u001b[1m50.00\u001b[0m                                                                    \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98moptimizer                                                                                   \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  learning_rate    \u001b[0m  \u001b[1m 6.985e-04\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 29%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2maccepted \u001b[0m\u001b[1m100.0%\u001b[0m                                                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2807\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[40.001208, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2578\u001b[0m\u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m454\u001b[0m\u001b[2m/1000\u001b[0m   45%  33.9\u001b[2m step/s\u001b[0m  0:00:30\u001b[2m + \u001b[0m0:00:16\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2mdata \u001b[0m\u001b[1;2m25,792\u001b[0m\u001b[2m rows\u001b[0m\u001b[2m  \u00b7  \u001b[0m\u001b[1;2m0\u001b[0m\u001b[2m rejected\u001b[0m                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mtrain                                                                                       \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss             \u001b[0m  \u001b[1m     1.340\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 33%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  ce               \u001b[0m  \u001b[1m     1.340\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 33%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity       \u001b[0m  \u001b[1m     3.817\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 49%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  token_accuracy   \u001b[0m  \u001b[1m     58.2%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m\u2191 17.6 pt\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  data_wait_ms     \u001b[0m  \u001b[1m   0.02096\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m    \u2191 11%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  grad_norm        \u001b[0m  \u001b[1m    0.3388\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 67%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_misses     \u001b[0m  \u001b[1m     3.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m    \u2191 50%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2mcompiles \u001b[0m\u001b[1m1.000\u001b[0m   \u001b[2mcache_hits \u001b[0m\u001b[1m9.000\u001b[0m   \u001b[2mpeak_memory_gib \u001b[0m\u001b[1m4.016\u001b[0m                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mthroughput                                                                                  \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  step_time_ms     \u001b[0m  \u001b[1m     29.73\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[38;5;71m   \u2193 2.7%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  samples_per_sec  \u001b[0m  \u001b[1m     2,152\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2587\u001b[0"]
[40.001232, "o", "m  \u001b[38;5;71m   \u2191 2.8%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens           \u001b[0m  \u001b[1m    16,066\u001b[0m  \u001b[38;5;38m\u2586\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2584\u001b[0m  \u001b[2m   \u2193 0.1%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens_per_s     \u001b[0m  \u001b[1m   540,341\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m   \u2191 2.7%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  mfu              \u001b[0m  \u001b[1m     11.7%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hlo_flops_util \u2265 \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hfu \u2265            \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2muncounted kernels \u001b[0m\u001b[1m50.00\u001b[0m                                                                    \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98moptimizer                                                                                   \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  learning_rate    \u001b[0m  \u001b[1m 6.985e-04\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 29%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2maccepted \u001b[0m\u001b[1m100.0%\u001b[0m                                                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u280f\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[40.140481, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2578\u001b[0m\u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m459\u001b[0m\u001b[2m/1000\u001b[0m   46%  33.9\u001b[2m step/s\u001b[0m  0:00:30\u001b[2m + \u001b[0m0:00:16\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2mdata \u001b[0m\u001b[1;2m25,792\u001b[0m\u001b[2m rows\u001b[0m\u001b[2m  \u00b7  \u001b[0m\u001b[1;2m0\u001b[0m\u001b[2m rejected\u001b[0m                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mtrain                                                                                       \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss             \u001b[0m  \u001b[1m     1.340\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 33%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  ce               \u001b[0m  \u001b[1m     1.340\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 33%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity       \u001b[0m  \u001b[1m     3.817\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 49%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  token_accuracy   \u001b[0m  \u001b[1m     58.2%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m\u2191 17.6 pt\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  data_wait_ms     \u001b[0m  \u001b[1m   0.02096\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m    \u2191 11%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  grad_norm        \u001b[0m  \u001b[1m    0.3388\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 67%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_misses     \u001b[0m  \u001b[1m     3.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m    \u2191 50%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2mcompiles \u001b[0m\u001b[1m1.000\u001b[0m   \u001b[2mcache_hits \u001b[0m\u001b[1m9.000\u001b[0m   \u001b[2mpeak_memory_gib \u001b[0m\u001b[1m4.016\u001b[0m                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mthroughput                                                                                  \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  step_time_ms     \u001b[0m  \u001b[1m     29.73\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[38;5;71m   \u2193 2.7%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  samples_per_sec  \u001b[0m  \u001b[1m     2,152\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2587\u001b[0"]
[40.140503, "o", "m  \u001b[38;5;71m   \u2191 2.8%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens           \u001b[0m  \u001b[1m    16,066\u001b[0m  \u001b[38;5;38m\u2586\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2584\u001b[0m  \u001b[2m   \u2193 0.1%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens_per_s     \u001b[0m  \u001b[1m   540,341\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m   \u2191 2.7%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  mfu              \u001b[0m  \u001b[1m     11.7%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hlo_flops_util \u2265 \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hfu \u2265            \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2muncounted kernels \u001b[0m\u001b[1m50.00\u001b[0m                                                                    \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98moptimizer                                                                                   \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  learning_rate    \u001b[0m  \u001b[1m 6.985e-04\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 29%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2maccepted \u001b[0m\u001b[1m100.0%\u001b[0m                                                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2819\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[40.280333, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m464\u001b[0m\u001b[2m/1000\u001b[0m   46%  33.8\u001b[2m step/s\u001b[0m  0:00:30\u001b[2m + \u001b[0m0:00:16\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2mdata \u001b[0m\u001b[1;2m25,792\u001b[0m\u001b[2m rows\u001b[0m\u001b[2m  \u00b7  \u001b[0m\u001b[1;2m0\u001b[0m\u001b[2m rejected\u001b[0m                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mtrain                                                                                       \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss             \u001b[0m  \u001b[1m     1.340\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 33%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  ce               \u001b[0m  \u001b[1m     1.340\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 33%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity       \u001b[0m  \u001b[1m     3.817\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 49%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  token_accuracy   \u001b[0m  \u001b[1m     58.2%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m\u2191 17.6 pt\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  data_wait_ms     \u001b[0m  \u001b[1m   0.02096\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m    \u2191 11%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  grad_norm        \u001b[0m  \u001b[1m    0.3388\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 67%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_misses     \u001b[0m  \u001b[1m     3.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m    \u2191 50%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2mcompiles \u001b[0m\u001b[1m1.000\u001b[0m   \u001b[2mcache_hits \u001b[0m\u001b[1m9.000\u001b[0m   \u001b[2mpeak_memory_gib \u001b[0m\u001b[1m4.016\u001b[0m                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mthroughput                                                                                  \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  step_time_ms     \u001b[0m  \u001b[1m     29.73\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[38;5;71m   \u2193 2.7%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  samples_per_sec  \u001b[0m  \u001b[1m     2,152\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2587\u001b[0"]
[40.280368, "o", "m  \u001b[38;5;71m   \u2191 2.8%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens           \u001b[0m  \u001b[1m    16,066\u001b[0m  \u001b[38;5;38m\u2586\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2584\u001b[0m  \u001b[2m   \u2193 0.1%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens_per_s     \u001b[0m  \u001b[1m   540,341\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m   \u2191 2.7%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  mfu              \u001b[0m  \u001b[1m     11.7%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hlo_flops_util \u2265 \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hfu \u2265            \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2muncounted kernels \u001b[0m\u001b[1m50.00\u001b[0m                                                                    \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98moptimizer                                                                                   \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  learning_rate    \u001b[0m  \u001b[1m 6.985e-04\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 29%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2maccepted \u001b[0m\u001b[1m100.0%\u001b[0m                                                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2838\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[40.427914, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m469\u001b[0m\u001b[2m/1000\u001b[0m   47%  33.8\u001b[2m step/s\u001b[0m  0:00:30\u001b[2m + \u001b[0m0:00:16\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2mdata \u001b[0m\u001b[1;2m25,792\u001b[0m\u001b[2m rows\u001b[0m\u001b[2m  \u00b7  \u001b[0m\u001b[1;2m0\u001b[0m\u001b[2m rejected\u001b[0m                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mtrain                                                                                       \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss             \u001b[0m  \u001b[1m     1.340\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 33%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  ce               \u001b[0m  \u001b[1m     1.340\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 33%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity       \u001b[0m  \u001b[1m     3.817\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 49%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  token_accuracy   \u001b[0m  \u001b[1m     58.2%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m\u2191 17.6 pt\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  data_wait_ms     \u001b[0m  \u001b[1m   0.02096\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m    \u2191 11%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  grad_norm        \u001b[0m  \u001b[1m    0.3388\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 67%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_misses     \u001b[0m  \u001b[1m     3.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m    \u2191 50%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2mcompiles \u001b[0m\u001b[1m1.000\u001b[0m   \u001b[2mcache_hits \u001b[0m\u001b[1m9.000\u001b[0m   \u001b[2mpeak_memory_gib \u001b[0m\u001b[1m4.016\u001b[0m                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mthroughput                                                                                  \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  step_time_ms     \u001b[0m  \u001b[1m     29.73\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[38;5;71m   \u2193 2.7%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  samples_per_sec  \u001b[0m  \u001b[1m     2,152\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2587\u001b[0"]
[40.427931, "o", "m  \u001b[38;5;71m   \u2191 2.8%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens           \u001b[0m  \u001b[1m    16,066\u001b[0m  \u001b[38;5;38m\u2586\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2584\u001b[0m  \u001b[2m   \u2193 0.1%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens_per_s     \u001b[0m  \u001b[1m   540,341\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m   \u2191 2.7%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  mfu              \u001b[0m  \u001b[1m     11.7%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hlo_flops_util \u2265 \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hfu \u2265            \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2muncounted kernels \u001b[0m\u001b[1m50.00\u001b[0m                                                                    \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98moptimizer                                                                                   \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  learning_rate    \u001b[0m  \u001b[1m 6.985e-04\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 29%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2maccepted \u001b[0m\u001b[1m100.0%\u001b[0m                                                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2834\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[40.574627, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m"]
[40.574666, "o", "\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m474\u001b[0m\u001b[2m/1000\u001b[0m   47%  33.7\u001b[2m step/s\u001b[0m  0:00:30\u001b[2m + \u001b[0m0:00:16\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2mdata \u001b[0m\u001b[1;2m25,792\u001b[0m\u001b[2m rows\u001b[0m\u001b[2m  \u00b7  \u001b[0m\u001b[1;2m0\u001b[0m\u001b[2m rejected\u001b[0m                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mtrain                                                                                       \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss             \u001b[0m  \u001b[1m     1.340\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 33%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  ce               \u001b[0m  \u001b[1m     1.340\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 33%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity       \u001b[0m  \u001b[1m     3.817\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 49%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  token_accuracy   \u001b[0m  \u001b[1m     58.2%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m\u2191 17.6 pt\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  data_wait_ms     \u001b[0m  \u001b[1m   0.02096\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m    \u2191 11%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  grad_norm        \u001b[0m  \u001b[1m    0.3388\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 67%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_misses     \u001b[0m  \u001b[1m     3.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m    \u2191 50%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2mcompiles \u001b[0m\u001b[1m1.000\u001b[0m   \u001b[2mcache_hits \u001b[0m\u001b[1m9.000\u001b[0m   \u001b[2mpeak_memory_gib \u001b[0m\u001b[1m4.016\u001b[0m                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mthroughput                                                                                  \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  step_time_ms     \u001b[0m  \u001b[1m     29.73\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[38;5;71m   \u2193 2.7%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  samples_per_sec  \u001b[0m  \u001b[1m     2,152\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m   \u2191 2.8%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens           \u001b[0m  \u001b[1m    16,066\u001b[0m  \u001b[38;5;38m\u2586\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2584\u001b[0m  \u001b[2m   \u2193 0.1%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens_per_s     \u001b[0m  \u001b[1m   540,341\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m   \u2191 2.7%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  mfu         "]
[40.57471, "o", "     \u001b[0m  \u001b[1m     11.7%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hlo_flops_util \u2265 \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hfu \u2265            \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2muncounted kernels \u001b[0m\u001b[1m50.00\u001b[0m                                                                    \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98moptimizer                                                                                   \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  learning_rate    \u001b[0m  \u001b[1m 6.985e-04\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 29%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2maccepted \u001b[0m\u001b[1m100.0%\u001b[0m                                                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2827\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[40.726223, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2578\u001b[0m\u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m479\u001b[0m\u001b[2m/1000\u001b[0m   48%  33.7\u001b[2m step/s\u001b[0m  0:00:30\u001b[2m + \u001b[0m0:00:15\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2mdata \u001b[0m\u001b[1;2m25,792\u001b[0m\u001b[2m rows\u001b[0m\u001b[2m  \u00b7  \u001b[0m\u001b[1;2m0\u001b[0m\u001b[2m rejected\u001b[0m                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mtrain                                                                                       \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss             \u001b[0m  \u001b[1m     1.340\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 33%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  ce               \u001b[0m  \u001b[1m     1.340\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 33%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity       \u001b[0m  \u001b[1m     3.817\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 49%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  token_accuracy   \u001b[0m  \u001b[1m     58.2%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m\u2191 17.6 pt\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  data_wait_ms     \u001b[0m  \u001b[1m   0.02096\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m    \u2191 11%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  grad_norm        \u001b[0m  \u001b[1m    0.3388\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 67%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_misses     \u001b[0m  \u001b[1m     3.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m    \u2191 50%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2mcompiles \u001b[0m\u001b[1m1.000\u001b[0m   \u001b[2mcache_hits \u001b[0m\u001b[1m9.000\u001b[0m   \u001b[2mpeak_memory_gib \u001b[0m\u001b[1m4.016\u001b[0m                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mthroughput                                                                                  \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  step_time_ms     \u001b[0m  \u001b[1m     29.73\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[38;5;71m   \u2193 2.7%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  samples_per_sec  \u001b[0m  \u001b[1m     2,152\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b["]
[40.726245, "o", "38;5;98m\u2587\u001b[0m  \u001b[38;5;71m   \u2191 2.8%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens           \u001b[0m  \u001b[1m    16,066\u001b[0m  \u001b[38;5;38m\u2586\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2584\u001b[0m  \u001b[2m   \u2193 0.1%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens_per_s     \u001b[0m  \u001b[1m   540,341\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m   \u2191 2.7%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  mfu              \u001b[0m  \u001b[1m     11.7%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hlo_flops_util \u2265 \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hfu \u2265            \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2muncounted kernels \u001b[0m\u001b[1m50.00\u001b[0m                                                                    \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98moptimizer                                                                                   \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  learning_rate    \u001b[0m  \u001b[1m 6.985e-04\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 29%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2maccepted \u001b[0m\u001b[1m100.0%\u001b[0m                                                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2807\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[40.873925, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2578\u001b[0m\u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m484\u001b[0m\u001b[2m/1000\u001b[0m   48%  33.5\u001b[2m step/s\u001b[0m  0:00:31\u001b[2m + \u001b[0m0:00:15\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2mdata \u001b[0m\u001b[1;2m25,792\u001b[0m\u001b[2m rows\u001b[0m\u001b[2m  \u00b7  \u001b[0m\u001b[1;2m0\u001b[0m\u001b[2m rejected\u001b[0m                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mtrain                                                                                       \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss             \u001b[0m  \u001b[1m     1.340\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 33%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  ce               \u001b[0m  \u001b[1m     1.340\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 33%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity       \u001b[0m  \u001b[1m     3.817\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 49%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  token_accuracy   \u001b[0m  \u001b[1m     58.2%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m\u2191 17.6 pt\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  data_wait_ms     \u001b[0m  \u001b[1m   0.02096\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m    \u2191 11%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  grad_norm        \u001b[0m  \u001b[1m    0.3388\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 67%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_misses     \u001b[0m  \u001b[1m     3.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m    \u2191 50%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2mcompiles \u001b[0m\u001b[1m1.000\u001b[0m   \u001b[2mcache_hits \u001b[0m\u001b[1m9.000\u001b[0m   \u001b[2mpeak_memory_gib \u001b[0m\u001b[1m4.016\u001b[0m                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mthroughput                                                                                  \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  step_time_ms     \u001b[0m  \u001b[1m     29.73\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[38;5;71m   \u2193 2.7%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  samples_per_sec  \u001b[0m  \u001b[1m     2,152\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b["]
[40.873947, "o", "38;5;98m\u2587\u001b[0m  \u001b[38;5;71m   \u2191 2.8%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens           \u001b[0m  \u001b[1m    16,066\u001b[0m  \u001b[38;5;38m\u2586\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2584\u001b[0m  \u001b[2m   \u2193 0.1%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens_per_s     \u001b[0m  \u001b[1m   540,341\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m   \u2191 2.7%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  mfu              \u001b[0m  \u001b[1m     11.7%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hlo_flops_util \u2265 \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hfu \u2265            \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2muncounted kernels \u001b[0m\u001b[1m50.00\u001b[0m                                                                    \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98moptimizer                                                                                   \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  learning_rate    \u001b[0m  \u001b[1m 6.985e-04\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 29%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2maccepted \u001b[0m\u001b[1m100.0%\u001b[0m                                                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u280b\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[41.009609, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m489\u001b[0m\u001b[2m/1000\u001b[0m   49%  33.5\u001b[2m step/s\u001b[0m  0:00:31\u001b[2m + \u001b[0m0:00:15\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2mdata \u001b[0m\u001b[1;2m25,792\u001b[0m\u001b[2m rows\u001b[0m\u001b[2m  \u00b7  \u001b[0m\u001b[1;2m0\u001b[0m\u001b[2m rejected\u001b[0m                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mtrain                                                                                       \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss             \u001b[0m  \u001b[1m     1.340\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 33%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  ce               \u001b[0m  \u001b[1m     1.340\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 33%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity       \u001b[0m  \u001b[1m     3.817\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 49%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  token_accuracy   \u001b[0m  \u001b[1m     58.2%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m\u2191 17.6 pt\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  data_wait_ms     \u001b[0m  \u001b[1m   0.02096\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m    \u2191 11%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  grad_norm        \u001b[0m  \u001b[1m    0.3388\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 67%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_misses     \u001b[0m  \u001b[1m     3.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m    \u2191 50%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2mcompiles \u001b[0m\u001b[1m1.000\u001b[0m   \u001b[2mcache_hits \u001b[0m\u001b[1m9.000\u001b[0m   \u001b[2mpeak_memory_gib \u001b[0m\u001b[1m4.016\u001b[0m                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mthroughput                                                                                  \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  step_time_ms     \u001b[0m  \u001b[1m     29.73\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[38;5;71m   \u2193 2.7%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  samples_per_sec  \u001b[0m  \u001b[1m     2,152\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b["]
[41.009639, "o", "38;5;98m\u2587\u001b[0m  \u001b[38;5;71m   \u2191 2.8%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens           \u001b[0m  \u001b[1m    16,066\u001b[0m  \u001b[38;5;38m\u2586\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2584\u001b[0m  \u001b[2m   \u2193 0.1%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens_per_s     \u001b[0m  \u001b[1m   540,341\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m   \u2191 2.7%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  mfu              \u001b[0m  \u001b[1m     11.7%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hlo_flops_util \u2265 \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hfu \u2265            \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2muncounted kernels \u001b[0m\u001b[1m50.00\u001b[0m                                                                    \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98moptimizer                                                                                   \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  learning_rate    \u001b[0m  \u001b[1m 6.985e-04\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 29%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2maccepted \u001b[0m\u001b[1m100.0%\u001b[0m                                                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2839\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[41.145219, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m493\u001b[0m\u001b[2m/1000\u001b[0m   49%  33.3\u001b[2m step/s\u001b[0m  0:00:31\u001b[2m + \u001b[0m0:00:15\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2mdata \u001b[0m\u001b[1;2m25,792\u001b[0m\u001b[2m rows\u001b[0m\u001b[2m  \u00b7  \u001b[0m\u001b[1;2m0\u001b[0m\u001b[2m rejected\u001b[0m                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mtrain                                                                                       \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss             \u001b[0m  \u001b[1m     1.340\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 33%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  ce               \u001b[0m  \u001b[1m     1.340\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 33%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity       \u001b[0m  \u001b[1m     3.817\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 49%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  token_accuracy   \u001b[0m  \u001b[1m     58.2%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m\u2191 17.6 pt\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  data_wait_ms     \u001b[0m  \u001b[1m   0.02096\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m    \u2191 11%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  grad_norm        \u001b[0m  \u001b[1m    0.3388\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 67%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_misses     \u001b[0m  \u001b[1m     3.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m    \u2191 50%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2mcompiles \u001b[0m\u001b[1m1.000\u001b[0m   \u001b[2mcache_hits \u001b[0m\u001b[1m9.000\u001b[0m   \u001b[2mpeak_memory_gib \u001b[0m\u001b[1m4.016\u001b[0m                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mthroughput                                                                                  \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  step_time_ms     \u001b[0m  \u001b[1m     29.73\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[38;5;71m   \u2193 2.7%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  samples_per_sec  \u001b[0m  \u001b[1m     2,152\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b["]
[41.145308, "o", "38;5;98m\u2587\u001b[0m  \u001b[38;5;71m   \u2191 2.8%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens           \u001b[0m  \u001b[1m    16,066\u001b[0m  \u001b[38;5;38m\u2586\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2584\u001b[0m  \u001b[2m   \u2193 0.1%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens_per_s     \u001b[0m  \u001b[1m   540,341\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m   \u2191 2.7%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  mfu              \u001b[0m  \u001b[1m     11.7%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hlo_flops_util \u2265 \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hfu \u2265            \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2muncounted kernels \u001b[0m\u001b[1m50.00\u001b[0m                                                                    \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98moptimizer                                                                                   \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  learning_rate    \u001b[0m  \u001b[1m 6.985e-04\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 29%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2maccepted \u001b[0m\u001b[1m100.0%\u001b[0m                                                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u283c\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[41.288079, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m498\u001b[0m\u001b[2m/1000\u001b[0m   50%  33.3\u001b[2m step/s\u001b[0m  0:00:31\u001b[2m + \u001b[0m0:00:15\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2mdata \u001b[0m\u001b[1;2m25,792\u001b[0m\u001b[2m rows\u001b[0m\u001b[2m  \u00b7  \u001b[0m\u001b[1;2m0\u001b[0m\u001b[2m rejected\u001b[0m                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n"]
[41.2881, "o", "\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mtrain                                                                                       \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n"]
[41.288196, "o", "\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss             \u001b[0m  \u001b[1m     1.340\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 33%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  ce               \u001b[0m  \u001b[1m     1.340\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 33%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity       \u001b[0m  \u001b[1m     3.817\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 49%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  token_accuracy   \u001b[0m  \u001b[1m     58.2%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m\u2191 17.6 pt\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  data_wait_ms     \u001b[0m  \u001b[1m   0.02096\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m    \u2191 11%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  grad_norm        \u001b[0m  \u001b[1m    0.3388\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 67%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_misses     \u001b[0m  \u001b[1m     3.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m    \u2191 50%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2mcompiles \u001b[0m\u001b[1m1.000\u001b[0m   \u001b[2mcache_hits \u001b[0m\u001b[1m9.000\u001b[0m   \u001b[2mpeak_memory_gib \u001b[0m\u001b[1m4.016\u001b[0m                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mthroughput                                                                                  \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  step_time_ms     \u001b[0m  \u001b[1m     29.73\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[38;5;71m   \u2193 2.7%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  samples_per_sec  \u001b[0m  \u001b[1m     2,152\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m   \u2191 2.8%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens           \u001b[0m  \u001b[1m    16,066\u001b[0m  \u001b[38;5;38m\u2586\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2584\u001b[0m  \u001b[2m   \u2193 0.1%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens_per_s     \u001b[0m  \u001b[1m   540,341\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m   \u2191 2.7%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  mfu              \u001b[0m  \u001b[1m     11.7%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hlo_flops_util \u2265 \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hfu \u2265            \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2muncounted kernels \u001b[0m\u001b[1m50.00\u001b[0m                                                                    \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98moptimizer                                                                                   \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  learning_rate    \u001b[0m  \u001b[1m 6.985e-04\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 29%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2maccepted \u001b[0m\u001b[1m100.0%\u001b[0m                                                                "]
[41.288213, "o", "            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2834\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[41.425108, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2578\u001b[0m\u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m500\u001b[0m\u001b[2m/1000\u001b[0m   50%  33.5\u001b[2m step/s\u001b[0m  0:00:31\u001b[2m + \u001b[0m0:00:15\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2mdata \u001b[0m\u001b[1;2m25,792\u001b[0m\u001b[2m rows\u001b[0m\u001b[2m  \u00b7  \u001b[0m\u001b[1;2m0\u001b[0m\u001b[2m rejected\u001b[0m                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mtrain                                                                                       \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss             \u001b[0m  \u001b[1m     1.340\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 33%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  ce               \u001b[0m  \u001b[1m     1.340\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 33%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity       \u001b[0m  \u001b[1m     3.817\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 49%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  token_accuracy   \u001b[0m  \u001b[1m     58.2%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m\u2191 17.6 pt\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  data_wait_ms     \u001b[0m  \u001b[1m   0.02096\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m    \u2191 11%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  grad_norm        \u001b[0m  \u001b[1m    0.3388\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 67%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_misses     \u001b[0m  \u001b[1m     3.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m    \u2191 50%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2mcompiles \u001b[0m\u001b[1m1.000\u001b[0m   \u001b[2mcache_hits \u001b[0m\u001b[1m9.000\u001b[0m   \u001b[2mpeak_memory_gib \u001b[0m\u001b[1m4.016\u001b[0m                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mthroughput                                                                                  \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  step_time_ms     \u001b[0m  \u001b[1m     29.73\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[38;5;71m   \u2193 2.7%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  samples_per_sec  \u001b[0m  \u001b[1m     2,152\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;"]
[41.425138, "o", "5;68m\u2588\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m   \u2191 2.8%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens           \u001b[0m  \u001b[1m    16,066\u001b[0m  \u001b[38;5;38m\u2586\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2584\u001b[0m  \u001b[2m   \u2193 0.1%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens_per_s     \u001b[0m  \u001b[1m   540,341\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m   \u2191 2.7%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  mfu              \u001b[0m  \u001b[1m     11.7%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hlo_flops_util \u2265 \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hfu \u2265            \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2muncounted kernels \u001b[0m\u001b[1m50.00\u001b[0m                                                                    \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98moptimizer                                                                                   \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  learning_rate    \u001b[0m  \u001b[1m 6.985e-04\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 29%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2maccepted \u001b[0m\u001b[1m100.0%\u001b[0m                                                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2827\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[41.559903, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m"]
[41.559991, "o", "\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2578\u001b[0m\u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m500\u001b[0m\u001b[2m/1000\u001b[0m   50%  33.5\u001b[2m step/s\u001b[0m  0:00:31\u001b[2m + \u001b[0m0:00:15\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2mdata \u001b[0m\u001b[1;2m25,792\u001b[0m\u001b[2m rows\u001b[0m\u001b[2m  \u00b7  \u001b[0m\u001b[1;2m0\u001b[0m\u001b[2m rejected\u001b[0m                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mtrain                                                                                       \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss             \u001b[0m  \u001b[1m     1.340\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 33%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  ce               \u001b[0m  \u001b[1m     1.340\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 33%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity       \u001b[0m  \u001b[1m     3.817\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 49%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  token_accuracy   \u001b[0m  \u001b[1m     58.2%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m\u2191 17.6 pt\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  data_wait_ms     \u001b[0m  \u001b[1m   0.02096\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m    \u2191 11%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  grad_norm        \u001b[0m  \u001b[1m    0.3388\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 67%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_misses     \u001b[0m  \u001b[1m     3.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m    \u2191 50%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2mcompiles \u001b[0m\u001b[1m1.000\u001b[0m   \u001b[2mcache_hits \u001b[0m\u001b[1m9.000\u001b[0m   \u001b[2mpeak_memory_gib \u001b[0m\u001b[1m4.016\u001b[0m                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mthroughput                                                                                  \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  step_time_ms     \u001b[0m  \u001b[1m     29.73\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[38;5;71m   \u2193 2.7%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  samples_per_sec  \u001b[0m  \u001b[1m     2,152\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m   \u2191 2.8%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens           \u001b[0m  \u001b[1m    16,066\u001b[0m  \u001b[38;5;38m\u2586\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2584\u001b[0m  \u001b[2m   \u2193 0.1%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens_per_s     \u001b[0m  \u001b[1m   540,341\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m   \u2191 2.7%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;3"]
[41.560009, "o", "8m\u2502\u001b[0m \u001b[2m  mfu              \u001b[0m  \u001b[1m     11.7%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hlo_flops_util \u2265 \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hfu \u2265            \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2muncounted kernels \u001b[0m\u001b[1m50.00\u001b[0m                                                                    \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98moptimizer                                                                                   \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  learning_rate    \u001b[0m  \u001b[1m 6.985e-04\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 29%\u001b[0m                                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2maccepted \u001b[0m\u001b[1m100.0%\u001b[0m                                                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u280f\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[41.709477, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2578\u001b[0m\u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m502\u001b[0m\u001b[2m/1000\u001b[0m   50%  31.8\u001b[2m step/s\u001b[0m  0:00:31\u001b[2m + \u001b[0m0:00:16\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2mdata \u001b[0m\u001b[1;2m32,192\u001b[0m\u001b[2m rows\u001b[0m\u001b[2m  \u00b7  \u001b[0m\u001b[1;2m0\u001b[0m\u001b[2m rejected\u001b[0m                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mtrain                                                                                       \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss             \u001b[0m  \u001b[1m     1.382\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[38;5;71m    \u2193 31%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  ce               \u001b[0m  \u001b[1m     1.382\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[38;5;71m    \u2193 31%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity       \u001b[0m  \u001b[1m     3.983\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 47%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  token_accuracy   \u001b[0m  \u001b[1m     57.1%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m\u2191 16.6 pt\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  data_wait_ms     \u001b[0m  \u001b[1m   0.02031\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2586\u001b[0m  \u001b[2m   \u2191 7.7%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  grad_norm        \u001b[0m  \u001b[1m    0.3171\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 69%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_misses     \u001b[0m  \u001b[1m     3.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m    \u2191 50%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2mcompiles \u001b[0m\u001b[1m1.000\u001b[0m   \u001b[2mcache_hits \u001b[0m\u001b[1m9.000\u001b[0m   \u001b[2mpeak_memory_gib \u001b[0m\u001b[1m4.016\u001b[0m                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mthroughput                                                                                  \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  step_time_ms     \u001b[0m  \u001b[1m     29.72\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[38;5;71m   \u2193 2.7%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  samples_per_sec  \u001b[0m  \u001b[1m     2,153\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m   \u2191 2.8%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens           \u001b[0m  \u001b[1m    16,102\u001b[0m  \u001b[38;5;38m\u2584\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m   \u2191 0.2%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens_per_s     \u001b[0m  \u001b[1m   541,745\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m   \u2191 3.0%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  mfu              \u001b[0m  \u001b[1m     11.8%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hlo_flops_util \u2265 \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                            \u001b[38;5;"]
[41.709529, "o", "38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hfu \u2265            \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2muncounted kernels \u001b[0m\u001b[1m50.00\u001b[0m                                                                    \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98moptimizer                                                                                   \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  learning_rate    \u001b[0m  \u001b[1m 5.586e-04\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 43%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2maccepted \u001b[0m\u001b[1m100.0%\u001b[0m                                                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mval \u00b7 step 500                                                                              \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity\u001b[0m  \u001b[1m     3.820\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss      \u001b[0m  \u001b[1m     1.340\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2819\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[41.861552, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2578\u001b[0m\u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m508\u001b[0m\u001b[2m/1000\u001b[0m   51%  31.8\u001b[2m step/s\u001b[0m  0:00:32\u001b[2m + \u001b[0m0:00:15\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2mdata \u001b[0m\u001b[1;2m32,192\u001b[0m\u001b[2m rows\u001b[0m\u001b[2m  \u00b7  \u001b[0m\u001b[1;2m0\u001b[0m\u001b[2m rejected\u001b[0m                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mtrain                                                                                       \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss             \u001b[0m  \u001b[1m     1.382\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[38;5;71m    \u2193 31%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  ce               \u001b[0m  \u001b[1m     1.382\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[38;5;71m    \u2193 31%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity       \u001b[0m  \u001b[1m     3.983\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 47%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  token_accuracy   \u001b[0m  \u001b[1m     57.1%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m\u2191 16.6 pt\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  data_wait_ms     \u001b[0m  \u001b[1m   0.02031\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2586\u001b[0m  \u001b[2m   \u2191 7.7%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  grad_norm        \u001b[0m  \u001b[1m    0.3171\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 69%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_misses     \u001b[0m  \u001b[1m     3.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m    \u2191 50%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2mcompiles \u001b[0m\u001b[1m1.000\u001b[0m   \u001b[2mcache_hits \u001b[0m\u001b[1m9.000\u001b[0m   \u001b[2mpeak_memory_gib \u001b[0m\u001b[1m4.016\u001b[0m                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mthroughput                                                                                  \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  step_time_ms     \u001b[0m  \u001b[1m     29.72\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[38;5;71m   \u2193 2.7%\u001b[0m         "]
[41.861576, "o", "                                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  samples_per_sec  \u001b[0m  \u001b[1m     2,153\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m   \u2191 2.8%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens           \u001b[0m  \u001b[1m    16,102\u001b[0m  \u001b[38;5;38m\u2584\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m   \u2191 0.2%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens_per_s     \u001b[0m  \u001b[1m   541,745\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m   \u2191 3.0%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  mfu              \u001b[0m  \u001b[1m     11.8%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hlo_flops_util \u2265 \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hfu \u2265            \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2muncounted kernels \u001b[0m\u001b[1m50.00\u001b[0m                                                                    \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98moptimizer                                                                                   \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  learning_rate    \u001b[0m  \u001b[1m 5.586e-04\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 43%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2maccepted \u001b[0m\u001b[1m100.0%\u001b[0m                                                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mval \u00b7 step 500                                                                              \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity\u001b[0m  \u001b[1m     3.820\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss      \u001b[0m  \u001b[1m     1.340\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2838\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[42.007429, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m513\u001b[0m\u001b[2m/1000\u001b[0m   51%  33.5\u001b[2m step/s\u001b[0m  0:00:32\u001b[2m + \u001b[0m0:00:15\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n"]
[42.007445, "o", "\u001b[38;5;38m\u2502\u001b[0m \u001b[2mdata \u001b[0m\u001b[1;2m32,192\u001b[0m\u001b[2m rows\u001b[0m\u001b[2m  \u00b7  \u001b[0m\u001b[1;2m0\u001b[0m\u001b[2m rejected\u001b[0m                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n"]
[42.007453, "o", "\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mtrain                                                                                       \u001b[0m \u001b[38;5;38m\u2502\u001b[0m"]
[42.007461, "o", "\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss             \u001b[0m  \u001b[1m     1.382\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;98m\u2582"]
[42.00755, "o", "\u001b[0m  \u001b[38;5;71m    \u2193 31%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  ce               \u001b[0m  \u001b[1m     1.382\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[38;5;71m    \u2193 31%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity       \u001b[0m  \u001b[1m     3.983\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 47%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  token_accuracy   \u001b[0m  \u001b[1m     57.1%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m\u2191 16.6 pt\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  data_wait_ms     \u001b[0m  \u001b[1m   0.02031\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2586\u001b[0m  \u001b[2m   \u2191 7.7%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  grad_norm        \u001b[0m  \u001b[1m    0.3171\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 69%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_misses     \u001b[0m  \u001b[1m     3.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m    \u2191 50%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2mcompiles \u001b[0m\u001b[1m1.000\u001b[0m   \u001b[2mcache_hits \u001b[0m\u001b[1m9.000\u001b[0m   \u001b[2mpeak_memory_gib \u001b[0m\u001b[1m4.016\u001b[0m                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mthroughput                                                                                  \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  step_time_ms     \u001b[0m  \u001b[1m     29.72\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[38;5;71m   \u2193 2.7%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  samples_per_sec  \u001b[0m  \u001b[1m     2,153\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m   \u2191 2.8%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens           \u001b[0m  \u001b[1m    16,102\u001b[0m  \u001b[38;5;38m\u2584\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m   \u2191 0.2%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens_per_s     \u001b[0m  \u001b[1m   541,745\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m   \u2191 3.0%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  mfu              \u001b[0m  \u001b[1m     11.8%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hlo_flops_util \u2265 \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hfu \u2265            \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2muncounted kernels \u001b[0m\u001b[1m50.00\u001b[0m                                                                    \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98moptimizer                                                                                   \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  learning_rate    \u001b[0m  \u001b[1m 5.586e-04\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 43%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2"]
[42.007565, "o", "maccepted \u001b[0m\u001b[1m100.0%\u001b[0m                                                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mval \u00b7 step 500                                                                              \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity\u001b[0m  \u001b[1m     3.820\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss      \u001b[0m  \u001b[1m     1.340\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u283c\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[42.163319, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m"]
[42.163415, "o", "\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m519\u001b[0m\u001b[2m/1000\u001b[0m   52%  33.5\u001b[2m step/s\u001b[0m  0:00:32\u001b[2m + \u001b[0m0:00:14\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2mdata \u001b[0m\u001b[1;2m32,192\u001b[0m\u001b[2m rows\u001b[0m\u001b[2m  \u00b7  \u001b[0m\u001b[1;2m0\u001b[0m\u001b[2m rejected\u001b[0m                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mtrain                                                                                       \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss             \u001b[0m  \u001b[1m     1.382\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[38;5;71m    \u2193 31%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  ce               \u001b[0m  \u001b[1m     1.382\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[38;5;71m    \u2193 31%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity       \u001b[0m  \u001b[1m     3.983\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 47%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  token_accuracy   \u001b[0m  \u001b[1m     57.1%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m\u2191 16.6 pt\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  data_wait_ms     \u001b[0m  \u001b[1m   0.02031\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2586\u001b[0m  \u001b[2m   \u2191 7.7%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  grad_norm        \u001b[0m  \u001b[1m    0.3171\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 69%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_misses     \u001b[0m  \u001b[1m     3.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m    \u2191 50%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2mcompiles \u001b[0m\u001b[1m1.000\u001b[0m   \u001b[2mcache_hits \u001b[0m\u001b[1m9.000\u001b[0m   \u001b[2mpeak_memory_gib \u001b[0m\u001b[1m4.016\u001b[0m                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mthroughput                                                                                  \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  step_time_ms     \u001b[0m  \u001b[1m     29.72\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[38;5;71m   \u2193 2.7%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  samples_per_sec  \u001b[0m  \u001b[1m     2,153\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m   \u2191 2.8%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens           \u001b[0m  \u001b[1m    16,102\u001b[0m  \u001b[38;5;38m\u2584\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m   \u2191 0.2%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens_per_s     \u001b[0m  \u001b[1m   541,745\u001b[0m  \u001b[38;5;"]
[42.163442, "o", "38m\u2581\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m   \u2191 3.0%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  mfu              \u001b[0m  \u001b[1m     11.8%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hlo_flops_util \u2265 \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hfu \u2265            \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2muncounted kernels \u001b[0m\u001b[1m50.00\u001b[0m                                                                    \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98moptimizer                                                                                   \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  learning_rate    \u001b[0m  \u001b[1m 5.586e-04\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 43%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2maccepted \u001b[0m\u001b[1m100.0%\u001b[0m                                                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mval \u00b7 step 500                                                                              \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity\u001b[0m  \u001b[1m     3.820\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss      \u001b[0m  \u001b[1m     1.340\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2826\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[42.309844, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m524\u001b[0m\u001b[2m/1000\u001b[0m   52%  33.2\u001b[2m step/s\u001b[0m  0:00:32\u001b[2m + \u001b[0m0:00:14\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2mdata \u001b[0m\u001b[1;2m32,192\u001b[0m\u001b[2m rows\u001b[0m\u001b[2m  \u00b7  \u001b[0m\u001b[1;2m0\u001b[0m\u001b[2m rejected\u001b[0m                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mtrain                                                                                       \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss             \u001b[0m  \u001b[1m     1.382\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[38;5;71m    \u2193 31%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  ce               \u001b[0m  \u001b[1m     1.382\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[38;5;71m    \u2193 31%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity       \u001b[0m  \u001b[1m     3.983\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 47%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  token_accuracy   \u001b[0m  \u001b[1m     57.1%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m\u2191 16.6 pt\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  data_wait_ms     \u001b[0m  \u001b[1m   0.02031\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2586\u001b[0m  \u001b[2m   \u2191 7.7%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  grad_norm        \u001b[0m  \u001b[1m    0.3171\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 69%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_misses     \u001b[0m  \u001b[1m     3.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m    \u2191 50%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2mcompiles \u001b[0m\u001b[1m1.000\u001b[0m   \u001b[2mcache_hits \u001b[0m\u001b[1m9.000\u001b[0m   \u001b[2mpeak_memory_gib \u001b[0m\u001b[1m4.016\u001b[0m                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mthroughput                                                                                  \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  step_time_ms     \u001b[0m  \u001b[1m     29.72\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[38;5;71m   \u2193 2.7%\u001b[0m         "]
[42.309879, "o", "                                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  samples_per_sec  \u001b[0m  \u001b[1m     2,153\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m   \u2191 2.8%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens           \u001b[0m  \u001b[1m    16,102\u001b[0m  \u001b[38;5;38m\u2584\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m   \u2191 0.2%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens_per_s     \u001b[0m  \u001b[1m   541,745\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m   \u2191 3.0%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  mfu              \u001b[0m  \u001b[1m     11.8%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hlo_flops_util \u2265 \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hfu \u2265            \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2muncounted kernels \u001b[0m\u001b[1m50.00\u001b[0m                                                                    \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98moptimizer                                                                                   \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  learning_rate    \u001b[0m  \u001b[1m 5.586e-04\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 43%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2maccepted \u001b[0m\u001b[1m100.0%\u001b[0m                                                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mval \u00b7 step 500                                                                              \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity\u001b[0m  \u001b[1m     3.820\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss      \u001b[0m  \u001b[1m     1.340\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2807\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[42.462568, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2578\u001b[0m\u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m530\u001b[0m\u001b[2m/1000\u001b[0m   53%  33.2\u001b[2m step/s\u001b[0m  0:00:32\u001b[2m + \u001b[0m0:00:14\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2mdata \u001b[0m\u001b[1;2m32,192\u001b[0m\u001b[2m rows\u001b[0m\u001b[2m  \u00b7  \u001b[0m\u001b[1;2m0\u001b[0m\u001b[2m rejected\u001b[0m                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mtrain                                                                                       \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss             \u001b[0m  \u001b[1m     1.382\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[38;5;71m    \u2193 31%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  ce               \u001b[0m  \u001b[1m     1.382\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[38;5;71m    \u2193 31%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity       \u001b[0m  \u001b[1m     3.983\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 47%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  token_accuracy   \u001b[0m  \u001b[1m     57.1%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m\u2191 16.6 pt\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  data_wait_ms     \u001b[0m  \u001b[1m   0.02031\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2586\u001b[0m  \u001b[2m   \u2191 7.7%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  grad_norm        \u001b[0m  \u001b[1m    0.3171\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 69%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_misses     \u001b[0m  \u001b[1m     3.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m    \u2191 50%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2mcompiles \u001b[0m\u001b[1m1.000\u001b[0m   \u001b[2mcache_hits \u001b[0m\u001b[1m9.000\u001b[0m   \u001b[2mpeak_memory_gib \u001b[0m\u001b[1m4.016\u001b[0m                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mthroughput                                                                                  \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  step_time_ms     \u001b[0m  \u001b[1m     29.72\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[38;5;71m   \u2193 2.7"]
[42.462632, "o", "%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  samples_per_sec  \u001b[0m  \u001b[1m     2,153\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m   \u2191 2.8%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens           \u001b[0m  \u001b[1m    16,102\u001b[0m  \u001b[38;5;38m\u2584\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m   \u2191 0.2%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens_per_s     \u001b[0m  \u001b[1m   541,745\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m   \u2191 3.0%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  mfu              \u001b[0m  \u001b[1m     11.8%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hlo_flops_util \u2265 \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hfu \u2265            \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2muncounted kernels \u001b[0m\u001b[1m50.00\u001b[0m                                                                    \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98moptimizer                                                                                   \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  learning_rate    \u001b[0m  \u001b[1m 5.586e-04\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 43%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2maccepted \u001b[0m\u001b[1m100.0%\u001b[0m                                                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mval \u00b7 step 500                                                                              \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity\u001b[0m  \u001b[1m     3.820\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss      \u001b[0m  \u001b[1m     1.340\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u280b\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[42.611345, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2578\u001b[0m\u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m535\u001b[0m\u001b[2m/1000\u001b[0m   54%  33.2\u001b[2m step/s\u001b[0m  0:00:32\u001b[2m + \u001b[0m0:00:14\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2mdata \u001b[0m\u001b[1;2m32,192\u001b[0m\u001b[2m rows\u001b[0m\u001b[2m  \u00b7  \u001b[0m\u001b[1;2m0\u001b[0m\u001b[2m rejected\u001b[0m                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mtrain                                                                                       \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss             \u001b[0m  \u001b[1m     1.382\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[38;5;71m    \u2193 31%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  ce               \u001b[0m  \u001b[1m     1.382\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[38;5;71m    \u2193 31%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity       \u001b[0m  \u001b[1m     3.983\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 47%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  token_accuracy   \u001b[0m  \u001b[1m     57.1%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m\u2191 16.6 pt\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  data_wait_ms     \u001b[0m  \u001b[1m   0.02031\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2586\u001b[0m  \u001b[2m   \u2191 7.7%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  grad_norm        \u001b[0m  \u001b[1m    0.3171\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 69%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_misses     \u001b[0m  \u001b[1m     3.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m    \u2191 50%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2mcompiles \u001b[0m\u001b[1m1.000\u001b[0m   \u001b[2mcache_hits \u001b[0m\u001b[1m9.000\u001b[0m   \u001b[2mpeak_memory_gib \u001b[0m\u001b[1m4.016\u001b[0m                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mthroughput                                                                                  \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  step_time_ms     \u001b[0m  \u001b[1m     29.72\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[38;5;71m   \u2193 2.7"]
[42.611372, "o", "%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  samples_per_sec  \u001b[0m  \u001b[1m     2,153\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m   \u2191 2.8%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens           \u001b[0m  \u001b[1m    16,102\u001b[0m  \u001b[38;5;38m\u2584\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m   \u2191 0.2%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens_per_s     \u001b[0m  \u001b[1m   541,745\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m   \u2191 3.0%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  mfu              \u001b[0m  \u001b[1m     11.8%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hlo_flops_util \u2265 \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hfu \u2265            \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2muncounted kernels \u001b[0m\u001b[1m50.00\u001b[0m                                                                    \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98moptimizer                                                                                   \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  learning_rate    \u001b[0m  \u001b[1m 5.586e-04\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 43%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2maccepted \u001b[0m\u001b[1m100.0%\u001b[0m                                                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mval \u00b7 step 500                                                                              \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity\u001b[0m  \u001b[1m     3.820\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss      \u001b[0m  \u001b[1m     1.340\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2839\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[42.763004, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m541\u001b[0m\u001b[2m/1000\u001b[0m   54%  33.2\u001b[2m step/s\u001b[0m  0:00:32\u001b[2m + \u001b[0m0:00:14\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2mdata \u001b[0m\u001b[1;2m32,192\u001b[0m\u001b[2m rows\u001b[0m\u001b[2m  \u00b7  \u001b[0m\u001b[1;2m0\u001b[0m\u001b[2m rejected\u001b[0m                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mtrain                                                                                       \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss             \u001b[0m  \u001b[1m     1.382\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[38;5;71m    \u2193 31%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  ce               \u001b[0m  \u001b[1m     1.382\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[38;5;71m    \u2193 31%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity       \u001b[0m  \u001b[1m     3.983\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 47%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  token_accuracy   \u001b[0m  \u001b[1m     57.1%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m\u2191 16.6 pt\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  data_wait_ms     \u001b[0m  \u001b[1m   0.02031\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2586\u001b[0m  \u001b[2m   \u2191 7.7%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  grad_norm        \u001b[0m  \u001b[1m    0.3171\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 69%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_misses     \u001b[0m  \u001b[1m     3.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m    \u2191 50%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2mcompiles \u001b[0m\u001b[1m1.000\u001b[0m   \u001b[2mcache_hits \u001b[0m\u001b[1m9.000\u001b[0m   \u001b[2mpeak_memory_gib \u001b[0m\u001b[1m4.016\u001b[0m                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mthroughput                                                                                  \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  step_time_ms     \u001b[0m  \u001b[1m     29.72\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[38;5;71m   \u2193 2.7"]
[42.763045, "o", "%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  samples_per_sec  \u001b[0m  \u001b[1m     2,153\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m   \u2191 2.8%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens           \u001b[0m  \u001b[1m    16,102\u001b[0m  \u001b[38;5;38m\u2584\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m   \u2191 0.2%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens_per_s     \u001b[0m  \u001b[1m   541,745\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m   \u2191 3.0%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  mfu              \u001b[0m  \u001b[1m     11.8%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hlo_flops_util \u2265 \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hfu \u2265            \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2muncounted kernels \u001b[0m\u001b[1m50.00\u001b[0m                                                                    \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98moptimizer                                                                                   \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  learning_rate    \u001b[0m  \u001b[1m 5.586e-04\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 43%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2maccepted \u001b[0m\u001b[1m100.0%\u001b[0m                                                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mval \u00b7 step 500                                                                              \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity\u001b[0m  \u001b[1m     3.820\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss      \u001b[0m  \u001b[1m     1.340\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u283c\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[42.909033, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m547\u001b[0m\u001b[2m/1000\u001b[0m   55%  33.2\u001b[2m step/s\u001b[0m  0:00:33\u001b[2m + \u001b[0m0:00:14\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2mdata \u001b[0m\u001b[1;2m32,192\u001b[0m\u001b[2m rows\u001b[0m\u001b[2m  \u00b7  \u001b[0m\u001b[1;2m0\u001b[0m\u001b[2m rejected\u001b[0m                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mtrain                                                                                       \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss             \u001b[0m  \u001b[1m     1.382\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[38;5;71m    \u2193 31%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  ce               \u001b[0m  \u001b[1m     1.382\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[38;5;71m    \u2193 31%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity       \u001b[0m  \u001b[1m     3.983\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 47%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  token_accuracy   \u001b[0m  \u001b[1m     57.1%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m\u2191 16.6 pt\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  data_wait_ms     \u001b[0m  \u001b[1m   0.02031\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2586\u001b[0m  \u001b[2m   \u2191 7.7%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  grad_norm        \u001b[0m  \u001b[1m    0.3171\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 69%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_misses     \u001b[0m  \u001b[1m     3.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m    \u2191 50%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2mcompiles \u001b[0m\u001b[1m1.000\u001b[0m   \u001b[2mcache_hits \u001b[0m\u001b[1m9.000\u001b[0m   \u001b[2mpeak_memory_gib \u001b[0m\u001b[1m4.016\u001b[0m                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mthroughput                                                                                  \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  step_time_ms     \u001b[0m  \u001b[1m     29.72\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[38;5;71m   \u2193 2.7"]
[42.909059, "o", "%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  samples_per_sec  \u001b[0m  \u001b[1m     2,153\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m   \u2191 2.8%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens           \u001b[0m  \u001b[1m    16,102\u001b[0m  \u001b[38;5;38m\u2584\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m   \u2191 0.2%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens_per_s     \u001b[0m  \u001b[1m   541,745\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m   \u2191 3.0%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  mfu              \u001b[0m  \u001b[1m     11.8%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hlo_flops_util \u2265 \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hfu \u2265            \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2muncounted kernels \u001b[0m\u001b[1m50.00\u001b[0m                                                                    \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98moptimizer                                                                                   \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  learning_rate    \u001b[0m  \u001b[1m 5.586e-04\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 43%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2maccepted \u001b[0m\u001b[1m100.0%\u001b[0m                                                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mval \u00b7 step 500                                                                              \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity\u001b[0m  \u001b[1m     3.820\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss      \u001b[0m  \u001b[1m     1.340\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2826\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[43.065822, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2578\u001b[0m\u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m552\u001b[0m\u001b[2m/1000\u001b[0m   55%  33.0\u001b[2m step/s\u001b[0m  0:00:33\u001b[2m + \u001b[0m0:00:14\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2mdata \u001b[0m\u001b[1;2m32,192\u001b[0m\u001b[2m rows\u001b[0m\u001b[2m  \u00b7  \u001b[0m\u001b[1;2m0\u001b[0m\u001b[2m rejected\u001b[0m                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mtrain                                                                                       \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss             \u001b[0m  \u001b[1m     1.382\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[38;5;71m    \u2193 31%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  ce               \u001b[0m  \u001b[1m     1.382\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[38;5;71m    \u2193 31%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity       \u001b[0m  \u001b[1m     3.983\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 47%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  token_accuracy   \u001b[0m  \u001b[1m     57.1%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m\u2191 16.6 pt\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  data_wait_ms     \u001b[0m  \u001b[1m   0.02031\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2586\u001b[0m  \u001b[2m   \u2191 7.7%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  grad_norm        \u001b[0m  \u001b[1m    0.3171\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 69%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_misses     \u001b[0m  \u001b[1m     3.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m    \u2191 50%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2mcompiles \u001b[0m\u001b[1m1.000\u001b[0m   \u001b[2mcache_hits \u001b[0m\u001b[1m9.000\u001b[0m   \u001b[2mpeak_memory_gib \u001b[0m\u001b[1m4.016\u001b[0m                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mthroughput                                                                                  \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  step_time_ms     \u001b[0m  \u001b[1m     29.72\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[38;5"]
[43.065862, "o", ";71m   \u2193 2.7%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  samples_per_sec  \u001b[0m  \u001b[1m     2,153\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m   \u2191 2.8%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens           \u001b[0m  \u001b[1m    16,102\u001b[0m  \u001b[38;5;38m\u2584\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m   \u2191 0.2%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens_per_s     \u001b[0m  \u001b[1m   541,745\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m   \u2191 3.0%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  mfu              \u001b[0m  \u001b[1m     11.8%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hlo_flops_util \u2265 \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hfu \u2265            \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2muncounted kernels \u001b[0m\u001b[1m50.00\u001b[0m                                                                    \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98moptimizer                                                                                   \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  learning_rate    \u001b[0m  \u001b[1m 5.586e-04\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 43%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2maccepted \u001b[0m\u001b[1m100.0%\u001b[0m                                                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mval \u00b7 step 500                                                                              \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity\u001b[0m  \u001b[1m     3.820\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss      \u001b[0m  \u001b[1m     1.340\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2807\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[43.222246, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2578\u001b[0m\u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m558\u001b[0m\u001b[2m/1000\u001b[0m   56%  33.0\u001b[2m step/s\u001b[0m  0:00:33\u001b[2m + \u001b[0m0:00:13\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n"]
[43.222263, "o", "\u001b[38;5;38m\u2502\u001b[0m \u001b[2mdata \u001b[0m\u001b[1;2m32,192\u001b[0m\u001b[2m rows\u001b[0m\u001b[2m  \u00b7  \u001b[0m\u001b[1;2m0\u001b[0m\u001b[2m rejected\u001b[0m                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n"]
[43.222408, "o", "\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mtrain                                                                                       \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss             \u001b[0m  \u001b[1m     1.382\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[38;5;71m    \u2193 31%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  ce               \u001b[0m  \u001b[1m     1.382\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[38;5;71m    \u2193 31%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity       \u001b[0m  \u001b[1m     3.983\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 47%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  token_accuracy   \u001b[0m  \u001b[1m     57.1%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m\u2191 16.6 pt\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  data_wait_ms     \u001b[0m  \u001b[1m   0.02031\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2586\u001b[0m  \u001b[2m   \u2191 7.7%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  grad_norm        \u001b[0m  \u001b[1m    0.3171\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 69%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_misses     \u001b[0m  \u001b[1m     3.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m    \u2191 50%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2mcompiles \u001b[0m\u001b[1m1.000\u001b[0m   \u001b[2mcache_hits \u001b[0m\u001b[1m9.000\u001b[0m   \u001b[2mpeak_memory_gib \u001b[0m\u001b[1m4.016\u001b[0m                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mthroughput                                                                                  \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  step_time_ms     \u001b[0m  \u001b[1m     29.72\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[38;5;71m   \u2193 2.7%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  samples_per_sec  \u001b[0m  \u001b[1m     2,153\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m   \u2191 2.8%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens           \u001b[0m  \u001b[1m    16,102\u001b[0m  \u001b[38;5;38m\u2584\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m   \u2191 0.2%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens_per_s     \u001b[0m  \u001b[1m   541,745\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m   \u2191 3.0%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  mfu              \u001b[0m  \u001b[1m     11.8%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hlo_flops_util \u2265 \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hfu \u2265            \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2muncounted kernels \u001b[0m\u001b[1m50.00\u001b[0m                                                                    \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98moptimizer                                                                        "]
[43.222498, "o", "           \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  learning_rate    \u001b[0m  \u001b[1m 5.586e-04\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 43%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2maccepted \u001b[0m\u001b[1m100.0%\u001b[0m                                                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mval \u00b7 step 500                                                                              \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity\u001b[0m  \u001b[1m     3.820\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss      \u001b[0m  \u001b[1m     1.340\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u280b\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[43.367238, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2578\u001b[0m\u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m563\u001b[0m\u001b[2m/1000\u001b[0m   56%  33.0\u001b[2m step/s\u001b[0m  0:00:33\u001b[2m + \u001b[0m0:00:13\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2mdata \u001b[0m\u001b[1;2m32,192\u001b[0m\u001b[2m rows\u001b[0m\u001b[2m  \u00b7  \u001b[0m\u001b[1;2m0\u001b[0m\u001b[2m rejected\u001b[0m                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mtrain                                                                                       \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss             \u001b[0m  \u001b[1m     1.382\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[38;5;71m    \u2193 31%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  ce               \u001b[0m  \u001b[1m     1.382\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[38;5;71m    \u2193 31%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity       \u001b[0m  \u001b[1m     3.983\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 47%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  token_accuracy   \u001b[0m  \u001b[1m     57.1%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m\u2191 16.6 pt\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  data_wait_ms     \u001b[0m  \u001b[1m   0.02031\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2586\u001b[0m  \u001b[2m   \u2191 7.7%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  grad_norm        \u001b[0m  \u001b[1m    0.3171\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 69%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_misses     \u001b[0m  \u001b[1m     3.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m    \u2191 50%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2mcompiles \u001b[0m\u001b[1m1.000\u001b[0m   \u001b[2mcache_hits \u001b[0m\u001b[1m9.000\u001b[0m   \u001b[2mpeak_memory_gib \u001b[0m\u001b[1m4.016\u001b[0m                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mthroughput                                                                                  \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  step_time_ms     \u001b[0m  \u001b[1m     29.72\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[38;5"]
[43.367307, "o", ";71m   \u2193 2.7%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  samples_per_sec  \u001b[0m  \u001b[1m     2,153\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m   \u2191 2.8%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens           \u001b[0m  \u001b[1m    16,102\u001b[0m  \u001b[38;5;38m\u2584\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m   \u2191 0.2%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens_per_s     \u001b[0m  \u001b[1m   541,745\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m   \u2191 3.0%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  mfu              \u001b[0m  \u001b[1m     11.8%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hlo_flops_util \u2265 \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hfu \u2265            \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2muncounted kernels \u001b[0m\u001b[1m50.00\u001b[0m                                                                    \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98moptimizer                                                                                   \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  learning_rate    \u001b[0m  \u001b[1m 5.586e-04\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 43%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2maccepted \u001b[0m\u001b[1m100.0%\u001b[0m                                                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mval \u00b7 step 500                                                                              \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity\u001b[0m  \u001b[1m     3.820\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss      \u001b[0m  \u001b[1m     1.340\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2819\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[43.520251, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m569\u001b[0m\u001b[2m/1000\u001b[0m   57%  33.0\u001b[2m step/s\u001b[0m  0:00:33\u001b[2m + \u001b[0m0:00:13\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2mdata \u001b[0m\u001b[1;2m32,192\u001b[0m\u001b[2m rows\u001b[0m\u001b[2m  \u00b7  \u001b[0m\u001b[1;2m0\u001b[0m\u001b[2m rejected\u001b[0m                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mtrain                                                                                       \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss             \u001b[0m  \u001b[1m     1.382\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[38;5;71m    \u2193 31%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  ce               \u001b[0m  \u001b[1m     1.382\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[38;5;71m    \u2193 31%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity       \u001b[0m  \u001b[1m     3.983\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 47%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  token_accuracy   \u001b[0m  \u001b[1m     57.1%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m\u2191 16.6 pt\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  data_wait_ms     \u001b[0m  \u001b[1m   0.02031\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2586\u001b[0m  \u001b[2m   \u2191 7.7%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  grad_norm        \u001b[0m  \u001b[1m    0.3171\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 69%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_misses     \u001b[0m  \u001b[1m     3.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m    \u2191 50%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2mcompiles \u001b[0m\u001b[1m1.000\u001b[0m   \u001b[2mcache_hits \u001b[0m\u001b[1m9.000\u001b[0m   \u001b[2mpeak_memory_gib \u001b[0m\u001b[1m4.016\u001b[0m                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mthroughput                                                                                  \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  step_time_ms     \u001b[0m  \u001b[1m     29.72\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[38;5"]
[43.520342, "o", ";71m   \u2193 2.7%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  samples_per_sec  \u001b[0m  \u001b[1m     2,153\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m   \u2191 2.8%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens           \u001b[0m  \u001b[1m    16,102\u001b[0m  \u001b[38;5;38m\u2584\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m   \u2191 0.2%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens_per_s     \u001b[0m  \u001b[1m   541,745\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m   \u2191 3.0%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  mfu              \u001b[0m  \u001b[1m     11.8%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hlo_flops_util \u2265 \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hfu \u2265            \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2muncounted kernels \u001b[0m\u001b[1m50.00\u001b[0m                                                                    \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98moptimizer                                                                                   \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  learning_rate    \u001b[0m  \u001b[1m 5.586e-04\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 43%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2maccepted \u001b[0m\u001b[1m100.0%\u001b[0m                                                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mval \u00b7 step 500                                                                              \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity\u001b[0m  \u001b[1m     3.820\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss      \u001b[0m  \u001b[1m     1.340\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2838\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[43.671134, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m"]
[43.671178, "o", "\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m574\u001b[0m\u001b[2m/1000\u001b[0m   57%  33.0\u001b[2m step/s\u001b[0m  0:00:33\u001b[2m + \u001b[0m0:00:13\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2mdata \u001b[0m\u001b[1;2m32,192\u001b[0m\u001b[2m rows\u001b[0m\u001b[2m  \u00b7  \u001b[0m\u001b[1;2m0\u001b[0m\u001b[2m rejected\u001b[0m                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mtrain                                                                                       \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss             \u001b[0m  \u001b[1m     1.382\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[38;5;71m    \u2193 31%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  ce               \u001b[0m  \u001b[1m     1.382\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[38;5;71m    \u2193 31%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity       \u001b[0m  \u001b[1m     3.983\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 47%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  token_accuracy   \u001b[0m  \u001b[1m     57.1%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m\u2191 16.6 pt\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  data_wait_ms     \u001b[0m  \u001b[1m   0.02031\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2586\u001b[0m  \u001b[2m   \u2191 7.7%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  grad_norm        \u001b[0m  \u001b[1m    0.3171\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 69%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_misses     \u001b[0m  \u001b[1m     3.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m    \u2191 50%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2mcompiles \u001b[0m\u001b[1m1.000\u001b[0m   \u001b[2mcache_hits \u001b[0m\u001b[1m9.000\u001b[0m   \u001b[2mpeak_memory_gib \u001b[0m\u001b[1m4.016\u001b[0m                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mthroughput                                                                                  \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  step_time_ms     \u001b[0m  \u001b[1m     29.72\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[38;5;71m   \u2193 2.7%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  samples_per_sec  \u001b[0m  \u001b[1m     2,153\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m   \u2191 2.8%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens           \u001b[0m  \u001b[1m    16,102\u001b[0m  \u001b[38;5;38m\u2584\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m   \u2191 0.2%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens_per_s     \u001b[0m "]
[43.671197, "o", " \u001b[1m   541,745\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m   \u2191 3.0%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  mfu              \u001b[0m  \u001b[1m     11.8%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hlo_flops_util \u2265 \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hfu \u2265            \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2muncounted kernels \u001b[0m\u001b[1m50.00\u001b[0m                                                                    \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98moptimizer                                                                                   \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  learning_rate    \u001b[0m  \u001b[1m 5.586e-04\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 43%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2maccepted \u001b[0m\u001b[1m100.0%\u001b[0m                                                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mval \u00b7 step 500                                                                              \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity\u001b[0m  \u001b[1m     3.820\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss      \u001b[0m  \u001b[1m     1.340\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2834\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[43.823423, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2578\u001b[0m\u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m580\u001b[0m\u001b[2m/1000\u001b[0m   58%  33.1\u001b[2m step/s\u001b[0m  0:00:34\u001b[2m + \u001b[0m0:00:13\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n"]
[43.82344, "o", "\u001b[38;5;38m\u2502\u001b[0m \u001b[2mdata \u001b[0m\u001b[1;2m32,192\u001b[0m\u001b[2m rows\u001b[0m\u001b[2m  \u00b7  \u001b[0m\u001b[1;2m0\u001b[0m\u001b[2m rejected\u001b[0m                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n"]
[43.823447, "o", "\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mtrain                                                                                       \u001b[0m \u001b[38;5;38m\u2502\u001b[0m"]
[43.823453, "o", "\r\n"]
[43.823534, "o", "\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss             \u001b[0m  \u001b[1m     1.382\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[38;5;71m    \u2193 31%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  ce               \u001b[0m  \u001b[1m     1.382\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[38;5;71m    \u2193 31%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity       \u001b[0m  \u001b[1m     3.983\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 47%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  token_accuracy   \u001b[0m  \u001b[1m     57.1%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m\u2191 16.6 pt\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  data_wait_ms     \u001b[0m  \u001b[1m   0.02031\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2586\u001b[0m  \u001b[2m   \u2191 7.7%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  grad_norm        \u001b[0m  \u001b[1m    0.3171\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 69%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_misses     \u001b[0m  \u001b[1m     3.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m    \u2191 50%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2mcompiles \u001b[0m\u001b[1m1.000\u001b[0m   \u001b[2mcache_hits \u001b[0m\u001b[1m9.000\u001b[0m   \u001b[2mpeak_memory_gib \u001b[0m\u001b[1m4.016\u001b[0m                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mthroughput                                                                                  \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  step_time_ms     \u001b[0m  \u001b[1m     29.72\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[38;5;71m   \u2193 2.7%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  samples_per_sec  \u001b[0m  \u001b[1m     2,153\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m   \u2191 2.8%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens           \u001b[0m  \u001b[1m    16,102\u001b[0m  \u001b[38;5;38m\u2584\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m   \u2191 0.2%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens_per_s     \u001b[0m  \u001b[1m   541,745\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m   \u2191 3.0%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  mfu              \u001b[0m  \u001b[1m     11.8%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hlo_flops_util \u2265 \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hfu \u2265            \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2muncounted kernels \u001b[0m\u001b[1m50.00\u001b[0m                                                                    \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98moptimizer                                                                                   \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  learning_rate    \u001b[0m  \u001b[1m 5.586e-04\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m"]
[43.823547, "o", "\u2586\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 43%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2maccepted \u001b[0m\u001b[1m100.0%\u001b[0m                                                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mval \u00b7 step 500                                                                              \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity\u001b[0m  \u001b[1m     3.820\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss      \u001b[0m  \u001b[1m     1.340\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2827\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[43.969121, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2578\u001b[0m\u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m585\u001b[0m\u001b[2m/1000\u001b[0m   58%  33.1\u001b[2m step/s\u001b[0m  0:00:34\u001b[2m + \u001b[0m0:00:13\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2mdata \u001b[0m\u001b[1;2m32,192\u001b[0m\u001b[2m rows\u001b[0m\u001b[2m  \u00b7  \u001b[0m\u001b[1;2m0\u001b[0m\u001b[2m rejected\u001b[0m                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mtrain                                                                                       \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss             \u001b[0m  \u001b[1m     1.382\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[38;5;71m    \u2193 31%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  ce               \u001b[0m  \u001b[1m     1.382\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[38;5;71m    \u2193 31%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity       \u001b[0m  \u001b[1m     3.983\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 47%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  token_accuracy   \u001b[0m  \u001b[1m     57.1%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m\u2191 16.6 pt\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  data_wait_ms     \u001b[0m  \u001b[1m   0.02031\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2586\u001b[0m  \u001b[2m   \u2191 7.7%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  grad_norm        \u001b[0m  \u001b[1m    0.3171\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 69%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_misses     \u001b[0m  \u001b[1m     3.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m    \u2191 50%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2mcompiles \u001b[0m\u001b[1m1.000\u001b[0m   \u001b[2mcache_hits \u001b[0m\u001b[1m9.000\u001b[0m   \u001b[2mpeak_memory_gib \u001b[0m\u001b[1m4.016\u001b[0m                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mthroughput                                                                                  \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  step_time_ms     \u001b[0m  \u001b[1m     29.72\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;98m"]
[43.969181, "o", "\u2582\u001b[0m  \u001b[38;5;71m   \u2193 2.7%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  samples_per_sec  \u001b[0m  \u001b[1m     2,153\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m   \u2191 2.8%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens           \u001b[0m  \u001b[1m    16,102\u001b[0m  \u001b[38;5;38m\u2584\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m   \u2191 0.2%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens_per_s     \u001b[0m  \u001b[1m   541,745\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m   \u2191 3.0%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  mfu              \u001b[0m  \u001b[1m     11.8%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hlo_flops_util \u2265 \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hfu \u2265            \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2muncounted kernels \u001b[0m\u001b[1m50.00\u001b[0m                                                                    \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98moptimizer                                                                                   \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  learning_rate    \u001b[0m  \u001b[1m 5.586e-04\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 43%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2maccepted \u001b[0m\u001b[1m100.0%\u001b[0m                                                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mval \u00b7 step 500                                                                              \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity\u001b[0m  \u001b[1m     3.820\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss      \u001b[0m  \u001b[1m     1.340\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u280f\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[44.121851, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m591\u001b[0m\u001b[2m/1000\u001b[0m   59%  33.2\u001b[2m step/s\u001b[0m  0:00:34\u001b[2m + \u001b[0m0:00:12\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2mdata \u001b[0m\u001b[1;2m32,192\u001b[0m\u001b[2m rows\u001b[0m\u001b[2m  \u00b7  \u001b[0m\u001b[1;2m0\u001b[0m\u001b[2m rejected\u001b[0m                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mtrain                                                                                       \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss             \u001b[0m  \u001b[1m     1.382\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[38;5;71m    \u2193 31%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  ce               \u001b[0m  \u001b[1m     1.382\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[38;5;71m    \u2193 31%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity       \u001b[0m  \u001b[1m     3.983\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 47%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  token_accuracy   \u001b[0m  \u001b[1m     57.1%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m\u2191 16.6 pt\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  data_wait_ms     \u001b[0m  \u001b[1m   0.02031\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2586\u001b[0m  \u001b[2m   \u2191 7.7%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  grad_norm        \u001b[0m  \u001b[1m    0.3171\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 69%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_misses     \u001b[0m  \u001b[1m     3.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m    \u2191 50%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2mcompiles \u001b[0m\u001b[1m1.000\u001b[0m   \u001b[2mcache_hits \u001b[0m\u001b[1m9.000\u001b[0m   \u001b[2mpeak_memory_gib \u001b[0m\u001b[1m4.016\u001b[0m                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mthroughput                                                                                  \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  step_time_ms     \u001b[0m  \u001b[1m     29.72\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;98m"]
[44.121889, "o", "\u2582\u001b[0m  \u001b[38;5;71m   \u2193 2.7%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  samples_per_sec  \u001b[0m  \u001b[1m     2,153\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m   \u2191 2.8%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens           \u001b[0m  \u001b[1m    16,102\u001b[0m  \u001b[38;5;38m\u2584\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m   \u2191 0.2%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens_per_s     \u001b[0m  \u001b[1m   541,745\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m   \u2191 3.0%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  mfu              \u001b[0m  \u001b[1m     11.8%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hlo_flops_util \u2265 \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hfu \u2265            \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2muncounted kernels \u001b[0m\u001b[1m50.00\u001b[0m                                                                    \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98moptimizer                                                                                   \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  learning_rate    \u001b[0m  \u001b[1m 5.586e-04\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 43%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2maccepted \u001b[0m\u001b[1m100.0%\u001b[0m                                                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mval \u00b7 step 500                                                                              \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity\u001b[0m  \u001b[1m     3.820\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss      \u001b[0m  \u001b[1m     1.340\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2819\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[44.273398, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m"]
[44.273506, "o", "\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m597\u001b[0m\u001b[2m/1000\u001b[0m   60%  33.2\u001b[2m step/s\u001b[0m  0:00:34\u001b[2m + \u001b[0m0:00:12\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2mdata \u001b[0m\u001b[1;2m32,192\u001b[0m\u001b[2m rows\u001b[0m\u001b[2m  \u00b7  \u001b[0m\u001b[1;2m0\u001b[0m\u001b[2m rejected\u001b[0m                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mtrain                                                                                       \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss             \u001b[0m  \u001b[1m     1.382\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[38;5;71m    \u2193 31%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  ce               \u001b[0m  \u001b[1m     1.382\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[38;5;71m    \u2193 31%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity       \u001b[0m  \u001b[1m     3.983\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 47%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  token_accuracy   \u001b[0m  \u001b[1m     57.1%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m\u2191 16.6 pt\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  data_wait_ms     \u001b[0m  \u001b[1m   0.02031\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2586\u001b[0m  \u001b[2m   \u2191 7.7%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  grad_norm        \u001b[0m  \u001b[1m    0.3171\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 69%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_misses     \u001b[0m  \u001b[1m     3.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m    \u2191 50%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2mcompiles \u001b[0m\u001b[1m1.000\u001b[0m   \u001b[2mcache_hits \u001b[0m\u001b[1m9.000\u001b[0m   \u001b[2mpeak_memory_gib \u001b[0m\u001b[1m4.016\u001b[0m                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mthroughput                                                                                  \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  step_time_ms     \u001b[0m  \u001b[1m     29.72\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[38;5;71m   \u2193 2.7%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  samples_per_sec  \u001b[0m  \u001b[1m     2,153\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m   \u2191 2.8%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens           \u001b[0m  \u001b[1m    16,102\u001b[0m  \u001b[38;5;38m\u2584\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m   \u2191 0.2%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens_p"]
[44.273534, "o", "er_s     \u001b[0m  \u001b[1m   541,745\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m   \u2191 3.0%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  mfu              \u001b[0m  \u001b[1m     11.8%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hlo_flops_util \u2265 \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hfu \u2265            \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2muncounted kernels \u001b[0m\u001b[1m50.00\u001b[0m                                                                    \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98moptimizer                                                                                   \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  learning_rate    \u001b[0m  \u001b[1m 5.586e-04\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 43%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2maccepted \u001b[0m\u001b[1m100.0%\u001b[0m                                                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mval \u00b7 step 500                                                                              \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity\u001b[0m  \u001b[1m     3.820\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss      \u001b[0m  \u001b[1m     1.340\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2838\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[44.416863, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m"]
[44.416926, "o", "\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m600\u001b[0m\u001b[2m/1000\u001b[0m   60%  33.3\u001b[2m step/s\u001b[0m  0:00:34\u001b[2m + \u001b[0m0:00:12\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2mdata \u001b[0m\u001b[1;2m32,192\u001b[0m\u001b[2m rows\u001b[0m\u001b[2m  \u00b7  \u001b[0m\u001b[1;2m0\u001b[0m\u001b[2m rejected\u001b[0m                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mtrain                                                                                       \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss             \u001b[0m  \u001b[1m     1.382\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[38;5;71m    \u2193 31%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  ce               \u001b[0m  \u001b[1m     1.382\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[38;5;71m    \u2193 31%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity       \u001b[0m  \u001b[1m     3.983\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 47%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  token_accuracy   \u001b[0m  \u001b[1m     57.1%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m\u2191 16.6 pt\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  data_wait_ms     \u001b[0m  \u001b[1m   0.02031\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2586\u001b[0m  \u001b[2m   \u2191 7.7%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  grad_norm        \u001b[0m  \u001b[1m    0.3171\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 69%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_misses     \u001b[0m  \u001b[1m     3.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m    \u2191 50%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2mcompiles \u001b[0m\u001b[1m1.000\u001b[0m   \u001b[2mcache_hits \u001b[0m\u001b[1m9.000\u001b[0m   \u001b[2mpeak_memory_gib \u001b[0m\u001b[1m4.016\u001b[0m                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mthroughput                                                                                  \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  step_time_ms     \u001b[0m  \u001b[1m     29.72\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[38;5;71m   \u2193 2.7%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  samples_per_sec  \u001b[0m  \u001b[1m     2,153\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m   \u2191 2.8%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens           \u001b[0m  \u001b[1m    16,102\u001b[0m  \u001b[38;5;38m\u2584\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m   \u2191 0.2%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens_p"]
[44.416953, "o", "er_s     \u001b[0m  \u001b[1m   541,745\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m   \u2191 3.0%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  mfu              \u001b[0m  \u001b[1m     11.8%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hlo_flops_util \u2265 \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hfu \u2265            \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2muncounted kernels \u001b[0m\u001b[1m50.00\u001b[0m                                                                    \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98moptimizer                                                                                   \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  learning_rate    \u001b[0m  \u001b[1m 5.586e-04\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 43%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2maccepted \u001b[0m\u001b[1m100.0%\u001b[0m                                                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mval \u00b7 step 500                                                                              \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity\u001b[0m  \u001b[1m     3.820\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss      \u001b[0m  \u001b[1m     1.340\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2834\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[44.559842, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m600\u001b[0m\u001b[2m/1000\u001b[0m   60%  33.3\u001b[2m step/s\u001b[0m  0:00:34\u001b[2m + \u001b[0m0:00:12\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2mdata \u001b[0m\u001b[1;2m32,192\u001b[0m\u001b[2m rows\u001b[0m\u001b[2m  \u00b7  \u001b[0m\u001b[1;2m0\u001b[0m\u001b[2m rejected\u001b[0m                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mtrain                                                                                       \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss             \u001b[0m  \u001b[1m     1.382\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[38;5;71m    \u2193 31%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  ce               \u001b[0m  \u001b[1m     1.382\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[38;5;71m    \u2193 31%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity       \u001b[0m  \u001b[1m     3.983\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 47%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  token_accuracy   \u001b[0m  \u001b[1m     57.1%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m\u2191 16.6 pt\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  data_wait_ms     \u001b[0m  \u001b[1m   0.02031\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2586\u001b[0m  \u001b[2m   \u2191 7.7%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  grad_norm        \u001b[0m  \u001b[1m    0.3171\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 69%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_misses     \u001b[0m  \u001b[1m     3.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m    \u2191 50%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2mcompiles \u001b[0m\u001b[1m1.000\u001b[0m   \u001b[2mcache_hits \u001b[0m\u001b[1m9.000\u001b[0m   \u001b[2mpeak_memory_gib \u001b[0m\u001b[1m4.016\u001b[0m                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mthroughput                                                                                  \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  step_time_ms     \u001b[0m  \u001b[1m     29.72\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;98m"]
[44.559878, "o", "\u2582\u001b[0m  \u001b[38;5;71m   \u2193 2.7%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  samples_per_sec  \u001b[0m  \u001b[1m     2,153\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m   \u2191 2.8%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens           \u001b[0m  \u001b[1m    16,102\u001b[0m  \u001b[38;5;38m\u2584\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m   \u2191 0.2%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens_per_s     \u001b[0m  \u001b[1m   541,745\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m   \u2191 3.0%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  mfu              \u001b[0m  \u001b[1m     11.8%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hlo_flops_util \u2265 \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hfu \u2265            \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2muncounted kernels \u001b[0m\u001b[1m50.00\u001b[0m                                                                    \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98moptimizer                                                                                   \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  learning_rate    \u001b[0m  \u001b[1m 5.586e-04\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 43%\u001b[0m                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2maccepted \u001b[0m\u001b[1m100.0%\u001b[0m                                                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mval \u00b7 step 500                                                                              \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity\u001b[0m  \u001b[1m     3.820\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss      \u001b[0m  \u001b[1m     1.340\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2826\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[44.715946, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2578\u001b[0m\u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m604\u001b[0m\u001b[2m/1000\u001b[0m   60%  32.1\u001b[2m step/s\u001b[0m  0:00:34\u001b[2m + \u001b[0m0:00:12\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2mdata \u001b[0m\u001b[1;2m38,592\u001b[0m\u001b[2m rows\u001b[0m\u001b[2m  \u00b7  \u001b[0m\u001b[1;2m0\u001b[0m\u001b[2m rejected\u001b[0m                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mtrain                                                                                       \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss             \u001b[0m  \u001b[1m     1.222\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 39%\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  ce               \u001b[0m  \u001b[1m     1.222\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 39%\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity       \u001b[0m  \u001b[1m     3.393\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2582\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 55%\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  token_accuracy   \u001b[0m  \u001b[1m     62.0%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m\u2191 21.4 pt\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  data_wait_ms     \u001b[0m  \u001b[1m   0.01803\u001b[0m  \u001b[38;5;38m\u2583\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m   \u2193 4.4%\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  grad_norm        \u001b[0m  \u001b[1m    0.2993\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 71%\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_misses     \u001b[0m  \u001b[1m     3.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m    \u2191 50%\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2mcompiles \u001b[0m\u001b[1m1.000\u001b[0m   \u001b[2mcache_hits \u001b[0m\u001b[1m9.000\u001b[0m   \u001b[2mpeak_memory_gib \u001b[0m\u001b[1m4.016\u001b[0m                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mthroughput                                                                                  \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  step_time_ms     \u001b[0m  \u001b[1m     30.18\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2582\u001b[0m\u001b[38;5;98m\u2585\u001b[0m  \u001b[38;5;71m   \u2193 1.2%\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  samples_per_sec  \u001b[0m  \u001b[1m     2,121\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2584\u001b[0m  \u001b[38;5;71m   \u2191 1.3%\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens           \u001b[0m  \u001b[1m    16,073\u001b[0m  \u001b[38;5;38m\u2584\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2584\u001b[0m  \u001b[2m        \u2192\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens_per_s     \u001b[0m  \u001b[1m   532,648\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2584\u001b[0m  \u001b[38;5;71m   \u2191 1.2%\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  mfu              \u001b[0m  \u001b[1m     11.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2584\u001b[0m  \u001b[38;5;71m \u2191 0.1 pt\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hlo_flops_util \u2265 \u001b[0m  \u001b[1m     12.4%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2584\u001b[0m  \u001b[38;5;71m \u2191 0.2 pt\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hfu \u2265            \u001b[0m  \u001b[1m     12.4%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2584\u001b[0m  \u001b[38;5;71m \u2191 0.2 pt\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2muncounted kernels \u001b[0m\u001b[1m50.00\u001b[0m                                                                    \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98moptimizer                                                                                   \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  learning_rate    \u001b[0m  \u001b[1m 4.178e-04\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;104m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 57%\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2maccepted \u001b[0m\u001b[1m100.0%\u001b[0m                                                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mval \u00b7 step 500                                                                              \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity\u001b[0m  \u001b[1m     3.820\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss      \u001b[0m  \u001b[1m     1.340\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2807\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[44.876327, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n"]
[44.876372, "o", "\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2578\u001b[0m\u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m610\u001b[0m\u001b[2m/1000\u001b[0m   61%  32.1\u001b[2m step/s\u001b[0m  0:00:35\u001b[2m + \u001b[0m0:00:12\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2mdata \u001b[0m\u001b[1;2m38,592\u001b[0m\u001b[2m rows\u001b[0m\u001b[2m  \u00b7  \u001b[0m\u001b[1;2m0\u001b[0m\u001b[2m rejected\u001b[0m                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mtrain                                                                                       \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss             \u001b[0m  \u001b[1m     1.222\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 39%\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  ce               \u001b[0m  \u001b[1m     1.222\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 39%\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity       \u001b[0m  \u001b[1m     3.393\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2582\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 55%\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  token_accuracy   \u001b[0m  \u001b[1m     62.0%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m\u2191 21.4 pt\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  data_wait_ms     \u001b[0m  \u001b[1m   0.01803\u001b[0m  \u001b[38;5;38m\u2583\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m   \u2193 4.4%\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  grad_norm        \u001b[0m  \u001b[1m    0.2993\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 71%\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_misses     \u001b[0m  \u001b[1m     3.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m    \u2191 50%\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2mcompiles \u001b[0m\u001b[1m1.000\u001b[0m   \u001b[2mcache_hits \u001b[0m\u001b[1m9.000\u001b[0m   \u001b[2mpeak_memory_gib \u001b[0m\u001b[1m4.016\u001b[0m                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mthroughput                                                                                  \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  step_time_ms     \u001b[0m  \u001b[1m     30.18\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2582\u001b[0m\u001b[38;5;98m\u2585\u001b[0m  \u001b[38;5;71m   \u2193 1.2%\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  samples_per_sec  \u001b[0m  \u001b[1m     2,121\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2584\u001b[0m  \u001b[38;5;71m   \u2191 1.3%\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens           \u001b[0m  \u001b[1m    16,073\u001b[0m  \u001b[38;5;38m\u2584\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2584\u001b[0m  \u001b[2m        \u2192\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens_per_s     \u001b[0m  \u001b[1m   532,648\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b"]
[44.876473, "o", "[38;5;98m\u2584\u001b[0m  \u001b[38;5;71m   \u2191 1.2%\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  mfu              \u001b[0m  \u001b[1m     11.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2584\u001b[0m  \u001b[38;5;71m \u2191 0.1 pt\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hlo_flops_util \u2265 \u001b[0m  \u001b[1m     12.4%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2584\u001b[0m  \u001b[38;5;71m \u2191 0.2 pt\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hfu \u2265            \u001b[0m  \u001b[1m     12.4%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2584\u001b[0m  \u001b[38;5;71m \u2191 0.2 pt\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2muncounted kernels \u001b[0m\u001b[1m50.00\u001b[0m                                                                    \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98moptimizer                                                                                   \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  learning_rate    \u001b[0m  \u001b[1m 4.178e-04\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;104m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 57%\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2maccepted \u001b[0m\u001b[1m100.0%\u001b[0m                                                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mval \u00b7 step 500                                                                              \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity\u001b[0m  \u001b[1m     3.820\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss      \u001b[0m  \u001b[1m     1.340\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u280b\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[45.022373, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m"]
[45.022467, "o", "\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2578\u001b[0m\u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m615\u001b[0m\u001b[2m/1000\u001b[0m   62%  33.5\u001b[2m step/s\u001b[0m  0:00:35\u001b[2m + \u001b[0m0:00:11\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2mdata \u001b[0m\u001b[1;2m38,592\u001b[0m\u001b[2m rows\u001b[0m\u001b[2m  \u00b7  \u001b[0m\u001b[1;2m0\u001b[0m\u001b[2m rejected\u001b[0m                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mtrain                                                                                       \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss             \u001b[0m  \u001b[1m     1.222\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 39%\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  ce               \u001b[0m  \u001b[1m     1.222\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 39%\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity       \u001b[0m  \u001b[1m     3.393\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2582\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 55%\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  token_accuracy   \u001b[0m  \u001b[1m     62.0%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m\u2191 21.4 pt\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  data_wait_ms     \u001b[0m  \u001b[1m   0.01803\u001b[0m  \u001b[38;5;38m\u2583\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m   \u2193 4.4%\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  grad_norm        \u001b[0m  \u001b[1m    0.2993\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 71%\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_misses     \u001b[0m  \u001b[1m     3.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m    \u2191 50%\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2mcompiles \u001b[0m\u001b[1m1.000\u001b[0m   \u001b[2mcache_hits \u001b[0m\u001b[1m9.000\u001b[0m   \u001b[2mpeak_memory_gib \u001b[0m\u001b[1m4.016\u001b[0m                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mthroughput                                                                                  \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  step_time_ms     \u001b[0m  \u001b[1m     30.18\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2582\u001b[0m\u001b[38;5;98m\u2585\u001b[0m  \u001b[38;5;71m   \u2193 1.2%\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  samples_per_sec  \u001b[0m  \u001b[1m     2,121\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2584\u001b[0m  \u001b[38;5;71m   \u2191 1.3%\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens           \u001b[0m  \u001b[1m    16,073\u001b[0m  \u001b[38;5;38m\u2584\u001b[0m\u001b[38;5;68m\u2581\u001b[0m"]
[45.022503, "o", "\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2584\u001b[0m  \u001b[2m        \u2192\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens_per_s     \u001b[0m  \u001b[1m   532,648\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2584\u001b[0m  \u001b[38;5;71m   \u2191 1.2%\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  mfu              \u001b[0m  \u001b[1m     11.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2584\u001b[0m  \u001b[38;5;71m \u2191 0.1 pt\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hlo_flops_util \u2265 \u001b[0m  \u001b[1m     12.4%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2584\u001b[0m  \u001b[38;5;71m \u2191 0.2 pt\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hfu \u2265            \u001b[0m  \u001b[1m     12.4%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2584\u001b[0m  \u001b[38;5;71m \u2191 0.2 pt\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2muncounted kernels \u001b[0m\u001b[1m50.00\u001b[0m                                                                    \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98moptimizer                                                                                   \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  learning_rate    \u001b[0m  \u001b[1m 4.178e-04\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;104m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 57%\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2maccepted \u001b[0m\u001b[1m100.0%\u001b[0m                                                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mval \u00b7 step 500                                                                              \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity\u001b[0m  \u001b[1m     3.820\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss      \u001b[0m  \u001b[1m     1.340\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2839\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[45.173662, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m621\u001b[0m\u001b[2m/1000\u001b[0m   62%  33.5\u001b[2m step/s\u001b[0m  0:00:35\u001b[2m + \u001b[0m0:00:11\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2mdata \u001b[0m\u001b[1;2m38,592\u001b[0m\u001b[2m rows\u001b[0m\u001b[2m  \u00b7  \u001b[0m\u001b[1;2m0\u001b[0m\u001b[2m rejected\u001b[0m                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mtrain                                                                                       \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss             \u001b[0m  \u001b[1m     1.222\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 39%\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  ce               \u001b[0m  \u001b[1m     1.222\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 39%\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity       \u001b[0m  \u001b[1m     3.393\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2582\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 55%\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  token_accuracy   \u001b[0m  \u001b[1m     62.0%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m\u2191 21.4 pt\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  data_wait_ms     \u001b[0m  \u001b[1m   0.01803\u001b[0m  \u001b[38;5;38m\u2583\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m   \u2193 4.4%\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  grad_norm        \u001b[0m  \u001b[1m    0.2993\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 71%\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_misses     \u001b[0m  \u001b[1m     3.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m    \u2191 50%\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2mcompiles \u001b[0m\u001b[1m1.000\u001b[0m   \u001b[2mcache_hits \u001b[0m\u001b[1m9.000\u001b[0m   \u001b[2mpeak_memory_gib \u001b[0m\u001b[1m4.016\u001b[0m                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mthroughput                                                                                  \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502"]
[45.173719, "o", "\u001b[0m \u001b[2m  step_time_ms     \u001b[0m  \u001b[1m     30.18\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2582\u001b[0m\u001b[38;5;98m\u2585\u001b[0m  \u001b[38;5;71m   \u2193 1.2%\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  samples_per_sec  \u001b[0m  \u001b[1m     2,121\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2584\u001b[0m  \u001b[38;5;71m   \u2191 1.3%\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens           \u001b[0m  \u001b[1m    16,073\u001b[0m  \u001b[38;5;38m\u2584\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2584\u001b[0m  \u001b[2m        \u2192\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens_per_s     \u001b[0m  \u001b[1m   532,648\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2584\u001b[0m  \u001b[38;5;71m   \u2191 1.2%\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  mfu              \u001b[0m  \u001b[1m     11.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2584\u001b[0m  \u001b[38;5;71m \u2191 0.1 pt\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hlo_flops_util \u2265 \u001b[0m  \u001b[1m     12.4%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2584\u001b[0m  \u001b[38;5;71m \u2191 0.2 pt\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hfu \u2265            \u001b[0m  \u001b[1m     12.4%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2584\u001b[0m  \u001b[38;5;71m \u2191 0.2 pt\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2muncounted kernels \u001b[0m\u001b[1m50.00\u001b[0m                                                                    \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98moptimizer                                                                                   \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  learning_rate    \u001b[0m  \u001b[1m 4.178e-04\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;104m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 57%\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2maccepted \u001b[0m\u001b[1m100.0%\u001b[0m                                                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mval \u00b7 step 500                                                                              \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity\u001b[0m  \u001b[1m     3.820\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss      \u001b[0m  \u001b[1m     1.340\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u283c\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[45.333869, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n"]
[45.333923, "o", "\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m627\u001b[0m\u001b[2m/1000\u001b[0m   63%  33.5\u001b[2m step/s\u001b[0m  0:00:35\u001b[2m + \u001b[0m0:00:11\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2mdata \u001b[0m\u001b[1;2m38,592\u001b[0m\u001b[2m rows\u001b[0m\u001b[2m  \u00b7  \u001b[0m\u001b[1;2m0\u001b[0m\u001b[2m rejected\u001b[0m                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mtrain                                                                                       \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss             \u001b[0m  \u001b[1m     1.222\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 39%\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  ce               \u001b[0m  \u001b[1m     1.222\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 39%\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity       \u001b[0m  \u001b[1m     3.393\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2582\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 55%\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  token_accuracy   \u001b[0m  \u001b[1m     62.0%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m\u2191 21.4 pt\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  data_wait_ms     \u001b[0m  \u001b[1m   0.01803\u001b[0m  \u001b[38;5;38m\u2583\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m   \u2193 4.4%\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  grad_norm        \u001b[0m  \u001b[1m    0.2993\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 71%\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_misses     \u001b[0m  \u001b[1m     3.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m    \u2191 50%\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2mcompiles \u001b[0m\u001b[1m1.000\u001b[0m   \u001b[2mcache_hits \u001b[0m\u001b[1m9.000\u001b[0m   \u001b[2mpeak_memory_gib \u001b[0m\u001b[1m4.016\u001b[0m                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mthroughput                                                                                  \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  step_time_ms     \u001b[0m  \u001b[1m     30.18\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2582\u001b[0m\u001b[38;5;98m\u2585\u001b[0m  \u001b[38;5;71m   \u2193 1.2%\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  samples_per_sec  \u001b[0m  \u001b[1m     2,121\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2584\u001b[0m  \u001b[38;5;71m   \u2191 1.3%\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens           \u001b[0m  \u001b[1m    16,073\u001b[0m  \u001b[38;5;38m\u2584\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b["]
[45.33395, "o", "38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2584\u001b[0m  \u001b[2m        \u2192\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens_per_s     \u001b[0m  \u001b[1m   532,648\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2584\u001b[0m  \u001b[38;5;71m   \u2191 1.2%\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  mfu              \u001b[0m  \u001b[1m     11.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2584\u001b[0m  \u001b[38;5;71m \u2191 0.1 pt\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hlo_flops_util \u2265 \u001b[0m  \u001b[1m     12.4%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2584\u001b[0m  \u001b[38;5;71m \u2191 0.2 pt\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hfu \u2265            \u001b[0m  \u001b[1m     12.4%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2584\u001b[0m  \u001b[38;5;71m \u2191 0.2 pt\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2muncounted kernels \u001b[0m\u001b[1m50.00\u001b[0m                                                                    \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98moptimizer                                                                                   \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  learning_rate    \u001b[0m  \u001b[1m 4.178e-04\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;104m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 57%\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2maccepted \u001b[0m\u001b[1m100.0%\u001b[0m                                                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mval \u00b7 step 500                                                                              \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity\u001b[0m  \u001b[1m     3.820\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss      \u001b[0m  \u001b[1m     1.340\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2826\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[45.482604, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2578\u001b[0m\u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m633\u001b[0m\u001b[2m/1000\u001b[0m   63%  33.4\u001b[2m step/s\u001b[0m  0:00:35\u001b[2m + \u001b[0m0:00:11\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2mdata \u001b[0m\u001b[1;2m38,592\u001b[0m\u001b[2m rows\u001b[0m\u001b[2m  \u00b7  \u001b[0m\u001b[1;2m0\u001b[0m\u001b[2m rejected\u001b[0m                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mtrain                                                                                       \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss             \u001b[0m  \u001b[1m     1.222\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 39%\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  ce               \u001b[0m  \u001b[1m     1.222\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 39%\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity       \u001b[0m  \u001b[1m     3.393\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2582\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 55%\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  token_accuracy   \u001b[0m  \u001b[1m     62.0%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m\u2191 21.4 pt\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  data_wait_ms     \u001b[0m  \u001b[1m   0.01803\u001b[0m  \u001b[38;5;38m\u2583\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m   \u2193 4.4%\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  grad_norm        \u001b[0m  \u001b[1m    0.2993\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 71%\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_misses     \u001b[0m  \u001b[1m     3.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m    \u2191 50%\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2mcompiles \u001b[0m\u001b[1m1.000\u001b[0m   \u001b[2mcache_hits \u001b[0m\u001b[1m9.000\u001b[0m   \u001b[2mpeak_memory_gib \u001b[0m\u001b[1m4.016\u001b[0m                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mthroughput                                                                                  \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  step_time_ms     \u001b[0m  \u001b[1m     30.18\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2582\u001b[0m\u001b[38;5;98m\u2585\u001b[0m  \u001b[38;5;71m   \u2193 1.2%\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  samples_per_sec  \u001b[0m  \u001b[1m     2,121\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2584\u001b[0m  \u001b[38;5;71m   \u2191 1.3%\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens           \u001b[0m  \u001b[1m    16,073\u001b[0m  \u001b[38;5;38m\u2584\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2584\u001b[0m  \u001b[2m        \u2192\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens_per_s     \u001b[0m  \u001b[1m   532,648\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2584\u001b[0m  \u001b[38;5;71m   \u2191 1.2%\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  mfu              \u001b[0m  \u001b[1m     11.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2584\u001b[0m  \u001b[38;5;71m \u2191 0.1 pt\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hlo_flops_util \u2265 \u001b[0m  \u001b[1m     12.4%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2584\u001b[0m  \u001b[38;5;71m \u2191 0.2 pt\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hfu \u2265            \u001b[0m  \u001b[1m     12.4%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2584\u001b[0m  \u001b[38;5;71m \u2191 0.2 pt\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2muncounted kernels \u001b[0m\u001b[1m50.00\u001b[0m                                                                    \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98moptimizer                                                                                   \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  learning_rate    \u001b[0m  \u001b[1m 4.178e-04\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;104m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 57%\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2maccepted \u001b[0m\u001b[1m100.0%\u001b[0m                                                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mval \u00b7 step 500                                                                              \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity\u001b[0m  \u001b[1m     3.820\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss      \u001b[0m  \u001b[1m     1.340\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2807\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[45.633445, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m"]
[45.633497, "o", "\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2578\u001b[0m\u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m638\u001b[0m\u001b[2m/1000\u001b[0m   64%  33.4\u001b[2m step/s\u001b[0m  0:00:35\u001b[2m + \u001b[0m0:00:11\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2mdata \u001b[0m\u001b[1;2m38,592\u001b[0m\u001b[2m rows\u001b[0m\u001b[2m  \u00b7  \u001b[0m\u001b[1;2m0\u001b[0m\u001b[2m rejected\u001b[0m                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mtrain                                                                                       \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss             \u001b[0m  \u001b[1m     1.222\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 39%\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  ce               \u001b[0m  \u001b[1m     1.222\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 39%\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity       \u001b[0m  \u001b[1m     3.393\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2582\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 55%\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  token_accuracy   \u001b[0m  \u001b[1m     62.0%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m\u2191 21.4 pt\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  data_wait_ms     \u001b[0m  \u001b[1m   0.01803\u001b[0m  \u001b[38;5;38m\u2583\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m   \u2193 4.4%\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  grad_norm        \u001b[0m  \u001b[1m    0.2993\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 71%\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_misses     \u001b[0m  \u001b[1m     3.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m    \u2191 50%\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2mcompiles \u001b[0m\u001b[1m1.000\u001b[0m   \u001b[2mcache_hits \u001b[0m\u001b[1m9.000\u001b[0m   \u001b[2mpeak_memory_gib \u001b[0m\u001b[1m4.016\u001b[0m                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mthroughput                                                                                  \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  step_time_ms     \u001b[0m  \u001b[1m     30.18\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2582\u001b[0m\u001b[38;5;98m\u2585\u001b[0m  \u001b[38;5;71m   \u2193 1.2%\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  samples_per_sec  \u001b[0m  \u001b[1m     2,121\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2584\u001b[0m  \u001b[38;5;71m   \u2191 1.3%\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens           \u001b[0m  \u001b[1m    16,073\u001b[0m  \u001b[38;5;38m\u2584\u001b[0m\u001b[3"]
[45.633523, "o", "8;5;68m\u2581\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2584\u001b[0m  \u001b[2m        \u2192\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens_per_s     \u001b[0m  \u001b[1m   532,648\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2584\u001b[0m  \u001b[38;5;71m   \u2191 1.2%\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  mfu              \u001b[0m  \u001b[1m     11.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2584\u001b[0m  \u001b[38;5;71m \u2191 0.1 pt\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hlo_flops_util \u2265 \u001b[0m  \u001b[1m     12.4%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2584\u001b[0m  \u001b[38;5;71m \u2191 0.2 pt\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hfu \u2265            \u001b[0m  \u001b[1m     12.4%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2584\u001b[0m  \u001b[38;5;71m \u2191 0.2 pt\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2muncounted kernels \u001b[0m\u001b[1m50.00\u001b[0m                                                                    \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98moptimizer                                                                                   \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  learning_rate    \u001b[0m  \u001b[1m 4.178e-04\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;104m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 57%\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2maccepted \u001b[0m\u001b[1m100.0%\u001b[0m                                                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mval \u00b7 step 500                                                                              \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity\u001b[0m  \u001b[1m     3.820\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss      \u001b[0m  \u001b[1m     1.340\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u280b\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[45.778729, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m644\u001b[0m\u001b[2m/1000\u001b[0m   64%  33.1\u001b[2m step/s\u001b[0m  0:00:35\u001b[2m + \u001b[0m0:00:11\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2mdata \u001b[0m\u001b[1;2m38,592\u001b[0m\u001b[2m rows\u001b[0m\u001b[2m  \u00b7  \u001b[0m\u001b[1;2m0\u001b[0m\u001b[2m rejected\u001b[0m                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mtrain                                                                                       \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss             \u001b[0m  \u001b[1m     1.222\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 39%\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  ce               \u001b[0m  \u001b[1m     1.222\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 39%\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity       \u001b[0m  \u001b[1m     3.393\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2582\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 55%\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  token_accuracy   \u001b[0m  \u001b[1m     62.0%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m\u2191 21.4 pt\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  data_wait_ms     \u001b[0m  \u001b[1m   0.01803\u001b[0m  \u001b[38;5;38m\u2583\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m   \u2193 4.4%\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  grad_norm        \u001b[0m  \u001b[1m    0.2993\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 71%\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_misses     \u001b[0m  \u001b[1m     3.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m    \u2191 50%\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2mcompiles \u001b[0m\u001b[1m1.000\u001b[0m   \u001b[2mcache_hits \u001b[0m\u001b[1m9.000\u001b[0m   \u001b[2mpeak_memory_gib \u001b[0m\u001b[1m4.016\u001b[0m                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mthroughput                                                                                  \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  step_time_ms     \u001b[0m  \u001b[1m     30.18\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2582\u001b[0m\u001b[38;5;98m\u2585\u001b[0m  \u001b[38;5;71m   \u2193 1.2%\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  samples_per_sec  \u001b[0m  \u001b[1m     2,121\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2584\u001b[0m  \u001b[38;5;71m   \u2191 1.3%\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens           \u001b[0m  \u001b[1m    16,073\u001b[0m  \u001b[38;5;38m\u2584\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2584\u001b[0m  \u001b[2m        \u2192\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens_per_s     \u001b[0m  \u001b[1m   532,648\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2584\u001b[0m  \u001b[38;5;71m   \u2191 1.2%\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  mfu              \u001b[0m  \u001b[1m     11.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2584\u001b[0m  \u001b[38;5;71m \u2191 0.1 pt\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hlo_flops_util \u2265 \u001b[0m  \u001b[1m     12.4%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2584\u001b[0m  \u001b[38;5;71m \u2191 0.2 pt\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hfu \u2265            \u001b[0m  \u001b[1m     12.4%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2584\u001b[0m  \u001b[38;5;71m \u2191 0.2 pt\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2muncounted kernels \u001b[0m\u001b[1m50.00\u001b[0m                                                                    \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98moptimizer                                                                                   \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  learning_rate    \u001b[0m  \u001b[1m 4.178e-04\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;104m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 57%\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2maccepted \u001b[0m\u001b[1m100.0%\u001b[0m                                                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mval \u00b7 step 500                                                                              \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity\u001b[0m  \u001b[1m     3.820\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss      \u001b[0m  \u001b[1m     1.340\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2839\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[45.932264, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m649\u001b[0m\u001b[2m/1000\u001b[0m   65%  33.2\u001b[2m step/s\u001b[0m  0:00:36\u001b[2m + \u001b[0m0:00:11\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2mdata \u001b[0m\u001b[1;2m38,592\u001b[0m\u001b[2m rows\u001b[0m\u001b[2m  \u00b7  \u001b[0m\u001b[1;2m0\u001b[0m\u001b[2m rejected\u001b[0m                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mtrain                                                                                       \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss             \u001b[0m  \u001b[1m     1.222\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 39%\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  ce               \u001b[0m  \u001b[1m     1.222\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 39%\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity       \u001b[0m  \u001b[1m     3.393\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2582\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 55%\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  token_accuracy   \u001b[0m  \u001b[1m     62.0%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m\u2191 21.4 pt\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  data_wait_ms     \u001b[0m  \u001b[1m   0.01803\u001b[0m  \u001b[38;5;38m\u2583\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m   \u2193 4.4%\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  grad_norm        \u001b[0m  \u001b[1m    0.2993\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 71%\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_misses     \u001b[0m  \u001b[1m     3.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m    \u2191 50%\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2mcompiles \u001b[0m\u001b[1m1.000\u001b[0m   \u001b[2mcache_hits \u001b[0m\u001b[1m9.000\u001b[0m   \u001b[2mpeak_memory_gib \u001b[0m\u001b[1m4.016\u001b[0m                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mthroughput                                                                                  \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r"]
[45.932382, "o", "\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  step_time_ms     \u001b[0m  \u001b[1m     30.18\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2582\u001b[0m\u001b[38;5;98m\u2585\u001b[0m  \u001b[38;5;71m   \u2193 1.2%\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  samples_per_sec  \u001b[0m  \u001b[1m     2,121\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2584\u001b[0m  \u001b[38;5;71m   \u2191 1.3%\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens           \u001b[0m  \u001b[1m    16,073\u001b[0m  \u001b[38;5;38m\u2584\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2584\u001b[0m  \u001b[2m        \u2192\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens_per_s     \u001b[0m  \u001b[1m   532,648\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2584\u001b[0m  \u001b[38;5;71m   \u2191 1.2%\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  mfu              \u001b[0m  \u001b[1m     11.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2584\u001b[0m  \u001b[38;5;71m \u2191 0.1 pt\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hlo_flops_util \u2265 \u001b[0m  \u001b[1m     12.4%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2584\u001b[0m  \u001b[38;5;71m \u2191 0.2 pt\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hfu \u2265            \u001b[0m  \u001b[1m     12.4%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2584\u001b[0m  \u001b[38;5;71m \u2191 0.2 pt\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2muncounted kernels \u001b[0m\u001b[1m50.00\u001b[0m                                                                    \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98moptimizer                                                                                   \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  learning_rate    \u001b[0m  \u001b[1m 4.178e-04\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;104m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 57%\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2maccepted \u001b[0m\u001b[1m100.0%\u001b[0m                                                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mval \u00b7 step 500                                                                              \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity\u001b[0m  \u001b[1m     3.820\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss      \u001b[0m  \u001b[1m     1.340\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2838\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[46.078018, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2578\u001b[0m\u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m654\u001b[0m\u001b[2m/1000\u001b[0m   65%  33.2\u001b[2m step/s\u001b[0m  0:00:36\u001b[2m + \u001b[0m0:00:10\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2mdata \u001b[0m\u001b[1;2m38,592\u001b[0m\u001b[2m rows\u001b[0m\u001b[2m  \u00b7  \u001b[0m\u001b[1;2m0\u001b[0m\u001b[2m rejected\u001b[0m                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mtrain                                                                                       \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss             \u001b[0m  \u001b[1m     1.222\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 39%\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  ce               \u001b[0m  \u001b[1m     1.222\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 39%\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity       \u001b[0m  \u001b[1m     3.393\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2582\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 55%\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  token_accuracy   \u001b[0m  \u001b[1m     62.0%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m\u2191 21.4 pt\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  data_wait_ms     \u001b[0m  \u001b[1m   0.01803\u001b[0m  \u001b[38;5;38m\u2583\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m   \u2193 4.4%\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  grad_norm        \u001b[0m  \u001b[1m    0.2993\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 71%\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_misses     \u001b[0m  \u001b[1m     3.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m    \u2191 50%\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2mcompiles \u001b[0m\u001b[1m1.000\u001b[0m   \u001b[2mcache_hits \u001b[0m\u001b[1m9.000\u001b[0m   \u001b[2mpeak_memory_gib \u001b[0m\u001b[1m4.016\u001b[0m                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mthroughput                                                                                  \u001b[0m \u001b[38"]
[46.078081, "o", ";5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  step_time_ms     \u001b[0m  \u001b[1m     30.18\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2582\u001b[0m\u001b[38;5;98m\u2585\u001b[0m  \u001b[38;5;71m   \u2193 1.2%\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  samples_per_sec  \u001b[0m  \u001b[1m     2,121\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2584\u001b[0m  \u001b[38;5;71m   \u2191 1.3%\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens           \u001b[0m  \u001b[1m    16,073\u001b[0m  \u001b[38;5;38m\u2584\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2584\u001b[0m  \u001b[2m        \u2192\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens_per_s     \u001b[0m  \u001b[1m   532,648\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2584\u001b[0m  \u001b[38;5;71m   \u2191 1.2%\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  mfu              \u001b[0m  \u001b[1m     11.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2584\u001b[0m  \u001b[38;5;71m \u2191 0.1 pt\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hlo_flops_util \u2265 \u001b[0m  \u001b[1m     12.4%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2584\u001b[0m  \u001b[38;5;71m \u2191 0.2 pt\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hfu \u2265            \u001b[0m  \u001b[1m     12.4%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2584\u001b[0m  \u001b[38;5;71m \u2191 0.2 pt\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2muncounted kernels \u001b[0m\u001b[1m50.00\u001b[0m                                                                    \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98moptimizer                                                                                   \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  learning_rate    \u001b[0m  \u001b[1m 4.178e-04\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;104m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 57%\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2maccepted \u001b[0m\u001b[1m100.0%\u001b[0m                                                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mval \u00b7 step 500                                                                              \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity\u001b[0m  \u001b[1m     3.820\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss      \u001b[0m  \u001b[1m     1.340\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2834\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[46.228755, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2578\u001b[0m\u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m660\u001b[0m\u001b[2m/1000\u001b[0m   66%  33.0\u001b[2m step/s\u001b[0m  0:00:36\u001b[2m + \u001b[0m0:00:10\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2mdata \u001b[0m\u001b[1;2m38,592\u001b[0m\u001b[2m rows\u001b[0m\u001b[2m  \u00b7  \u001b[0m\u001b[1;2m0\u001b[0m\u001b[2m rejected\u001b[0m                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mtrain                                                                                       \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss             \u001b[0m  \u001b[1m     1.222\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 39%\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  ce               \u001b[0m  \u001b[1m     1.222\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 39%\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity       \u001b[0m  \u001b[1m     3.393\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2582\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 55%\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  token_accuracy   \u001b[0m  \u001b[1m     62.0%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m\u2191 21.4 pt\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  data_wait_ms     \u001b[0m  \u001b[1m   0.01803\u001b[0m  \u001b[38;5;38m\u2583\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m   \u2193 4.4%\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  grad_norm        \u001b[0m  \u001b[1m    0.2993\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 71%\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_misses     \u001b[0m  \u001b[1m     3.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m    \u2191 50%\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2mcompiles \u001b[0m\u001b[1m1.000\u001b[0m   \u001b[2mcache_hits \u001b[0m\u001b[1m9.000\u001b[0m   \u001b[2mpeak_memory_gib \u001b[0m\u001b[1m4.016\u001b[0m                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mthroughput                                                                                  \u001b[0m \u001b[38"]
[46.228777, "o", ";5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  step_time_ms     \u001b[0m  \u001b[1m     30.18\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2582\u001b[0m\u001b[38;5;98m\u2585\u001b[0m  \u001b[38;5;71m   \u2193 1.2%\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  samples_per_sec  \u001b[0m  \u001b[1m     2,121\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2584\u001b[0m  \u001b[38;5;71m   \u2191 1.3%\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens           \u001b[0m  \u001b[1m    16,073\u001b[0m  \u001b[38;5;38m\u2584\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2584\u001b[0m  \u001b[2m        \u2192\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens_per_s     \u001b[0m  \u001b[1m   532,648\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2584\u001b[0m  \u001b[38;5;71m   \u2191 1.2%\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  mfu              \u001b[0m  \u001b[1m     11.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2584\u001b[0m  \u001b[38;5;71m \u2191 0.1 pt\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hlo_flops_util \u2265 \u001b[0m  \u001b[1m     12.4%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2584\u001b[0m  \u001b[38;5;71m \u2191 0.2 pt\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hfu \u2265            \u001b[0m  \u001b[1m     12.4%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2584\u001b[0m  \u001b[38;5;71m \u2191 0.2 pt\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2muncounted kernels \u001b[0m\u001b[1m50.00\u001b[0m                                                                    \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98moptimizer                                                                                   \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  learning_rate    \u001b[0m  \u001b[1m 4.178e-04\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;104m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 57%\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2maccepted \u001b[0m\u001b[1m100.0%\u001b[0m                                                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mval \u00b7 step 500                                                                              \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity\u001b[0m  \u001b[1m     3.820\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss      \u001b[0m  \u001b[1m     1.340\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2827\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[46.374995, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m"]
[46.375115, "o", "\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2578\u001b[0m\u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m665\u001b[0m\u001b[2m/1000\u001b[0m   66%  33.0\u001b[2m step/s\u001b[0m  0:00:36\u001b[2m + \u001b[0m0:00:10\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2mdata \u001b[0m\u001b[1;2m38,592\u001b[0m\u001b[2m rows\u001b[0m\u001b[2m  \u00b7  \u001b[0m\u001b[1;2m0\u001b[0m\u001b[2m rejected\u001b[0m                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mtrain                                                                                       \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss             \u001b[0m  \u001b[1m     1.222\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 39%\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  ce               \u001b[0m  \u001b[1m     1.222\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 39%\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity       \u001b[0m  \u001b[1m     3.393\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2582\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 55%\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  token_accuracy   \u001b[0m  \u001b[1m     62.0%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m\u2191 21.4 pt\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  data_wait_ms     \u001b[0m  \u001b[1m   0.01803\u001b[0m  \u001b[38;5;38m\u2583\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m   \u2193 4.4%\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  grad_norm        \u001b[0m  \u001b[1m    0.2993\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 71%\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_misses     \u001b[0m  \u001b[1m     3.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m    \u2191 50%\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2mcompiles \u001b[0m\u001b[1m1.000\u001b[0m   \u001b[2mcache_hits \u001b[0m\u001b[1m9.000\u001b[0m   \u001b[2mpeak_memory_gib \u001b[0m\u001b[1m4.016\u001b[0m                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mthroughput                                                                                  \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  step_time_ms     \u001b[0m  \u001b[1m     30.18\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2582\u001b[0m\u001b[38;5;98m\u2585\u001b[0m  \u001b[38;5;71m   \u2193 1.2%\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  samples_per_sec  \u001b[0m  \u001b[1m     2,121\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2584\u001b[0m  \u001b[38;5;71m   \u2191 1.3%\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens           \u001b[0m  \u001b[1m    16,073\u001b[0m  \u001b[38;5"]
[46.375142, "o", ";38m\u2584\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2584\u001b[0m  \u001b[2m        \u2192\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens_per_s     \u001b[0m  \u001b[1m   532,648\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2584\u001b[0m  \u001b[38;5;71m   \u2191 1.2%\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  mfu              \u001b[0m  \u001b[1m     11.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2584\u001b[0m  \u001b[38;5;71m \u2191 0.1 pt\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hlo_flops_util \u2265 \u001b[0m  \u001b[1m     12.4%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2584\u001b[0m  \u001b[38;5;71m \u2191 0.2 pt\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hfu \u2265            \u001b[0m  \u001b[1m     12.4%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2584\u001b[0m  \u001b[38;5;71m \u2191 0.2 pt\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2muncounted kernels \u001b[0m\u001b[1m50.00\u001b[0m                                                                    \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98moptimizer                                                                                   \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  learning_rate    \u001b[0m  \u001b[1m 4.178e-04\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;104m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 57%\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2maccepted \u001b[0m\u001b[1m100.0%\u001b[0m                                                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mval \u00b7 step 500                                                                              \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity\u001b[0m  \u001b[1m     3.820\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss      \u001b[0m  \u001b[1m     1.340\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u280f\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[46.527662, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m"]
[46.527731, "o", "\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m671\u001b[0m\u001b[2m/1000\u001b[0m   67%  33.0\u001b[2m step/s\u001b[0m  0:00:36\u001b[2m + \u001b[0m0:00:10\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2mdata \u001b[0m\u001b[1;2m38,592\u001b[0m\u001b[2m rows\u001b[0m\u001b[2m  \u00b7  \u001b[0m\u001b[1;2m0\u001b[0m\u001b[2m rejected\u001b[0m                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mtrain                                                                                       \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss             \u001b[0m  \u001b[1m     1.222\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 39%\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  ce               \u001b[0m  \u001b[1m     1.222\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 39%\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity       \u001b[0m  \u001b[1m     3.393\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2582\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 55%\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  token_accuracy   \u001b[0m  \u001b[1m     62.0%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m\u2191 21.4 pt\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  data_wait_ms     \u001b[0m  \u001b[1m   0.01803\u001b[0m  \u001b[38;5;38m\u2583\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m   \u2193 4.4%\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  grad_norm        \u001b[0m  \u001b[1m    0.2993\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 71%\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_misses     \u001b[0m  \u001b[1m     3.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m    \u2191 50%\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2mcompiles \u001b[0m\u001b[1m1.000\u001b[0m   \u001b[2mcache_hits \u001b[0m\u001b[1m9.000\u001b[0m   \u001b[2mpeak_memory_gib \u001b[0m\u001b[1m4.016\u001b[0m                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mthroughput                                                                                  \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  step_time_ms     \u001b[0m  \u001b[1m     30.18\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2582\u001b[0m\u001b[38;5;98m\u2585\u001b[0m  \u001b[38;5;71m   \u2193 1.2%\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  samples_per_sec  \u001b[0m  \u001b[1m     2,121\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2584\u001b[0m  \u001b[38;5;71m   \u2191 1.3%\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens           \u001b[0m  \u001b[1m    16,073\u001b[0m  \u001b[38;5"]
[46.527758, "o", ";38m\u2584\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2584\u001b[0m  \u001b[2m        \u2192\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens_per_s     \u001b[0m  \u001b[1m   532,648\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2584\u001b[0m  \u001b[38;5;71m   \u2191 1.2%\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  mfu              \u001b[0m  \u001b[1m     11.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2584\u001b[0m  \u001b[38;5;71m \u2191 0.1 pt\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hlo_flops_util \u2265 \u001b[0m  \u001b[1m     12.4%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2584\u001b[0m  \u001b[38;5;71m \u2191 0.2 pt\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hfu \u2265            \u001b[0m  \u001b[1m     12.4%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2584\u001b[0m  \u001b[38;5;71m \u2191 0.2 pt\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2muncounted kernels \u001b[0m\u001b[1m50.00\u001b[0m                                                                    \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98moptimizer                                                                                   \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  learning_rate    \u001b[0m  \u001b[1m 4.178e-04\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;104m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 57%\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2maccepted \u001b[0m\u001b[1m100.0%\u001b[0m                                                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mval \u00b7 step 500                                                                              \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity\u001b[0m  \u001b[1m     3.820\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss      \u001b[0m  \u001b[1m     1.340\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2819\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[46.67387, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m"]
[46.673989, "o", "\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m676\u001b[0m\u001b[2m/1000\u001b[0m   68%  33.0\u001b[2m step/s\u001b[0m  0:00:36\u001b[2m + \u001b[0m0:00:10\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2mdata \u001b[0m\u001b[1;2m38,592\u001b[0m\u001b[2m rows\u001b[0m\u001b[2m  \u00b7  \u001b[0m\u001b[1;2m0\u001b[0m\u001b[2m rejected\u001b[0m                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mtrain                                                                                       \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss             \u001b[0m  \u001b[1m     1.222\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 39%\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  ce               \u001b[0m  \u001b[1m     1.222\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 39%\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity       \u001b[0m  \u001b[1m     3.393\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2582\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 55%\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  token_accuracy   \u001b[0m  \u001b[1m     62.0%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m\u2191 21.4 pt\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  data_wait_ms     \u001b[0m  \u001b[1m   0.01803\u001b[0m  \u001b[38;5;38m\u2583\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m   \u2193 4.4%\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  grad_norm        \u001b[0m  \u001b[1m    0.2993\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 71%\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_misses     \u001b[0m  \u001b[1m     3.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m    \u2191 50%\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2mcompiles \u001b[0m\u001b[1m1.000\u001b[0m   \u001b[2mcache_hits \u001b[0m\u001b[1m9.000\u001b[0m   \u001b[2mpeak_memory_gib \u001b[0m\u001b[1m4.016\u001b[0m                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mthroughput                                                                                  \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  step_time_ms     \u001b[0m  \u001b[1m     30.18\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2582\u001b[0m\u001b[38;5;98m\u2585\u001b[0m  \u001b[38;5;71m   \u2193 1.2%\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  samples_per_sec  \u001b[0m  \u001b[1m     2,121\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2584\u001b[0m  \u001b[38;5;71m   \u2191 1.3%\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens           \u001b[0m  \u001b[1m    16,073\u001b[0m  \u001b[38;5"]
[46.674015, "o", ";38m\u2584\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2584\u001b[0m  \u001b[2m        \u2192\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens_per_s     \u001b[0m  \u001b[1m   532,648\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2584\u001b[0m  \u001b[38;5;71m   \u2191 1.2%\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  mfu              \u001b[0m  \u001b[1m     11.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2584\u001b[0m  \u001b[38;5;71m \u2191 0.1 pt\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hlo_flops_util \u2265 \u001b[0m  \u001b[1m     12.4%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2584\u001b[0m  \u001b[38;5;71m \u2191 0.2 pt\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hfu \u2265            \u001b[0m  \u001b[1m     12.4%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2584\u001b[0m  \u001b[38;5;71m \u2191 0.2 pt\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2muncounted kernels \u001b[0m\u001b[1m50.00\u001b[0m                                                                    \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98moptimizer                                                                                   \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  learning_rate    \u001b[0m  \u001b[1m 4.178e-04\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;104m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 57%\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2maccepted \u001b[0m\u001b[1m100.0%\u001b[0m                                                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mval \u00b7 step 500                                                                              \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity\u001b[0m  \u001b[1m     3.820\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss      \u001b[0m  \u001b[1m     1.340\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2838\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[46.827116, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m"]
[46.827186, "o", "\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2578\u001b[0m\u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m682\u001b[0m\u001b[2m/1000\u001b[0m   68%  33.0\u001b[2m step/s\u001b[0m  0:00:37\u001b[2m + \u001b[0m0:00:10\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2mdata \u001b[0m\u001b[1;2m38,592\u001b[0m\u001b[2m rows\u001b[0m\u001b[2m  \u00b7  \u001b[0m\u001b[1;2m0\u001b[0m\u001b[2m rejected\u001b[0m                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mtrain                                                                                       \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss             \u001b[0m  \u001b[1m     1.222\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 39%\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  ce               \u001b[0m  \u001b[1m     1.222\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 39%\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity       \u001b[0m  \u001b[1m     3.393\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2582\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 55%\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  token_accuracy   \u001b[0m  \u001b[1m     62.0%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m\u2191 21.4 pt\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  data_wait_ms     \u001b[0m  \u001b[1m   0.01803\u001b[0m  \u001b[38;5;38m\u2583\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m   \u2193 4.4%\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  grad_norm        \u001b[0m  \u001b[1m    0.2993\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 71%\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_misses     \u001b[0m  \u001b[1m     3.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m    \u2191 50%\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2mcompiles \u001b[0m\u001b[1m1.000\u001b[0m   \u001b[2mcache_hits \u001b[0m\u001b[1m9.000\u001b[0m   \u001b[2mpeak_memory_gib \u001b[0m\u001b[1m4.016\u001b[0m                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mthroughput                                                                                  \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  step_time_ms     \u001b[0m  \u001b[1m     30.18\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2582\u001b[0m\u001b[38;5;98m\u2585\u001b[0m  \u001b[38;5;71m   \u2193 1.2%\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  samples_per_sec  \u001b[0m  \u001b[1m     2,121\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2584\u001b[0m  \u001b[38;5;71m   \u2191 1.3%\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens           \u001b[0m  \u001b[1m    16,0"]
[46.827211, "o", "73\u001b[0m  \u001b[38;5;38m\u2584\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2584\u001b[0m  \u001b[2m        \u2192\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens_per_s     \u001b[0m  \u001b[1m   532,648\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2584\u001b[0m  \u001b[38;5;71m   \u2191 1.2%\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  mfu              \u001b[0m  \u001b[1m     11.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2584\u001b[0m  \u001b[38;5;71m \u2191 0.1 pt\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hlo_flops_util \u2265 \u001b[0m  \u001b[1m     12.4%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2584\u001b[0m  \u001b[38;5;71m \u2191 0.2 pt\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hfu \u2265            \u001b[0m  \u001b[1m     12.4%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2584\u001b[0m  \u001b[38;5;71m \u2191 0.2 pt\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2muncounted kernels \u001b[0m\u001b[1m50.00\u001b[0m                                                                    \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98moptimizer                                                                                   \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  learning_rate    \u001b[0m  \u001b[1m 4.178e-04\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;104m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 57%\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2maccepted \u001b[0m\u001b[1m100.0%\u001b[0m                                                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mval \u00b7 step 500                                                                              \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity\u001b[0m  \u001b[1m     3.820\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss      \u001b[0m  \u001b[1m     1.340\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2834\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[46.974481, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m"]
[46.974538, "o", "\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2578\u001b[0m\u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m687\u001b[0m\u001b[2m/1000\u001b[0m   69%  33.4\u001b[2m step/s\u001b[0m  0:00:37\u001b[2m + \u001b[0m0:00:09\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2mdata \u001b[0m\u001b[1;2m38,592\u001b[0m\u001b[2m rows\u001b[0m\u001b[2m  \u00b7  \u001b[0m\u001b[1;2m0\u001b[0m\u001b[2m rejected\u001b[0m                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mtrain                                                                                       \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss             \u001b[0m  \u001b[1m     1.222\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 39%\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  ce               \u001b[0m  \u001b[1m     1.222\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 39%\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity       \u001b[0m  \u001b[1m     3.393\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2582\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 55%\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  token_accuracy   \u001b[0m  \u001b[1m     62.0%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m\u2191 21.4 pt\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  data_wait_ms     \u001b[0m  \u001b[1m   0.01803\u001b[0m  \u001b[38;5;38m\u2583\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m   \u2193 4.4%\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  grad_norm        \u001b[0m  \u001b[1m    0.2993\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 71%\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_misses     \u001b[0m  \u001b[1m     3.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m    \u2191 50%\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2mcompiles \u001b[0m\u001b[1m1.000\u001b[0m   \u001b[2mcache_hits \u001b[0m\u001b[1m9.000\u001b[0m   \u001b[2mpeak_memory_gib \u001b[0m\u001b[1m4.016\u001b[0m                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mthroughput                                                                                  \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  step_time_ms     \u001b[0m  \u001b[1m     30.18\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2582\u001b[0m\u001b[38;5;98m\u2585\u001b[0m  \u001b[38;5;71m   \u2193 1.2%\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  samples_per_sec  \u001b[0m  \u001b[1m     2,121\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2584\u001b[0m  \u001b[38;5;71m   \u2191 1.3%\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens           \u001b[0m  \u001b[1m    16,0"]
[46.974604, "o", "73\u001b[0m  \u001b[38;5;38m\u2584\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2584\u001b[0m  \u001b[2m        \u2192\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens_per_s     \u001b[0m  \u001b[1m   532,648\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2584\u001b[0m  \u001b[38;5;71m   \u2191 1.2%\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  mfu              \u001b[0m  \u001b[1m     11.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2584\u001b[0m  \u001b[38;5;71m \u2191 0.1 pt\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hlo_flops_util \u2265 \u001b[0m  \u001b[1m     12.4%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2584\u001b[0m  \u001b[38;5;71m \u2191 0.2 pt\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hfu \u2265            \u001b[0m  \u001b[1m     12.4%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2584\u001b[0m  \u001b[38;5;71m \u2191 0.2 pt\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2muncounted kernels \u001b[0m\u001b[1m50.00\u001b[0m                                                                    \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98moptimizer                                                                                   \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  learning_rate    \u001b[0m  \u001b[1m 4.178e-04\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;104m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 57%\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2maccepted \u001b[0m\u001b[1m100.0%\u001b[0m                                                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mval \u00b7 step 500                                                                              \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity\u001b[0m  \u001b[1m     3.820\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss      \u001b[0m  \u001b[1m     1.340\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2827\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[47.122268, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m"]
[47.122345, "o", "\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2578\u001b[0m\u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m691\u001b[0m\u001b[2m/1000\u001b[0m   69%  33.4\u001b[2m step/s\u001b[0m  0:00:37\u001b[2m + \u001b[0m0:00:09\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2mdata \u001b[0m\u001b[1;2m38,592\u001b[0m\u001b[2m rows\u001b[0m\u001b[2m  \u00b7  \u001b[0m\u001b[1;2m0\u001b[0m\u001b[2m rejected\u001b[0m                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mtrain                                                                                       \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss             \u001b[0m  \u001b[1m     1.222\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 39%\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  ce               \u001b[0m  \u001b[1m     1.222\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 39%\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity       \u001b[0m  \u001b[1m     3.393\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2582\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 55%\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  token_accuracy   \u001b[0m  \u001b[1m     62.0%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m\u2191 21.4 pt\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  data_wait_ms     \u001b[0m  \u001b[1m   0.01803\u001b[0m  \u001b[38;5;38m\u2583\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m   \u2193 4.4%\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  grad_norm        \u001b[0m  \u001b[1m    0.2993\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 71%\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_misses     \u001b[0m  \u001b[1m     3.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m    \u2191 50%\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2mcompiles \u001b[0m\u001b[1m1.000\u001b[0m   \u001b[2mcache_hits \u001b[0m\u001b[1m9.000\u001b[0m   \u001b[2mpeak_memory_gib \u001b[0m\u001b[1m4.016\u001b[0m                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mthroughput                                                                                  \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  step_time_ms     \u001b[0m  \u001b[1m     30.18\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2582\u001b[0m\u001b[38;5;98m\u2585\u001b[0m  \u001b[38;5;71m   \u2193 1.2%\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  samples_per_sec  \u001b[0m  \u001b[1m     2,121\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2584\u001b[0m  \u001b[38;5;71m   \u2191 1.3%\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens           \u001b[0m  \u001b[1m    16,0"]
[47.122392, "o", "73\u001b[0m  \u001b[38;5;38m\u2584\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2584\u001b[0m  \u001b[2m        \u2192\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens_per_s     \u001b[0m  \u001b[1m   532,648\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2584\u001b[0m  \u001b[38;5;71m   \u2191 1.2%\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  mfu              \u001b[0m  \u001b[1m     11.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2584\u001b[0m  \u001b[38;5;71m \u2191 0.1 pt\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hlo_flops_util \u2265 \u001b[0m  \u001b[1m     12.4%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2584\u001b[0m  \u001b[38;5;71m \u2191 0.2 pt\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hfu \u2265            \u001b[0m  \u001b[1m     12.4%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2584\u001b[0m  \u001b[38;5;71m \u2191 0.2 pt\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2muncounted kernels \u001b[0m\u001b[1m50.00\u001b[0m                                                                    \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98moptimizer                                                                                   \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  learning_rate    \u001b[0m  \u001b[1m 4.178e-04\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;104m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 57%\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2maccepted \u001b[0m\u001b[1m100.0%\u001b[0m                                                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mval \u00b7 step 500                                                                              \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity\u001b[0m  \u001b[1m     3.820\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss      \u001b[0m  \u001b[1m     1.340\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2807\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[47.273436, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m697\u001b[0m\u001b[2m/1000\u001b[0m   70%  33.4\u001b[2m step/s\u001b[0m  0:00:37\u001b[2m + \u001b[0m0:00:09\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2mdata \u001b[0m\u001b[1;2m38,592\u001b[0m\u001b[2m rows\u001b[0m\u001b[2m  \u00b7  \u001b[0m\u001b[1;2m0\u001b[0m\u001b[2m rejected\u001b[0m                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mtrain                                                                                       \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss             \u001b[0m  \u001b[1m     1.222\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 39%\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  ce               \u001b[0m  \u001b[1m     1.222\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 39%\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity       \u001b[0m  \u001b[1m     3.393\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2582\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 55%\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  token_accuracy   \u001b[0m  \u001b[1m     62.0%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m\u2191 21.4 pt\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  data_wait_ms     \u001b[0m  \u001b[1m   0.01803\u001b[0m  \u001b[38;5;38m\u2583\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m   \u2193 4.4%\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  grad_norm        \u001b[0m  \u001b[1m    0.2993\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 71%\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_misses     \u001b[0m  \u001b[1m     3.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m    \u2191 50%\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2mcompiles \u001b[0m\u001b[1m1.000\u001b[0m   \u001b[2mcache_hits \u001b[0m\u001b[1m9.000\u001b[0m   \u001b[2mpeak_memory_gib \u001b[0m\u001b[1m4.016\u001b[0m                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mthroughput                                                                             "]
[47.27348, "o", "     \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  step_time_ms     \u001b[0m  \u001b[1m     30.18\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2582\u001b[0m\u001b[38;5;98m\u2585\u001b[0m  \u001b[38;5;71m   \u2193 1.2%\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  samples_per_sec  \u001b[0m  \u001b[1m     2,121\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2584\u001b[0m  \u001b[38;5;71m   \u2191 1.3%\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens           \u001b[0m  \u001b[1m    16,073\u001b[0m  \u001b[38;5;38m\u2584\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2584\u001b[0m  \u001b[2m        \u2192\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens_per_s     \u001b[0m  \u001b[1m   532,648\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2584\u001b[0m  \u001b[38;5;71m   \u2191 1.2%\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  mfu              \u001b[0m  \u001b[1m     11.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2584\u001b[0m  \u001b[38;5;71m \u2191 0.1 pt\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hlo_flops_util \u2265 \u001b[0m  \u001b[1m     12.4%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2584\u001b[0m  \u001b[38;5;71m \u2191 0.2 pt\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hfu \u2265            \u001b[0m  \u001b[1m     12.4%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2584\u001b[0m  \u001b[38;5;71m \u2191 0.2 pt\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2muncounted kernels \u001b[0m\u001b[1m50.00\u001b[0m                                                                    \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98moptimizer                                                                                   \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  learning_rate    \u001b[0m  \u001b[1m 4.178e-04\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;104m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 57%\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2maccepted \u001b[0m\u001b[1m100.0%\u001b[0m                                                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mval \u00b7 step 500                                                                              \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity\u001b[0m  \u001b[1m     3.820\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss      \u001b[0m  \u001b[1m     1.340\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u280b\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[47.416816, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m700\u001b[0m\u001b[2m/1000\u001b[0m   70%  33.4\u001b[2m step/s\u001b[0m  0:00:37\u001b[2m + \u001b[0m0:00:09\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2mdata \u001b[0m\u001b[1;2m38,592\u001b[0m\u001b[2m rows\u001b[0m\u001b[2m  \u00b7  \u001b[0m\u001b[1;2m0\u001b[0m\u001b[2m rejected\u001b[0m                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n"]
[47.416839, "o", "\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mtrain                                                                                       \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss             \u001b[0m  \u001b[1"]
[47.41698, "o", "m     1.222\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 39%\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  ce               \u001b[0m  \u001b[1m     1.222\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 39%\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity       \u001b[0m  \u001b[1m     3.393\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2582\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 55%\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  token_accuracy   \u001b[0m  \u001b[1m     62.0%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m\u2191 21.4 pt\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  data_wait_ms     \u001b[0m  \u001b[1m   0.01803\u001b[0m  \u001b[38;5;38m\u2583\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m   \u2193 4.4%\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  grad_norm        \u001b[0m  \u001b[1m    0.2993\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 71%\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_misses     \u001b[0m  \u001b[1m     3.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m    \u2191 50%\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2mcompiles \u001b[0m\u001b[1m1.000\u001b[0m   \u001b[2mcache_hits \u001b[0m\u001b[1m9.000\u001b[0m   \u001b[2mpeak_memory_gib \u001b[0m\u001b[1m4.016\u001b[0m                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mthroughput                                                                                  \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  step_time_ms     \u001b[0m  \u001b[1m     30.18\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2582\u001b[0m\u001b[38;5;98m\u2585\u001b[0m  \u001b[38;5;71m   \u2193 1.2%\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  samples_per_sec  \u001b[0m  \u001b[1m     2,121\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2584\u001b[0m  \u001b[38;5;71m   \u2191 1.3%\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens           \u001b[0m  \u001b[1m    16,073\u001b[0m  \u001b[38;5;38m\u2584\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2584\u001b[0m  \u001b[2m        \u2192\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens_per_s     \u001b[0m  \u001b[1m   532,648\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2584\u001b[0m  \u001b[38;5;71m   \u2191 1.2%\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  mfu              \u001b[0m  \u001b[1m     11.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2584\u001b[0m  \u001b[38;5;71m \u2191 0.1 pt\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hlo_flops_util \u2265 \u001b[0m  \u001b[1m     12.4%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2584\u001b[0m  \u001b[38;5;71m \u2191 0.2 pt\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hfu \u2265            \u001b[0m  \u001b[1m     12.4%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2584\u001b[0m  \u001b[38;5;71m \u2191 0.2 pt\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2muncounted kernels \u001b[0m\u001b[1m50.00\u001b[0m                                                                    \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98moptimizer                              "]
[47.417003, "o", "                                                     \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  learning_rate    \u001b[0m  \u001b[1m 4.178e-04\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;104m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 57%\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2maccepted \u001b[0m\u001b[1m100.0%\u001b[0m                                                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mval \u00b7 step 500                                                                              \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity\u001b[0m  \u001b[1m     3.820\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss      \u001b[0m  \u001b[1m     1.340\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2839\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[47.560422, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m700\u001b[0m\u001b[2m/1000\u001b[0m   70%  33.4\u001b[2m step/s\u001b[0m  0:00:37\u001b[2m + \u001b[0m0:00:09\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2mdata \u001b[0m\u001b[1;2m38,592\u001b[0m\u001b[2m rows\u001b[0m\u001b[2m  \u00b7  \u001b[0m\u001b[1;2m0\u001b[0m\u001b[2m rejected\u001b[0m                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mtrain                                                                                       \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss             \u001b[0m  \u001b[1m     1.222\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 39%\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  ce               \u001b[0m  \u001b[1m     1.222\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 39%\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity       \u001b[0m  \u001b[1m     3.393\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2582\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 55%\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  token_accuracy   \u001b[0m  \u001b[1m     62.0%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m\u2191 21.4 pt\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  data_wait_ms     \u001b[0m  \u001b[1m   0.01803\u001b[0m  \u001b[38;5;38m\u2583\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m   \u2193 4.4%\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  grad_norm        \u001b[0m  \u001b[1m    0.2993\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 71%\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_misses     \u001b[0m  \u001b[1m     3.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m    \u2191 50%\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2mcompiles \u001b[0m\u001b[1m1.000\u001b[0m   \u001b[2mcache_hits \u001b[0m\u001b[1m9.000\u001b[0m   \u001b[2mpeak_memory_gib \u001b[0m\u001b[1m4.016\u001b[0m                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mthroughput                                                                                  \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  step_time_ms     \u001b[0m  \u001b[1m     30.18\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2582\u001b[0m\u001b[38;5;98m\u2585\u001b[0m  \u001b[38;5;71m   \u2193 1.2%\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  samples_per_sec  \u001b[0m  \u001b[1m     2,121\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2584\u001b[0m  \u001b[38;5;71m   \u2191 1.3%\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens           \u001b[0m  \u001b[1m    16,073\u001b[0m  \u001b[38;5;38m\u2584\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2584\u001b[0m  \u001b[2m        \u2192\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens_per_s     \u001b[0m  \u001b[1m   532,648\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2584\u001b[0m  \u001b[38;5;71m   \u2191 1.2%\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  mfu              \u001b[0m  \u001b[1m     11.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2584\u001b[0m  \u001b[38;5;71m \u2191 0.1 pt\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hlo_flops_util \u2265 \u001b[0m  \u001b[1m     12.4%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2584\u001b[0m  \u001b[38;5;71m \u2191 0.2 pt\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hfu \u2265            \u001b[0m  \u001b[1m     12.4%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2584\u001b[0m  \u001b[38;5;71m \u2191 0.2 pt\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2muncounted kernels \u001b[0m\u001b[1m50.00\u001b[0m                                                                    \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98moptimizer                                                                                   \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  learning_rate    \u001b[0m  \u001b[1m 4.178e-04\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;104m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 57%\u001b[0m                                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2maccepted \u001b[0m\u001b[1m100.0%\u001b[0m                                                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mval \u00b7 step 500                                                                              \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity\u001b[0m  \u001b[1m     3.820\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss      \u001b[0m  \u001b[1m     1.340\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u283c\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[47.714376, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m705\u001b[0m\u001b[2m/1000\u001b[0m   70%  32.1\u001b[2m step/s\u001b[0m  0:00:37\u001b[2m + \u001b[0m0:00:09\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2mdata \u001b[0m\u001b[1;2m44,992\u001b[0m\u001b[2m rows\u001b[0m\u001b[2m  \u00b7  \u001b[0m\u001b[1;2m0\u001b[0m\u001b[2m rejected\u001b[0m                                                              \u001b[38;5;38m\u2502\u001b[0m"]
[47.714396, "o", "\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mtrain                                                                                       \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n"]
[47.714408, "o", "\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss             \u001b[0m  \u001b[1m     1.252\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 38%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m"]
[47.71442, "o", "\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  ce               \u001b[0m  \u001b[1m     1.252\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 38%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m"]
[47.714431, "o", "\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity       \u001b[0m  \u001b[1m     3.497\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 53%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m"]
[47.714441, "o", "\r\n"]
[47.714452, "o", "\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  token_accuracy   \u001b[0m  \u001b[1m     60.4%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m\u2191 19.9 pt\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n"]
[47.714464, "o", "\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  data_wait_ms     \u001b[0m  \u001b[1m   0.01968\u001b[0m  \u001b[38;5;38m\u2583\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2585\u001b[0m  \u001b[2m   \u2191 4.4%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n"]
[47.714476, "o", "\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  grad_norm        \u001b[0m  \u001b[1m    0.2937\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 71%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n"]
[47.714486, "o", "\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_misses     \u001b[0m  \u001b[1m     3.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m    \u2191 50%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n"]
[47.714496, "o", "\u001b[38;5;38m\u2502\u001b[0m   \u001b[2mcompiles \u001b[0m\u001b[1m1.000\u001b[0m   \u001b[2mcache_hits \u001b[0m\u001b[1m9.000\u001b[0m   \u001b[2mpeak_memory_gib \u001b[0m\u001b[1m4.016\u001b[0m                                  \u001b[38;5;38m\u2502\u001b[0m\r\n"]
[47.714508, "o", "\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mthroughput                                                                                  \u001b[0m \u001b[38;5;38m\u2502\u001b[0m"]
[47.714521, "o", "\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  step_time_ms     \u001b[0m  \u001b[1m     29.75\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2585\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[38;5;71m   \u2193 2.6%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n"]
[47.714532, "o", "\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  samples_per_sec  \u001b[0m  \u001b[1m     2,151\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2584\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m   \u2191 2.7%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n"]
[47.714544, "o", "\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens           \u001b[0m  \u001b[1m    16,099\u001b[0m  \u001b[38;5;38m\u2584\u001b[0m\u001b[38;5;74m\u2581\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2584\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m   \u2191 0.1%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n"]
[47.714555, "o", "\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens_per_s     \u001b[0m  \u001b[1m   541,148\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2584\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m   \u2191 2.8%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n"]
[47.714567, "o", "\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  mfu              \u001b[0m  \u001b[1m     11.8%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2584\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n"]
[47.714578, "o", "\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hlo_flops_util \u2265 \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2584\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n"]
[47.714591, "o", "\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hfu \u2265            \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2584\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n"]
[47.714602, "o", "\u001b[38;5;38m\u2502\u001b[0m   \u001b[2muncounted kernels \u001b[0m\u001b[1m50.00\u001b[0m                                                                    \u001b[38;5;38m\u2502\u001b[0m"]
[47.714612, "o", "\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98moptimizer                                                                                   \u001b[0m \u001b[38;5;38m\u2502\u001b[0m"]
[47.714622, "o", "\r\n"]
[47.714632, "o", "\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  learning_rate    \u001b[0m  \u001b[1m 2.901e-04\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;104m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 70%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n"]
[47.714642, "o", "\u001b[38;5;38m\u2502\u001b[0m   \u001b[2maccepted \u001b[0m\u001b[1m100.0%\u001b[0m                                                                            \u001b[38;5;38m\u2502\u001b[0m\r\n"]
[47.714651, "o", "\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n"]
[47.714662, "o", "\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mval \u00b7 step 500                                                                              \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n"]
[47.714671, "o", "\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity\u001b[0m  \u001b[1m     3.820\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                                  \u001b[38;5;38m\u2502\u001b[0m"]
[47.714681, "o", "\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss      \u001b[0m  \u001b[1m     1.340\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                                  \u001b[38;5;38m\u2502\u001b[0m"]
[47.71469, "o", "\r\n"]
[47.714699, "o", "\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2826\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[47.863757, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2578\u001b[0m\u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m711\u001b[0m\u001b[2m/1000\u001b[0m   71%  33.9\u001b[2m step/s\u001b[0m  0:00:38\u001b[2m + \u001b[0m0:00:09\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2mdata \u001b[0m\u001b[1;2m44,992\u001b[0m\u001b[2m rows\u001b[0m\u001b[2m  \u00b7  \u001b[0m\u001b[1;2m0\u001b[0m\u001b[2m rejected\u001b[0m                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n"]
[47.863779, "o", "\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mtrain                                                                                       \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss        "]
[47.86379, "o", "     \u001b[0m  \u001b[1m     1.252\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 38%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n"]
[47.863802, "o", "\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  ce               \u001b[0m  \u001b[1m     1.252\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 38%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n"]
[47.863814, "o", "\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity       \u001b[0m  \u001b[1m     3.497\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 53%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n"]
[47.863825, "o", "\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  token_accuracy   \u001b[0m  \u001b[1m     60.4%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m\u2191 19.9 pt\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n"]
[47.863835, "o", "\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  data_wait_ms     \u001b[0m  \u001b[1m   0.01968\u001b[0m  \u001b[38;5;38m\u2583\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2585\u001b[0m  \u001b[2m   \u2191 4.4%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n"]
[47.863846, "o", "\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  grad_norm        \u001b[0m  \u001b[1m    0.2937\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 71%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n"]
[47.863857, "o", "\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_misses     \u001b[0m  \u001b[1m     3.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m    \u2191 50%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n"]
[47.863867, "o", "\u001b[38;5;38m\u2502\u001b[0m   \u001b[2mcompiles \u001b[0m\u001b[1m1.000\u001b[0m   \u001b[2mcache_hits \u001b[0m\u001b[1m9.000\u001b[0m   \u001b[2mpeak_memory_gib \u001b[0m\u001b[1m4.016\u001b[0m                                  \u001b[38;5;38m\u2502\u001b[0m"]
[47.863877, "o", "\r\n\u001b[38;5;"]
[47.863887, "o", "38m\u2502\u001b[0m \u001b[1;38;5;98mthroughput                                                                                  \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n"]
[47.863898, "o", "\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  step_time_ms     \u001b[0m  \u001b[1m     29.75\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2585\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[38;5;71m   \u2193 2.6%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n"]
[47.863909, "o", "\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  samples_per_sec  \u001b[0m  \u001b[1m     2,151\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2584\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m   \u2191 2.7%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n"]
[47.86392, "o", "\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens           \u001b[0m  \u001b[1m    16,099\u001b[0m  \u001b[38;5;38m\u2584\u001b[0m\u001b[38;5;74m\u2581\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2584\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m   \u2191 0.1%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n"]
[47.863956, "o", "\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens_per_s     \u001b[0m  \u001b[1m   541,148\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2584\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m   \u2191 2.8%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  mfu              \u001b[0m  \u001b[1m     11.8%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2584\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hlo_flops_util \u2265 \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2584\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m"]
[47.863969, "o", "\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hfu \u2265            \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2584\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                          \u001b[38;5;38m"]
[47.863979, "o", "\u2502\u001b[0m"]
[47.863989, "o", "\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2muncounted kernels \u001b[0m\u001b[1m50.00\u001b[0m                                                                    \u001b[38;5;38m\u2502\u001b[0m"]
[47.863999, "o", "\r\n"]
[47.864008, "o", "\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98moptimizer                                                                                   \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n"]
[47.864018, "o", "\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  learning_rate    \u001b[0m  \u001b[1m 2.901e-04\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;104m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 70%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n"]
[47.864028, "o", "\u001b[38;5;38m\u2502\u001b[0m   \u001b[2maccepted \u001b[0m\u001b[1m100.0%\u001b[0m                                                                            \u001b[38;5;38m\u2502\u001b[0m\r\n"]
[47.864037, "o", "\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m"]
[47.864046, "o", "\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mval \u00b7 step 500                                                                              \u001b[0m \u001b[38;5;38m\u2502\u001b[0m"]
[47.864056, "o", "\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity\u001b[0m  \u001b[1m     3.820\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                                  \u001b[38;5;38m\u2502\u001b[0m"]
[47.864066, "o", "\r\n"]
[47.864075, "o", "\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss      \u001b[0m  \u001b[1m     1.340\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                                  \u001b[38;5;38m\u2502\u001b[0m\r\n"]
[47.864085, "o", "\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2807\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[48.024502, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2578\u001b[0m\u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m716\u001b[0m\u001b[2m/1000\u001b[0m   72%  33.9\u001b[2m step/s\u001b[0m  0:00:38\u001b[2m + \u001b[0m0:00:08\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m"]
[48.024515, "o", "\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2mdata \u001b[0m\u001b[1;2m44,992\u001b[0m\u001b[2m rows\u001b[0m\u001b[2m  \u00b7  \u001b[0m\u001b[1;2m0\u001b[0m\u001b[2m rejected\u001b[0m                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n"]
[48.024524, "o", "\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n"]
[48.024546, "o", "\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mtrain                                                                                       \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss        "]
[48.024553, "o", "     \u001b[0m  \u001b[1m     1.252\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 38%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m"]
[48.02456, "o", "\r\n"]
[48.024567, "o", "\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  ce               \u001b[0m  \u001b[1m     1.252\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 38%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n"]
[48.024576, "o", "\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity       \u001b[0m  \u001b[1m     3.497\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 53%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m"]
[48.024584, "o", "\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  token_accuracy   \u001b[0m  \u001b[1m     60.4%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m\u2191 19.9 pt\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m"]
[48.024591, "o", "\r\n"]
[48.024599, "o", "\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  data_wait_ms     \u001b[0m  \u001b[1m   0.01968\u001b[0m  \u001b[38;5;38m\u2583\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2585\u001b[0m  \u001b[2m   \u2191 4.4%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m"]
[48.024606, "o", "\r\n"]
[48.024613, "o", "\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  grad_norm        \u001b[0m  \u001b[1m    0.2937\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 71%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m"]
[48.024621, "o", "\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_misses     \u001b[0m  \u001b[1m     3.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m    \u2191 50%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m"]
[48.024627, "o", "\r\n"]
[48.024634, "o", "\u001b[38;5;38m\u2502\u001b[0m   \u001b[2mcompiles \u001b[0m\u001b[1m1.000\u001b[0m   \u001b[2mcache_hits \u001b[0m\u001b[1m9.000\u001b[0m   \u001b[2mpeak_memory_gib \u001b[0m\u001b[1m4.016\u001b[0m                                  \u001b[38;5;38m\u2502\u001b[0m"]
[48.024641, "o", "\r\n"]
[48.024647, "o", "\u001b[38;5;"]
[48.024654, "o", "38m\u2502\u001b[0m \u001b[1;38;5;98mthroughput                                                                                  \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n"]
[48.024677, "o", "\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  step_time_ms     \u001b[0m  \u001b[1m     29.75\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2585\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[38;5;71m   \u2193 2.6%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  samples_per_sec  \u001b[0m  \u001b[1m     2,151\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2584\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m   \u2191 2.7%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m"]
[48.024686, "o", "\r\n"]
[48.024693, "o", "\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens           \u001b[0m  \u001b[1m    16,099\u001b[0m  \u001b[38;5;38m\u2584\u001b[0m\u001b[38;5;74m\u2581\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2584\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m   \u2191 0.1%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m"]
[48.0247, "o", "\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens_per_s     \u001b[0m  \u001b[1m   541,148\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2584\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m   \u2191 2.8%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m"]
[48.024707, "o", "\r\n"]
[48.024727, "o", "\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  mfu              \u001b[0m  \u001b[1m     11.8%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2584\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hlo_flops_util \u2265 \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2584\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m"]
[48.024734, "o", "\r\n"]
[48.024741, "o", "\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hfu \u2265            \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2584\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                          \u001b[38;5;38m"]
[48.024748, "o", "\u2502\u001b[0m\r\n"]
[48.024768, "o", "\u001b[38;5;38m\u2502\u001b[0m   \u001b[2muncounted kernels \u001b[0m\u001b[1m50.00\u001b[0m                                                                    \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98moptimizer                                                                                   \u001b[0m \u001b[38;5;38m\u2502\u001b[0m"]
[48.024775, "o", "\r\n"]
[48.024782, "o", "\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  learning_rate    \u001b[0m  \u001b[1m 2.901e-04\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;104m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 70%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m"]
[48.02479, "o", "\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2maccepted \u001b[0m\u001b[1m100.0%\u001b[0m                                                                            \u001b[38;5;38m\u2502\u001b[0m"]
[48.024809, "o", "\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n"]
[48.024817, "o", "\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mval \u00b7 step 500                                                                              \u001b[0m \u001b[38;5;38m\u2502\u001b[0m"]
[48.024823, "o", "\r\n"]
[48.02483, "o", "\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity\u001b[0m  \u001b[1m     3.820\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                                  \u001b[38;5;38m\u2502\u001b[0m"]
[48.024837, "o", "\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss      \u001b[0m  \u001b[1m     1.340\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                                  \u001b[38;5;38m\u2502\u001b[0m"]
[48.024856, "o", "\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u280b\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[48.172066, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m"]
[48.172136, "o", "\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m722\u001b[0m\u001b[2m/1000\u001b[0m   72%  33.8\u001b[2m step/s\u001b[0m  0:00:38\u001b[2m + \u001b[0m0:00:08\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2mdata \u001b[0m\u001b[1;2m44,992\u001b[0m\u001b[2m rows\u001b[0m\u001b[2m  \u00b7  \u001b[0m\u001b[1;2m0\u001b[0m\u001b[2m rejected\u001b[0m                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mtrain                                                                                       \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss             \u001b[0m  \u001b[1m     1.252\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 38%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  ce               \u001b[0m  \u001b[1m     1.252\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 38%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity       \u001b[0m  \u001b[1m     3.497\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 53%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  token_accuracy   \u001b[0m  \u001b[1m     60.4%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m\u2191 19.9 pt\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  data_wait_ms     \u001b[0m  \u001b[1m   0.01968\u001b[0m  \u001b[38;5;38m\u2583\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2585\u001b[0m  \u001b[2m   \u2191 4.4%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  grad_norm        \u001b[0m  \u001b[1m    0.2937\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 71%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_misses     \u001b[0m  \u001b[1m     3.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m    \u2191 50%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2mcompiles \u001b[0m\u001b[1m1.000\u001b[0m   \u001b[2mcache_hits \u001b[0m\u001b[1m9.000\u001b[0m   \u001b[2mpeak_memory_gib \u001b[0m\u001b[1m4.016\u001b[0m                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mthroughput                                                                                  \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  step_time_ms     \u001b[0m  \u001b[1m     29.75\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2585\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[38;5;71m   \u2193 2.6%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  samples_per_sec  \u001b[0m  \u001b[1m     2,151\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2584\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m   \u2191 2.7%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens           \u001b[0m  \u001b[1m    16,099\u001b[0m  \u001b[38;5;38m\u2584\u001b[0m\u001b[38;5;74m\u2581\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2584\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m   \u2191 0.1%\u001b"]
[48.172187, "o", "[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens_per_s     \u001b[0m  \u001b[1m   541,148\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2584\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m   \u2191 2.8%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  mfu              \u001b[0m  \u001b[1m     11.8%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2584\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hlo_flops_util \u2265 \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2584\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hfu \u2265            \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2584\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2muncounted kernels \u001b[0m\u001b[1m50.00\u001b[0m                                                                    \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98moptimizer                                                                                   \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  learning_rate    \u001b[0m  \u001b[1m 2.901e-04\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;104m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 70%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2maccepted \u001b[0m\u001b[1m100.0%\u001b[0m                                                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mval \u00b7 step 500                                                                              \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity\u001b[0m  \u001b[1m     3.820\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss      \u001b[0m  \u001b[1m     1.340\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2819\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[48.323788, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n"]
[48.323842, "o", "\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m727\u001b[0m\u001b[2m/1000\u001b[0m   73%  33.8\u001b[2m step/s\u001b[0m  0:00:38\u001b[2m + \u001b[0m0:00:08\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2mdata \u001b[0m\u001b[1;2m44,992\u001b[0m\u001b[2m rows\u001b[0m\u001b[2m  \u00b7  \u001b[0m\u001b[1;2m0\u001b[0m\u001b[2m rejected\u001b[0m                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mtrain                                                                                       \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss             \u001b[0m  \u001b[1m     1.252\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 38%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  ce               \u001b[0m  \u001b[1m     1.252\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 38%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity       \u001b[0m  \u001b[1m     3.497\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 53%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  token_accuracy   \u001b[0m  \u001b[1m     60.4%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m\u2191 19.9 pt\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  data_wait_ms     \u001b[0m  \u001b[1m   0.01968\u001b[0m  \u001b[38;5;38m\u2583\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2585\u001b[0m  \u001b[2m   \u2191 4.4%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  grad_norm        \u001b[0m  \u001b[1m    0.2937\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 71%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_misses     \u001b[0m  \u001b[1m     3.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m    \u2191 50%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2mcompiles \u001b[0m\u001b[1m1.000\u001b[0m   \u001b[2mcache_hits \u001b[0m\u001b[1m9.000\u001b[0m   \u001b[2mpeak_memory_gib \u001b[0m\u001b[1m4.016\u001b[0m                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mthroughput                                                                                  \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  step_time_ms     \u001b[0m  \u001b[1m     29.75\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2585\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[38;5;71m   \u2193 2.6%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  samples_per_sec  \u001b[0m  \u001b[1m     2,151\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2584\u001b[0m\u001b[38;5;9"]
[48.323871, "o", "8m\u2587\u001b[0m  \u001b[38;5;71m   \u2191 2.7%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens           \u001b[0m  \u001b[1m    16,099\u001b[0m  \u001b[38;5;38m\u2584\u001b[0m\u001b[38;5;74m\u2581\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2584\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m   \u2191 0.1%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens_per_s     \u001b[0m  \u001b[1m   541,148\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2584\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m   \u2191 2.8%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  mfu              \u001b[0m  \u001b[1m     11.8%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2584\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hlo_flops_util \u2265 \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2584\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hfu \u2265            \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2584\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2muncounted kernels \u001b[0m\u001b[1m50.00\u001b[0m                                                                    \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98moptimizer                                                                                   \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  learning_rate    \u001b[0m  \u001b[1m 2.901e-04\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;104m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 70%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2maccepted \u001b[0m\u001b[1m100.0%\u001b[0m                                                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mval \u00b7 step 500                                                                              \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity\u001b[0m  \u001b[1m     3.820\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss      \u001b[0m  \u001b[1m     1.340\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2838\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[48.474718, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m"]
[48.474759, "o", "\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2578\u001b[0m\u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m733\u001b[0m\u001b[2m/1000\u001b[0m   73%  33.9\u001b[2m step/s\u001b[0m  0:00:38\u001b[2m + \u001b[0m0:00:08\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2mdata \u001b[0m\u001b[1;2m44,992\u001b[0m\u001b[2m rows\u001b[0m\u001b[2m  \u00b7  \u001b[0m\u001b[1;2m0\u001b[0m\u001b[2m rejected\u001b[0m                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mtrain                                                                                       \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss             \u001b[0m  \u001b[1m     1.252\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 38%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  ce               \u001b[0m  \u001b[1m     1.252\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 38%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity       \u001b[0m  \u001b[1m     3.497\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 53%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  token_accuracy   \u001b[0m  \u001b[1m     60.4%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m\u2191 19.9 pt\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  data_wait_ms     \u001b[0m  \u001b[1m   0.01968\u001b[0m  \u001b[38;5;38m\u2583\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2585\u001b[0m  \u001b[2m   \u2191 4.4%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  grad_norm        \u001b[0m  \u001b[1m    0.2937\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 71%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_misses     \u001b[0m  \u001b[1m     3.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m    \u2191 50%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2mcompiles \u001b[0m\u001b[1m1.000\u001b[0m   \u001b[2mcache_hits \u001b[0m\u001b[1m9.000\u001b[0m   \u001b[2mpeak_memory_gib \u001b[0m\u001b[1m4.016\u001b[0m                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mthroughput                                                                                  \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  step_time_ms     \u001b[0m  \u001b[1m     29.75\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2585\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[38;5;71m   \u2193 2.6%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  samples_per_sec  \u001b[0m  \u001b[1m     2,151\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104"]
[48.47478, "o", "m\u2584\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m   \u2191 2.7%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens           \u001b[0m  \u001b[1m    16,099\u001b[0m  \u001b[38;5;38m\u2584\u001b[0m\u001b[38;5;74m\u2581\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2584\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m   \u2191 0.1%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens_per_s     \u001b[0m  \u001b[1m   541,148\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2584\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m   \u2191 2.8%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  mfu              \u001b[0m  \u001b[1m     11.8%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2584\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hlo_flops_util \u2265 \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2584\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hfu \u2265            \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2584\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2muncounted kernels \u001b[0m\u001b[1m50.00\u001b[0m                                                                    \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98moptimizer                                                                                   \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  learning_rate    \u001b[0m  \u001b[1m 2.901e-04\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;104m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 70%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2maccepted \u001b[0m\u001b[1m100.0%\u001b[0m                                                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mval \u00b7 step 500                                                                              \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity\u001b[0m  \u001b[1m     3.820\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss      \u001b[0m  \u001b[1m     1.340\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2834\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[48.622012, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m"]
[48.622067, "o", "\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2578\u001b[0m\u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m738\u001b[0m\u001b[2m/1000\u001b[0m   74%  33.9\u001b[2m step/s\u001b[0m  0:00:38\u001b[2m + \u001b[0m0:00:08\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2mdata \u001b[0m\u001b[1;2m44,992\u001b[0m\u001b[2m rows\u001b[0m\u001b[2m  \u00b7  \u001b[0m\u001b[1;2m0\u001b[0m\u001b[2m rejected\u001b[0m                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mtrain                                                                                       \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss             \u001b[0m  \u001b[1m     1.252\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 38%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  ce               \u001b[0m  \u001b[1m     1.252\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 38%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity       \u001b[0m  \u001b[1m     3.497\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 53%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  token_accuracy   \u001b[0m  \u001b[1m     60.4%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m\u2191 19.9 pt\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  data_wait_ms     \u001b[0m  \u001b[1m   0.01968\u001b[0m  \u001b[38;5;38m\u2583\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2585\u001b[0m  \u001b[2m   \u2191 4.4%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  grad_norm        \u001b[0m  \u001b[1m    0.2937\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 71%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_misses     \u001b[0m  \u001b[1m     3.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m    \u2191 50%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2mcompiles \u001b[0m\u001b[1m1.000\u001b[0m   \u001b[2mcache_hits \u001b[0m\u001b[1m9.000\u001b[0m   \u001b[2mpeak_memory_gib \u001b[0m\u001b[1m4.016\u001b[0m                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mthroughput                                                                                  \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  step_time_ms     \u001b[0m  \u001b[1m     29.75\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2585\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[38;5;71m   \u2193 2.6%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  samples_per_sec  \u001b[0m  \u001b[1m     2,151\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104"]
[48.622095, "o", "m\u2584\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m   \u2191 2.7%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens           \u001b[0m  \u001b[1m    16,099\u001b[0m  \u001b[38;5;38m\u2584\u001b[0m\u001b[38;5;74m\u2581\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2584\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m   \u2191 0.1%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens_per_s     \u001b[0m  \u001b[1m   541,148\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2584\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m   \u2191 2.8%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  mfu              \u001b[0m  \u001b[1m     11.8%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2584\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hlo_flops_util \u2265 \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2584\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hfu \u2265            \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2584\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2muncounted kernels \u001b[0m\u001b[1m50.00\u001b[0m                                                                    \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98moptimizer                                                                                   \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  learning_rate    \u001b[0m  \u001b[1m 2.901e-04\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;104m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 70%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2maccepted \u001b[0m\u001b[1m100.0%\u001b[0m                                                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mval \u00b7 step 500                                                                              \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity\u001b[0m  \u001b[1m     3.820\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss      \u001b[0m  \u001b[1m     1.340\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2827\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[48.771466, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m"]
[48.771504, "o", "\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m744\u001b[0m\u001b[2m/1000\u001b[0m   74%  33.7\u001b[2m step/s\u001b[0m  0:00:38\u001b[2m + \u001b[0m0:00:08\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2mdata \u001b[0m\u001b[1;2m44,992\u001b[0m\u001b[2m rows\u001b[0m\u001b[2m  \u00b7  \u001b[0m\u001b[1;2m0\u001b[0m\u001b[2m rejected\u001b[0m                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mtrain                                                                                       \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss             \u001b[0m  \u001b[1m     1.252\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 38%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  ce               \u001b[0m  \u001b[1m     1.252\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 38%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity       \u001b[0m  \u001b[1m     3.497\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 53%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  token_accuracy   \u001b[0m  \u001b[1m     60.4%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m\u2191 19.9 pt\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  data_wait_ms     \u001b[0m  \u001b[1m   0.01968\u001b[0m  \u001b[38;5;38m\u2583\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2585\u001b[0m  \u001b[2m   \u2191 4.4%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  grad_norm        \u001b[0m  \u001b[1m    0.2937\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 71%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_misses     \u001b[0m  \u001b[1m     3.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m    \u2191 50%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2mcompiles \u001b[0m\u001b[1m1.000\u001b[0m   \u001b[2mcache_hits \u001b[0m\u001b[1m9.000\u001b[0m   \u001b[2mpeak_memory_gib \u001b[0m\u001b[1m4.016\u001b[0m                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mthroughput                                                                                  \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  step_time_ms     \u001b[0m  \u001b[1m     29.75\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2585\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[38;5;71m   \u2193 2.6%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  samples_per_sec  \u001b[0m  \u001b[1m     2,151\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104"]
[48.771555, "o", "m\u2584\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m   \u2191 2.7%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens           \u001b[0m  \u001b[1m    16,099\u001b[0m  \u001b[38;5;38m\u2584\u001b[0m\u001b[38;5;74m\u2581\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2584\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m   \u2191 0.1%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens_per_s     \u001b[0m  \u001b[1m   541,148\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2584\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m   \u2191 2.8%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  mfu              \u001b[0m  \u001b[1m     11.8%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2584\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hlo_flops_util \u2265 \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2584\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hfu \u2265            \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2584\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2muncounted kernels \u001b[0m\u001b[1m50.00\u001b[0m                                                                    \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98moptimizer                                                                                   \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  learning_rate    \u001b[0m  \u001b[1m 2.901e-04\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;104m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 70%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2maccepted \u001b[0m\u001b[1m100.0%\u001b[0m                                                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mval \u00b7 step 500                                                                              \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity\u001b[0m  \u001b[1m     3.820\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss      \u001b[0m  \u001b[1m     1.340\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u280f\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[48.917783, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m"]
[48.917824, "o", "\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m749\u001b[0m\u001b[2m/1000\u001b[0m   75%  33.8\u001b[2m step/s\u001b[0m  0:00:39\u001b[2m + \u001b[0m0:00:07\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2mdata \u001b[0m\u001b[1;2m44,992\u001b[0m\u001b[2m rows\u001b[0m\u001b[2m  \u00b7  \u001b[0m\u001b[1;2m0\u001b[0m\u001b[2m rejected\u001b[0m                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mtrain                                                                                       \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss             \u001b[0m  \u001b[1m     1.252\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 38%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  ce               \u001b[0m  \u001b[1m     1.252\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 38%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity       \u001b[0m  \u001b[1m     3.497\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 53%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  token_accuracy   \u001b[0m  \u001b[1m     60.4%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m\u2191 19.9 pt\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  data_wait_ms     \u001b[0m  \u001b[1m   0.01968\u001b[0m  \u001b[38;5;38m\u2583\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2585\u001b[0m  \u001b[2m   \u2191 4.4%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  grad_norm        \u001b[0m  \u001b[1m    0.2937\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 71%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_misses     \u001b[0m  \u001b[1m     3.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m    \u2191 50%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2mcompiles \u001b[0m\u001b[1m1.000\u001b[0m   \u001b[2mcache_hits \u001b[0m\u001b[1m9.000\u001b[0m   \u001b[2mpeak_memory_gib \u001b[0m\u001b[1m4.016\u001b[0m                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mthroughput                                                                                  \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  step_time_ms     \u001b[0m  \u001b[1m     29.75\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2585\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[38;5;71m   \u2193 2.6%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  samples_per_sec  \u001b[0m  \u001b[1m     2,151\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104"]
[48.917845, "o", "m\u2584\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m   \u2191 2.7%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens           \u001b[0m  \u001b[1m    16,099\u001b[0m  \u001b[38;5;38m\u2584\u001b[0m\u001b[38;5;74m\u2581\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2584\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m   \u2191 0.1%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens_per_s     \u001b[0m  \u001b[1m   541,148\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2584\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m   \u2191 2.8%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  mfu              \u001b[0m  \u001b[1m     11.8%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2584\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hlo_flops_util \u2265 \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2584\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hfu \u2265            \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2584\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2muncounted kernels \u001b[0m\u001b[1m50.00\u001b[0m                                                                    \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98moptimizer                                                                                   \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  learning_rate    \u001b[0m  \u001b[1m 2.901e-04\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;104m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 70%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2maccepted \u001b[0m\u001b[1m100.0%\u001b[0m                                                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mval \u00b7 step 500                                                                              \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity\u001b[0m  \u001b[1m     3.820\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss      \u001b[0m  \u001b[1m     1.340\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2819\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[49.066894, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m755\u001b[0m\u001b[2m/1000\u001b[0m   76%  33.8\u001b[2m step/s\u001b[0m  0:00:39\u001b[2m + \u001b[0m0:00:07\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2mdata \u001b[0m\u001b[1;2m44,992\u001b[0m\u001b[2m rows\u001b[0m\u001b[2m  \u00b7  \u001b[0m\u001b[1;2m0\u001b[0m\u001b[2m rejected\u001b[0m                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mtrain                                                                                       \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss             \u001b[0m  \u001b[1m     1.252\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 38%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  ce               \u001b[0m  \u001b[1m     1.252\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 38%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity       \u001b[0m  \u001b[1m     3.497\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 53%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  token_accuracy   \u001b[0m  \u001b[1m     60.4%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m\u2191 19.9 pt\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  data_wait_ms     \u001b[0m  \u001b[1m   0.01968\u001b[0m  \u001b[38;5;38m\u2583\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2585\u001b[0m  \u001b[2m   \u2191 4.4%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  grad_norm        \u001b[0m  \u001b[1m    0.2937\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 71%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_misses     \u001b[0m  \u001b[1m     3.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m    \u2191 50%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2mcompiles \u001b[0m\u001b[1m1.000\u001b[0m   \u001b[2mcache_hits \u001b[0m\u001b[1m9.000\u001b[0m   \u001b[2mpeak_memory_gib \u001b[0m\u001b[1m4.016\u001b[0m                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mthroughput                                                                                  \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  step_time_ms     \u001b[0m  \u001b[1m     29.75\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2585\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[38;5;71m   \u2193 2.6%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  samples_per_sec  \u001b[0m  \u001b[1m     2,151\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2584\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m   \u2191 2.7%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens           \u001b[0m  \u001b[1m    16,099\u001b[0m  \u001b[38;5;38m\u2584\u001b[0m\u001b[38;5;74m\u2581\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2584\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m   \u2191 0.1%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens_per_s     \u001b[0m  \u001b[1m   541,148\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2584\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m   \u2191 2.8%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  mfu              \u001b[0m  \u001b[1m     11.8%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2584\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hlo_flops_util \u2265 \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2584\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hfu \u2265            \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2584\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2muncounted kernels \u001b[0m\u001b[1m50.00\u001b[0m                                                                    \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98moptimizer                                                                                   \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  learning_rate    \u001b[0m  \u001b[1m 2.901e-04\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;104m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 70%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2maccepted \u001b[0m\u001b[1m100.0%\u001b[0m                                                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mval \u00b7 step 500                                                                              \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity\u001b[0m  \u001b[1m     3.820\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss      \u001b[0m  \u001b[1m     1.340\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2838\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[49.214163, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m"]
[49.214204, "o", "\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;104m\u2578\u001b[0m\u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m761\u001b[0m\u001b[2m/1000\u001b[0m   76%  33.9\u001b[2m step/s\u001b[0m  0:00:39\u001b[2m + \u001b[0m0:00:07\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2mdata \u001b[0m\u001b[1;2m44,992\u001b[0m\u001b[2m rows\u001b[0m\u001b[2m  \u00b7  \u001b[0m\u001b[1;2m0\u001b[0m\u001b[2m rejected\u001b[0m                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mtrain                                                                                       \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss             \u001b[0m  \u001b[1m     1.252\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 38%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  ce               \u001b[0m  \u001b[1m     1.252\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 38%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity       \u001b[0m  \u001b[1m     3.497\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 53%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  token_accuracy   \u001b[0m  \u001b[1m     60.4%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m\u2191 19.9 pt\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  data_wait_ms     \u001b[0m  \u001b[1m   0.01968\u001b[0m  \u001b[38;5;38m\u2583\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2585\u001b[0m  \u001b[2m   \u2191 4.4%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  grad_norm        \u001b[0m  \u001b[1m    0.2937\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 71%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_misses     \u001b[0m  \u001b[1m     3.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m    \u2191 50%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2mcompiles \u001b[0m\u001b[1m1.000\u001b[0m   \u001b[2mcache_hits \u001b[0m\u001b[1m9.000\u001b[0m   \u001b[2mpeak_memory_gib \u001b[0m\u001b[1m4.016\u001b[0m                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mthroughput                                                                                  \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  step_time_ms     \u001b[0m  \u001b[1m     29.75\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2585\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[38;5;71m   \u2193 2.6%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  samples_per_sec  \u001b[0m  \u001b[1m     2,151\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m"]
[49.214224, "o", "\u2587\u001b[0m\u001b[38;5;104m\u2584\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m   \u2191 2.7%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens           \u001b[0m  \u001b[1m    16,099\u001b[0m  \u001b[38;5;38m\u2584\u001b[0m\u001b[38;5;74m\u2581\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2584\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m   \u2191 0.1%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens_per_s     \u001b[0m  \u001b[1m   541,148\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2584\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m   \u2191 2.8%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  mfu              \u001b[0m  \u001b[1m     11.8%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2584\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hlo_flops_util \u2265 \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2584\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hfu \u2265            \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2584\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2muncounted kernels \u001b[0m\u001b[1m50.00\u001b[0m                                                                    \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98moptimizer                                                                                   \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  learning_rate    \u001b[0m  \u001b[1m 2.901e-04\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;104m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 70%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2maccepted \u001b[0m\u001b[1m100.0%\u001b[0m                                                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mval \u00b7 step 500                                                                              \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity\u001b[0m  \u001b[1m     3.820\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss      \u001b[0m  \u001b[1m     1.340\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2834\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[49.364171, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;104m\u2578\u001b[0m\u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m766\u001b[0m\u001b[2m/1000\u001b[0m   77%  33.9\u001b[2m step/s\u001b[0m  0:00:39\u001b[2m + \u001b[0m0:00:07\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2mdata \u001b[0m\u001b[1;2m44,992\u001b[0m\u001b[2m rows\u001b[0m\u001b[2m  \u00b7  \u001b[0m\u001b[1;2m0\u001b[0m\u001b[2m rejected\u001b[0m                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mtrain                                                                                       \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss             \u001b[0m  \u001b[1m     1.252\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 38%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  ce               \u001b[0m  \u001b[1m     1.252\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 38%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity       \u001b[0m  \u001b[1m     3.497\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 53%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  token_accuracy   \u001b[0m  \u001b[1m     60.4%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m\u2191 19.9 pt\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  data_wait_ms     \u001b[0m  \u001b[1m   0.01968\u001b[0m  \u001b[38;5;38m\u2583\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2585\u001b[0m  \u001b[2m   \u2191 4.4%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  grad_norm        \u001b[0m  \u001b[1m    0.2937\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 71%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_misses     \u001b[0m  \u001b[1m     3.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m    \u2191 50%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2mcompiles \u001b[0m\u001b[1m1.000\u001b[0m   \u001b[2mcache_hits \u001b[0m\u001b[1m9.000\u001b[0m   \u001b[2mpeak_memory_gib \u001b[0m\u001b[1m4.016\u001b[0m                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mthroughput                                                                                  \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  step_time_ms     \u001b[0m  \u001b[1m     29.75\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2585\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[38;5;71m   \u2193 2.6%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  samples_per_sec  \u001b[0m  \u001b[1m     2,151\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2584\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m   \u2191 2.7%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens           \u001b[0m  \u001b[1m    16,099\u001b[0m  \u001b[38;5;38m\u2584\u001b[0m\u001b[38;5;74m\u2581\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2584\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m   \u2191 0.1%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens_per_s     \u001b[0m  \u001b[1m   541,148\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2584\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m   \u2191 2.8%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  mfu              \u001b[0m  \u001b[1m     11.8%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2584\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hlo_flops_util \u2265 \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2584\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hfu \u2265            \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2584\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2muncounted kernels \u001b[0m\u001b[1m50.00\u001b[0m                                                                    \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98moptimizer                                                                                   \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  learning_rate    \u001b[0m  \u001b[1m 2.901e-04\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;104m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 70%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2maccepted \u001b[0m\u001b[1m100.0%\u001b[0m                                                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mval \u00b7 step 500                                                                              \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity\u001b[0m  \u001b[1m     3.820\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss      \u001b[0m  \u001b[1m     1.340\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2826\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b"]
[49.364216, "o", "[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[49.510352, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;104m\u2501\u001b[0m\u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m771\u001b[0m\u001b[2m/1000\u001b[0m   77%  33.9\u001b[2m step/s\u001b[0m  0:00:39\u001b[2m + \u001b[0m0:00:07\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2mdata \u001b[0m\u001b[1;2m44,992\u001b[0m\u001b[2m rows\u001b[0m\u001b[2m  \u00b7  \u001b[0m\u001b[1;2m0\u001b[0m\u001b[2m rejected\u001b[0m                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mtrain                                                                                       \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss             \u001b[0m  \u001b[1m     1.252\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 38%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  ce               \u001b[0m  \u001b[1m     1.252\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 38%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity       \u001b[0m  \u001b[1m     3.497\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 53%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  token_accuracy   \u001b[0m  \u001b[1m     60.4%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m\u2191 19.9 pt\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  data_wait_ms     \u001b[0m  \u001b[1m   0.01968\u001b[0m  \u001b[38;5;38m\u2583\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2585\u001b[0m  \u001b[2m   \u2191 4.4%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  grad_norm        \u001b[0m  \u001b[1m    0.2937\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 71%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_misses     \u001b[0m  \u001b[1m     3.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m    \u2191 50%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2mcompiles \u001b[0m\u001b[1m1.000\u001b[0m   \u001b[2mcache_hits \u001b[0m\u001b[1m9.000\u001b[0m   \u001b[2mpeak_memory_gib \u001b[0m\u001b[1m4.016\u001b[0m               "]
[49.510391, "o", "                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mthroughput                                                                                  \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  step_time_ms     \u001b[0m  \u001b[1m     29.75\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2585\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[38;5;71m   \u2193 2.6%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  samples_per_sec  \u001b[0m  \u001b[1m     2,151\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2584\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m   \u2191 2.7%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens           \u001b[0m  \u001b[1m    16,099\u001b[0m  \u001b[38;5;38m\u2584\u001b[0m\u001b[38;5;74m\u2581\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2584\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m   \u2191 0.1%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens_per_s     \u001b[0m  \u001b[1m   541,148\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2584\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m   \u2191 2.8%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  mfu              \u001b[0m  \u001b[1m     11.8%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2584\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hlo_flops_util \u2265 \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2584\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hfu \u2265            \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2584\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2muncounted kernels \u001b[0m\u001b[1m50.00\u001b[0m                                                                    \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98moptimizer                                                                                   \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  learning_rate    \u001b[0m  \u001b[1m 2.901e-04\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;104m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 70%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2maccepted \u001b[0m\u001b[1m100.0%\u001b[0m                                                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mval \u00b7 step 500                                                                              \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity\u001b[0m  \u001b[1m     3.820\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss      \u001b[0m  \u001b[1m     1.340\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2807\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[49.662543, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n"]
[49.6626, "o", "\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;104m\u2501\u001b[0m\u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m777\u001b[0m\u001b[2m/1000\u001b[0m   78%  33.9\u001b[2m step/s\u001b[0m  0:00:39\u001b[2m + \u001b[0m0:00:07\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2mdata \u001b[0m\u001b[1;2m44,992\u001b[0m\u001b[2m rows\u001b[0m\u001b[2m  \u00b7  \u001b[0m\u001b[1;2m0\u001b[0m\u001b[2m rejected\u001b[0m                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mtrain                                                                                       \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss             \u001b[0m  \u001b[1m     1.252\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 38%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  ce               \u001b[0m  \u001b[1m     1.252\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 38%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity       \u001b[0m  \u001b[1m     3.497\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 53%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  token_accuracy   \u001b[0m  \u001b[1m     60.4%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m\u2191 19.9 pt\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  data_wait_ms     \u001b[0m  \u001b[1m   0.01968\u001b[0m  \u001b[38;5;38m\u2583\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2585\u001b[0m  \u001b[2m   \u2191 4.4%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  grad_norm        \u001b[0m  \u001b[1m    0.2937\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 71%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_misses     \u001b[0m  \u001b[1m     3.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m    \u2191 50%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2mcompiles \u001b[0m\u001b[1m1.000\u001b[0m   \u001b[2mcache_hits \u001b[0m\u001b[1m9.000\u001b[0m   \u001b[2mpeak_memory_gib \u001b[0m\u001b[1m4.016\u001b[0m                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mthroughput                                                                                  \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  step_time_ms     \u001b[0m  \u001b[1m     29.75\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2585\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[38;5;71m   \u2193 2.6%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  samples_per_sec  \u001b[0m  \u001b[1m     2,151\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b"]
[49.662627, "o", "[0m\u001b[38;5;104m\u2584\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m   \u2191 2.7%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens           \u001b[0m  \u001b[1m    16,099\u001b[0m  \u001b[38;5;38m\u2584\u001b[0m\u001b[38;5;74m\u2581\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2584\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m   \u2191 0.1%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens_per_s     \u001b[0m  \u001b[1m   541,148\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2584\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m   \u2191 2.8%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  mfu              \u001b[0m  \u001b[1m     11.8%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2584\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hlo_flops_util \u2265 \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2584\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hfu \u2265            \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2584\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2muncounted kernels \u001b[0m\u001b[1m50.00\u001b[0m                                                                    \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98moptimizer                                                                                   \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  learning_rate    \u001b[0m  \u001b[1m 2.901e-04\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;104m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 70%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2maccepted \u001b[0m\u001b[1m100.0%\u001b[0m                                                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mval \u00b7 step 500                                                                              \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity\u001b[0m  \u001b[1m     3.820\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss      \u001b[0m  \u001b[1m     1.340\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u280b\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[49.808655, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;104m\u2501\u001b[0m\u001b[38;5;104m\u2578\u001b[0m\u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m783\u001b[0m\u001b[2m/1000\u001b[0m   78%  33.9\u001b[2m step/s\u001b[0m  0:00:40\u001b[2m + \u001b[0m0:00:06\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2mdata \u001b[0m\u001b[1;2m44,992\u001b[0m\u001b[2m rows\u001b[0m\u001b[2m  \u00b7  \u001b[0m\u001b[1;2m0\u001b[0m\u001b[2m rejected\u001b[0m                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mtrain                                                                                       \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss             \u001b[0m  \u001b[1m     1.252\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 38%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  ce               \u001b[0m  \u001b[1m     1.252\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 38%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity       \u001b[0m  \u001b[1m     3.497\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 53%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  token_accuracy   \u001b[0m  \u001b[1m     60.4%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m\u2191 19.9 pt\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  data_wait_ms     \u001b[0m  \u001b[1m   0.01968\u001b[0m  \u001b[38;5;38m\u2583\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2585\u001b[0m  \u001b[2m   \u2191 4.4%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  grad_norm        \u001b[0m  \u001b[1m    0.2937\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 71%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_misses     \u001b[0m  \u001b[1m     3.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m    \u2191 50%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2mcompiles \u001b[0m\u001b[1m1.000\u001b[0m   \u001b[2mcache_hits \u001b[0m\u001b[1m9.000\u001b[0m   \u001b[2mpeak_memory_gib \u001b[0m\u001b[1m4.016\u001b[0m                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mthroughput                                                                                  \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  step_time_ms     \u001b[0m  \u001b[1m     29.75\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2585\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[38;5;71m   \u2193 2.6%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  samples_per_sec  \u001b[0m  \u001b[1m     2,151\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2584\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m   \u2191 2.7%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens           \u001b[0m  \u001b[1m    16,099\u001b[0m  \u001b[38;5;38m\u2584\u001b[0m\u001b[38;5;74m\u2581\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2584\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m   \u2191 0.1%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens_per_s     \u001b[0m  \u001b[1m   541,148\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2584\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m   \u2191 2.8%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  mfu              \u001b[0m  \u001b[1m     11.8%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2584\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hlo_flops_util \u2265 \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2584\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hfu \u2265            \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2584\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2muncounted kernels \u001b[0m\u001b[1m50.00\u001b[0m                                                                    \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98moptimizer                                                                                   \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  learning_rate    \u001b[0m  \u001b[1m 2.901e-04\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;104m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 70%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2maccepted \u001b[0m\u001b[1m100.0%\u001b[0m                                                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                    "]
[49.808686, "o", "                                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mval \u00b7 step 500                                                                              \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity\u001b[0m  \u001b[1m     3.820\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss      \u001b[0m  \u001b[1m     1.340\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2839\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[49.963708, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;104m\u2501\u001b[0m\u001b[38;5;104m\u2578\u001b[0m\u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m787\u001b[0m\u001b[2m/1000\u001b[0m   79%  33.9\u001b[2m step/s\u001b[0m  0:00:40\u001b[2m + \u001b[0m0:00:06\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2mdata \u001b[0m\u001b[1;2m44,992\u001b[0m\u001b[2m rows\u001b[0m\u001b[2m  \u00b7  \u001b[0m\u001b[1;2m0\u001b[0m\u001b[2m rejected\u001b[0m                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mtrain                                                                                       \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss             \u001b[0m  \u001b[1m     1.252\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 38%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  ce               \u001b[0m  \u001b[1m     1.252\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 38%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity       \u001b[0m  \u001b[1m     3.497\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 53%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  token_accuracy   \u001b[0m  \u001b[1m     60.4%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m\u2191 19.9 pt\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  data_wait_ms     \u001b[0m  \u001b[1m   0.01968\u001b[0m  \u001b[38;5;38m\u2583\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2585\u001b[0m  \u001b[2m   \u2191 4.4%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  grad_norm        \u001b[0m  \u001b[1m    0.2937\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 71%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_misses     \u001b[0m  \u001b[1m     3.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m    \u2191 50%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2mcompiles \u001b[0m\u001b[1m1.000\u001b[0m   \u001b[2mcache_hits \u001b[0m\u001b[1m9.000\u001b[0m   \u001b[2mpeak_memory_gib \u001b[0m\u001b[1m4.016\u001b[0m"]
[49.963747, "o", "                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mthroughput                                                                                  \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  step_time_ms     \u001b[0m  \u001b[1m     29.75\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2585\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[38;5;71m   \u2193 2.6%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  samples_per_sec  \u001b[0m  \u001b[1m     2,151\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2584\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m   \u2191 2.7%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens           \u001b[0m  \u001b[1m    16,099\u001b[0m  \u001b[38;5;38m\u2584\u001b[0m\u001b[38;5;74m\u2581\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2584\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m   \u2191 0.1%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens_per_s     \u001b[0m  \u001b[1m   541,148\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2584\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m   \u2191 2.8%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  mfu              \u001b[0m  \u001b[1m     11.8%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2584\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hlo_flops_util \u2265 \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2584\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hfu \u2265            \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2584\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2muncounted kernels \u001b[0m\u001b[1m50.00\u001b[0m                                                                    \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98moptimizer                                                                                   \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  learning_rate    \u001b[0m  \u001b[1m 2.901e-04\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;104m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 70%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2maccepted \u001b[0m\u001b[1m100.0%\u001b[0m                                                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mval \u00b7 step 500                                                                              \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity\u001b[0m  \u001b[1m     3.820\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss      \u001b[0m  \u001b[1m     1.340\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u283c\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[50.114254, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;104m\u2501\u001b[0m\u001b[38;5;104m\u2578\u001b[0m\u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m792\u001b[0m\u001b[2m/1000\u001b[0m   79%  33.6\u001b[2m step/s\u001b[0m  0:00:40\u001b[2m + \u001b[0m0:00:06\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2mdata \u001b[0m\u001b[1;2m44,992\u001b[0m\u001b[2m rows\u001b[0m\u001b[2m  \u00b7  \u001b[0m\u001b[1;2m0\u001b[0m\u001b[2m rejected\u001b[0m                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mtrain                                                                                       \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss             \u001b[0m  \u001b[1m     1.252\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 38%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  ce               \u001b[0m  \u001b[1m     1.252\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 38%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity       \u001b[0m  \u001b[1m     3.497\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 53%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  token_accuracy   \u001b[0m  \u001b[1m     60.4%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m\u2191 19.9 pt\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  data_wait_ms     \u001b[0m  \u001b[1m   0.01968\u001b[0m  \u001b[38;5;38m\u2583\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2585\u001b[0m  \u001b[2m   \u2191 4.4%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  grad_norm        \u001b[0m  \u001b[1m    0.2937\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 71%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_misses     \u001b[0m  \u001b[1m     3.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m    \u2191 50%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2mcompiles \u001b[0m\u001b[1m1.000\u001b[0m   \u001b[2mcache_hits \u001b[0m\u001b[1m9.000\u001b[0m   \u001b[2mpeak_memory_gib \u001b[0m\u001b[1m4.016\u001b[0m"]
[50.114394, "o", "                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mthroughput                                                                                  \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  step_time_ms     \u001b[0m  \u001b[1m     29.75\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2585\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[38;5;71m   \u2193 2.6%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  samples_per_sec  \u001b[0m  \u001b[1m     2,151\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2584\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m   \u2191 2.7%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens           \u001b[0m  \u001b[1m    16,099\u001b[0m  \u001b[38;5;38m\u2584\u001b[0m\u001b[38;5;74m\u2581\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2584\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m   \u2191 0.1%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens_per_s     \u001b[0m  \u001b[1m   541,148\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2584\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m   \u2191 2.8%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  mfu              \u001b[0m  \u001b[1m     11.8%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2584\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hlo_flops_util \u2265 \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2584\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hfu \u2265            \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2584\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2muncounted kernels \u001b[0m\u001b[1m50.00\u001b[0m                                                                    \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98moptimizer                                                                                   \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  learning_rate    \u001b[0m  \u001b[1m 2.901e-04\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;104m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 70%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2maccepted \u001b[0m\u001b[1m100.0%\u001b[0m                                                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mval \u00b7 step 500                                                                              \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity\u001b[0m  \u001b[1m     3.820\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss      \u001b[0m  \u001b[1m     1.340\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2826\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[50.266551, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m"]
[50.266623, "o", "\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;104m\u2501\u001b[0m\u001b[38;5;104m\u2501\u001b[0m\u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m798\u001b[0m\u001b[2m/1000\u001b[0m   80%  33.7\u001b[2m step/s\u001b[0m  0:00:40\u001b[2m + \u001b[0m0:00:06\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2mdata \u001b[0m\u001b[1;2m44,992\u001b[0m\u001b[2m rows\u001b[0m\u001b[2m  \u00b7  \u001b[0m\u001b[1;2m0\u001b[0m\u001b[2m rejected\u001b[0m                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mtrain                                                                                       \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss             \u001b[0m  \u001b[1m     1.252\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 38%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  ce               \u001b[0m  \u001b[1m     1.252\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 38%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity       \u001b[0m  \u001b[1m     3.497\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 53%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  token_accuracy   \u001b[0m  \u001b[1m     60.4%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m\u2191 19.9 pt\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  data_wait_ms     \u001b[0m  \u001b[1m   0.01968\u001b[0m  \u001b[38;5;38m\u2583\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2585\u001b[0m  \u001b[2m   \u2191 4.4%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  grad_norm        \u001b[0m  \u001b[1m    0.2937\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 71%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_misses     \u001b[0m  \u001b[1m     3.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m    \u2191 50%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2mcompiles \u001b[0m\u001b[1m1.000\u001b[0m   \u001b[2mcache_hits \u001b[0m\u001b[1m9.000\u001b[0m   \u001b[2mpeak_memory_gib \u001b[0m\u001b[1m4.016\u001b[0m                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mthroughput                                                                                  \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  step_time_ms     \u001b[0m  \u001b[1m     29.75\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2585\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[38;5;71m   \u2193 2.6%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  samples_per_sec  \u001b[0m  \u001b[1m     2,151\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b"]
[50.266683, "o", "[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2584\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m   \u2191 2.7%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens           \u001b[0m  \u001b[1m    16,099\u001b[0m  \u001b[38;5;38m\u2584\u001b[0m\u001b[38;5;74m\u2581\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2584\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m   \u2191 0.1%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens_per_s     \u001b[0m  \u001b[1m   541,148\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2584\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m   \u2191 2.8%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  mfu              \u001b[0m  \u001b[1m     11.8%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2584\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hlo_flops_util \u2265 \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2584\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hfu \u2265            \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2584\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2muncounted kernels \u001b[0m\u001b[1m50.00\u001b[0m                                                                    \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98moptimizer                                                                                   \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  learning_rate    \u001b[0m  \u001b[1m 2.901e-04\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;104m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 70%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2maccepted \u001b[0m\u001b[1m100.0%\u001b[0m                                                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mval \u00b7 step 500                                                                              \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity\u001b[0m  \u001b[1m     3.820\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss      \u001b[0m  \u001b[1m     1.340\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2807\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[50.41087, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;104m\u2501\u001b[0m\u001b[38;5;104m\u2501\u001b[0m\u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m800\u001b[0m\u001b[2m/1000\u001b[0m   80%  33.7\u001b[2m step/s\u001b[0m  0:00:40\u001b[2m + \u001b[0m0:00:06\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2mdata \u001b[0m\u001b[1;2m44,992\u001b[0m\u001b[2m rows\u001b[0m\u001b[2m  \u00b7  \u001b[0m\u001b[1;2m0\u001b[0m\u001b[2m rejected\u001b[0m                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mtrain                                                                                       \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss             \u001b[0m  \u001b[1m     1.252\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 38%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  ce               \u001b[0m  \u001b[1m     1.252\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 38%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity       \u001b[0m  \u001b[1m     3.497\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 53%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  token_accuracy   \u001b[0m  \u001b[1m     60.4%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m\u2191 19.9 pt\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  data_wait_ms     \u001b[0m  \u001b[1m   0.01968\u001b[0m  \u001b[38;5;38m\u2583\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2585\u001b[0m  \u001b[2m   \u2191 4.4%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  grad_norm        \u001b[0m  \u001b[1m    0.2937\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 71%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_misses     \u001b[0m  \u001b[1m     3.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m    \u2191 50%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2mcompiles \u001b[0m\u001b[1m1.000\u001b[0m   \u001b[2mcache_hits \u001b[0m\u001b[1m9.000\u001b[0m   \u001b[2mpeak_memory_gib \u001b[0m\u001b[1m4.016\u001b[0m"]
[50.410914, "o", "                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mthroughput                                                                                  \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  step_time_ms     \u001b[0m  \u001b[1m     29.75\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2585\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[38;5;71m   \u2193 2.6%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  samples_per_sec  \u001b[0m  \u001b[1m     2,151\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2584\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m   \u2191 2.7%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens           \u001b[0m  \u001b[1m    16,099\u001b[0m  \u001b[38;5;38m\u2584\u001b[0m\u001b[38;5;74m\u2581\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2584\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m   \u2191 0.1%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens_per_s     \u001b[0m  \u001b[1m   541,148\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2584\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m   \u2191 2.8%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  mfu              \u001b[0m  \u001b[1m     11.8%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2584\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hlo_flops_util \u2265 \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2584\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hfu \u2265            \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2584\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2muncounted kernels \u001b[0m\u001b[1m50.00\u001b[0m                                                                    \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98moptimizer                                                                                   \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  learning_rate    \u001b[0m  \u001b[1m 2.901e-04\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;104m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 70%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2maccepted \u001b[0m\u001b[1m100.0%\u001b[0m                                                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mval \u00b7 step 500                                                                              \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity\u001b[0m  \u001b[1m     3.820\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss      \u001b[0m  \u001b[1m     1.340\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u280f\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[50.554555, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;104m\u2501\u001b[0m\u001b[38;5;104m\u2501\u001b[0m\u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m800\u001b[0m\u001b[2m/1000\u001b[0m   80%  33.7\u001b[2m step/s\u001b[0m  0:00:40\u001b[2m + \u001b[0m0:00:06\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2mdata \u001b[0m\u001b[1;2m44,992\u001b[0m\u001b[2m rows\u001b[0m\u001b[2m  \u00b7  \u001b[0m\u001b[1;2m0\u001b[0m\u001b[2m rejected\u001b[0m                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mtrain                                                                                       \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss             \u001b[0m  \u001b[1m     1.252\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 38%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  ce               \u001b[0m  \u001b[1m     1.252\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 38%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity       \u001b[0m  \u001b[1m     3.497\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 53%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  token_accuracy   \u001b[0m  \u001b[1m     60.4%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m\u2191 19.9 pt\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  data_wait_ms     \u001b[0m  \u001b[1m   0.01968\u001b[0m  \u001b[38;5;38m\u2583\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2585\u001b[0m  \u001b[2m   \u2191 4.4%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  grad_norm        \u001b[0m  \u001b[1m    0.2937\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 71%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_misses     \u001b[0m  \u001b[1m     3.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m    \u2191 50%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2mcompiles \u001b[0m\u001b[1m1.000\u001b[0m   \u001b[2mcache_hits \u001b[0m\u001b[1m9.000\u001b[0m   \u001b[2mpeak_memory_gib \u001b[0m\u001b[1m4.016\u001b[0m"]
[50.554598, "o", "                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mthroughput                                                                                  \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  step_time_ms     \u001b[0m  \u001b[1m     29.75\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2585\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[38;5;71m   \u2193 2.6%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  samples_per_sec  \u001b[0m  \u001b[1m     2,151\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2584\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m   \u2191 2.7%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens           \u001b[0m  \u001b[1m    16,099\u001b[0m  \u001b[38;5;38m\u2584\u001b[0m\u001b[38;5;74m\u2581\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2584\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m   \u2191 0.1%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens_per_s     \u001b[0m  \u001b[1m   541,148\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2584\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m   \u2191 2.8%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  mfu              \u001b[0m  \u001b[1m     11.8%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2584\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hlo_flops_util \u2265 \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2584\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hfu \u2265            \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2584\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2muncounted kernels \u001b[0m\u001b[1m50.00\u001b[0m                                                                    \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98moptimizer                                                                                   \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  learning_rate    \u001b[0m  \u001b[1m 2.901e-04\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;104m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 70%\u001b[0m                                          \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2maccepted \u001b[0m\u001b[1m100.0%\u001b[0m                                                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mval \u00b7 step 500                                                                              \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity\u001b[0m  \u001b[1m     3.820\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss      \u001b[0m  \u001b[1m     1.340\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2819\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[50.701802, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;104m\u2501\u001b[0m\u001b[38;5;104m\u2501\u001b[0m\u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m806\u001b[0m\u001b[2m/1000\u001b[0m   81%  32.3\u001b[2m step/s\u001b[0m  0:00:40\u001b[2m + \u001b[0m0:00:06\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2mdata \u001b[0m\u001b[1;2m51,392\u001b[0m\u001b[2m rows\u001b[0m\u001b[2m  \u00b7  \u001b[0m\u001b[1;2m0\u001b[0m\u001b[2m rejected\u001b[0m                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mtrain                                                                                       \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss             \u001b[0m  \u001b[1m     1.171\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2582\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 42%\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  ce               \u001b[0m  \u001b[1m     1.171\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2582\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 42%\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity       \u001b[0m  \u001b[1m     3.226\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;104m\u2582\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 57%\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  token_accuracy   \u001b[0m  \u001b[1m     63.0%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m\u2191 22.4 pt\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  data_wait_ms     \u001b[0m  \u001b[1m   0.01766\u001b[0m  \u001b[38;5;38m\u2584\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2585\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m   \u2193 6.3%\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  grad_norm        \u001b[0m  \u001b[1m    0.2879\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 72%\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_misses     \u001b[0m  \u001b[1m     3.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m    \u2191 50%\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502"]
[50.701855, "o", "\u001b[0m   \u001b[2mcompiles \u001b[0m\u001b[1m1.000\u001b[0m   \u001b[2mcache_hits \u001b[0m\u001b[1m9.000\u001b[0m   \u001b[2mpeak_memory_gib \u001b[0m\u001b[1m4.016\u001b[0m                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mthroughput                                                                                  \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  step_time_ms     \u001b[0m  \u001b[1m     29.77\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;104m\u2582\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[38;5;71m   \u2193 2.6%\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  samples_per_sec  \u001b[0m  \u001b[1m     2,150\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m   \u2191 2.6%\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens           \u001b[0m  \u001b[1m    16,072\u001b[0m  \u001b[38;5;38m\u2584\u001b[0m\u001b[38;5;74m\u2581\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2584\u001b[0m  \u001b[2m        \u2192\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens_per_s     \u001b[0m  \u001b[1m   539,877\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m   \u2191 2.6%\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  mfu              \u001b[0m  \u001b[1m     11.7%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hlo_flops_util \u2265 \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hfu \u2265            \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2muncounted kernels \u001b[0m\u001b[1m50.00\u001b[0m                                                                    \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98moptimizer                                                                                   \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  learning_rate    \u001b[0m  \u001b[1m 1.885e-04\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;104m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 81%\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2maccepted \u001b[0m\u001b[1m100.0%\u001b[0m                                                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mval \u00b7 step 500                                                                              \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity\u001b[0m  \u001b[1m     3.820\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss      \u001b[0m  \u001b[1m     1.340\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2838\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[50.853346, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;104m\u2501\u001b[0m\u001b[38;5;104m\u2501\u001b[0m\u001b[38;5;104m\u2578\u001b[0m\u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m811\u001b[0m\u001b[2m/1000\u001b[0m   81%  33.8\u001b[2m step/s\u001b[0m  0:00:41\u001b[2m + \u001b[0m0:00:06\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2mdata \u001b[0m\u001b[1;2m51,392\u001b[0m\u001b[2m rows\u001b[0m\u001b[2m  \u00b7  \u001b[0m\u001b[1;2m0\u001b[0m\u001b[2m rejected\u001b[0m                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mtrain                                                                                       \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss             \u001b[0m  \u001b[1m     1.171\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2582\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 42%\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  ce               \u001b[0m  \u001b[1m     1.171\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2582\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 42%\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity       \u001b[0m  \u001b[1m     3.226\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;104m\u2582\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 57%\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  token_accuracy   \u001b[0m  \u001b[1m     63.0%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m\u2191 22.4 pt\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  data_wait_ms     \u001b[0m  \u001b[1m   0.01766\u001b[0m  \u001b[38;5;38m\u2584\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2585\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m   \u2193 6.3%\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  grad_norm        \u001b[0m  \u001b[1m    0.2879\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 72%\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_misses     \u001b[0m  \u001b[1m     3.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m    \u2191 50%\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m"]
[50.85338, "o", "\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2mcompiles \u001b[0m\u001b[1m1.000\u001b[0m   \u001b[2mcache_hits \u001b[0m\u001b[1m9.000\u001b[0m   \u001b[2mpeak_memory_gib \u001b[0m\u001b[1m4.016\u001b[0m                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mthroughput                                                                                  \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  step_time_ms     \u001b[0m  \u001b[1m     29.77\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;104m\u2582\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[38;5;71m   \u2193 2.6%\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  samples_per_sec  \u001b[0m  \u001b[1m     2,150\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m   \u2191 2.6%\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens           \u001b[0m  \u001b[1m    16,072\u001b[0m  \u001b[38;5;38m\u2584\u001b[0m\u001b[38;5;74m\u2581\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2584\u001b[0m  \u001b[2m        \u2192\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens_per_s     \u001b[0m  \u001b[1m   539,877\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m   \u2191 2.6%\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  mfu              \u001b[0m  \u001b[1m     11.7%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hlo_flops_util \u2265 \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hfu \u2265            \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2muncounted kernels \u001b[0m\u001b[1m50.00\u001b[0m                                                                    \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98moptimizer                                                                                   \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  learning_rate    \u001b[0m  \u001b[1m 1.885e-04\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;104m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 81%\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2maccepted \u001b[0m\u001b[1m100.0%\u001b[0m                                                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mval \u00b7 step 500                                                                              \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity\u001b[0m  \u001b[1m     3.820\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss      \u001b[0m  \u001b[1m     1.340\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2834\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[51.004557, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;104m\u2501\u001b[0m\u001b[38;5;104m\u2501\u001b[0m\u001b[38;5;104m\u2578\u001b[0m\u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m816\u001b[0m\u001b[2m/1000\u001b[0m   82%  33.8\u001b[2m step/s\u001b[0m  0:00:41\u001b[2m + \u001b[0m0:00:05\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2mdata \u001b[0m\u001b[1;2m51,392\u001b[0m\u001b[2m rows\u001b[0m\u001b[2m  \u00b7  \u001b[0m\u001b[1;2m0\u001b[0m\u001b[2m rejected\u001b[0m                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mtrain                                                                                       \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss             \u001b[0m  \u001b[1m     1.171\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2582\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 42%\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  ce               \u001b[0m  \u001b[1m     1.171\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2582\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 42%\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity       \u001b[0m  \u001b[1m     3.226\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;104m\u2582\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 57%\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  token_accuracy   \u001b[0m  \u001b[1m     63.0%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m\u2191 22.4 pt\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  data_wait_ms     \u001b[0m  \u001b[1m   0.01766\u001b[0m  \u001b[38;5;38m\u2584\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2585\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m   \u2193 6.3%\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  grad_norm        \u001b[0m  \u001b[1m    0.2879\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 72%\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_misses     \u001b[0m  \u001b[1m     3.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m    \u2191 50%\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m"]
[51.004589, "o", "\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2mcompiles \u001b[0m\u001b[1m1.000\u001b[0m   \u001b[2mcache_hits \u001b[0m\u001b[1m9.000\u001b[0m   \u001b[2mpeak_memory_gib \u001b[0m\u001b[1m4.016\u001b[0m                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mthroughput                                                                                  \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  step_time_ms     \u001b[0m  \u001b[1m     29.77\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;104m\u2582\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[38;5;71m   \u2193 2.6%\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  samples_per_sec  \u001b[0m  \u001b[1m     2,150\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m   \u2191 2.6%\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens           \u001b[0m  \u001b[1m    16,072\u001b[0m  \u001b[38;5;38m\u2584\u001b[0m\u001b[38;5;74m\u2581\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2584\u001b[0m  \u001b[2m        \u2192\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens_per_s     \u001b[0m  \u001b[1m   539,877\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m   \u2191 2.6%\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  mfu              \u001b[0m  \u001b[1m     11.7%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hlo_flops_util \u2265 \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hfu \u2265            \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2muncounted kernels \u001b[0m\u001b[1m50.00\u001b[0m                                                                    \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98moptimizer                                                                                   \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  learning_rate    \u001b[0m  \u001b[1m 1.885e-04\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;104m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 81%\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2maccepted \u001b[0m\u001b[1m100.0%\u001b[0m                                                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mval \u00b7 step 500                                                                              \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity\u001b[0m  \u001b[1m     3.820\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss      \u001b[0m  \u001b[1m     1.340\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2827\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[51.159211, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;104m\u2501\u001b[0m\u001b[38;5;104m\u2501\u001b[0m\u001b[38;5;104m\u2501\u001b[0m\u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m822\u001b[0m\u001b[2m/1000\u001b[0m   82%  33.8\u001b[2m step/s\u001b[0m  0:00:41\u001b[2m + \u001b[0m0:00:05\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2mdata \u001b[0m\u001b[1;2m51,392\u001b[0m\u001b[2m rows\u001b[0m\u001b[2m  \u00b7  \u001b[0m\u001b[1;2m0\u001b[0m\u001b[2m rejected\u001b[0m                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mtrain                                                                                       \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss             \u001b[0m  \u001b[1m     1.171\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2582\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 42%\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  ce               \u001b[0m  \u001b[1m     1.171\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2582\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 42%\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity       \u001b[0m  \u001b[1m     3.226\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;104m\u2582\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 57%\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  token_accuracy   \u001b[0m  \u001b[1m     63.0%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m\u2191 22.4 pt\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  data_wait_ms     \u001b[0m  \u001b[1m   0.01766\u001b[0m  \u001b[38;5;38m\u2584\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2585\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m   \u2193 6.3%\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  grad_norm        \u001b[0m  \u001b[1m    0.2879\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 72%\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_misses     \u001b[0m  \u001b[1m     3.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m    \u2191 50%\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m"]
[51.15926, "o", "\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2mcompiles \u001b[0m\u001b[1m1.000\u001b[0m   \u001b[2mcache_hits \u001b[0m\u001b[1m9.000\u001b[0m   \u001b[2mpeak_memory_gib \u001b[0m\u001b[1m4.016\u001b[0m                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mthroughput                                                                                  \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  step_time_ms     \u001b[0m  \u001b[1m     29.77\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;104m\u2582\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[38;5;71m   \u2193 2.6%\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  samples_per_sec  \u001b[0m  \u001b[1m     2,150\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m   \u2191 2.6%\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens           \u001b[0m  \u001b[1m    16,072\u001b[0m  \u001b[38;5;38m\u2584\u001b[0m\u001b[38;5;74m\u2581\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2584\u001b[0m  \u001b[2m        \u2192\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens_per_s     \u001b[0m  \u001b[1m   539,877\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m   \u2191 2.6%\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  mfu              \u001b[0m  \u001b[1m     11.7%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hlo_flops_util \u2265 \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hfu \u2265            \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2muncounted kernels \u001b[0m\u001b[1m50.00\u001b[0m                                                                    \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98moptimizer                                                                                   \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  learning_rate    \u001b[0m  \u001b[1m 1.885e-04\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;104m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 81%\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2maccepted \u001b[0m\u001b[1m100.0%\u001b[0m                                                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mval \u00b7 step 500                                                                              \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity\u001b[0m  \u001b[1m     3.820\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss      \u001b[0m  \u001b[1m     1.340\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u280f\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[51.307082, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;104m\u2501\u001b[0m\u001b[38;5;104m\u2501\u001b[0m\u001b[38;5;104m\u2501\u001b[0m\u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m827\u001b[0m\u001b[2m/1000\u001b[0m   83%  33.8\u001b[2m step/s\u001b[0m  0:00:41\u001b[2m + \u001b[0m0:00:05\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2mdata \u001b[0m\u001b[1;2m51,392\u001b[0m\u001b[2m rows\u001b[0m\u001b[2m  \u00b7  \u001b[0m\u001b[1;2m0\u001b[0m\u001b[2m rejected\u001b[0m                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mtrain                                                                                       \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss             \u001b[0m  \u001b[1m     1.171\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2582\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 42%\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  ce               \u001b[0m  \u001b[1m     1.171\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2582\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 42%\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity       \u001b[0m  \u001b[1m     3.226\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;104m\u2582\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 57%\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  token_accuracy   \u001b[0m  \u001b[1m     63.0%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m\u2191 22.4 pt\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  data_wait_ms     \u001b[0m  \u001b[1m   0.01766\u001b[0m  \u001b[38;5;38m\u2584\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2585\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m   \u2193 6.3%\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  grad_norm        \u001b[0m  \u001b[1m    0.2879\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 72%\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_misses     \u001b[0m  \u001b[1m     3.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m    \u2191 50%\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m"]
[51.307155, "o", "\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2mcompiles \u001b[0m\u001b[1m1.000\u001b[0m   \u001b[2mcache_hits \u001b[0m\u001b[1m9.000\u001b[0m   \u001b[2mpeak_memory_gib \u001b[0m\u001b[1m4.016\u001b[0m                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mthroughput                                                                                  \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  step_time_ms     \u001b[0m  \u001b[1m     29.77\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;104m\u2582\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[38;5;71m   \u2193 2.6%\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  samples_per_sec  \u001b[0m  \u001b[1m     2,150\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m   \u2191 2.6%\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens           \u001b[0m  \u001b[1m    16,072\u001b[0m  \u001b[38;5;38m\u2584\u001b[0m\u001b[38;5;74m\u2581\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2584\u001b[0m  \u001b[2m        \u2192\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens_per_s     \u001b[0m  \u001b[1m   539,877\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m   \u2191 2.6%\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  mfu              \u001b[0m  \u001b[1m     11.7%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hlo_flops_util \u2265 \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hfu \u2265            \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2muncounted kernels \u001b[0m\u001b[1m50.00\u001b[0m                                                                    \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98moptimizer                                                                                   \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  learning_rate    \u001b[0m  \u001b[1m 1.885e-04\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;104m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 81%\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2maccepted \u001b[0m\u001b[1m100.0%\u001b[0m                                                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mval \u00b7 step 500                                                                              \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity\u001b[0m  \u001b[1m     3.820\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss      \u001b[0m  \u001b[1m     1.340\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2819\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[51.461212, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;104m\u2501\u001b[0m\u001b[38;5;104m\u2501\u001b[0m\u001b[38;5;104m\u2501\u001b[0m\u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m833\u001b[0m\u001b[2m/1000\u001b[0m   83%  33.6\u001b[2m step/s\u001b[0m  0:00:41\u001b[2m + \u001b[0m0:00:05\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2mdata \u001b[0m\u001b[1;2m51,392\u001b[0m\u001b[2m rows\u001b[0m\u001b[2m  \u00b7  \u001b[0m\u001b[1;2m0\u001b[0m\u001b[2m rejected\u001b[0m                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mtrain                                                                                       \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss             \u001b[0m  \u001b[1m     1.171\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2582\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 42%\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  ce               \u001b[0m  \u001b[1m     1.171\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2582\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 42%\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity       \u001b[0m  \u001b[1m     3.226\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;104m\u2582\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 57%\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  token_accuracy   \u001b[0m  \u001b[1m     63.0%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m\u2191 22.4 pt\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  data_wait_ms     \u001b[0m  \u001b[1m   0.01766\u001b[0m  \u001b[38;5;38m\u2584\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2585\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m   \u2193 6.3%\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  grad_norm        \u001b[0m  \u001b[1m    0.2879\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 72%\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_misses     \u001b[0m  \u001b[1m     3.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m    \u2191 50%\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m"]
[51.461245, "o", "\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2mcompiles \u001b[0m\u001b[1m1.000\u001b[0m   \u001b[2mcache_hits \u001b[0m\u001b[1m9.000\u001b[0m   \u001b[2mpeak_memory_gib \u001b[0m\u001b[1m4.016\u001b[0m                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mthroughput                                                                                  \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  step_time_ms     \u001b[0m  \u001b[1m     29.77\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;104m\u2582\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[38;5;71m   \u2193 2.6%\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  samples_per_sec  \u001b[0m  \u001b[1m     2,150\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m   \u2191 2.6%\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens           \u001b[0m  \u001b[1m    16,072\u001b[0m  \u001b[38;5;38m\u2584\u001b[0m\u001b[38;5;74m\u2581\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2584\u001b[0m  \u001b[2m        \u2192\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens_per_s     \u001b[0m  \u001b[1m   539,877\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m   \u2191 2.6%\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  mfu              \u001b[0m  \u001b[1m     11.7%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hlo_flops_util \u2265 \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hfu \u2265            \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2muncounted kernels \u001b[0m\u001b[1m50.00\u001b[0m                                                                    \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98moptimizer                                                                                   \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  learning_rate    \u001b[0m  \u001b[1m 1.885e-04\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;104m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 81%\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2maccepted \u001b[0m\u001b[1m100.0%\u001b[0m                                                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mval \u00b7 step 500                                                                              \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity\u001b[0m  \u001b[1m     3.820\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss      \u001b[0m  \u001b[1m     1.340\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2838\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[51.622148, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;104m\u2501\u001b[0m\u001b[38;5;104m\u2501\u001b[0m\u001b[38;5;104m\u2501\u001b[0m\u001b[38;5;104m\u2578\u001b[0m\u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m839\u001b[0m\u001b[2m/1000\u001b[0m   84%  33.6\u001b[2m step/s\u001b[0m  0:00:41\u001b[2m + \u001b[0m0:00:05\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2mdata \u001b[0m\u001b[1;2m51,392\u001b[0m\u001b[2m rows\u001b[0m\u001b[2m  \u00b7  \u001b[0m\u001b[1;2m0\u001b[0m\u001b[2m rejected\u001b[0m                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mtrain                                                                                       \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss             \u001b[0m  \u001b[1m     1.171\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2582\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 42%\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  ce               \u001b[0m  \u001b[1m     1.171\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2582\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 42%\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity       \u001b[0m  \u001b[1m     3.226\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;104m\u2582\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 57%\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  token_accuracy   \u001b[0m  \u001b[1m     63.0%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m\u2191 22.4 pt\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  data_wait_ms     \u001b[0m  \u001b[1m   0.01766\u001b[0m  \u001b[38;5;38m\u2584\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2585\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m   \u2193 6.3%\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  grad_norm        \u001b[0m  \u001b[1m    0.2879\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 72%\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_misses     \u001b[0m  \u001b[1m     3.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m    \u2191 50%\u001b[0m                                         \u001b["]
[51.622185, "o", "38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2mcompiles \u001b[0m\u001b[1m1.000\u001b[0m   \u001b[2mcache_hits \u001b[0m\u001b[1m9.000\u001b[0m   \u001b[2mpeak_memory_gib \u001b[0m\u001b[1m4.016\u001b[0m                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mthroughput                                                                                  \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  step_time_ms     \u001b[0m  \u001b[1m     29.77\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;104m\u2582\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[38;5;71m   \u2193 2.6%\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  samples_per_sec  \u001b[0m  \u001b[1m     2,150\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m   \u2191 2.6%\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens           \u001b[0m  \u001b[1m    16,072\u001b[0m  \u001b[38;5;38m\u2584\u001b[0m\u001b[38;5;74m\u2581\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2584\u001b[0m  \u001b[2m        \u2192\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens_per_s     \u001b[0m  \u001b[1m   539,877\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m   \u2191 2.6%\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  mfu              \u001b[0m  \u001b[1m     11.7%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hlo_flops_util \u2265 \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hfu \u2265            \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2muncounted kernels \u001b[0m\u001b[1m50.00\u001b[0m                                                                    \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98moptimizer                                                                                   \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  learning_rate    \u001b[0m  \u001b[1m 1.885e-04\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;104m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 81%\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2maccepted \u001b[0m\u001b[1m100.0%\u001b[0m                                                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mval \u00b7 step 500                                                                              \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity\u001b[0m  \u001b[1m     3.820\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss      \u001b[0m  \u001b[1m     1.340\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u283c\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[51.771014, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;104m\u2501\u001b[0m\u001b[38;5;104m\u2501\u001b[0m\u001b[38;5;104m\u2501\u001b[0m\u001b[38;5;104m\u2578\u001b[0m\u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m844\u001b[0m\u001b[2m/1000\u001b[0m   84%  33.7\u001b[2m step/s\u001b[0m  0:00:41\u001b[2m + \u001b[0m0:00:05\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2mdata \u001b[0m\u001b[1;2m51,392\u001b[0m\u001b[2m rows\u001b[0m\u001b[2m  \u00b7  \u001b[0m\u001b[1;2m0\u001b[0m\u001b[2m rejected\u001b[0m                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mtrain                                                                                       \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss             \u001b[0m  \u001b[1m     1.171\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2582\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 42%\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  ce               \u001b[0m  \u001b[1m     1.171\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2582\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 42%\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity       \u001b[0m  \u001b[1m     3.226\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;104m\u2582\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 57%\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  token_accuracy   \u001b[0m  \u001b[1m     63.0%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m\u2191 22.4 pt\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  data_wait_ms     \u001b[0m  \u001b[1m   0.01766\u001b[0m  \u001b[38;5;38m\u2584\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2585\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m   \u2193 6.3%\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  grad_norm        \u001b[0m  \u001b[1m    0.2879\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 72%\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_misses     \u001b[0m  \u001b[1m     3.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m    \u2191 50%\u001b[0m                                         \u001b["]
[51.771065, "o", "38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2mcompiles \u001b[0m\u001b[1m1.000\u001b[0m   \u001b[2mcache_hits \u001b[0m\u001b[1m9.000\u001b[0m   \u001b[2mpeak_memory_gib \u001b[0m\u001b[1m4.016\u001b[0m                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mthroughput                                                                                  \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  step_time_ms     \u001b[0m  \u001b[1m     29.77\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;104m\u2582\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[38;5;71m   \u2193 2.6%\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  samples_per_sec  \u001b[0m  \u001b[1m     2,150\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m   \u2191 2.6%\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens           \u001b[0m  \u001b[1m    16,072\u001b[0m  \u001b[38;5;38m\u2584\u001b[0m\u001b[38;5;74m\u2581\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2584\u001b[0m  \u001b[2m        \u2192\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens_per_s     \u001b[0m  \u001b[1m   539,877\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m   \u2191 2.6%\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  mfu              \u001b[0m  \u001b[1m     11.7%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hlo_flops_util \u2265 \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hfu \u2265            \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2muncounted kernels \u001b[0m\u001b[1m50.00\u001b[0m                                                                    \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98moptimizer                                                                                   \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  learning_rate    \u001b[0m  \u001b[1m 1.885e-04\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;104m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 81%\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2maccepted \u001b[0m\u001b[1m100.0%\u001b[0m                                                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mval \u00b7 step 500                                                                              \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity\u001b[0m  \u001b[1m     3.820\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss      \u001b[0m  \u001b[1m     1.340\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2826\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[51.92357, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m"]
[51.923603, "o", "\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;104m\u2501\u001b[0m\u001b[38;5;104m\u2501\u001b[0m\u001b[38;5;104m\u2501\u001b[0m\u001b[38;5;104m\u2501\u001b[0m\u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m850\u001b[0m\u001b[2m/1000\u001b[0m   85%  33.8\u001b[2m step/s\u001b[0m  0:00:42\u001b[2m + \u001b[0m0:00:04\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2mdata \u001b[0m\u001b[1;2m51,392\u001b[0m\u001b[2m rows\u001b[0m\u001b[2m  \u00b7  \u001b[0m\u001b[1;2m0\u001b[0m\u001b[2m rejected\u001b[0m                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mtrain                                                                                       \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss             \u001b[0m  \u001b[1m     1.171\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2582\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 42%\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  ce               \u001b[0m  \u001b[1m     1.171\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2582\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 42%\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity       \u001b[0m  \u001b[1m     3.226\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;104m\u2582\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 57%\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  token_accuracy   \u001b[0m  \u001b[1m     63.0%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m\u2191 22.4 pt\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  data_wait_ms     \u001b[0m  \u001b[1m   0.01766\u001b[0m  \u001b[38;5;38m\u2584\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2585\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m   \u2193 6.3%\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  grad_norm        \u001b[0m  \u001b[1m    0.2879\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 72%\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_misses     \u001b[0m  \u001b[1m     3.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m    \u2191 50%\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2mcompiles \u001b[0m\u001b[1m1.000\u001b[0m   \u001b[2mcache_hits \u001b[0m\u001b[1m9.000\u001b[0m   \u001b[2mpeak_memory_gib \u001b[0m\u001b[1m4.016\u001b[0m                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mthroughput                                                                                  \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  step_time_ms     \u001b[0m  \u001b[1m     29.77\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;104m\u2582\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[38;5;71m   \u2193 2.6%\u001b[0m                                  "]
[51.923647, "o", "       \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  samples_per_sec  \u001b[0m  \u001b[1m     2,150\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m   \u2191 2.6%\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens           \u001b[0m  \u001b[1m    16,072\u001b[0m  \u001b[38;5;38m\u2584\u001b[0m\u001b[38;5;74m\u2581\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2584\u001b[0m  \u001b[2m        \u2192\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens_per_s     \u001b[0m  \u001b[1m   539,877\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m   \u2191 2.6%\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  mfu              \u001b[0m  \u001b[1m     11.7%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hlo_flops_util \u2265 \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hfu \u2265            \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2muncounted kernels \u001b[0m\u001b[1m50.00\u001b[0m                                                                    \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98moptimizer                                                                                   \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  learning_rate    \u001b[0m  \u001b[1m 1.885e-04\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;104m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 81%\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2maccepted \u001b[0m\u001b[1m100.0%\u001b[0m                                                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mval \u00b7 step 500                                                                              \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity\u001b[0m  \u001b[1m     3.820\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss      \u001b[0m  \u001b[1m     1.340\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2807\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[52.079055, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;104m\u2501\u001b[0m\u001b[38;5;104m\u2501\u001b[0m\u001b[38;5;104m\u2501\u001b[0m\u001b[38;5;104m\u2501\u001b[0m\u001b[2m\u2501\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m855\u001b[0m\u001b[2m/1000\u001b[0m   86%  33.8\u001b[2m step/s\u001b[0m  0:00:42\u001b[2m + \u001b[0m0:00:04\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2mdata \u001b[0m\u001b[1;2m51,392\u001b[0m\u001b[2m rows\u001b[0m\u001b[2m  \u00b7  \u001b[0m\u001b[1;2m0\u001b[0m\u001b[2m rejected\u001b[0m                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mtrain                                                                                       \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss             \u001b[0m  \u001b[1m     1.171\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2582\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 42%\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  ce               \u001b[0m  \u001b[1m     1.171\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2582\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 42%\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity       \u001b[0m  \u001b[1m     3.226\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;104m\u2582\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 57%\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  token_accuracy   \u001b[0m  \u001b[1m     63.0%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m\u2191 22.4 pt\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  data_wait_ms     \u001b[0m  \u001b[1m   0.01766\u001b[0m  \u001b[38;5;38m\u2584\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2585\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m   \u2193 6.3%\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  grad_norm        \u001b[0m  \u001b[1m    0.2879\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 72%\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_misses     \u001b[0m  \u001b[1m     3.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m    \u2191 50%\u001b[0m                                         \u001b["]
[52.079105, "o", "38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2mcompiles \u001b[0m\u001b[1m1.000\u001b[0m   \u001b[2mcache_hits \u001b[0m\u001b[1m9.000\u001b[0m   \u001b[2mpeak_memory_gib \u001b[0m\u001b[1m4.016\u001b[0m                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mthroughput                                                                                  \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  step_time_ms     \u001b[0m  \u001b[1m     29.77\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;104m\u2582\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[38;5;71m   \u2193 2.6%\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  samples_per_sec  \u001b[0m  \u001b[1m     2,150\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m   \u2191 2.6%\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens           \u001b[0m  \u001b[1m    16,072\u001b[0m  \u001b[38;5;38m\u2584\u001b[0m\u001b[38;5;74m\u2581\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2584\u001b[0m  \u001b[2m        \u2192\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens_per_s     \u001b[0m  \u001b[1m   539,877\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m   \u2191 2.6%\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  mfu              \u001b[0m  \u001b[1m     11.7%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hlo_flops_util \u2265 \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hfu \u2265            \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2muncounted kernels \u001b[0m\u001b[1m50.00\u001b[0m                                                                    \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98moptimizer                                                                                   \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  learning_rate    \u001b[0m  \u001b[1m 1.885e-04\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;104m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 81%\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2maccepted \u001b[0m\u001b[1m100.0%\u001b[0m                                                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mval \u00b7 step 500                                                                              \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity\u001b[0m  \u001b[1m     3.820\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss      \u001b[0m  \u001b[1m     1.340\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u280b\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[52.233727, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;104m\u2501\u001b[0m\u001b[38;5;104m\u2501\u001b[0m\u001b[38;5;104m\u2501\u001b[0m\u001b[38;5;104m\u2501\u001b[0m\u001b[38;5;104m\u2578\u001b[0m\u001b[2m\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m861\u001b[0m\u001b[2m/1000\u001b[0m   86%  33.6\u001b[2m step/s\u001b[0m  0:00:42\u001b[2m + \u001b[0m0:00:04\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2mdata \u001b[0m\u001b[1;2m51,392\u001b[0m\u001b[2m rows\u001b[0m\u001b[2m  \u00b7  \u001b[0m\u001b[1;2m0\u001b[0m\u001b[2m rejected\u001b[0m                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mtrain                                                                                       \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss             \u001b[0m  \u001b[1m     1.171\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2582\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 42%\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  ce               \u001b[0m  \u001b[1m     1.171\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2582\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 42%\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity       \u001b[0m  \u001b[1m     3.226\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;104m\u2582\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 57%\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  token_accuracy   \u001b[0m  \u001b[1m     63.0%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m\u2191 22.4 pt\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  data_wait_ms     \u001b[0m  \u001b[1m   0.01766\u001b[0m  \u001b[38;5;38m\u2584\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2585\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m   \u2193 6.3%\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  grad_norm        \u001b[0m  \u001b[1m    0.2879\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 72%\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_misses     \u001b[0m  \u001b[1m     3.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m    \u2191 50%\u001b[0m                            "]
[52.233783, "o", "             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2mcompiles \u001b[0m\u001b[1m1.000\u001b[0m   \u001b[2mcache_hits \u001b[0m\u001b[1m9.000\u001b[0m   \u001b[2mpeak_memory_gib \u001b[0m\u001b[1m4.016\u001b[0m                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mthroughput                                                                                  \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  step_time_ms     \u001b[0m  \u001b[1m     29.77\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;104m\u2582\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[38;5;71m   \u2193 2.6%\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  samples_per_sec  \u001b[0m  \u001b[1m     2,150\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m   \u2191 2.6%\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens           \u001b[0m  \u001b[1m    16,072\u001b[0m  \u001b[38;5;38m\u2584\u001b[0m\u001b[38;5;74m\u2581\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2584\u001b[0m  \u001b[2m        \u2192\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens_per_s     \u001b[0m  \u001b[1m   539,877\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m   \u2191 2.6%\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  mfu              \u001b[0m  \u001b[1m     11.7%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hlo_flops_util \u2265 \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hfu \u2265            \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2muncounted kernels \u001b[0m\u001b[1m50.00\u001b[0m                                                                    \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98moptimizer                                                                                   \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  learning_rate    \u001b[0m  \u001b[1m 1.885e-04\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;104m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 81%\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2maccepted \u001b[0m\u001b[1m100.0%\u001b[0m                                                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mval \u00b7 step 500                                                                              \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity\u001b[0m  \u001b[1m     3.820\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss      \u001b[0m  \u001b[1m     1.340\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2839\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[52.380545, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;104m\u2501\u001b[0m\u001b[38;5;104m\u2501\u001b[0m\u001b[38;5;104m\u2501\u001b[0m\u001b[38;5;104m\u2501\u001b[0m\u001b[38;5;104m\u2578\u001b[0m\u001b[2m\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m867\u001b[0m\u001b[2m/1000\u001b[0m   87%  33.6\u001b[2m step/s\u001b[0m  0:00:42\u001b[2m + \u001b[0m0:00:04\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2mdata \u001b[0m\u001b[1;2m51,392\u001b[0m\u001b[2m rows\u001b[0m\u001b[2m  \u00b7  \u001b[0m\u001b[1;2m0\u001b[0m\u001b[2m rejected\u001b[0m                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n"]
[52.380561, "o", "\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mtrain                                                         "]
[52.380569, "o", "                              \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n"]
[52.380577, "o", "\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss             \u001b[0m  \u001b[1m     1.171\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2582\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 42%\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m"]
[52.38066, "o", "\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  ce               \u001b[0m  \u001b[1m     1.171\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2582\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 42%\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity       \u001b[0m  \u001b[1m     3.226\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;104m\u2582\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 57%\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  token_accuracy   \u001b[0m  \u001b[1m     63.0%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m\u2191 22.4 pt\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  data_wait_ms     \u001b[0m  \u001b[1m   0.01766\u001b[0m  \u001b[38;5;38m\u2584\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2585\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m   \u2193 6.3%\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  grad_norm        \u001b[0m  \u001b[1m    0.2879\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 72%\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_misses     \u001b[0m  \u001b[1m     3.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m    \u2191 50%\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2mcompiles \u001b[0m\u001b[1m1.000\u001b[0m   \u001b[2mcache_hits \u001b[0m\u001b[1m9.000\u001b[0m   \u001b[2mpeak_memory_gib \u001b[0m\u001b[1m4.016\u001b[0m                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mthroughput                                                                                  \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  step_time_ms     \u001b[0m  \u001b[1m     29.77\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;104m\u2582\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[38;5;71m   \u2193 2.6%\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  samples_per_sec  \u001b[0m  \u001b[1m     2,150\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m   \u2191 2.6%\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens           \u001b[0m  \u001b[1m    16,072\u001b[0m  \u001b[38;5;38m\u2584\u001b[0m\u001b[38;5;74m\u2581\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2584\u001b[0m  \u001b[2m        \u2192\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens_per_s     \u001b[0m  \u001b[1m   539,877\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m   \u2191 2.6%\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  mfu              \u001b[0m  \u001b[1m     11.7%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hlo_flops_util \u2265 \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hfu \u2265            \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5"]
[52.380698, "o", ";38m\u2502\u001b[0m   \u001b[2muncounted kernels \u001b[0m\u001b[1m50.00\u001b[0m                                                                    \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98moptimizer                                                                                   \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  learning_rate    \u001b[0m  \u001b[1m 1.885e-04\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;104m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 81%\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2maccepted \u001b[0m\u001b[1m100.0%\u001b[0m                                                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mval \u00b7 step 500                                                                              \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity\u001b[0m  \u001b[1m     3.820\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss      \u001b[0m  \u001b[1m     1.340\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u283c\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[52.535722, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;104m\u2501\u001b[0m\u001b[38;5;104m\u2501\u001b[0m\u001b[38;5;104m\u2501\u001b[0m\u001b[38;5;104m\u2501\u001b[0m\u001b[38;5;104m\u2501\u001b[0m\u001b[2m\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m872\u001b[0m\u001b[2m/1000\u001b[0m   87%  33.6\u001b[2m step/s\u001b[0m  0:00:42\u001b[2m + \u001b[0m0:00:04\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2mdata \u001b[0m\u001b[1;2m51,392\u001b[0m\u001b[2m rows\u001b[0m\u001b[2m  \u00b7  \u001b[0m\u001b[1;2m0\u001b[0m\u001b[2m rejected\u001b[0m                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mtrain                                                                                       \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss             \u001b[0m  \u001b[1m     1.171\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2582\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 42%\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  ce               \u001b[0m  \u001b[1m     1.171\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2582\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 42%\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity       \u001b[0m  \u001b[1m     3.226\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;104m\u2582\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 57%\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  token_accuracy   \u001b[0m  \u001b[1m     63.0%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m\u2191 22.4 pt\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  data_wait_ms     \u001b[0m  \u001b[1m   0.01766\u001b[0m  \u001b[38;5;38m\u2584\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2585\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m   \u2193 6.3%\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  grad_norm        \u001b[0m  \u001b[1m    0.2879\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 72%\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_misses     \u001b[0m  \u001b[1m     3.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m    \u2191 50%\u001b[0m                            "]
[52.535787, "o", "             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2mcompiles \u001b[0m\u001b[1m1.000\u001b[0m   \u001b[2mcache_hits \u001b[0m\u001b[1m9.000\u001b[0m   \u001b[2mpeak_memory_gib \u001b[0m\u001b[1m4.016\u001b[0m                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mthroughput                                                                                  \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  step_time_ms     \u001b[0m  \u001b[1m     29.77\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;104m\u2582\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[38;5;71m   \u2193 2.6%\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  samples_per_sec  \u001b[0m  \u001b[1m     2,150\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m   \u2191 2.6%\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens           \u001b[0m  \u001b[1m    16,072\u001b[0m  \u001b[38;5;38m\u2584\u001b[0m\u001b[38;5;74m\u2581\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2584\u001b[0m  \u001b[2m        \u2192\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens_per_s     \u001b[0m  \u001b[1m   539,877\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m   \u2191 2.6%\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  mfu              \u001b[0m  \u001b[1m     11.7%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hlo_flops_util \u2265 \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hfu \u2265            \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2muncounted kernels \u001b[0m\u001b[1m50.00\u001b[0m                                                                    \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98moptimizer                                                                                   \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  learning_rate    \u001b[0m  \u001b[1m 1.885e-04\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;104m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 81%\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2maccepted \u001b[0m\u001b[1m100.0%\u001b[0m                                                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mval \u00b7 step 500                                                                              \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity\u001b[0m  \u001b[1m     3.820\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss      \u001b[0m  \u001b[1m     1.340\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2826\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[52.685518, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;104m\u2501\u001b[0m\u001b[38;5;104m\u2501\u001b[0m\u001b[38;5;104m\u2501\u001b[0m\u001b[38;5;104m\u2501\u001b[0m\u001b[38;5;104m\u2501\u001b[0m\u001b[2m\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m878\u001b[0m\u001b[2m/1000\u001b[0m   88%  33.6\u001b[2m step/s\u001b[0m  0:00:42\u001b[2m + \u001b[0m0:00:04\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2mdata \u001b[0m\u001b[1;2m51,392\u001b[0m\u001b[2m rows\u001b[0m\u001b[2m  \u00b7  \u001b[0m\u001b[1;2m0\u001b[0m\u001b[2m rejected\u001b[0m                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mtrain                                                                                       \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss             \u001b[0m  \u001b[1m     1.171\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2582\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 42%\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  ce               \u001b[0m  \u001b[1m     1.171\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2582\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 42%\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity       \u001b[0m  \u001b[1m     3.226\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;104m\u2582\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 57%\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  token_accuracy   \u001b[0m  \u001b[1m     63.0%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m\u2191 22.4 pt\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  data_wait_ms     \u001b[0m  \u001b[1m   0.01766\u001b[0m  \u001b[38;5;38m\u2584\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2585\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m   \u2193 6.3%\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  grad_norm        \u001b[0m  \u001b[1m    0.2879\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 72%\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_misses     \u001b[0m  \u001b[1m     3.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m    \u2191 50%\u001b[0m                            "]
[52.685583, "o", "             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2mcompiles \u001b[0m\u001b[1m1.000\u001b[0m   \u001b[2mcache_hits \u001b[0m\u001b[1m9.000\u001b[0m   \u001b[2mpeak_memory_gib \u001b[0m\u001b[1m4.016\u001b[0m                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mthroughput                                                                                  \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  step_time_ms     \u001b[0m  \u001b[1m     29.77\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;104m\u2582\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[38;5;71m   \u2193 2.6%\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  samples_per_sec  \u001b[0m  \u001b[1m     2,150\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m   \u2191 2.6%\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens           \u001b[0m  \u001b[1m    16,072\u001b[0m  \u001b[38;5;38m\u2584\u001b[0m\u001b[38;5;74m\u2581\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2584\u001b[0m  \u001b[2m        \u2192\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens_per_s     \u001b[0m  \u001b[1m   539,877\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m   \u2191 2.6%\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  mfu              \u001b[0m  \u001b[1m     11.7%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hlo_flops_util \u2265 \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hfu \u2265            \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2muncounted kernels \u001b[0m\u001b[1m50.00\u001b[0m                                                                    \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98moptimizer                                                                                   \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  learning_rate    \u001b[0m  \u001b[1m 1.885e-04\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;104m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 81%\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2maccepted \u001b[0m\u001b[1m100.0%\u001b[0m                                                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mval \u00b7 step 500                                                                              \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity\u001b[0m  \u001b[1m     3.820\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss      \u001b[0m  \u001b[1m     1.340\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2807\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[52.839366, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;104m\u2501\u001b[0m\u001b[38;5;104m\u2501\u001b[0m\u001b[38;5;104m\u2501\u001b[0m\u001b[38;5;104m\u2501\u001b[0m\u001b[38;5;104m\u2501\u001b[0m\u001b[2m\u2501\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m883\u001b[0m\u001b[2m/1000\u001b[0m   88%  33.6\u001b[2m step/s\u001b[0m  0:00:43\u001b[2m + \u001b[0m0:00:03\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2mdata \u001b[0m\u001b[1;2m51,392\u001b[0m\u001b[2m rows\u001b[0m\u001b[2m  \u00b7  \u001b[0m\u001b[1;2m0\u001b[0m\u001b[2m rejected\u001b[0m                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n"]
[52.839463, "o", "\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mtrain                                                                                       \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss             \u001b[0m  \u001b[1m     1.171\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2582\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 42%\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  ce               \u001b[0m  \u001b[1m     1.171\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2582\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 42%\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity       \u001b[0m  \u001b[1m     3.226\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;104m\u2582\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 57%\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  token_accuracy   \u001b[0m  \u001b[1m     63.0%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m\u2191 22.4 pt\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  data_wait_ms     \u001b[0m  \u001b[1m   0.01766\u001b[0m  \u001b[38;5;38m\u2584\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2585\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m   \u2193 6.3%\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  grad_norm        \u001b[0m  \u001b[1m    0.2879\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 72%\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_misses     \u001b[0m  \u001b[1m     3.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m    \u2191 50%\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2mcompiles \u001b[0m\u001b[1m1.000\u001b[0m   \u001b[2mcache_hits \u001b[0m\u001b[1m9.000\u001b[0m   \u001b[2mpeak_memory_gib \u001b[0m\u001b[1m4.016\u001b[0m                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mthroughput                                                                                  \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  step_time_ms     \u001b[0m  \u001b[1m     29.77\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;104m\u2582\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[38;5;71m   \u2193 2.6%\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  samples_per_sec  \u001b[0m  \u001b[1m     2,150\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m   \u2191 2.6%\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens           \u001b[0m  \u001b[1m    16,072\u001b[0m  \u001b[38;5;38m\u2584\u001b[0m\u001b[38;5;74m\u2581\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2584\u001b[0m  \u001b[2m        \u2192\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens_per_s     \u001b[0m  \u001b[1m   539,877\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m   \u2191 2.6%\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  mfu              \u001b[0m  \u001b[1m     11.7%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hlo"]
[52.839502, "o", "_flops_util \u2265 \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hfu \u2265            \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2muncounted kernels \u001b[0m\u001b[1m50.00\u001b[0m                                                                    \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98moptimizer                                                                                   \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  learning_rate    \u001b[0m  \u001b[1m 1.885e-04\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;104m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 81%\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2maccepted \u001b[0m\u001b[1m100.0%\u001b[0m                                                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mval \u00b7 step 500                                                                              \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity\u001b[0m  \u001b[1m     3.820\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss      \u001b[0m  \u001b[1m     1.340\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u280b\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[52.985595, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n"]
[52.985636, "o", "\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;104m\u2501\u001b[0m\u001b[38;5;104m\u2501\u001b[0m\u001b[38;5;104m\u2501\u001b[0m\u001b[38;5;104m\u2501\u001b[0m\u001b[38;5;104m\u2501\u001b[0m\u001b[38;5;98m\u2578\u001b[0m\u001b[2m\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m889\u001b[0m\u001b[2m/1000\u001b[0m   89%  33.6\u001b[2m step/s\u001b[0m  0:00:43\u001b[2m + \u001b[0m0:00:03\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2mdata \u001b[0m\u001b[1;2m51,392\u001b[0m\u001b[2m rows\u001b[0m\u001b[2m  \u00b7  \u001b[0m\u001b[1;2m0\u001b[0m\u001b[2m rejected\u001b[0m                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mtrain                                                                                       \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss             \u001b[0m  \u001b[1m     1.171\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2582\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 42%\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  ce               \u001b[0m  \u001b[1m     1.171\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2582\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 42%\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity       \u001b[0m  \u001b[1m     3.226\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;104m\u2582\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 57%\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  token_accuracy   \u001b[0m  \u001b[1m     63.0%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m\u2191 22.4 pt\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  data_wait_ms     \u001b[0m  \u001b[1m   0.01766\u001b[0m  \u001b[38;5;38m\u2584\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2585\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m   \u2193 6.3%\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  grad_norm        \u001b[0m  \u001b[1m    0.2879\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 72%\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_misses     \u001b[0m  \u001b[1m     3.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m    \u2191 50%\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2mcompiles \u001b[0m\u001b[1m1.000\u001b[0m   \u001b[2mcache_hits \u001b[0m\u001b[1m9.000\u001b[0m   \u001b[2mpeak_memory_gib \u001b[0m\u001b[1m4.016\u001b[0m                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mthroughput                                                                                  \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  step_time_ms     \u001b[0m  \u001b[1m     29.77\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;104m\u2582\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[38;5;71m   \u2193 2.6%\u001b[0m       "]
[52.985666, "o", "                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  samples_per_sec  \u001b[0m  \u001b[1m     2,150\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m   \u2191 2.6%\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens           \u001b[0m  \u001b[1m    16,072\u001b[0m  \u001b[38;5;38m\u2584\u001b[0m\u001b[38;5;74m\u2581\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2584\u001b[0m  \u001b[2m        \u2192\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens_per_s     \u001b[0m  \u001b[1m   539,877\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m   \u2191 2.6%\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  mfu              \u001b[0m  \u001b[1m     11.7%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hlo_flops_util \u2265 \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hfu \u2265            \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2muncounted kernels \u001b[0m\u001b[1m50.00\u001b[0m                                                                    \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98moptimizer                                                                                   \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  learning_rate    \u001b[0m  \u001b[1m 1.885e-04\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;104m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 81%\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2maccepted \u001b[0m\u001b[1m100.0%\u001b[0m                                                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mval \u00b7 step 500                                                                              \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity\u001b[0m  \u001b[1m     3.820\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss      \u001b[0m  \u001b[1m     1.340\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2839\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[53.133338, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;104m\u2501\u001b[0m\u001b[38;5;104m\u2501\u001b[0m\u001b[38;5;104m\u2501\u001b[0m\u001b[38;5;104m\u2501\u001b[0m\u001b[38;5;104m\u2501\u001b[0m\u001b[38;5;98m\u2578\u001b[0m\u001b[2m\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m894\u001b[0m\u001b[2m/1000\u001b[0m   89%  33.6\u001b[2m step/s\u001b[0m  0:00:43\u001b[2m + \u001b[0m0:00:03\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2mdata \u001b[0m\u001b[1;2m51,392\u001b[0m\u001b[2m rows\u001b[0m\u001b[2m  \u00b7  \u001b[0m\u001b[1;2m0\u001b[0m\u001b[2m rejected\u001b[0m                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mtrain                                                                                       \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss             \u001b[0m  \u001b[1m     1.171\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2582\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 42%\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  ce               \u001b[0m  \u001b[1m     1.171\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2582\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 42%\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity       \u001b[0m  \u001b[1m     3.226\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;104m\u2582\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 57%\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  token_accuracy   \u001b[0m  \u001b[1m     63.0%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m\u2191 22.4 pt\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  data_wait_ms     \u001b[0m  \u001b[1m   0.01766\u001b[0m  \u001b[38;5;38m\u2584\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2585\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m   \u2193 6.3%\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  grad_norm        \u001b[0m  \u001b[1m    0.2879\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 72%\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_misses     \u001b[0m  \u001b[1m     3.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m    \u2191 50%\u001b[0m              "]
[53.13339, "o", "                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2mcompiles \u001b[0m\u001b[1m1.000\u001b[0m   \u001b[2mcache_hits \u001b[0m\u001b[1m9.000\u001b[0m   \u001b[2mpeak_memory_gib \u001b[0m\u001b[1m4.016\u001b[0m                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mthroughput                                                                                  \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  step_time_ms     \u001b[0m  \u001b[1m     29.77\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;104m\u2582\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[38;5;71m   \u2193 2.6%\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  samples_per_sec  \u001b[0m  \u001b[1m     2,150\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m   \u2191 2.6%\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens           \u001b[0m  \u001b[1m    16,072\u001b[0m  \u001b[38;5;38m\u2584\u001b[0m\u001b[38;5;74m\u2581\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2584\u001b[0m  \u001b[2m        \u2192\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens_per_s     \u001b[0m  \u001b[1m   539,877\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m   \u2191 2.6%\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  mfu              \u001b[0m  \u001b[1m     11.7%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hlo_flops_util \u2265 \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hfu \u2265            \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2muncounted kernels \u001b[0m\u001b[1m50.00\u001b[0m                                                                    \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98moptimizer                                                                                   \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  learning_rate    \u001b[0m  \u001b[1m 1.885e-04\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;104m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 81%\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2maccepted \u001b[0m\u001b[1m100.0%\u001b[0m                                                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mval \u00b7 step 500                                                                              \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity\u001b[0m  \u001b[1m     3.820\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss      \u001b[0m  \u001b[1m     1.340\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u283c\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m"]
[53.133408, "o", "\u2500\u256f\u001b[0m"]
[53.283483, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;104m\u2501\u001b[0m\u001b[38;5;104m\u2501\u001b[0m\u001b[38;5;104m\u2501\u001b[0m\u001b[38;5;104m\u2501\u001b[0m\u001b[38;5;104m\u2501\u001b[0m\u001b[38;5;98m\u2501\u001b[0m\u001b[2m\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m899\u001b[0m\u001b[2m/1000\u001b[0m   90%  33.6\u001b[2m step/s\u001b[0m  0:00:43\u001b[2m + \u001b[0m0:00:03\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2mdata \u001b[0m\u001b[1;2m51,392\u001b[0m\u001b[2m rows\u001b[0m\u001b[2m  \u00b7  \u001b[0m\u001b[1;2m0\u001b[0m\u001b[2m rejected\u001b[0m                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mtrain                                                                                       \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss             \u001b[0m  \u001b[1m     1.171\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2582\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 42%\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  ce               \u001b[0m  \u001b[1m     1.171\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2582\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 42%\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity       \u001b[0m  \u001b[1m     3.226\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;104m\u2582\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 57%\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  token_accuracy   \u001b[0m  \u001b[1m     63.0%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m\u2191 22.4 pt\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  data_wait_ms     \u001b[0m  \u001b[1m   0.01766\u001b[0m  \u001b[38;5;38m\u2584\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2585\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m   \u2193 6.3%\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  grad_norm        \u001b[0m  \u001b[1m    0.2879\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 72%\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_misses     \u001b[0m  \u001b[1m     3.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m    \u2191 50%\u001b[0m              "]
[53.283536, "o", "                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2mcompiles \u001b[0m\u001b[1m1.000\u001b[0m   \u001b[2mcache_hits \u001b[0m\u001b[1m9.000\u001b[0m   \u001b[2mpeak_memory_gib \u001b[0m\u001b[1m4.016\u001b[0m                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mthroughput                                                                                  \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  step_time_ms     \u001b[0m  \u001b[1m     29.77\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;104m\u2582\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[38;5;71m   \u2193 2.6%\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  samples_per_sec  \u001b[0m  \u001b[1m     2,150\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m   \u2191 2.6%\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens           \u001b[0m  \u001b[1m    16,072\u001b[0m  \u001b[38;5;38m\u2584\u001b[0m\u001b[38;5;74m\u2581\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2584\u001b[0m  \u001b[2m        \u2192\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens_per_s     \u001b[0m  \u001b[1m   539,877\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m   \u2191 2.6%\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  mfu              \u001b[0m  \u001b[1m     11.7%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hlo_flops_util \u2265 \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hfu \u2265            \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2muncounted kernels \u001b[0m\u001b[1m50.00\u001b[0m                                                                    \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98moptimizer                                                                                   \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  learning_rate    \u001b[0m  \u001b[1m 1.885e-04\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;104m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 81%\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2maccepted \u001b[0m\u001b[1m100.0%\u001b[0m                                                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mval \u00b7 step 500                                                                              \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity\u001b[0m  \u001b[1m     3.820\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss      \u001b[0m  \u001b[1m     1.340\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2834\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m"]
[53.283571, "o", "\u2500\u256f\u001b[0m"]
[53.42823, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;104m\u2501\u001b[0m\u001b[38;5;104m\u2501\u001b[0m\u001b[38;5;104m\u2501\u001b[0m\u001b[38;5;104m\u2501\u001b[0m\u001b[38;5;104m\u2501\u001b[0m\u001b[38;5;98m\u2501\u001b[0m\u001b[2m\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m900\u001b[0m\u001b[2m/1000\u001b[0m   90%  33.4\u001b[2m step/s\u001b[0m  0:00:43\u001b[2m + \u001b[0m0:00:03\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2mdata \u001b[0m\u001b[1;2m51,392\u001b[0m\u001b[2m rows\u001b[0m\u001b[2m  \u00b7  \u001b[0m\u001b[1;2m0\u001b[0m\u001b[2m rejected\u001b[0m                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mtrain                                                                                       \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss             \u001b[0m  \u001b[1m     1.171\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2582\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 42%\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  ce               \u001b[0m  \u001b[1m     1.171\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2582\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 42%\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity       \u001b[0m  \u001b[1m     3.226\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;104m\u2582\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 57%\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  token_accuracy   \u001b[0m  \u001b[1m     63.0%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m\u2191 22.4 pt\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  data_wait_ms     \u001b[0m  \u001b[1m   0.01766\u001b[0m  \u001b[38;5;38m\u2584\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2585\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m   \u2193 6.3%\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  grad_norm        \u001b[0m  \u001b[1m    0.2879\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 72%\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_misses     \u001b[0m  \u001b[1m     3.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m    \u2191 50%\u001b[0m              "]
[53.428299, "o", "                           \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2mcompiles \u001b[0m\u001b[1m1.000\u001b[0m   \u001b[2mcache_hits \u001b[0m\u001b[1m9.000\u001b[0m   \u001b[2mpeak_memory_gib \u001b[0m\u001b[1m4.016\u001b[0m                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mthroughput                                                                                  \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  step_time_ms     \u001b[0m  \u001b[1m     29.77\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;104m\u2582\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[38;5;71m   \u2193 2.6%\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  samples_per_sec  \u001b[0m  \u001b[1m     2,150\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m   \u2191 2.6%\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens           \u001b[0m  \u001b[1m    16,072\u001b[0m  \u001b[38;5;38m\u2584\u001b[0m\u001b[38;5;74m\u2581\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2584\u001b[0m  \u001b[2m        \u2192\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens_per_s     \u001b[0m  \u001b[1m   539,877\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m   \u2191 2.6%\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  mfu              \u001b[0m  \u001b[1m     11.7%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hlo_flops_util \u2265 \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hfu \u2265            \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2muncounted kernels \u001b[0m\u001b[1m50.00\u001b[0m                                                                    \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98moptimizer                                                                                   \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  learning_rate    \u001b[0m  \u001b[1m 1.885e-04\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;104m\u2583\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 81%\u001b[0m                                         \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2maccepted \u001b[0m\u001b[1m100.0%\u001b[0m                                                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mval \u00b7 step 500                                                                              \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity\u001b[0m  \u001b[1m     3.820\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss      \u001b[0m  \u001b[1m     1.340\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2827\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m"]
[53.428327, "o", "\u2500\u256f\u001b[0m"]
[53.582397, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;104m\u2501\u001b[0m\u001b[38;5;104m\u2501\u001b[0m\u001b[38;5;104m\u2501\u001b[0m\u001b[38;5;104m\u2501\u001b[0m\u001b[38;5;104m\u2501\u001b[0m\u001b[38;5;98m\u2501\u001b[0m\u001b[2m\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m901\u001b[0m\u001b[2m/1000\u001b[0m   90%  33.4\u001b[2m step/s\u001b[0m  0:00:43\u001b[2m + \u001b[0m0:00:03\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2mdata \u001b[0m\u001b[1;2m57,792\u001b[0m\u001b[2m rows\u001b[0m\u001b[2m  \u00b7  \u001b[0m\u001b[1;2m0\u001b[0m\u001b[2m rejected\u001b[0m                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mtrain                                                                                       \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss             \u001b[0m  \u001b[1m     1.238\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[38;5;71m    \u2193 38%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  ce               \u001b[0m  \u001b[1m     1.238\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[38;5;71m    \u2193 38%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity       \u001b[0m  \u001b[1m     3.450\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[38;5;71m    \u2193 54%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  token_accuracy   \u001b[0m  \u001b[1m     61.2%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m\u2191 20.7 pt\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  data_wait_ms     \u001b[0m  \u001b[1m   0.01818\u001b[0m  \u001b[38;5;38m\u2584\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[2m   \u2193 3.6%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  grad_norm        \u001b[0m  \u001b[1m    0.2852\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 72%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_misses     \u001b[0m  \u001b[1m     3.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;6"]
[53.582431, "o", "8m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m    \u2191 50%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2mcompiles \u001b[0m\u001b[1m1.000\u001b[0m   \u001b[2mcache_hits \u001b[0m\u001b[1m9.000\u001b[0m   \u001b[2mpeak_memory_gib \u001b[0m\u001b[1m4.016\u001b[0m                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mthroughput                                                                                  \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  step_time_ms     \u001b[0m  \u001b[1m     29.75\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2582\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[38;5;71m   \u2193 2.6%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  samples_per_sec  \u001b[0m  \u001b[1m     2,151\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m   \u2191 2.7%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens           \u001b[0m  \u001b[1m    16,104\u001b[0m  \u001b[38;5;38m\u2584\u001b[0m\u001b[38;5;74m\u2581\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2584\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m   \u2191 0.2%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens_per_s     \u001b[0m  \u001b[1m   541,273\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m   \u2191 2.9%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  mfu              \u001b[0m  \u001b[1m     11.8%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hlo_flops_util \u2265 \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hfu \u2265            \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2muncounted kernels \u001b[0m\u001b[1m50.00\u001b[0m                                                                    \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98moptimizer                                                                                   \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  learning_rate    \u001b[0m  \u001b[1m 1.229e-04\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;104m\u2582\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 87%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2maccepted \u001b[0m\u001b[1m100.0%\u001b[0m                                                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mval \u00b7 step 500                                                                              \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity\u001b[0m  \u001b[1m     3.820\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss      \u001b[0m  \u001b[1m     1.340\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500"]
[53.582454, "o", "\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u280f\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[53.733626, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;104m\u2501\u001b[0m\u001b[38;5;104m\u2501\u001b[0m\u001b[38;5;104m\u2501\u001b[0m\u001b[38;5;104m\u2501\u001b[0m\u001b[38;5;104m\u2501\u001b[0m\u001b[38;5;98m\u2501\u001b[0m\u001b[2m\u2501\u2501\u2501\u2501\u001b[0m  \u001b[1m906\u001b[0m\u001b[2m/1000\u001b[0m   91%  32.4\u001b[2m step/s\u001b[0m  0:00:43\u001b[2m + \u001b[0m0:00:03\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2mdata \u001b[0m\u001b[1;2m57,792\u001b[0m\u001b[2m rows\u001b[0m\u001b[2m  \u00b7  \u001b[0m\u001b[1;2m0\u001b[0m\u001b[2m rejected\u001b[0m                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mtrain                                                                                       \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss             \u001b[0m  \u001b[1m     1.238\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[38;5;71m    \u2193 38%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  ce               \u001b[0m  \u001b[1m     1.238\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[38;5;71m    \u2193 38%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity       \u001b[0m  \u001b[1m     3.450\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[38;5;71m    \u2193 54%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  token_accuracy   \u001b[0m  \u001b[1m     61.2%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m\u2191 20.7 pt\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  data_wait_ms     \u001b[0m  \u001b[1m   0.01818\u001b[0m  \u001b[38;5;38m\u2584\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[2m   \u2193 3.6%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  grad_norm        \u001b[0m  \u001b[1m    0.2852\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 72%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_misses     \u001b[0m  \u001b[1m     3.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;6"]
[53.733688, "o", "8m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m    \u2191 50%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2mcompiles \u001b[0m\u001b[1m1.000\u001b[0m   \u001b[2mcache_hits \u001b[0m\u001b[1m9.000\u001b[0m   \u001b[2mpeak_memory_gib \u001b[0m\u001b[1m4.016\u001b[0m                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mthroughput                                                                                  \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  step_time_ms     \u001b[0m  \u001b[1m     29.75\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2582\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[38;5;71m   \u2193 2.6%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  samples_per_sec  \u001b[0m  \u001b[1m     2,151\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m   \u2191 2.7%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens           \u001b[0m  \u001b[1m    16,104\u001b[0m  \u001b[38;5;38m\u2584\u001b[0m\u001b[38;5;74m\u2581\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2584\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m   \u2191 0.2%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens_per_s     \u001b[0m  \u001b[1m   541,273\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m   \u2191 2.9%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  mfu              \u001b[0m  \u001b[1m     11.8%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hlo_flops_util \u2265 \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hfu \u2265            \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2muncounted kernels \u001b[0m\u001b[1m50.00\u001b[0m                                                                    \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98moptimizer                                                                                   \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  learning_rate    \u001b[0m  \u001b[1m 1.229e-04\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;104m\u2582\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 87%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2maccepted \u001b[0m\u001b[1m100.0%\u001b[0m                                                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mval \u00b7 step 500                                                                              \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity\u001b[0m  \u001b[1m     3.820\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss      \u001b[0m  \u001b[1m     1.340\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500"]
[53.733723, "o", "\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2819\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[53.886658, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;104m\u2501\u001b[0m\u001b[38;5;104m\u2501\u001b[0m\u001b[38;5;104m\u2501\u001b[0m\u001b[38;5;104m\u2501\u001b[0m\u001b[38;5;104m\u2501\u001b[0m\u001b[38;5;98m\u2501\u001b[0m\u001b[38;5;98m\u2578\u001b[0m\u001b[2m\u2501\u2501\u2501\u001b[0m  \u001b[1m912\u001b[0m\u001b[2m/1000\u001b[0m   91%  33.7\u001b[2m step/s\u001b[0m  0:00:44\u001b[2m + \u001b[0m0:00:03\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n"]
[53.886675, "o", "\u001b[38;5;38m\u2502\u001b[0m \u001b[2mdata \u001b[0m\u001b[1;2m57,792\u001b[0m\u001b[2m rows\u001b[0m\u001b[2m  \u00b7  \u001b[0m\u001b[1;2m0\u001b[0m\u001b[2m rejected\u001b[0m                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n"]
[53.886692, "o", "\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mtrain                                                                                       \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n"]
[53.886717, "o", "\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss             \u001b[0m  \u001b[1m     1.238\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[38;5;71m    \u2193 38%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  ce               \u001b[0m  \u001b[1m     1.238\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[38;5;71m    \u2193 38%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m"]
[53.886726, "o", "\r\n"]
[53.886804, "o", "\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity       \u001b[0m  \u001b[1m     3.450\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[38;5;71m    \u2193 54%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  token_accuracy   \u001b[0m  \u001b[1m     61.2%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m\u2191 20.7 pt\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  data_wait_ms     \u001b[0m  \u001b[1m   0.01818\u001b[0m  \u001b[38;5;38m\u2584\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[2m   \u2193 3.6%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  grad_norm        \u001b[0m  \u001b[1m    0.2852\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 72%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_misses     \u001b[0m  \u001b[1m     3.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m    \u2191 50%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2mcompiles \u001b[0m\u001b[1m1.000\u001b[0m   \u001b[2mcache_hits \u001b[0m\u001b[1m9.000\u001b[0m   \u001b[2mpeak_memory_gib \u001b[0m\u001b[1m4.016\u001b[0m                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mthroughput                                                                                  \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  step_time_ms     \u001b[0m  \u001b[1m     29.75\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2582\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[38;5;71m   \u2193 2.6%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  samples_per_sec  \u001b[0m  \u001b[1m     2,151\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m   \u2191 2.7%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens           \u001b[0m  \u001b[1m    16,104\u001b[0m  \u001b[38;5;38m\u2584\u001b[0m\u001b[38;5;74m\u2581\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2584\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m   \u2191 0.2%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens_per_s     \u001b[0m  \u001b[1m   541,273\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m   \u2191 2.9%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  mfu              \u001b[0m  \u001b[1m     11.8%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hlo_flops_util \u2265 \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hfu \u2265            \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2muncounted kernels \u001b[0m\u001b[1m50.00\u001b[0m                                                "]
[53.886841, "o", "                    \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98moptimizer                                                                                   \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  learning_rate    \u001b[0m  \u001b[1m 1.229e-04\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;104m\u2582\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 87%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2maccepted \u001b[0m\u001b[1m100.0%\u001b[0m                                                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mval \u00b7 step 500                                                                              \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity\u001b[0m  \u001b[1m     3.820\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss      \u001b[0m  \u001b[1m     1.340\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2838\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[54.0381, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;104m\u2501\u001b[0m\u001b[38;5;104m\u2501\u001b[0m\u001b[38;5;104m\u2501\u001b[0m\u001b[38;5;104m\u2501\u001b[0m\u001b[38;5;104m\u2501\u001b[0m\u001b[38;5;98m\u2501\u001b[0m\u001b[38;5;98m\u2578\u001b[0m\u001b[2m\u2501\u2501\u2501\u001b[0m  \u001b[1m917\u001b[0m\u001b[2m/1000\u001b[0m   92%  33.7\u001b[2m step/s\u001b[0m  0:00:44\u001b[2m + \u001b[0m0:00:02\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2mdata \u001b[0m\u001b[1;2m57,792\u001b[0m\u001b[2m rows\u001b[0m\u001b[2m  \u00b7  \u001b[0m\u001b[1;2m0\u001b[0m\u001b[2m rejected\u001b[0m                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mtrain                                                                                       \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss             \u001b[0m  \u001b[1m     1.238\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[38;5;71m    \u2193 38%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  ce               \u001b[0m  \u001b[1m     1.238\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[38;5;71m    \u2193 38%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity       \u001b[0m  \u001b[1m     3.450\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[38;5;71m    \u2193 54%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  token_accuracy   \u001b[0m  \u001b[1m     61.2%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m\u2191 20.7 pt\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  data_wait_ms     \u001b[0m  \u001b[1m   0.01818\u001b[0m  \u001b[38;5;38m\u2584\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[2m   \u2193 3.6%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  grad_norm        \u001b[0m  \u001b[1m    0.2852\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 72%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_misses     \u001b[0m  \u001b[1m     3.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m"]
[54.038146, "o", "\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m    \u2191 50%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2mcompiles \u001b[0m\u001b[1m1.000\u001b[0m   \u001b[2mcache_hits \u001b[0m\u001b[1m9.000\u001b[0m   \u001b[2mpeak_memory_gib \u001b[0m\u001b[1m4.016\u001b[0m                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mthroughput                                                                                  \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  step_time_ms     \u001b[0m  \u001b[1m     29.75\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2582\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[38;5;71m   \u2193 2.6%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  samples_per_sec  \u001b[0m  \u001b[1m     2,151\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m   \u2191 2.7%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens           \u001b[0m  \u001b[1m    16,104\u001b[0m  \u001b[38;5;38m\u2584\u001b[0m\u001b[38;5;74m\u2581\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2584\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m   \u2191 0.2%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens_per_s     \u001b[0m  \u001b[1m   541,273\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m   \u2191 2.9%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  mfu              \u001b[0m  \u001b[1m     11.8%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hlo_flops_util \u2265 \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hfu \u2265            \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2muncounted kernels \u001b[0m\u001b[1m50.00\u001b[0m                                                                    \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98moptimizer                                                                                   \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  learning_rate    \u001b[0m  \u001b[1m 1.229e-04\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;104m\u2582\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 87%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2maccepted \u001b[0m\u001b[1m100.0%\u001b[0m                                                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mval \u00b7 step 500                                                                              \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity\u001b[0m  \u001b[1m     3.820\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss      \u001b[0m  \u001b[1m     1.340\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500"]
[54.038166, "o", "\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2834\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[54.190841, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;104m\u2501\u001b[0m\u001b[38;5;104m\u2501\u001b[0m\u001b[38;5;104m\u2501\u001b[0m\u001b[38;5;104m\u2501\u001b[0m\u001b[38;5;104m\u2501\u001b[0m\u001b[38;5;98m\u2501\u001b[0m\u001b[38;5;98m\u2578\u001b[0m\u001b[2m\u2501\u2501\u2501\u001b[0m  \u001b[1m923\u001b[0m\u001b[2m/1000\u001b[0m   92%  33.5\u001b[2m step/s\u001b[0m  0:00:44\u001b[2m + \u001b[0m0:00:02\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2mdata \u001b[0m\u001b[1;2m57,792\u001b[0m\u001b[2m rows\u001b[0m\u001b[2m  \u00b7  \u001b[0m\u001b[1;2m0\u001b[0m\u001b[2m rejected\u001b[0m                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mtrain                                                                                       \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss             \u001b[0m  \u001b[1m     1.238\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[38;5;71m    \u2193 38%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  ce               \u001b[0m  \u001b[1m     1.238\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[38;5;71m    \u2193 38%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity       \u001b[0m  \u001b[1m     3.450\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[38;5;71m    \u2193 54%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  token_accuracy   \u001b[0m  \u001b[1m     61.2%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m\u2191 20.7 pt\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  data_wait_ms     \u001b[0m  \u001b[1m   0.01818\u001b[0m  \u001b[38;5;38m\u2584\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[2m   \u2193 3.6%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  grad_norm        \u001b[0m  \u001b[1m    0.2852\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 72%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_misses     \u001b[0m  \u001b[1m     3.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m"]
[54.190904, "o", "\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m    \u2191 50%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2mcompiles \u001b[0m\u001b[1m1.000\u001b[0m   \u001b[2mcache_hits \u001b[0m\u001b[1m9.000\u001b[0m   \u001b[2mpeak_memory_gib \u001b[0m\u001b[1m4.016\u001b[0m                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mthroughput                                                                                  \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  step_time_ms     \u001b[0m  \u001b[1m     29.75\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2582\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[38;5;71m   \u2193 2.6%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  samples_per_sec  \u001b[0m  \u001b[1m     2,151\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m   \u2191 2.7%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens           \u001b[0m  \u001b[1m    16,104\u001b[0m  \u001b[38;5;38m\u2584\u001b[0m\u001b[38;5;74m\u2581\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2584\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m   \u2191 0.2%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens_per_s     \u001b[0m  \u001b[1m   541,273\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m   \u2191 2.9%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  mfu              \u001b[0m  \u001b[1m     11.8%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hlo_flops_util \u2265 \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hfu \u2265            \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2muncounted kernels \u001b[0m\u001b[1m50.00\u001b[0m                                                                    \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98moptimizer                                                                                   \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  learning_rate    \u001b[0m  \u001b[1m 1.229e-04\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;104m\u2582\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 87%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2maccepted \u001b[0m\u001b[1m100.0%\u001b[0m                                                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mval \u00b7 step 500                                                                              \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity\u001b[0m  \u001b[1m     3.820\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss      \u001b[0m  \u001b[1m     1.340\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500"]
[54.190946, "o", "\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2827\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[54.343897, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;104m\u2501\u001b[0m\u001b[38;5;104m\u2501\u001b[0m\u001b[38;5;104m\u2501\u001b[0m\u001b[38;5;104m\u2501\u001b[0m\u001b[38;5;104m\u2501\u001b[0m\u001b[38;5;98m\u2501\u001b[0m\u001b[38;5;98m\u2501\u001b[0m\u001b[2m\u2501\u2501\u2501\u001b[0m  \u001b[1m928\u001b[0m\u001b[2m/1000\u001b[0m   93%  33.5\u001b[2m step/s\u001b[0m  0:00:44\u001b[2m + \u001b[0m0:00:02\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2mdata \u001b[0m\u001b[1;2m57,792\u001b[0m\u001b[2m rows\u001b[0m\u001b[2m  \u00b7  \u001b[0m\u001b[1;2m0\u001b[0m\u001b[2m rejected\u001b[0m                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mtrain                                                                                       \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss             \u001b[0m  \u001b[1m     1.238\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[38;5;71m    \u2193 38%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  ce               \u001b[0m  \u001b[1m     1.238\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[38;5;71m    \u2193 38%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity       \u001b[0m  \u001b[1m     3.450\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[38;5;71m    \u2193 54%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  token_accuracy   \u001b[0m  \u001b[1m     61.2%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m\u2191 20.7 pt\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  data_wait_ms     \u001b[0m  \u001b[1m   0.01818\u001b[0m  \u001b[38;5;38m\u2584\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[2m   \u2193 3.6%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  grad_norm        \u001b[0m  \u001b[1m    0.2852\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 72%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_misses     \u001b[0m  \u001b[1m     3.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m"]
[54.343947, "o", "\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m    \u2191 50%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2mcompiles \u001b[0m\u001b[1m1.000\u001b[0m   \u001b[2mcache_hits \u001b[0m\u001b[1m9.000\u001b[0m   \u001b[2mpeak_memory_gib \u001b[0m\u001b[1m4.016\u001b[0m                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mthroughput                                                                                  \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  step_time_ms     \u001b[0m  \u001b[1m     29.75\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2582\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[38;5;71m   \u2193 2.6%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  samples_per_sec  \u001b[0m  \u001b[1m     2,151\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m   \u2191 2.7%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens           \u001b[0m  \u001b[1m    16,104\u001b[0m  \u001b[38;5;38m\u2584\u001b[0m\u001b[38;5;74m\u2581\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2584\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m   \u2191 0.2%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens_per_s     \u001b[0m  \u001b[1m   541,273\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m   \u2191 2.9%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  mfu              \u001b[0m  \u001b[1m     11.8%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hlo_flops_util \u2265 \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hfu \u2265            \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2muncounted kernels \u001b[0m\u001b[1m50.00\u001b[0m                                                                    \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98moptimizer                                                                                   \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  learning_rate    \u001b[0m  \u001b[1m 1.229e-04\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;104m\u2582\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 87%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2maccepted \u001b[0m\u001b[1m100.0%\u001b[0m                                                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mval \u00b7 step 500                                                                              \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity\u001b[0m  \u001b[1m     3.820\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss      \u001b[0m  \u001b[1m     1.340\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500"]
[54.343977, "o", "\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u280f\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[54.519493, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;104m\u2501\u001b[0m\u001b[38;5;104m\u2501\u001b[0m\u001b[38;5;104m\u2501\u001b[0m\u001b[38;5;104m\u2501\u001b[0m\u001b[38;5;104m\u2501\u001b[0m\u001b[38;5;98m\u2501\u001b[0m\u001b[38;5;98m\u2501\u001b[0m\u001b[2m\u2501\u2501\u2501\u001b[0m  \u001b[1m935\u001b[0m\u001b[2m/1000\u001b[0m   94%  33.4\u001b[2m step/s\u001b[0m  0:00:44\u001b[2m + \u001b[0m0:00:02\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2mdata \u001b[0m\u001b[1;2m57,792\u001b[0m\u001b[2m rows\u001b[0m\u001b[2m  \u00b7  \u001b[0m\u001b[1;2m0\u001b[0m\u001b[2m rejected\u001b[0m                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mtrain                                                                                       \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss             \u001b[0m  \u001b[1m     1.238\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[38;5;71m    \u2193 38%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  ce               \u001b[0m  \u001b[1m     1.238\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[38;5;71m    \u2193 38%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity       \u001b[0m  \u001b[1m     3.450\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[38;5;71m    \u2193 54%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  token_accuracy   \u001b[0m  \u001b[1m     61.2%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m\u2191 20.7 pt\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  data_wait_ms     \u001b[0m  \u001b[1m   0.01818\u001b[0m  \u001b[38;5;38m\u2584\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[2m   \u2193 3.6%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  grad_norm        \u001b[0m  \u001b[1m    0.2852\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 72%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_misses     \u001b[0m  \u001b[1m     3.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m"]
[54.519564, "o", "\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m    \u2191 50%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2mcompiles \u001b[0m\u001b[1m1.000\u001b[0m   \u001b[2mcache_hits \u001b[0m\u001b[1m9.000\u001b[0m   \u001b[2mpeak_memory_gib \u001b[0m\u001b[1m4.016\u001b[0m                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mthroughput                                                                                  \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  step_time_ms     \u001b[0m  \u001b[1m     29.75\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2582\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[38;5;71m   \u2193 2.6%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  samples_per_sec  \u001b[0m  \u001b[1m     2,151\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m   \u2191 2.7%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens           \u001b[0m  \u001b[1m    16,104\u001b[0m  \u001b[38;5;38m\u2584\u001b[0m\u001b[38;5;74m\u2581\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2584\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m   \u2191 0.2%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens_per_s     \u001b[0m  \u001b[1m   541,273\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m   \u2191 2.9%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  mfu              \u001b[0m  \u001b[1m     11.8%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hlo_flops_util \u2265 \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hfu \u2265            \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2muncounted kernels \u001b[0m\u001b[1m50.00\u001b[0m                                                                    \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98moptimizer                                                                                   \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  learning_rate    \u001b[0m  \u001b[1m 1.229e-04\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;104m\u2582\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 87%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2maccepted \u001b[0m\u001b[1m100.0%\u001b[0m                                                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mval \u00b7 step 500                                                                              \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity\u001b[0m  \u001b[1m     3.820\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss      \u001b[0m  \u001b[1m     1.340\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500"]
[54.519599, "o", "\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2819\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[54.667837, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;104m\u2501\u001b[0m\u001b[38;5;104m\u2501\u001b[0m\u001b[38;5;104m\u2501\u001b[0m\u001b[38;5;104m\u2501\u001b[0m\u001b[38;5;104m\u2501\u001b[0m\u001b[38;5;98m\u2501\u001b[0m\u001b[38;5;98m\u2501\u001b[0m\u001b[38;5;98m\u2578\u001b[0m\u001b[2m\u2501\u2501\u001b[0m  \u001b[1m940\u001b[0m\u001b[2m/1000\u001b[0m   94%  33.6\u001b[2m step/s\u001b[0m  0:00:44\u001b[2m + \u001b[0m0:00:02\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2mdata \u001b[0m\u001b[1;2m57,792\u001b[0m\u001b[2m rows\u001b[0m\u001b[2m  \u00b7  \u001b[0m\u001b[1;2m0\u001b[0m\u001b[2m rejected\u001b[0m                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mtrain                                                                                       \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss             \u001b[0m  \u001b[1m     1.238\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[38;5;71m    \u2193 38%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  ce               \u001b[0m  \u001b[1m     1.238\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[38;5;71m    \u2193 38%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity       \u001b[0m  \u001b[1m     3.450\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[38;5;71m    \u2193 54%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  token_accuracy   \u001b[0m  \u001b[1m     61.2%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m\u2191 20.7 pt\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  data_wait_ms     \u001b[0m  \u001b[1m   0.01818\u001b[0m  \u001b[38;5;38m\u2584\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[2m   \u2193 3.6%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  grad_norm        \u001b[0m  \u001b[1m    0.2852\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 72%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_misses     \u001b[0m  \u001b[1m     3.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b"]
[54.66794, "o", "[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m    \u2191 50%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2mcompiles \u001b[0m\u001b[1m1.000\u001b[0m   \u001b[2mcache_hits \u001b[0m\u001b[1m9.000\u001b[0m   \u001b[2mpeak_memory_gib \u001b[0m\u001b[1m4.016\u001b[0m                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mthroughput                                                                                  \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  step_time_ms     \u001b[0m  \u001b[1m     29.75\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2582\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[38;5;71m   \u2193 2.6%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  samples_per_sec  \u001b[0m  \u001b[1m     2,151\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m   \u2191 2.7%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens           \u001b[0m  \u001b[1m    16,104\u001b[0m  \u001b[38;5;38m\u2584\u001b[0m\u001b[38;5;74m\u2581\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2584\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m   \u2191 0.2%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens_per_s     \u001b[0m  \u001b[1m   541,273\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m   \u2191 2.9%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  mfu              \u001b[0m  \u001b[1m     11.8%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hlo_flops_util \u2265 \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hfu \u2265            \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2muncounted kernels \u001b[0m\u001b[1m50.00\u001b[0m                                                                    \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98moptimizer                                                                                   \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  learning_rate    \u001b[0m  \u001b[1m 1.229e-04\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;104m\u2582\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 87%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2maccepted \u001b[0m\u001b[1m100.0%\u001b[0m                                                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mval \u00b7 step 500                                                                              \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity\u001b[0m  \u001b[1m     3.820\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss      \u001b[0m  \u001b[1m     1.340\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500"]
[54.667971, "o", "\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2838\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[54.815435, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;104m\u2501\u001b[0m\u001b[38;5;104m\u2501\u001b[0m\u001b[38;5;104m\u2501\u001b[0m\u001b[38;5;104m\u2501\u001b[0m\u001b[38;5;104m\u2501\u001b[0m\u001b[38;5;98m\u2501\u001b[0m\u001b[38;5;98m\u2501\u001b[0m\u001b[38;5;98m\u2578\u001b[0m\u001b[2m\u2501\u2501\u001b[0m  \u001b[1m946\u001b[0m\u001b[2m/1000\u001b[0m   95%  33.6\u001b[2m step/s\u001b[0m  0:00:45\u001b[2m + \u001b[0m0:00:02\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2mdata \u001b[0m\u001b[1;2m57,792\u001b[0m\u001b[2m rows\u001b[0m\u001b[2m  \u00b7  \u001b[0m\u001b[1;2m0\u001b[0m\u001b[2m rejected\u001b[0m                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mtrain                                                                                       \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss             \u001b[0m  \u001b[1m     1.238\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[38;5;71m    \u2193 38%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  ce               \u001b[0m  \u001b[1m     1.238\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[38;5;71m    \u2193 38%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity       \u001b[0m  \u001b[1m     3.450\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[38;5;71m    \u2193 54%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  token_accuracy   \u001b[0m  \u001b[1m     61.2%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m\u2191 20.7 pt\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  data_wait_ms     \u001b[0m  \u001b[1m   0.01818\u001b[0m  \u001b[38;5;38m\u2584\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[2m   \u2193 3.6%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  grad_norm        \u001b[0m  \u001b[1m    0.2852\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 72%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_misses     \u001b[0m  \u001b[1m     3.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b"]
[54.815497, "o", "[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m    \u2191 50%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2mcompiles \u001b[0m\u001b[1m1.000\u001b[0m   \u001b[2mcache_hits \u001b[0m\u001b[1m9.000\u001b[0m   \u001b[2mpeak_memory_gib \u001b[0m\u001b[1m4.016\u001b[0m                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mthroughput                                                                                  \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  step_time_ms     \u001b[0m  \u001b[1m     29.75\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2582\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[38;5;71m   \u2193 2.6%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  samples_per_sec  \u001b[0m  \u001b[1m     2,151\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m   \u2191 2.7%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens           \u001b[0m  \u001b[1m    16,104\u001b[0m  \u001b[38;5;38m\u2584\u001b[0m\u001b[38;5;74m\u2581\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2584\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m   \u2191 0.2%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens_per_s     \u001b[0m  \u001b[1m   541,273\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m   \u2191 2.9%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  mfu              \u001b[0m  \u001b[1m     11.8%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hlo_flops_util \u2265 \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hfu \u2265            \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2muncounted kernels \u001b[0m\u001b[1m50.00\u001b[0m                                                                    \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98moptimizer                                                                                   \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  learning_rate    \u001b[0m  \u001b[1m 1.229e-04\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;104m\u2582\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 87%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2maccepted \u001b[0m\u001b[1m100.0%\u001b[0m                                                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mval \u00b7 step 500                                                                              \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity\u001b[0m  \u001b[1m     3.820\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss      \u001b[0m  \u001b[1m     1.340\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500"]
[54.815525, "o", "\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2834\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[54.969636, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n"]
[54.969648, "o", "\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;104m\u2501\u001b[0m\u001b[38;5;104m\u2501\u001b[0m\u001b[38;5;104m\u2501\u001b[0m\u001b[38;5;104m\u2501\u001b[0m\u001b[38;5;104m\u2501\u001b[0m\u001b[38;5;98m\u2501\u001b[0m\u001b[38;5;98m\u2501\u001b[0m\u001b[38;5;98m\u2501\u001b[0m\u001b[2m\u2501\u2501\u001b[0m  \u001b[1m951\u001b[0m\u001b[2m/1000\u001b[0m   95%  33.5\u001b[2m step/s\u001b[0m  0:00:45\u001b[2m + \u001b[0m0:00:01\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n"]
[54.969657, "o", "\u001b[38;5;38m\u2502\u001b[0m \u001b[2mdata \u001b[0m\u001b[1;2m57,792\u001b[0m\u001b[2m rows\u001b[0m\u001b[2m  \u00b7  \u001b[0m\u001b[1;2m0\u001b[0m\u001b[2m rejected\u001b[0m                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n"]
[54.969664, "o", "\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m"]
[54.969672, "o", "\r\n"]
[54.969679, "o", "\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mtrain               "]
[54.969687, "o", "                                                                        \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n"]
[54.969695, "o", "\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss             \u001b[0m  \u001b[1m     1.238\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[38;5;71m    \u2193 38%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m"]
[54.969703, "o", "\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  ce               \u001b[0m  \u001b[1m     1.238\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[38;5;71m    \u2193 38%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m"]
[54.969787, "o", "\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity       \u001b[0m  \u001b[1m     3.450\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[38;5;71m    \u2193 54%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  token_accuracy   \u001b[0m  \u001b[1m     61.2%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m\u2191 20.7 pt\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  data_wait_ms     \u001b[0m  \u001b[1m   0.01818\u001b[0m  \u001b[38;5;38m\u2584\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[2m   \u2193 3.6%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  grad_norm        \u001b[0m  \u001b[1m    0.2852\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 72%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_misses     \u001b[0m  \u001b[1m     3.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m    \u2191 50%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2mcompiles \u001b[0m\u001b[1m1.000\u001b[0m   \u001b[2mcache_hits \u001b[0m\u001b[1m9.000\u001b[0m   \u001b[2mpeak_memory_gib \u001b[0m\u001b[1m4.016\u001b[0m                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mthroughput                                                                                  \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  step_time_ms     \u001b[0m  \u001b[1m     29.75\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2582\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[38;5;71m   \u2193 2.6%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  samples_per_sec  \u001b[0m  \u001b[1m     2,151\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m   \u2191 2.7%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens           \u001b[0m  \u001b[1m    16,104\u001b[0m  \u001b[38;5;38m\u2584\u001b[0m\u001b[38;5;74m\u2581\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2584\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m   \u2191 0.2%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens_per_s     \u001b[0m  \u001b[1m   541,273\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m   \u2191 2.9%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  mfu              \u001b[0m  \u001b[1m     11.8%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hlo_flops_util \u2265 \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hfu \u2265            \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2muncounted kernels \u001b[0m\u001b[1m50.00\u001b[0m                                              "]
[54.969819, "o", "                      \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98moptimizer                                                                                   \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  learning_rate    \u001b[0m  \u001b[1m 1.229e-04\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;104m\u2582\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 87%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2maccepted \u001b[0m\u001b[1m100.0%\u001b[0m                                                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mval \u00b7 step 500                                                                              \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity\u001b[0m  \u001b[1m     3.820\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss      \u001b[0m  \u001b[1m     1.340\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2826\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[55.117087, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;104m\u2501\u001b[0m\u001b[38;5;104m\u2501\u001b[0m\u001b[38;5;104m\u2501\u001b[0m\u001b[38;5;104m\u2501\u001b[0m\u001b[38;5;104m\u2501\u001b[0m\u001b[38;5;98m\u2501\u001b[0m\u001b[38;5;98m\u2501\u001b[0m\u001b[38;5;98m\u2501\u001b[0m\u001b[2m\u2501\u2501\u001b[0m  \u001b[1m956\u001b[0m\u001b[2m/1000\u001b[0m   96%  33.5\u001b[2m step/s\u001b[0m  0:00:45\u001b[2m + \u001b[0m0:00:01\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2mdata \u001b[0m\u001b[1;2m57,792\u001b[0m\u001b[2m rows\u001b[0m\u001b[2m  \u00b7  \u001b[0m\u001b[1;2m0\u001b[0m\u001b[2m rejected\u001b[0m                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mtrain                                                                                       \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss             \u001b[0m  \u001b[1m     1.238\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[38;5;71m    \u2193 38%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  ce               \u001b[0m  \u001b[1m     1.238\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[38;5;71m    \u2193 38%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity       \u001b[0m  \u001b[1m     3.450\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[38;5;71m    \u2193 54%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  token_accuracy   \u001b[0m  \u001b[1m     61.2%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m\u2191 20.7 pt\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  data_wait_ms     \u001b[0m  \u001b[1m   0.01818\u001b[0m  \u001b[38;5;38m\u2584\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[2m   \u2193 3.6%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  grad_norm        \u001b[0m  \u001b[1m    0.2852\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 72%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_misses     \u001b[0m  \u001b[1m     3.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b"]
[55.11714, "o", "[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m    \u2191 50%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2mcompiles \u001b[0m\u001b[1m1.000\u001b[0m   \u001b[2mcache_hits \u001b[0m\u001b[1m9.000\u001b[0m   \u001b[2mpeak_memory_gib \u001b[0m\u001b[1m4.016\u001b[0m                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mthroughput                                                                                  \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  step_time_ms     \u001b[0m  \u001b[1m     29.75\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2582\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[38;5;71m   \u2193 2.6%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  samples_per_sec  \u001b[0m  \u001b[1m     2,151\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m   \u2191 2.7%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens           \u001b[0m  \u001b[1m    16,104\u001b[0m  \u001b[38;5;38m\u2584\u001b[0m\u001b[38;5;74m\u2581\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2584\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m   \u2191 0.2%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens_per_s     \u001b[0m  \u001b[1m   541,273\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m   \u2191 2.9%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  mfu              \u001b[0m  \u001b[1m     11.8%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hlo_flops_util \u2265 \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hfu \u2265            \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2muncounted kernels \u001b[0m\u001b[1m50.00\u001b[0m                                                                    \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98moptimizer                                                                                   \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  learning_rate    \u001b[0m  \u001b[1m 1.229e-04\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;104m\u2582\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 87%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2maccepted \u001b[0m\u001b[1m100.0%\u001b[0m                                                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mval \u00b7 step 500                                                                              \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity\u001b[0m  \u001b[1m     3.820\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss      \u001b[0m  \u001b[1m     1.340\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500"]
[55.117168, "o", "\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2807\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[55.269232, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;104m\u2501\u001b[0m\u001b[38;5;104m\u2501\u001b[0m\u001b[38;5;104m\u2501\u001b[0m\u001b[38;5;104m\u2501\u001b[0m\u001b[38;5;104m\u2501\u001b[0m\u001b[38;5;98m\u2501\u001b[0m\u001b[38;5;98m\u2501\u001b[0m\u001b[38;5;98m\u2501\u001b[0m\u001b[38;5;98m\u2578\u001b[0m\u001b[2m\u2501\u001b[0m  \u001b[1m962\u001b[0m\u001b[2m/1000\u001b[0m   96%  33.4\u001b[2m step/s\u001b[0m  0:00:45\u001b[2m + \u001b[0m0:00:01\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2mdata \u001b[0m\u001b[1;2m57,792\u001b[0m\u001b[2m rows\u001b[0m\u001b[2m  \u00b7  \u001b[0m\u001b[1;2m0\u001b[0m\u001b[2m rejected\u001b[0m                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mtrain                                                                                       \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss             \u001b[0m  \u001b[1m     1.238\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[38;5;71m    \u2193 38%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  ce               \u001b[0m  \u001b[1m     1.238\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[38;5;71m    \u2193 38%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity       \u001b[0m  \u001b[1m     3.450\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[38;5;71m    \u2193 54%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  token_accuracy   \u001b[0m  \u001b[1m     61.2%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m\u2191 20.7 pt\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  data_wait_ms     \u001b[0m  \u001b[1m   0.01818\u001b[0m  \u001b[38;5;38m\u2584\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[2m   \u2193 3.6%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  grad_norm        \u001b[0m  \u001b[1m    0.2852\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 72%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_misses     \u001b[0m  \u001b[1m     3.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2588\u001b[0m"]
[55.269333, "o", "\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m    \u2191 50%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2mcompiles \u001b[0m\u001b[1m1.000\u001b[0m   \u001b[2mcache_hits \u001b[0m\u001b[1m9.000\u001b[0m   \u001b[2mpeak_memory_gib \u001b[0m\u001b[1m4.016\u001b[0m                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mthroughput                                                                                  \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  step_time_ms     \u001b[0m  \u001b[1m     29.75\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2582\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[38;5;71m   \u2193 2.6%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  samples_per_sec  \u001b[0m  \u001b[1m     2,151\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m   \u2191 2.7%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens           \u001b[0m  \u001b[1m    16,104\u001b[0m  \u001b[38;5;38m\u2584\u001b[0m\u001b[38;5;74m\u2581\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2584\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m   \u2191 0.2%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens_per_s     \u001b[0m  \u001b[1m   541,273\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m   \u2191 2.9%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  mfu              \u001b[0m  \u001b[1m     11.8%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hlo_flops_util \u2265 \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hfu \u2265            \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2muncounted kernels \u001b[0m\u001b[1m50.00\u001b[0m                                                                    \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98moptimizer                                                                                   \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  learning_rate    \u001b[0m  \u001b[1m 1.229e-04\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;104m\u2582\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 87%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2maccepted \u001b[0m\u001b[1m100.0%\u001b[0m                                                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mval \u00b7 step 500                                                                              \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity\u001b[0m  \u001b[1m     3.820\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss      \u001b[0m  \u001b[1m     1.340\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500"]
[55.269377, "o", "\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u280b\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[55.41819, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;104m\u2501\u001b[0m\u001b[38;5;104m\u2501\u001b[0m\u001b[38;5;104m\u2501\u001b[0m\u001b[38;5;104m\u2501\u001b[0m\u001b[38;5;104m\u2501\u001b[0m\u001b[38;5;98m\u2501\u001b[0m\u001b[38;5;98m\u2501\u001b[0m\u001b[38;5;98m\u2501\u001b[0m\u001b[38;5;98m\u2578\u001b[0m\u001b[2m\u2501\u001b[0m  \u001b[1m967\u001b[0m\u001b[2m/1000\u001b[0m   97%  33.4\u001b[2m step/s\u001b[0m  0:00:45\u001b[2m + \u001b[0m0:00:01\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2mdata \u001b[0m\u001b[1;2m57,792\u001b[0m\u001b[2m rows\u001b[0m\u001b[2m  \u00b7  \u001b[0m\u001b[1;2m0\u001b[0m\u001b[2m rejected\u001b[0m                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mtrain                                                                                       \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss             \u001b[0m  \u001b[1m     1.238\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[38;5;71m    \u2193 38%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  ce               \u001b[0m  \u001b[1m     1.238\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[38;5;71m    \u2193 38%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity       \u001b[0m  \u001b[1m     3.450\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[38;5;71m    \u2193 54%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  token_accuracy   \u001b[0m  \u001b[1m     61.2%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m\u2191 20.7 pt\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  data_wait_ms     \u001b[0m  \u001b[1m   0.01818\u001b[0m  \u001b[38;5;38m\u2584\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[2m   \u2193 3.6%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  grad_norm        \u001b[0m  \u001b[1m    0.2852\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 72%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_misses     \u001b[0m  \u001b[1m     3.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2588\u001b[0m"]
[55.418236, "o", "\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m    \u2191 50%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2mcompiles \u001b[0m\u001b[1m1.000\u001b[0m   \u001b[2mcache_hits \u001b[0m\u001b[1m9.000\u001b[0m   \u001b[2mpeak_memory_gib \u001b[0m\u001b[1m4.016\u001b[0m                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mthroughput                                                                                  \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  step_time_ms     \u001b[0m  \u001b[1m     29.75\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2582\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[38;5;71m   \u2193 2.6%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  samples_per_sec  \u001b[0m  \u001b[1m     2,151\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m   \u2191 2.7%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens           \u001b[0m  \u001b[1m    16,104\u001b[0m  \u001b[38;5;38m\u2584\u001b[0m\u001b[38;5;74m\u2581\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2584\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m   \u2191 0.2%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens_per_s     \u001b[0m  \u001b[1m   541,273\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m   \u2191 2.9%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  mfu              \u001b[0m  \u001b[1m     11.8%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hlo_flops_util \u2265 \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hfu \u2265            \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2muncounted kernels \u001b[0m\u001b[1m50.00\u001b[0m                                                                    \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98moptimizer                                                                                   \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  learning_rate    \u001b[0m  \u001b[1m 1.229e-04\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;104m\u2582\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 87%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2maccepted \u001b[0m\u001b[1m100.0%\u001b[0m                                                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mval \u00b7 step 500                                                                              \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity\u001b[0m  \u001b[1m     3.820\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss      \u001b[0m  \u001b[1m     1.340\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500"]
[55.418253, "o", "\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2839\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[55.573086, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;104m\u2501\u001b[0m\u001b[38;5;104m\u2501\u001b[0m\u001b[38;5;104m\u2501\u001b[0m\u001b[38;5;104m\u2501\u001b[0m\u001b[38;5;104m\u2501\u001b[0m\u001b[38;5;98m\u2501\u001b[0m\u001b[38;5;98m\u2501\u001b[0m\u001b[38;5;98m\u2501\u001b[0m\u001b[38;5;98m\u2578\u001b[0m\u001b[2m\u2501\u001b[0m  \u001b[1m973\u001b[0m\u001b[2m/1000\u001b[0m   97%  33.3\u001b[2m step/s\u001b[0m  0:00:45\u001b[2m + \u001b[0m0:00:01\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2mdata \u001b[0m\u001b[1;2m57,792\u001b[0m\u001b[2m rows\u001b[0m\u001b[2m  \u00b7  \u001b[0m\u001b[1;2m0\u001b[0m\u001b[2m rejected\u001b[0m                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mtrain                                                                                       \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss             \u001b[0m  \u001b[1m     1.238\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[38;5;71m    \u2193 38%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  ce               \u001b[0m  \u001b[1m     1.238\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[38;5;71m    \u2193 38%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity       \u001b[0m  \u001b[1m     3.450\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[38;5;71m    \u2193 54%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  token_accuracy   \u001b[0m  \u001b[1m     61.2%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m\u2191 20.7 pt\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  data_wait_ms     \u001b[0m  \u001b[1m   0.01818\u001b[0m  \u001b[38;5;38m\u2584\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[2m   \u2193 3.6%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  grad_norm        \u001b[0m  \u001b[1m    0.2852\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 72%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_misses     \u001b[0m  \u001b[1m     3.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2588\u001b[0m"]
[55.573126, "o", "\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m    \u2191 50%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2mcompiles \u001b[0m\u001b[1m1.000\u001b[0m   \u001b[2mcache_hits \u001b[0m\u001b[1m9.000\u001b[0m   \u001b[2mpeak_memory_gib \u001b[0m\u001b[1m4.016\u001b[0m                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mthroughput                                                                                  \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  step_time_ms     \u001b[0m  \u001b[1m     29.75\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2582\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[38;5;71m   \u2193 2.6%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  samples_per_sec  \u001b[0m  \u001b[1m     2,151\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m   \u2191 2.7%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens           \u001b[0m  \u001b[1m    16,104\u001b[0m  \u001b[38;5;38m\u2584\u001b[0m\u001b[38;5;74m\u2581\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2584\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m   \u2191 0.2%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens_per_s     \u001b[0m  \u001b[1m   541,273\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m   \u2191 2.9%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  mfu              \u001b[0m  \u001b[1m     11.8%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hlo_flops_util \u2265 \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hfu \u2265            \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2muncounted kernels \u001b[0m\u001b[1m50.00\u001b[0m                                                                    \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98moptimizer                                                                                   \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  learning_rate    \u001b[0m  \u001b[1m 1.229e-04\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;104m\u2582\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 87%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2maccepted \u001b[0m\u001b[1m100.0%\u001b[0m                                                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mval \u00b7 step 500                                                                              \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity\u001b[0m  \u001b[1m     3.820\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss      \u001b[0m  \u001b[1m     1.340\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500"]
[55.573145, "o", "\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u283c\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[55.719522, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;104m\u2501\u001b[0m\u001b[38;5;104m\u2501\u001b[0m\u001b[38;5;104m\u2501\u001b[0m\u001b[38;5;104m\u2501\u001b[0m\u001b[38;5;104m\u2501\u001b[0m\u001b[38;5;98m\u2501\u001b[0m\u001b[38;5;98m\u2501\u001b[0m\u001b[38;5;98m\u2501\u001b[0m\u001b[38;5;98m\u2501\u001b[0m\u001b[2m\u2501\u001b[0m  \u001b[1m978\u001b[0m\u001b[2m/1000\u001b[0m   98%  33.4\u001b[2m step/s\u001b[0m  0:00:45\u001b[2m + \u001b[0m0:00:01\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2mdata \u001b[0m\u001b[1;2m57,792\u001b[0m\u001b[2m rows\u001b[0m\u001b[2m  \u00b7  \u001b[0m\u001b[1;2m0\u001b[0m\u001b[2m rejected\u001b[0m                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mtrain                                                                                       \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss             \u001b[0m  \u001b[1m     1.238\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[38;5;71m    \u2193 38%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  ce               \u001b[0m  \u001b[1m     1.238\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[38;5;71m    \u2193 38%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity       \u001b[0m  \u001b[1m     3.450\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[38;5;71m    \u2193 54%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  token_accuracy   \u001b[0m  \u001b[1m     61.2%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m\u2191 20.7 pt\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  data_wait_ms     \u001b[0m  \u001b[1m   0.01818\u001b[0m  \u001b[38;5;38m\u2584\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[2m   \u2193 3.6%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  grad_norm        \u001b[0m  \u001b[1m    0.2852\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 72%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_misses     \u001b[0m  \u001b[1m     3.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2588\u001b[0m"]
[55.719582, "o", "\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m    \u2191 50%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2mcompiles \u001b[0m\u001b[1m1.000\u001b[0m   \u001b[2mcache_hits \u001b[0m\u001b[1m9.000\u001b[0m   \u001b[2mpeak_memory_gib \u001b[0m\u001b[1m4.016\u001b[0m                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mthroughput                                                                                  \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  step_time_ms     \u001b[0m  \u001b[1m     29.75\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2582\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[38;5;71m   \u2193 2.6%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  samples_per_sec  \u001b[0m  \u001b[1m     2,151\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m   \u2191 2.7%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens           \u001b[0m  \u001b[1m    16,104\u001b[0m  \u001b[38;5;38m\u2584\u001b[0m\u001b[38;5;74m\u2581\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2584\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m   \u2191 0.2%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens_per_s     \u001b[0m  \u001b[1m   541,273\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m   \u2191 2.9%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  mfu              \u001b[0m  \u001b[1m     11.8%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hlo_flops_util \u2265 \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hfu \u2265            \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2muncounted kernels \u001b[0m\u001b[1m50.00\u001b[0m                                                                    \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98moptimizer                                                                                   \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  learning_rate    \u001b[0m  \u001b[1m 1.229e-04\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;104m\u2582\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 87%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2maccepted \u001b[0m\u001b[1m100.0%\u001b[0m                                                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mval \u00b7 step 500                                                                              \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity\u001b[0m  \u001b[1m     3.820\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss      \u001b[0m  \u001b[1m     1.340\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500"]
[55.719616, "o", "\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2826\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[55.872004, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;104m\u2501\u001b[0m\u001b[38;5;104m\u2501\u001b[0m\u001b[38;5;104m\u2501\u001b[0m\u001b[38;5;104m\u2501\u001b[0m\u001b[38;5;104m\u2501\u001b[0m\u001b[38;5;98m\u2501\u001b[0m\u001b[38;5;98m\u2501\u001b[0m\u001b[38;5;98m\u2501\u001b[0m\u001b[38;5;98m\u2501\u001b[0m\u001b[2m\u2501\u001b[0m  \u001b[1m984\u001b[0m\u001b[2m/1000\u001b[0m   98%  33.4\u001b[2m step/s\u001b[0m  0:00:46\u001b[2m + \u001b[0m0:00:00\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2mdata \u001b[0m\u001b[1;2m57,792\u001b[0m\u001b[2m rows\u001b[0m\u001b[2m  \u00b7  \u001b[0m\u001b[1;2m0\u001b[0m\u001b[2m rejected\u001b[0m                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mtrain                                                                                       \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss             \u001b[0m  \u001b[1m     1.238\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[38;5;71m    \u2193 38%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  ce               \u001b[0m  \u001b[1m     1.238\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[38;5;71m    \u2193 38%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity       \u001b[0m  \u001b[1m     3.450\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[38;5;71m    \u2193 54%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  token_accuracy   \u001b[0m  \u001b[1m     61.2%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m\u2191 20.7 pt\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  data_wait_ms     \u001b[0m  \u001b[1m   0.01818\u001b[0m  \u001b[38;5;38m\u2584\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[2m   \u2193 3.6%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  grad_norm        \u001b[0m  \u001b[1m    0.2852\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 72%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_misses     \u001b[0m  \u001b[1m     3.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2588\u001b[0m"]
[55.872059, "o", "\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m    \u2191 50%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2mcompiles \u001b[0m\u001b[1m1.000\u001b[0m   \u001b[2mcache_hits \u001b[0m\u001b[1m9.000\u001b[0m   \u001b[2mpeak_memory_gib \u001b[0m\u001b[1m4.016\u001b[0m                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mthroughput                                                                                  \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  step_time_ms     \u001b[0m  \u001b[1m     29.75\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2582\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[38;5;71m   \u2193 2.6%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  samples_per_sec  \u001b[0m  \u001b[1m     2,151\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m   \u2191 2.7%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens           \u001b[0m  \u001b[1m    16,104\u001b[0m  \u001b[38;5;38m\u2584\u001b[0m\u001b[38;5;74m\u2581\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2584\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m   \u2191 0.2%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens_per_s     \u001b[0m  \u001b[1m   541,273\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m   \u2191 2.9%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  mfu              \u001b[0m  \u001b[1m     11.8%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hlo_flops_util \u2265 \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hfu \u2265            \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2muncounted kernels \u001b[0m\u001b[1m50.00\u001b[0m                                                                    \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98moptimizer                                                                                   \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  learning_rate    \u001b[0m  \u001b[1m 1.229e-04\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;104m\u2582\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 87%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2maccepted \u001b[0m\u001b[1m100.0%\u001b[0m                                                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mval \u00b7 step 500                                                                              \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity\u001b[0m  \u001b[1m     3.820\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss      \u001b[0m  \u001b[1m     1.340\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500"]
[55.872103, "o", "\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2807\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[56.033306, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;104m\u2501\u001b[0m\u001b[38;5;104m\u2501\u001b[0m\u001b[38;5;104m\u2501\u001b[0m\u001b[38;5;104m\u2501\u001b[0m\u001b[38;5;104m\u2501\u001b[0m\u001b[38;5;98m\u2501\u001b[0m\u001b[38;5;98m\u2501\u001b[0m\u001b[38;5;98m\u2501\u001b[0m\u001b[38;5;98m\u2501\u001b[0m\u001b[38;5;98m\u2578\u001b[0m  \u001b[1m990\u001b[0m\u001b[2m/1000\u001b[0m   99%  33.4\u001b[2m step/s\u001b[0m  0:00:46\u001b[2m + \u001b[0m0:00:00\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2mdata \u001b[0m\u001b[1;2m57,792\u001b[0m\u001b[2m rows\u001b[0m\u001b[2m  \u00b7  \u001b[0m\u001b[1;2m0\u001b[0m\u001b[2m rejected\u001b[0m                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mtrain                                                                                       \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss             \u001b[0m  \u001b[1m     1.238\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[38;5;71m    \u2193 38%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  ce               \u001b[0m  \u001b[1m     1.238\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[38;5;71m    \u2193 38%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity       \u001b[0m  \u001b[1m     3.450\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[38;5;71m    \u2193 54%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  token_accuracy   \u001b[0m  \u001b[1m     61.2%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m\u2191 20.7 pt\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  data_wait_ms     \u001b[0m  \u001b[1m   0.01818\u001b[0m  \u001b[38;5;38m\u2584\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[2m   \u2193 3.6%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  grad_norm        \u001b[0m  \u001b[1m    0.2852\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 72%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_misses     \u001b[0m  \u001b[1m     3.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m"]
[56.033381, "o", "\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m    \u2191 50%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2mcompiles \u001b[0m\u001b[1m1.000\u001b[0m   \u001b[2mcache_hits \u001b[0m\u001b[1m9.000\u001b[0m   \u001b[2mpeak_memory_gib \u001b[0m\u001b[1m4.016\u001b[0m                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mthroughput                                                                                  \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  step_time_ms     \u001b[0m  \u001b[1m     29.75\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2582\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[38;5;71m   \u2193 2.6%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  samples_per_sec  \u001b[0m  \u001b[1m     2,151\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m   \u2191 2.7%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens           \u001b[0m  \u001b[1m    16,104\u001b[0m  \u001b[38;5;38m\u2584\u001b[0m\u001b[38;5;74m\u2581\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2584\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m   \u2191 0.2%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens_per_s     \u001b[0m  \u001b[1m   541,273\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m   \u2191 2.9%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  mfu              \u001b[0m  \u001b[1m     11.8%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hlo_flops_util \u2265 \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hfu \u2265            \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2muncounted kernels \u001b[0m\u001b[1m50.00\u001b[0m                                                                    \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98moptimizer                                                                                   \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  learning_rate    \u001b[0m  \u001b[1m 1.229e-04\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;104m\u2582\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 87%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2maccepted \u001b[0m\u001b[1m100.0%\u001b[0m                                                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mval \u00b7 step 500                                                                              \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity\u001b[0m  \u001b[1m     3.820\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss      \u001b[0m  \u001b[1m     1.340\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500"]
[56.033413, "o", "\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u280b\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[56.180135, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m"]
[56.180207, "o", "\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;104m\u2501\u001b[0m\u001b[38;5;104m\u2501\u001b[0m\u001b[38;5;104m\u2501\u001b[0m\u001b[38;5;104m\u2501\u001b[0m\u001b[38;5;104m\u2501\u001b[0m\u001b[38;5;98m\u2501\u001b[0m\u001b[38;5;98m\u2501\u001b[0m\u001b[38;5;98m\u2501\u001b[0m\u001b[38;5;98m\u2501\u001b[0m\u001b[38;5;98m\u2578\u001b[0m  \u001b[1m996\u001b[0m\u001b[2m/1000\u001b[0m  100%  33.4\u001b[2m step/s\u001b[0m  0:00:46\u001b[2m + \u001b[0m0:00:00\u001b[2m left\u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2mdata \u001b[0m\u001b[1;2m57,792\u001b[0m\u001b[2m rows\u001b[0m\u001b[2m  \u00b7  \u001b[0m\u001b[1;2m0\u001b[0m\u001b[2m rejected\u001b[0m                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mtrain                                                                                       \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss             \u001b[0m  \u001b[1m     1.238\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[38;5;71m    \u2193 38%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  ce               \u001b[0m  \u001b[1m     1.238\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[38;5;71m    \u2193 38%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity       \u001b[0m  \u001b[1m     3.450\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[38;5;71m    \u2193 54%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  token_accuracy   \u001b[0m  \u001b[1m     61.2%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m\u2191 20.7 pt\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  data_wait_ms     \u001b[0m  \u001b[1m   0.01818\u001b[0m  \u001b[38;5;38m\u2584\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[2m   \u2193 3.6%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  grad_norm        \u001b[0m  \u001b[1m    0.2852\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 72%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_misses     \u001b[0m  \u001b[1m     3.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m    \u2191 50%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2mcompiles \u001b[0m\u001b[1m1.000\u001b[0m   \u001b[2mcache_hits \u001b[0m\u001b[1m9.000\u001b[0m   \u001b[2mpeak_memory_gib \u001b[0m\u001b[1m4.016\u001b[0m                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mthroughput                                                                                  \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  step_time_ms     \u001b[0m  \u001b[1m     29.75\u001b[0m  \u001b[38;5;38"]
[56.180303, "o", "m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2582\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[38;5;71m   \u2193 2.6%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  samples_per_sec  \u001b[0m  \u001b[1m     2,151\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m   \u2191 2.7%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens           \u001b[0m  \u001b[1m    16,104\u001b[0m  \u001b[38;5;38m\u2584\u001b[0m\u001b[38;5;74m\u2581\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2584\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m   \u2191 0.2%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens_per_s     \u001b[0m  \u001b[1m   541,273\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m   \u2191 2.9%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  mfu              \u001b[0m  \u001b[1m     11.8%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hlo_flops_util \u2265 \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hfu \u2265            \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2muncounted kernels \u001b[0m\u001b[1m50.00\u001b[0m                                                                    \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98moptimizer                                                                                   \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  learning_rate    \u001b[0m  \u001b[1m 1.229e-04\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;104m\u2582\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 87%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2maccepted \u001b[0m\u001b[1m100.0%\u001b[0m                                                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mval \u00b7 step 500                                                                              \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity\u001b[0m  \u001b[1m     3.820\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss      \u001b[0m  \u001b[1m     1.340\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2839\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[56.338563, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m"]
[56.338669, "o", "\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;104m\u2501\u001b[0m\u001b[38;5;104m\u2501\u001b[0m\u001b[38;5;104m\u2501\u001b[0m\u001b[38;5;104m\u2501\u001b[0m\u001b[38;5;104m\u2501\u001b[0m\u001b[38;5;104m\u2501\u001b[0m\u001b[38;5;98m\u2501\u001b[0m\u001b[38;5;98m\u2501\u001b[0m\u001b[38;5;98m\u2501\u001b[0m\u001b[38;5;98m\u2501\u001b[0m\u001b[38;5;98m\u2501\u001b[0m\u001b[38;5;98m\u2501\u001b[0m\u001b[38;5;98m\u2501\u001b[0m  \u001b[1m1000\u001b[0m\u001b[2m/1000\u001b[0m  100%  33.5\u001b[2m step/s\u001b[0m  0:00:46 \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2mdata \u001b[0m\u001b[1;2m57,792\u001b[0m\u001b[2m rows\u001b[0m\u001b[2m  \u00b7  \u001b[0m\u001b[1;2m0\u001b[0m\u001b[2m rejected\u001b[0m                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mtrain                                                                                       \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss             \u001b[0m  \u001b[1m     1.238\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[38;5;71m    \u2193 38%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  ce               \u001b[0m  \u001b[1m     1.238\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[38;5;71m    \u2193 38%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity       \u001b[0m  \u001b[1m     3.450\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[38;5;71m    \u2193 54%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  token_accuracy   \u001b[0m  \u001b[1m     61.2%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m\u2191 20.7 pt\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  data_wait_ms     \u001b[0m  \u001b[1m   0.01818\u001b[0m  \u001b[38;5;38m\u2584\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[2m   \u2193 3.6%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  grad_norm        \u001b[0m  \u001b[1m    0.2852\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 72%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_misses     \u001b[0m  \u001b[1m     3.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m    \u2191 50%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2mcompiles \u001b[0m\u001b[1m1.000\u001b[0m   \u001b[2mcache_hits \u001b[0m\u001b[1m9.000\u001b[0m   \u001b[2mpeak_memory_gib \u001b[0m\u001b[1m4.016\u001b[0m                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502"]
[56.338738, "o", "\u001b[0m \u001b[1;38;5;98mthroughput                                                                                  \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  step_time_ms     \u001b[0m  \u001b[1m     29.75\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2582\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[38;5;71m   \u2193 2.6%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  samples_per_sec  \u001b[0m  \u001b[1m     2,151\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m   \u2191 2.7%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens           \u001b[0m  \u001b[1m    16,104\u001b[0m  \u001b[38;5;38m\u2584\u001b[0m\u001b[38;5;74m\u2581\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2584\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m   \u2191 0.2%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens_per_s     \u001b[0m  \u001b[1m   541,273\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m   \u2191 2.9%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  mfu              \u001b[0m  \u001b[1m     11.8%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hlo_flops_util \u2265 \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hfu \u2265            \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2muncounted kernels \u001b[0m\u001b[1m50.00\u001b[0m                                                                    \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98moptimizer                                                                                   \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  learning_rate    \u001b[0m  \u001b[1m 1.229e-04\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;104m\u2582\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 87%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2maccepted \u001b[0m\u001b[1m100.0%\u001b[0m                                                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mval \u00b7 step 500                                                                              \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity\u001b[0m  \u001b[1m     3.820\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss      \u001b[0m  \u001b[1m     1.340\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u283c\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[56.483935, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;104m\u2501\u001b[0m\u001b[38;5;104m\u2501\u001b[0m\u001b[38;5;104m\u2501\u001b[0m\u001b[38;5;104m\u2501\u001b[0m\u001b[38;5;104m\u2501\u001b[0m\u001b[38;5;104m\u2501\u001b[0m\u001b[38;5;98m\u2501\u001b[0m\u001b[38;5;98m\u2501\u001b[0m\u001b[38;5;98m\u2501\u001b[0m\u001b[38;5;98m\u2501\u001b[0m\u001b[38;5;98m\u2501\u001b[0m\u001b[38;5;98m\u2501\u001b[0m\u001b[38;5;98m\u2501\u001b[0m  \u001b[1m1000\u001b[0m\u001b[2m/1000\u001b[0m  100%  33.5\u001b[2m step/s\u001b[0m  0:00:46 \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2mdata \u001b[0m\u001b[1;2m57,792\u001b[0m\u001b[2m rows\u001b[0m\u001b[2m  \u00b7  \u001b[0m\u001b[1;2m0\u001b[0m\u001b[2m rejected\u001b[0m                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mtrain                                                                                       \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss             \u001b[0m  \u001b[1m     1.238\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[38;5;71m    \u2193 38%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  ce               \u001b[0m  \u001b[1m     1.238\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[38;5;71m    \u2193 38%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity       \u001b[0m  \u001b[1m     3.450\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[38;5;71m    \u2193 54%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  token_accuracy   \u001b[0m  \u001b[1m     61.2%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m\u2191 20.7 pt\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  data_wait_ms     \u001b[0m  \u001b[1m   0.01818\u001b[0m  \u001b[38;5;38m\u2584\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[2m   \u2193 3.6%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  grad_norm        \u001b[0m  \u001b[1m    0.2852\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b"]
[56.484004, "o", "[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 72%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_misses     \u001b[0m  \u001b[1m     3.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m    \u2191 50%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2mcompiles \u001b[0m\u001b[1m1.000\u001b[0m   \u001b[2mcache_hits \u001b[0m\u001b[1m9.000\u001b[0m   \u001b[2mpeak_memory_gib \u001b[0m\u001b[1m4.016\u001b[0m                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mthroughput                                                                                  \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  step_time_ms     \u001b[0m  \u001b[1m     29.75\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2582\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[38;5;71m   \u2193 2.6%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  samples_per_sec  \u001b[0m  \u001b[1m     2,151\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m   \u2191 2.7%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens           \u001b[0m  \u001b[1m    16,104\u001b[0m  \u001b[38;5;38m\u2584\u001b[0m\u001b[38;5;74m\u2581\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2584\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m   \u2191 0.2%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens_per_s     \u001b[0m  \u001b[1m   541,273\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m   \u2191 2.9%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  mfu              \u001b[0m  \u001b[1m     11.8%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hlo_flops_util \u2265 \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hfu \u2265            \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2muncounted kernels \u001b[0m\u001b[1m50.00\u001b[0m                                                                    \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98moptimizer                                                                                   \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  learning_rate    \u001b[0m  \u001b[1m 1.229e-04\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;104m\u2582\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 87%\u001b[0m                                        \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2maccepted \u001b[0m\u001b[1m100.0%\u001b[0m                                                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mval \u00b7 step 500                                                                              \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity\u001b[0m  \u001b[1m     3.820\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss   "]
[56.484032, "o", "   \u001b[0m  \u001b[1m     1.340\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m                                                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2834\u001b[0m\u001b[38;5;38m \u001b[0m\u001b[2;38;5;38mtraining\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m"]
[56.563649, "o", "\r\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[1A\u001b[2K\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[1;38;5;98mdew\u001b[0m\u001b[2;38;5;38m \u00b7 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m"]
[56.564409, "o", "\r\n\u001b[38;5;38m\u2502\u001b[0m 10.7M parameters\u001b[2m  \u00b7  \u001b[0m\u001b[2mon \u001b[0m1 \u00d7 NVIDIA A100-SXM4-40GB\u001b[2m  \u00b7  \u001b[0m\u001b[2mbatch \u001b[0m64\u001b[2m  \u00b7  \u001b[0mfloat32                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;38m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;74m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;68m\u2501\u001b[0m\u001b[38;5;104m\u2501\u001b[0m\u001b[38;5;104m\u2501\u001b[0m\u001b[38;5;104m\u2501\u001b[0m\u001b[38;5;104m\u2501\u001b[0m\u001b[38;5;104m\u2501\u001b[0m\u001b[38;5;104m\u2501\u001b[0m\u001b[38;5;98m\u2501\u001b[0m\u001b[38;5;98m\u2501\u001b[0m\u001b[38;5;98m\u2501\u001b[0m\u001b[38;5;98m\u2501\u001b[0m\u001b[38;5;98m\u2501\u001b[0m\u001b[38;5;98m\u2501\u001b[0m\u001b[38;5;98m\u2501\u001b[0m  \u001b[1m1000\u001b[0m\u001b[2m/1000\u001b[0m  100%  33.5\u001b[2m step/s\u001b[0m  0:00:46 \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2mdata \u001b[0m\u001b[1;2m64,192\u001b[0m\u001b[2m rows\u001b[0m\u001b[2m  \u00b7  \u001b[0m\u001b[1;2m0\u001b[0m\u001b[2m rejected\u001b[0m                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mtrain                                                                                       \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss             \u001b[0m  \u001b[1m     1.201\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2582\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 40%\u001b[0m                                       \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  ce               \u001b[0m  \u001b[1m     1.201\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2582\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 40%\u001b[0m                                       \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity       \u001b[0m  \u001b[1m     3.322\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2582\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m    \u2193 56%\u001b[0m                                       \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  token_accuracy   \u001b[0m  \u001b[1m     62.4%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[38;5;71m\u2191 21.9 pt\u001b[0m                                       \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  data_wait_ms     \u001b[0m  \u001b[1m   0.01949\u001b[0m  \u001b[38;5;38m\u2584\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2582\u001b[0m\u001b[38;5;98m\u2585\u001b[0m  \u001b[2m   \u2191 3.4%\u001b[0m                                       \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  grad_norm        \u001b[0m  \u001b[1m    0.2868\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;104m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 72%\u001b[0m                                       \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  cache_misses     \u001b[0m  \u001b[1m     3.000\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m\u001b[38;5;98m\u2588\u001b[0m  \u001b[2m    \u2191 50%\u001b[0m                                       \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2mcompiles \u001b[0m\u001b[1m1.000\u001b[0m   \u001b[2mcache_hits \u001b[0m\u001b[1m9.0"]
[56.564493, "o", "00\u001b[0m   \u001b[2mpeak_memory_gib \u001b[0m\u001b[1m4.016\u001b[0m                                  \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mthroughput                                                                                  \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  step_time_ms     \u001b[0m  \u001b[1m     29.77\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2585\u001b[0m\u001b[38;5;68m\u2581\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2582\u001b[0m\u001b[38;5;104m\u2582\u001b[0m\u001b[38;5;98m\u2582\u001b[0m\u001b[38;5;98m\u2582\u001b[0m  \u001b[38;5;71m   \u2193 2.6%\u001b[0m                                       \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  samples_per_sec  \u001b[0m  \u001b[1m     2,150\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2587\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m   \u2191 2.6%\u001b[0m                                       \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens           \u001b[0m  \u001b[1m    16,076\u001b[0m  \u001b[38;5;38m\u2584\u001b[0m\u001b[38;5;74m\u2581\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2584\u001b[0m\u001b[38;5;98m\u2588\u001b[0m\u001b[38;5;98m\u2584\u001b[0m  \u001b[2m        \u2192\u001b[0m                                       \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  tokens_per_s     \u001b[0m  \u001b[1m   539,918\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2588\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m   \u2191 2.6%\u001b[0m                                       \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  mfu              \u001b[0m  \u001b[1m     11.7%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2583\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2588\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                       \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hlo_flops_util \u2265 \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2587\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                       \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  hfu \u2265            \u001b[0m  \u001b[1m     12.6%\u001b[0m  \u001b[38;5;38m\u2581\u001b[0m\u001b[38;5;74m\u2584\u001b[0m\u001b[38;5;68m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;104m\u2587\u001b[0m\u001b[38;5;98m\u2587\u001b[0m\u001b[38;5;98m\u2587\u001b[0m  \u001b[38;5;71m \u2191 0.3 pt\u001b[0m                                       \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2muncounted kernels \u001b[0m\u001b[1m50.00\u001b[0m                                                                    \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98moptimizer                                                                                   \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  learning_rate    \u001b[0m  \u001b[1m 1.000e-04\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;74m\u2588\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2587\u001b[0m\u001b[38;5;68m\u2586\u001b[0m\u001b[38;5;68m\u2585\u001b[0m\u001b[38;5;68m\u2584\u001b[0m\u001b[38;5;104m\u2583\u001b[0m\u001b[38;5;98m\u2582\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[2m    \u2193 90%\u001b[0m                                       \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m   \u001b[2maccepted \u001b[0m\u001b[1m100.0%\u001b[0m                                                                            \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m                                                                                              \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[1;38;5;98mval \u00b7 step 1000                                                                             \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  perplexity\u001b[0m  \u001b[1m     3.567\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m   \u2193 6.6%\u001b[0m                                                      \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m  loss      \u001b[0m  \u001b[1m     1.272\u001b[0m  \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;98m\u2581\u001b[0m  \u001b[38;5;71m   \u2193 5.1%\u001b[0m                                                      \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500"]
[56.564522, "o", "\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;71m\u2713 \u001b[0m\u001b[2;38;5;38mfinished\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u256f\u001b[0m\r\n\u001b[?25h"]
[56.566952, "o", "\u001b[38;5;38m\u256d\u2500\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;71m\u2713 \u001b[0m\u001b[1;38;5;38mCausalTransformer\u001b[0m\u001b[38;5;38m  \u001b[0m\u001b[38;5;38m\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u001b[0m\u001b[38;5;38m\u2500\u256e\u001b[0m"]
[56.56751, "o", "\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m    trained\u001b[0m\u001b[2m  \u001b[0m1000 steps in 0:00:50                             \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m first step\u001b[0m\u001b[2m  \u001b[0mafter 19.90 s                                     \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m       then\u001b[0m\u001b[2m  \u001b[0m33.5 step/s                                       \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m    goodput\u001b[0m\u001b[2m  \u001b[0m59.9% of the wall time in steps                   \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2m final loss\u001b[0m\u001b[2m  \u001b[0m\u001b[1m1.201                                            \u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2502\u001b[0m \u001b[2mval at 1000\u001b[0m\u001b[2m  \u001b[0m\u001b[2mperplexity \u001b[0m\u001b[1m3.567\u001b[0m \u001b[38;5;71m\u2193 6.6%\u001b[0m \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;98m\u2581\u001b[0m   \u001b[2mloss \u001b[0m\u001b[1m1.272\u001b[0m \u001b[38;5;71m\u2193 5.1%\u001b[0m \u001b[38;5;38m\u2588\u001b[0m\u001b[38;5;98m\u2581\u001b[0m \u001b[38;5;38m\u2502\u001b[0m\r\n\u001b[38;5;38m\u2570\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u256f\u001b[0m\r\n"]
[60.300894, "o", "ROMEO:\r\nAnd therefore, he shall be the whole of the sea,\r\nOf her that makes the warm of such a fair court,\r\nAs as the proclaims to my brother's love,\r\nOr make my executioner than the common\r\nThat he be so much a\r\n\r\n"]
[63.880527, "o", "JULIET:\r\nThen she is God's name, come, that say the people\r\nIs the requirest of it.                                                                                                                              \r\n\r\n"]
