kdump: fix crash_kexec()/smp_send_stop() race in panic()
[firefly-linux-kernel-4.4.55.git] / kernel / panic.c
1 /*
2  *  linux/kernel/panic.c
3  *
4  *  Copyright (C) 1991, 1992  Linus Torvalds
5  */
6
7 /*
8  * This function is used through-out the kernel (including mm and fs)
9  * to indicate a major problem.
10  */
11 #include <linux/debug_locks.h>
12 #include <linux/interrupt.h>
13 #include <linux/kmsg_dump.h>
14 #include <linux/kallsyms.h>
15 #include <linux/notifier.h>
16 #include <linux/module.h>
17 #include <linux/random.h>
18 #include <linux/reboot.h>
19 #include <linux/delay.h>
20 #include <linux/kexec.h>
21 #include <linux/sched.h>
22 #include <linux/sysrq.h>
23 #include <linux/init.h>
24 #include <linux/nmi.h>
25 #include <linux/dmi.h>
26
27 #define PANIC_TIMER_STEP 100
28 #define PANIC_BLINK_SPD 18
29
30 int panic_on_oops;
31 static unsigned long tainted_mask;
32 static int pause_on_oops;
33 static int pause_on_oops_flag;
34 static DEFINE_SPINLOCK(pause_on_oops_lock);
35
36 int panic_timeout;
37 EXPORT_SYMBOL_GPL(panic_timeout);
38
39 ATOMIC_NOTIFIER_HEAD(panic_notifier_list);
40
41 EXPORT_SYMBOL(panic_notifier_list);
42
43 static long no_blink(int state)
44 {
45         return 0;
46 }
47
48 /* Returns how long it waited in ms */
49 long (*panic_blink)(int state);
50 EXPORT_SYMBOL(panic_blink);
51
52 /*
53  * Stop ourself in panic -- architecture code may override this
54  */
55 void __weak panic_smp_self_stop(void)
56 {
57         while (1)
58                 cpu_relax();
59 }
60
61 /**
62  *      panic - halt the system
63  *      @fmt: The text string to print
64  *
65  *      Display a message, then perform cleanups.
66  *
67  *      This function never returns.
68  */
69 void panic(const char *fmt, ...)
70 {
71         static DEFINE_SPINLOCK(panic_lock);
72         static char buf[1024];
73         va_list args;
74         long i, i_next = 0;
75         int state = 0;
76
77         /*
78          * It's possible to come here directly from a panic-assertion and
79          * not have preempt disabled. Some functions called from here want
80          * preempt to be disabled. No point enabling it later though...
81          *
82          * Only one CPU is allowed to execute the panic code from here. For
83          * multiple parallel invocations of panic, all other CPUs either
84          * stop themself or will wait until they are stopped by the 1st CPU
85          * with smp_send_stop().
86          */
87         if (!spin_trylock(&panic_lock))
88                 panic_smp_self_stop();
89
90         console_verbose();
91         bust_spinlocks(1);
92         va_start(args, fmt);
93         vsnprintf(buf, sizeof(buf), fmt, args);
94         va_end(args);
95         printk(KERN_EMERG "Kernel panic - not syncing: %s\n",buf);
96 #ifdef CONFIG_DEBUG_BUGVERBOSE
97         dump_stack();
98 #endif
99
100         /*
101          * If we have crashed and we have a crash kernel loaded let it handle
102          * everything else.
103          * Do we want to call this before we try to display a message?
104          */
105         crash_kexec(NULL);
106
107         kmsg_dump(KMSG_DUMP_PANIC);
108
109         /*
110          * Note smp_send_stop is the usual smp shutdown function, which
111          * unfortunately means it may not be hardened to work in a panic
112          * situation.
113          */
114         smp_send_stop();
115
116         atomic_notifier_call_chain(&panic_notifier_list, 0, buf);
117
118         bust_spinlocks(0);
119
120         if (!panic_blink)
121                 panic_blink = no_blink;
122
123         if (panic_timeout > 0) {
124                 /*
125                  * Delay timeout seconds before rebooting the machine.
126                  * We can't use the "normal" timers since we just panicked.
127                  */
128                 printk(KERN_EMERG "Rebooting in %d seconds..", panic_timeout);
129
130                 for (i = 0; i < panic_timeout * 1000; i += PANIC_TIMER_STEP) {
131                         touch_nmi_watchdog();
132                         if (i >= i_next) {
133                                 i += panic_blink(state ^= 1);
134                                 i_next = i + 3600 / PANIC_BLINK_SPD;
135                         }
136                         mdelay(PANIC_TIMER_STEP);
137                 }
138         }
139         if (panic_timeout != 0) {
140                 /*
141                  * This will not be a clean reboot, with everything
142                  * shutting down.  But if there is a chance of
143                  * rebooting the system it will be rebooted.
144                  */
145                 emergency_restart();
146         }
147 #ifdef __sparc__
148         {
149                 extern int stop_a_enabled;
150                 /* Make sure the user can actually press Stop-A (L1-A) */
151                 stop_a_enabled = 1;
152                 printk(KERN_EMERG "Press Stop-A (L1-A) to return to the boot prom\n");
153         }
154 #endif
155 #if defined(CONFIG_S390)
156         {
157                 unsigned long caller;
158
159                 caller = (unsigned long)__builtin_return_address(0);
160                 disabled_wait(caller);
161         }
162 #endif
163         local_irq_enable();
164         for (i = 0; ; i += PANIC_TIMER_STEP) {
165                 touch_softlockup_watchdog();
166                 if (i >= i_next) {
167                         i += panic_blink(state ^= 1);
168                         i_next = i + 3600 / PANIC_BLINK_SPD;
169                 }
170                 mdelay(PANIC_TIMER_STEP);
171         }
172 }
173
174 EXPORT_SYMBOL(panic);
175
176
177 struct tnt {
178         u8      bit;
179         char    true;
180         char    false;
181 };
182
183 static const struct tnt tnts[] = {
184         { TAINT_PROPRIETARY_MODULE,     'P', 'G' },
185         { TAINT_FORCED_MODULE,          'F', ' ' },
186         { TAINT_UNSAFE_SMP,             'S', ' ' },
187         { TAINT_FORCED_RMMOD,           'R', ' ' },
188         { TAINT_MACHINE_CHECK,          'M', ' ' },
189         { TAINT_BAD_PAGE,               'B', ' ' },
190         { TAINT_USER,                   'U', ' ' },
191         { TAINT_DIE,                    'D', ' ' },
192         { TAINT_OVERRIDDEN_ACPI_TABLE,  'A', ' ' },
193         { TAINT_WARN,                   'W', ' ' },
194         { TAINT_CRAP,                   'C', ' ' },
195         { TAINT_FIRMWARE_WORKAROUND,    'I', ' ' },
196         { TAINT_OOT_MODULE,             'O', ' ' },
197 };
198
199 /**
200  *      print_tainted - return a string to represent the kernel taint state.
201  *
202  *  'P' - Proprietary module has been loaded.
203  *  'F' - Module has been forcibly loaded.
204  *  'S' - SMP with CPUs not designed for SMP.
205  *  'R' - User forced a module unload.
206  *  'M' - System experienced a machine check exception.
207  *  'B' - System has hit bad_page.
208  *  'U' - Userspace-defined naughtiness.
209  *  'D' - Kernel has oopsed before
210  *  'A' - ACPI table overridden.
211  *  'W' - Taint on warning.
212  *  'C' - modules from drivers/staging are loaded.
213  *  'I' - Working around severe firmware bug.
214  *  'O' - Out-of-tree module has been loaded.
215  *
216  *      The string is overwritten by the next call to print_tainted().
217  */
218 const char *print_tainted(void)
219 {
220         static char buf[ARRAY_SIZE(tnts) + sizeof("Tainted: ") + 1];
221
222         if (tainted_mask) {
223                 char *s;
224                 int i;
225
226                 s = buf + sprintf(buf, "Tainted: ");
227                 for (i = 0; i < ARRAY_SIZE(tnts); i++) {
228                         const struct tnt *t = &tnts[i];
229                         *s++ = test_bit(t->bit, &tainted_mask) ?
230                                         t->true : t->false;
231                 }
232                 *s = 0;
233         } else
234                 snprintf(buf, sizeof(buf), "Not tainted");
235
236         return buf;
237 }
238
239 int test_taint(unsigned flag)
240 {
241         return test_bit(flag, &tainted_mask);
242 }
243 EXPORT_SYMBOL(test_taint);
244
245 unsigned long get_taint(void)
246 {
247         return tainted_mask;
248 }
249
250 void add_taint(unsigned flag)
251 {
252         /*
253          * Can't trust the integrity of the kernel anymore.
254          * We don't call directly debug_locks_off() because the issue
255          * is not necessarily serious enough to set oops_in_progress to 1
256          * Also we want to keep up lockdep for staging/out-of-tree
257          * development and post-warning case.
258          */
259         switch (flag) {
260         case TAINT_CRAP:
261         case TAINT_OOT_MODULE:
262         case TAINT_WARN:
263         case TAINT_FIRMWARE_WORKAROUND:
264                 break;
265
266         default:
267                 if (__debug_locks_off())
268                         printk(KERN_WARNING "Disabling lock debugging due to kernel taint\n");
269         }
270
271         set_bit(flag, &tainted_mask);
272 }
273 EXPORT_SYMBOL(add_taint);
274
275 static void spin_msec(int msecs)
276 {
277         int i;
278
279         for (i = 0; i < msecs; i++) {
280                 touch_nmi_watchdog();
281                 mdelay(1);
282         }
283 }
284
285 /*
286  * It just happens that oops_enter() and oops_exit() are identically
287  * implemented...
288  */
289 static void do_oops_enter_exit(void)
290 {
291         unsigned long flags;
292         static int spin_counter;
293
294         if (!pause_on_oops)
295                 return;
296
297         spin_lock_irqsave(&pause_on_oops_lock, flags);
298         if (pause_on_oops_flag == 0) {
299                 /* This CPU may now print the oops message */
300                 pause_on_oops_flag = 1;
301         } else {
302                 /* We need to stall this CPU */
303                 if (!spin_counter) {
304                         /* This CPU gets to do the counting */
305                         spin_counter = pause_on_oops;
306                         do {
307                                 spin_unlock(&pause_on_oops_lock);
308                                 spin_msec(MSEC_PER_SEC);
309                                 spin_lock(&pause_on_oops_lock);
310                         } while (--spin_counter);
311                         pause_on_oops_flag = 0;
312                 } else {
313                         /* This CPU waits for a different one */
314                         while (spin_counter) {
315                                 spin_unlock(&pause_on_oops_lock);
316                                 spin_msec(1);
317                                 spin_lock(&pause_on_oops_lock);
318                         }
319                 }
320         }
321         spin_unlock_irqrestore(&pause_on_oops_lock, flags);
322 }
323
324 /*
325  * Return true if the calling CPU is allowed to print oops-related info.
326  * This is a bit racy..
327  */
328 int oops_may_print(void)
329 {
330         return pause_on_oops_flag == 0;
331 }
332
333 /*
334  * Called when the architecture enters its oops handler, before it prints
335  * anything.  If this is the first CPU to oops, and it's oopsing the first
336  * time then let it proceed.
337  *
338  * This is all enabled by the pause_on_oops kernel boot option.  We do all
339  * this to ensure that oopses don't scroll off the screen.  It has the
340  * side-effect of preventing later-oopsing CPUs from mucking up the display,
341  * too.
342  *
343  * It turns out that the CPU which is allowed to print ends up pausing for
344  * the right duration, whereas all the other CPUs pause for twice as long:
345  * once in oops_enter(), once in oops_exit().
346  */
347 void oops_enter(void)
348 {
349         tracing_off();
350         /* can't trust the integrity of the kernel anymore: */
351         debug_locks_off();
352         do_oops_enter_exit();
353 }
354
355 /*
356  * 64-bit random ID for oopses:
357  */
358 static u64 oops_id;
359
360 static int init_oops_id(void)
361 {
362         if (!oops_id)
363                 get_random_bytes(&oops_id, sizeof(oops_id));
364         else
365                 oops_id++;
366
367         return 0;
368 }
369 late_initcall(init_oops_id);
370
371 void print_oops_end_marker(void)
372 {
373         init_oops_id();
374         printk(KERN_WARNING "---[ end trace %016llx ]---\n",
375                 (unsigned long long)oops_id);
376 }
377
378 /*
379  * Called when the architecture exits its oops handler, after printing
380  * everything.
381  */
382 void oops_exit(void)
383 {
384         do_oops_enter_exit();
385         print_oops_end_marker();
386         kmsg_dump(KMSG_DUMP_OOPS);
387 }
388
389 #ifdef WANT_WARN_ON_SLOWPATH
390 struct slowpath_args {
391         const char *fmt;
392         va_list args;
393 };
394
395 static void warn_slowpath_common(const char *file, int line, void *caller,
396                                  unsigned taint, struct slowpath_args *args)
397 {
398         const char *board;
399
400         printk(KERN_WARNING "------------[ cut here ]------------\n");
401         printk(KERN_WARNING "WARNING: at %s:%d %pS()\n", file, line, caller);
402         board = dmi_get_system_info(DMI_PRODUCT_NAME);
403         if (board)
404                 printk(KERN_WARNING "Hardware name: %s\n", board);
405
406         if (args)
407                 vprintk(args->fmt, args->args);
408
409         print_modules();
410         dump_stack();
411         print_oops_end_marker();
412         add_taint(taint);
413 }
414
415 void warn_slowpath_fmt(const char *file, int line, const char *fmt, ...)
416 {
417         struct slowpath_args args;
418
419         args.fmt = fmt;
420         va_start(args.args, fmt);
421         warn_slowpath_common(file, line, __builtin_return_address(0),
422                              TAINT_WARN, &args);
423         va_end(args.args);
424 }
425 EXPORT_SYMBOL(warn_slowpath_fmt);
426
427 void warn_slowpath_fmt_taint(const char *file, int line,
428                              unsigned taint, const char *fmt, ...)
429 {
430         struct slowpath_args args;
431
432         args.fmt = fmt;
433         va_start(args.args, fmt);
434         warn_slowpath_common(file, line, __builtin_return_address(0),
435                              taint, &args);
436         va_end(args.args);
437 }
438 EXPORT_SYMBOL(warn_slowpath_fmt_taint);
439
440 void warn_slowpath_null(const char *file, int line)
441 {
442         warn_slowpath_common(file, line, __builtin_return_address(0),
443                              TAINT_WARN, NULL);
444 }
445 EXPORT_SYMBOL(warn_slowpath_null);
446 #endif
447
448 #ifdef CONFIG_CC_STACKPROTECTOR
449
450 /*
451  * Called when gcc's -fstack-protector feature is used, and
452  * gcc detects corruption of the on-stack canary value
453  */
454 void __stack_chk_fail(void)
455 {
456         panic("stack-protector: Kernel stack is corrupted in: %p\n",
457                 __builtin_return_address(0));
458 }
459 EXPORT_SYMBOL(__stack_chk_fail);
460
461 #endif
462
463 core_param(panic, panic_timeout, int, 0644);
464 core_param(pause_on_oops, pause_on_oops, int, 0644);
465
466 static int __init oops_setup(char *s)
467 {
468         if (!s)
469                 return -EINVAL;
470         if (!strcmp(s, "panic"))
471                 panic_on_oops = 1;
472         return 0;
473 }
474 early_param("oops", oops_setup);